JP7590976B2 - Driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method and program - Google Patents
Driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method and program Download PDFInfo
- Publication number
- JP7590976B2 JP7590976B2 JP2021550929A JP2021550929A JP7590976B2 JP 7590976 B2 JP7590976 B2 JP 7590976B2 JP 2021550929 A JP2021550929 A JP 2021550929A JP 2021550929 A JP2021550929 A JP 2021550929A JP 7590976 B2 JP7590976 B2 JP 7590976B2
- Authority
- JP
- Japan
- Prior art keywords
- preventive
- driver
- level
- measure
- measures
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
Description
本発明は、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラムに関する。 The present invention relates to a driver doze prevention system, a computer, a terminal, a driver doze prevention method, and a program that select and execute a preventive measure to prevent a driver from dozing off while driving.
近年、ドライバの過酷な労働環境が社会問題となっており、運転中のドライバが居眠りをして交通事故になるニュースが増加している。そのため、運転中のドライバの居眠りを防止する技術が注目されている。In recent years, the harsh working conditions of drivers have become a social issue, and there have been an increasing number of news reports of drivers falling asleep while driving and causing traffic accidents. As a result, technology to prevent drivers from falling asleep while driving has attracted attention.
このような技術の例として、運転中のドライバの脈拍を検知し、このドライバの居眠り状態を判定するものが開示されている(特許文献1参照)。One example of such technology is one that detects the driver's pulse while driving and determines whether the driver is drowsy (see Patent Document 1).
しかしながら、運転中のドライバの居眠りによる交通事故を未然に防ぐには、ドライバの居眠り状態を判定するだけでは不十分であった。また、特許文献1の構成では、あくまでもドライバの居眠り状態を判定するだけのものに過ぎず、居眠りそのものを防止するためのものではないため、居眠りそのものを防止することが困難であった。However, in order to prevent traffic accidents caused by the driver falling asleep while driving, it is not enough to simply determine whether the driver is asleep. Furthermore, the configuration of
本発明は、運転中のドライバの生体情報を取得して、ドライバが運転中に居眠りしそうなレベルを判定し、居眠りを防止するための複数の防止策のうち、このレベルに応じた防止策を選択して実行することが可能なドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラムを提供することを目的とする。 The present invention aims to provide a driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method, and program that can acquire biometric information of a driver while driving, determine the level at which the driver is likely to fall asleep while driving, and select and execute a preventive measure corresponding to this level from among a number of preventive measures for preventing drowsiness.
本発明では、以下のような解決手段を提供する。The present invention provides the following solutions:
本発明は、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するドライバ居眠り防止システムであって、
前記ドライバの生体情報を取得する取得手段と、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定する判定手段と、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択する選択手段と、
選択した前記一の防止策を実行する実行手段と、
を備えることを特徴とするドライバ居眠り防止システムを提供する。
The present invention provides a driver drowsiness prevention system that selects and executes a preventive measure to prevent a driver from falling asleep while driving, comprising:
An acquisition means for acquiring biometric information of the driver;
A determination means for determining a level at which the driver is likely to fall asleep while driving by analyzing the acquired biological information;
a selection means for identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, determining whether the selected preventive measure has already been selected within a predetermined interval, and if so, selecting again one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure, and randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level if all of the plurality of preventive measures corresponding to the level have been selected , and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
an execution means for executing the selected one of the prevention measures;
The present invention provides a driver drowsiness prevention system comprising:
本発明によれば、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するドライバ居眠り防止システムは、前記ドライバの生体情報を取得し、取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定し、居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択し、選択した前記一の防止策を実行する。 According to the present invention, a driver doze prevention system that selects and executes preventive measures to prevent a driver from dozing off while driving acquires biometric information of the driver, analyzes the acquired biometric information, determines a level at which the driver is likely to doze off while driving, identifies a plurality of preventive measures for preventing dozing off according to the determined level from among a plurality of preventive measures for preventing dozing off , randomly selects one preventive measure from among the plurality of preventive measures according to the level, determines whether the selected preventive measure has already been selected within a predetermined interval, and if so, selects again one preventive measure from among the plurality of preventive measures according to the level excluding the selected one preventive measure, and if all of the plurality of preventive measures according to the level have been selected , randomly selects one preventive measure from among the plurality of preventive measures according to the level, rotates the preventive measures for preventing dozing off at a predetermined interval, and executes the selected one preventive measure.
本発明は、システムのカテゴリであるが、方法及びプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。 Although this invention is in the system category, it also exerts similar functions and effects in other categories such as methods and programs according to the category.
また、本発明は、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するコンピュータであって、
前記ドライバの生体情報を取得する取得手段と、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定する判定手段と、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択する選択手段と、
選択した前記一の防止策を実行させる実行手段と、
を備えることを特徴とするコンピュータを提供する。
The present invention also provides a computer for selecting and executing a preventive measure for preventing a driver from falling asleep while driving, comprising:
An acquisition means for acquiring biometric information of the driver;
A determination means for determining a level at which the driver is likely to fall asleep while driving by analyzing the acquired biological information;
a selection means for identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, determining whether the selected preventive measure has already been selected within a predetermined interval, and if so, selecting again one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure, and if all of the plurality of preventive measures corresponding to the level have been selected , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
an execution means for executing the selected one of the prevention measures;
The present invention provides a computer comprising:
また、本発明は、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行する端末であって、
前記ドライバの生体情報を解析して、居眠りを防止するための複数の防止策の内、ドライバが運転中に居眠りしそうなレベルを判定した判定結果に応じて特定されたレベルに応じた複数の防止策の内、ランダムに選択された一の防止策を実行し、選択された前記一の防止策が、所定の間隔内で、既に選択されていたと判断されていた場合、選択された前記一の防止策を除外した前記レベルに応じた複数の防止策の中から再度選択された一の防止策を実行し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から選択された一の防止策を実行し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて実行する実行手段と、
を備えることを特徴とする端末を提供する。
The present invention also provides a terminal for selecting and executing a preventive measure for preventing a driver from falling asleep while driving, comprising:
an execution means for analyzing the driver's biological information, and executing one of a plurality of preventive measures for preventing dozing off at the wheel, which is determined based on a result of determining a level at which the driver is likely to doze off while driving , randomly selecting one of the preventive measures from among the plurality of preventive measures for preventing dozing off at the wheel, and if it is determined that the one selected preventive measure has already been selected within a predetermined interval, executing one preventive measure again from the plurality of preventive measures for the level excluding the one selected preventive measure, and if all of the plurality of preventive measures for the level have been selected , randomly selecting one of the preventive measures from among the plurality of preventive measures for the level, and rotating and executing the preventive measures for preventing dozing off at a predetermined interval;
The present invention provides a terminal comprising:
本発明によれば、運転中のドライバの生体情報を取得して、ドライバが運転中に居眠りしそうなレベルを判定し、居眠りを防止するための複数の防止策のうち、このレベルに応じた防止策を選択して実行することが可能なドライバ居眠り防止システム、コンピュータ、端末、ドライバ居眠り防止方法及びプログラムを提供することが可能となる。 According to the present invention, it is possible to provide a driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method, and program that can acquire biometric information of a driver while driving, determine the level at which the driver is likely to fall asleep while driving, and select and execute a prevention measure corresponding to this level from among a number of prevention measures for preventing drowsiness.
以下、本発明を実施するための最良の形態について図を参照しながら説明する。なお、これはあくまでも例であって、本発明の技術的範囲はこれに限られるものではない。The best mode for carrying out the present invention will be described below with reference to the drawings. Note that this is merely an example, and the technical scope of the present invention is not limited to this example.
[ドライバ居眠り防止システム1の概要]
本発明の好適な実施形態の概要について、図1に基づいて説明する。図1は、本発明の好適な実施形態であるドライバ居眠り防止システム1の概要を説明するための図である。ドライバ居眠り防止システム1は、コンピュータ10から構成され、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するコンピュータシステムである。
[Outline of Driver Drowsiness Prevention System 1]
An overview of a preferred embodiment of the present invention will be described with reference to Fig. 1. Fig. 1 is a diagram for explaining an overview of a driver
なお、ドライバ居眠り防止システム1は、ドライバが所持又は装着するドライバ端末(例えば、スマートフォンやタブレット端末等の携帯端末や、スマートグラス等のヘッドマウントディスプレイといったウェアラブル端末)、各種情報を検知するセンサ類、ドライバが運転する車両、ドライバの顔や身体の動画や静止画等の画像を撮影する撮影装置、ドライバの生体情報(例えば、心拍、体温、脈拍)を測定する測定装置、車両のフロントガラス等にメッセージや画像を出力させる出力装置、ドライバに対して何らかの刺激(例えば、振動、臭気、音声)を与える刺激発生装置、その他の端末や装置類等が含まれていてもよい。この場合、ドライバ居眠り防止システム1は、後述する各処理を、コンピュータ10と含まれる端末や装置類等との何れか又は複数の組み合わせにより実行することになる。The driver
また、ドライバ居眠り防止システム1は、例えば、コンピュータ10等の1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。
In addition, the driver
コンピュータ10は、ドライバ端末、センサ類、車両、撮影装置、測定装置、出力装置、刺激発生装置、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。The
コンピュータ10は、運転中のドライバの生体情報を取得する。生体情報は、例えば、心拍、体温、脈拍である。The
例えば、車両に設けられた(ステアリングホイールやシート)センサやドライバが装着するドライバ端末は、運転中のドライバの生体情報を測定する。センサやドライバ端末は、測定した生体情報を、コンピュータ10に送信する。コンピュータ10は、この生体情報を受信することにより、運転中のドライバの生体情報を取得することになる。For example, sensors installed in the vehicle (on the steering wheel or seat) or a driver terminal worn by the driver measure the driver's biometric information while driving. The sensors and driver terminal transmit the measured biometric information to
また、例えば、車両の内部に設けられた撮影装置は、運転中のドライバの顔や身体の画像を撮影する。撮影装置は、この画像を、コンピュータ10に送信する。コンピュータ10は、この画像を受信し、画像解析する。コンピュータ10は、画像解析の結果に基づいて、運転中のドライバの生体情報を推定する。コンピュータ10は、推定した生体情報を、このドライバの生体情報として取得することになる。
In addition, for example, a camera installed inside the vehicle captures images of the driver's face and body while driving. The camera transmits these images to
コンピュータ10は、取得した生体情報を解析して、ドライバが運転中に居眠りしそうなレベルを判定する。居眠りしそうなレベルは、ドライバの眠気の度合いを数値化したものであり、数値が高い程、眠気の度合いが高いものとなる。The
例えば、コンピュータ10は、生体情報における心拍、体温、脈拍の数値を解析する。コンピュータ10は、この生体情報における数値に基づいて、このレベルを判定する。コンピュータ10は、予め、生体情報の内容及び数値と、レベルとを対応付けて記録したレベル判定用データベースを参照することにより、今回の解析結果に該当するレベルを判定する。For example,
コンピュータ10は、居眠りを防止するための複数の防止策のうち、判定したレベルに応じて、防止策を選択する。防止策は、例えば、ドライバの五感に対して、何らかの刺激を与えるものや車両そのものを制御するものである。The
例えば、コンピュータ10は、予め、レベルと防止策とを対応付けて記録した防止策データベースを参照することにより、今回判定したレベルに応じた防止策を選択する。For example, the
なお、コンピュータ10は、選択する防止策を所定の間隔でローテーションさせて選択する構成も可能である。
In addition, the
例えば、コンピュータ10は、次回以降に防止策を選択する際、今回と次回との間の期間が所定の間隔である場合、今回選択した防止策とは異なる防止策を選択することになる。For example, when the
コンピュータ10は、選択した防止策を実行させる。
The
例えば、コンピュータ10は、選択した防止策に対応する端末や装置類に対して、この防止策を実行させるためのコマンドを送信する。端末や装置類は、このコマンドを受信し、コマンドに従ってコンピュータ10が選択した防止策を実行する。その結果、コンピュータ10は、選択した防止策を実行させることになり、ドライバ居眠り防止システム1は、選択した防止策を実行することになる。For example,
なお、コンピュータ10は、実行した防止策のうち、どの防止策で居眠りせず、どの防止策で居眠りしたかを学習する構成も可能である。
In addition, the
例えば、コンピュータ10は、防止策を実行させた結果、ドライバの居眠りを防止できたか否かに基づいて、この結果と居眠りを防止できたか否かとを対応付けて学習する。コンピュータ10は、次回以降の防止策の選択に際して、判定したレベルと、この学習の結果とに応じて、防止策を選択する。For example, based on whether or not the driver was prevented from falling asleep as a result of the prevention measures being executed,
次に、ドライバ居眠り防止システム1が実行する処理の概要について説明する。
Next, we will provide an overview of the processing performed by the driver
コンピュータ10は、運転中のドライバの生体情報を取得する(ステップS01)。生体情報は、上述した通りである。The
車両に設けられたセンサやドライバが装着するドライバ端末は、運転中のドライバの生体情報を測定する。センサやドライバ端末は、測定した生体情報を、コンピュータ10に送信する。コンピュータ10は、この生体情報を受信することにより、運転中のドライバの生体情報を取得することになる。Sensors installed in the vehicle and a driver terminal worn by the driver measure the driver's biometric information while driving. The sensors and driver terminal transmit the measured biometric information to
車両の内部に設けられた撮影装置は、運転中のドライバの顔や身体の画像を撮影する。撮影装置は、この画像を、コンピュータ10に送信する。コンピュータ10は、この画像を受信し、画像解析する。コンピュータ10は、画像解析として、特徴点(例えば、形状、輪郭、色相)や特徴量(例えば、画素値の平均、分散、ヒストグラム等の統計的な数値)を抽出する。コンピュータ10は、この抽出した特徴点や特徴量に基づいて、運転中のドライバの生体情報を推定する。コンピュータ10は、推定した生体情報を、このドライバの生体情報として取得することになる。
An imaging device installed inside the vehicle captures images of the driver's face and body while driving. The imaging device transmits these images to
コンピュータ10は、取得した生体情報を解析する(ステップS02)。コンピュータ10は、例えば、生体情報における心拍、体温、脈拍の数値を解析する。The
コンピュータ10は、生体情報の解析結果に基づいて、運転中のドライバが運転中に居眠りしそうなレベルを判定する(ステップS03)。このレベルは、上述した通りである。Based on the analysis results of the biometric information, the
コンピュータ10は、上述したレベル判定用データベースを参照し、このレベルを判定する。コンピュータ10は、今回取得した生体情報における数値に該当するレベルを判定する。The
コンピュータ10は、居眠りを防止するための複数の防止策のうち、判定したレベルに応じて、防止策を選択する(ステップS04)。防止策は、上述した通りである。The
コンピュータ10は、上述した防止策データベースを参照し、この防止策を選択する。コンピュータ10は、今回判定したレベルに応じた防止策を選択する。The
コンピュータ10は、選択した防止策を実行させる(ステップS05)。
The
コンピュータ10は、選択した防止策に対応する端末や装置類に対して、この防止策を実行させるためのコマンドを作成する。コンピュータ10は、この作成したコマンドを、端末や装置類に送信する。端末や装置類は、このコマンドを受信する。端末や装置類は、このコマンドに従った防止策を実行する。その結果、コンピュータ10は、選択した防止策を実行させることになり、ドライバ居眠り防止システム1は、選択した防止策を実行することになる。
The
以上が、ドライバ居眠り防止システム1が実行する処理の概要である。
The above is an overview of the processing performed by the driver
[ドライバ居眠り防止システム1のシステム構成]
図2に基づいて、本発明の好適な実施形態であるドライバ居眠り防止システム1のシステム構成について説明する。図2は、本発明の好適な実施形態であるドライバ居眠り防止システム1のシステム構成を示す図である。図2において、ドライバ居眠り防止システム1は、コンピュータ10から構成され、運転中のドライバが居眠りしないように、居眠りを防止するための防止策を選択して実行するコンピュータシステムである。
[System Configuration of Driver Drowsiness Prevention System 1]
The system configuration of the driver
コンピュータ10は、ドライバ端末、センサ類、車両、撮影装置、測定装置、出力装置、刺激発生装置、その他の端末や装置類等と、公衆回線網等を介して、データ通信可能に接続されており、必要なデータや情報の送受信を実行する。The
なお、ドライバ居眠り防止システム1は、図示していないドライバ端末、センサ類、車両、撮影装置、測定装置、出力装置、刺激発生装置、その他の端末や装置類等が含まれていてもよい。この場合、ドライバ居眠り防止システム1は、後述する各処理を、コンピュータ10と含まれる端末や装置類等との何れか又は複数の組み合わせにより実行することになる。The driver
また、ドライバ居眠り防止システム1は、例えば、コンピュータ10等の1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。
In addition, the driver
また、ドライバ居眠り防止システム1は、例えば、コンピュータ10等の1台のコンピュータで実現されてもよいし、クラウドコンピュータのように、複数のコンピュータで実現されてもよい。
In addition, the driver
コンピュータ10は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備え、通信部として、他の端末や装置等と通信可能にするためのデバイス、例えば、IEEE802.11に準拠したWi―Fi(Wireless―Fidelity)対応デバイス等を備える。また、コンピュータ10は、記録部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ10は、処理部として、各種処理を実行する各種デバイス等を備える。The
コンピュータ10において、制御部が所定のプログラムを読み込むことにより、通信部と協働して、生体情報取得モジュール20、防止策実行モジュール21を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、記録部と協働して、記録モジュール30を実現する。また、コンピュータ10において、制御部が所定のプログラムを読み込むことにより、処理部と協働して、解析モジュール40、判定モジュール41、選択モジュール42、コマンド作成モジュール43、防止判断モジュール44、学習モジュール45を実現する。In the
[居眠り防止策実行処理]
図3及び図4に基づいて、ドライバ居眠り防止システム1が実行する居眠り防止策実行処理について説明する。図3及び図4は、コンピュータ10が実行する居眠り防止策実行処理のフローチャートを示す図である。上述した各モジュールが実行する処理について、本処理に併せて説明する。
[Processing for Implementing Measures to Prevent Drowsiness]
The process of executing measures to prevent dozing at the wheel, which is executed by the driver dozing
はじめに、生体情報取得モジュール20は、運転中のドライバの生体情報を取得する(ステップS10)。ステップS10において、生体情報は、上述した通り、このドライバの心拍、体温、脈拍等である。生体情報取得モジュール20は、端末や装置類が測定した生体情報を取得する又は撮影装置が撮影した画像に基づいて推定した結果を生体情報として取得する。以下の説明において、生体情報取得モジュール20は、生体情報として心拍を取得するものとして説明する。本発明は、心拍以外のものであっても適用可能なことは言うまでもない。First, the biometric information acquisition module 20 acquires biometric information of the driver while driving (step S10). In step S10, the biometric information is the driver's heart rate, body temperature, pulse rate, etc., as described above. The biometric information acquisition module 20 acquires biometric information measured by a terminal or device, or acquires as biometric information the results of estimation based on an image captured by an imaging device. In the following explanation, the biometric information acquisition module 20 will be described as acquiring heart rate as biometric information. It goes without saying that the present invention can be applied to things other than heart rate.
生体情報取得モジュール20が、端末や装置類が測定した生体情報を取得する場合について説明する。 This section describes the case where the biometric information acquisition module 20 acquires biometric information measured by a terminal or device.
ステアリングホイールやシートに設けられたセンサやドライバが装着するドライバ端末や測定装置は、運転中のドライバの心拍を測定する。これらの端末や装置類は、測定した心拍を、生体情報としてコンピュータ10に送信する。生体情報取得モジュール20は、この心拍を受信することにより、生体情報を取得することになる。Sensors installed on the steering wheel or seat, or a driver terminal or measuring device worn by the driver, measure the driver's heart rate while driving. These terminals and devices transmit the measured heart rate to
生体情報取得モジュール20が撮影装置が撮影した画像に基づいて生体情報を取得する場合について説明する。 We will explain the case where the biometric information acquisition module 20 acquires biometric information based on an image captured by the imaging device.
撮影装置は、運転中のドライバの顔や身体を撮影する。撮影装置は、この撮影した画像を、画像情報としてコンピュータ10に送信する。生体情報取得モジュール20は、画像情報を受信する。生体情報取得モジュール20は、この画像情報に基づいて、運転中のドライバの画像を画像解析し、この画像の特徴点や特徴量を抽出する。生体情報取得モジュール20は、この抽出した特徴点や特徴量に基づいて、脈波情報を特定する。生体情報取得モジュール20は、この特定した脈波情報に基づいて、このドライバの心拍を推定する。生体情報取得モジュール20は、この推定した心拍を、生体情報として取得することになる。The imaging device captures an image of the driver's face and body while driving. The imaging device transmits the captured image to the
なお、生体情報取得モジュール20は、上述した例以外の方法により、生体情報を取得してもよい。 In addition, the biometric information acquisition module 20 may acquire biometric information by methods other than the examples described above.
解析モジュール40は、取得した生体情報を解析する(ステップS11)。ステップS11において、解析モジュール40は、取得した心拍の数値である心拍数を解析する。解析モジュール40は、単位時間当たりの心拍数を解析する。The analysis module 40 analyzes the acquired biometric information (step S11). In step S11, the analysis module 40 analyzes the heart rate, which is the acquired heart rate value. The analysis module 40 analyzes the heart rate per unit time.
なお、解析モジュール40は、上述した例以外の方法により、生体情報を解析してもよい。 In addition, the analysis module 40 may analyze biometric information using methods other than the examples described above.
判定モジュール41は、取得した生体情報の解析結果に基づいて、運転中のドライバが運転中に居眠りしそうなレベルを判定する(ステップS12)。ステップS12において、運転中に居眠りしそうなレベルは、ドライバの眠気の度合いを数値化したものであり、数値が高い程、眠気の度合いが高く、数値が低い程、眠気の度合いが低いものである。Based on the analysis results of the acquired biometric information, the judgment module 41 judges the level at which the driver is likely to fall asleep while driving (step S12). In step S12, the level at which the driver is likely to fall asleep while driving is a numerical representation of the driver's degree of drowsiness, with a higher numerical value indicating a higher degree of drowsiness and a lower numerical value indicating a lower degree of drowsiness.
判定モジュール41は、予め記録モジュール30が記録したレベル判定用データベースを参照し、このレベルを判定する。レベル判定用データベースは、生体情報の内容及び数値と、このレベルとを対応付けて登録したものである。判定モジュール41は、今回判定した生体情報である心拍数と、レベル判定用データベースに登録された心拍数とを比較し、一致又は近似するものを特定する。このとき、判定モジュール41は、複数のレベルで近似するものがある場合、より高いレベルのものを近似するものに該当するとして特定する。判定モジュール41は、この特定したレベルを、今回の運転中のドライバの運転中に居眠りしそうなレベルとして判定する。The judgment module 41 judges this level by referring to a level judgment database previously recorded by the recording module 30. The level judgment database registers the contents and values of biometric information in association with this level. The judgment module 41 compares the heart rate, which is the biometric information judged this time, with the heart rates registered in the level judgment database, and identifies those that match or are close. In this case, if there are multiple levels of closeness, the judgment module 41 identifies the higher level as the closeness. The judgment module 41 judges this identified level as the level at which the driver is likely to fall asleep while driving.
なお、判定モジュール41は、解析した生体情報の数値が、レベル判定用データベースに登録された数値のいずれにも一致又は近似しないものであった場合、レベル0と判定する。判定モジュール41がレベル0と判定した場合、コンピュータ10は、ドライバに眠気は無いと判定することになり、本処理を終了することになる。If the value of the analyzed biometric information does not match or approximate any of the values registered in the level determination database, the determination module 41 determines that the level is 0. If the determination module 41 determines that the level is 0, the
選択モジュール42は、居眠りを防止するための複数の防止策のうち、今回判定したレベルに応じて、防止策を選択する(ステップS13)。ステップS13において、選択モジュール42は、予め記録モジュール30が記録した防止策データベースを参照し、この防止策を選択する。防止策データベースは、ドライバが居眠りしそうなレベルと、ドライバの居眠りを防止するための防止策とを対応付けて登録したものである。この防止策は、ドライバの五感に対して、何らかの刺激を与えるものや車両そのものを制御するものである。防止策は、心拍に近い音をドライバに対して発生させる、ドライバに何らかの刺激を与える(例えば、座席振動、臭気発生、爆発音、不快音)、フロントガラス等にメッセージ(例えば、家族からの応援、居眠りにより発生するリスクや交通事故の警告、居眠りしそうになっていることの通知)を投影する、フロントガラス等に画像(例えば、家族、過去に居眠りしそうだった時の自身の状態、交通事故の被害者や車両)を投影する、車両の徐行や停止である。The selection module 42 selects a preventive measure from among a plurality of preventive measures for preventing drowsiness, according to the level determined this time (step S13). In step S13, the selection module 42 refers to the preventive measures database recorded in advance by the recording module 30 and selects this preventive measure. The preventive measures database is a database in which the level at which the driver is likely to fall asleep is associated with preventive measures for preventing the driver from falling asleep and registered. These preventive measures are measures that stimulate the driver's five senses or control the vehicle itself. The preventive measures include generating a sound similar to a heartbeat for the driver, providing some kind of stimulus to the driver (e.g., seat vibration, odor generation, explosion sound, unpleasant sound), projecting a message (e.g., support from family, warning of risks caused by falling asleep or traffic accidents, notification that the driver is about to fall asleep) on the windshield, projecting an image (e.g., family, the driver's state when he was about to fall asleep in the past, victims of traffic accidents and vehicles) on the windshield, and slowing or stopping the vehicle.
なお、防止策は、上述した例に限らず、適宜変更可能である。 Note that the prevention measures are not limited to the examples mentioned above and can be modified as appropriate.
[防止策データベース]
図5に基づいて、記録モジュール30が記録する防止策データベースについて説明する。図5は、防止策データベースの一例を示す図である。図5において、防止策データベースは、レベルと防止策とが対応付けられて登録されている。防止策データベースには、各レベルに対して、複数の防止策が対応付けられて登録されている。レベル1には、第1の防止策として、「心音に近い音を発する」が、第2の防止策として、「座席が振動する」が登録されている。また、レベル2には、第1の防止策として、「フロントガラスにメッセージ投影」が、第2の防止策として、「スマホからアラートする」が登録されている。レベル3には、第1の防止策として、「フロントガラスに画像投影」が、第2の防止策として、「不快音を発生する」が登録されている。レベル4には、第1の防止策として、「爆発音を発生する」が、第2の防止策として、「臭気を発生する」が登録されている。レベル5には、第1の防止策として、「車両を停止する」が登録されている。防止策データベースは、レベルが高くなるほど、よりドライバの眠気を覚ます防止策が対応付けられて登録されている。すなわち、防止策データベースは、ドライバの眠気の度合いに応じた防止策が登録されたものである。
[Preventive Measures Database]
Based on FIG. 5, the prevention measures database recorded by the recording module 30 will be described. FIG. 5 is a diagram showing an example of the prevention measures database. In FIG. 5, the prevention measures database is registered with a level and a prevention measure associated with each other. In the prevention measures database, a plurality of prevention measures are registered with each level associated with each other. In
また、各防止策には、図示していないが、この防止策を実行する端末や装置類が其々紐付けられている。「心音に近い音を発する」は、ドライバ端末やドライバが運転する車両のスピーカが紐付けられている。「座席が振動する」は、ドライバが運転する車両のシートに設けられた刺激発生装置が紐付けられている。「フロントガラスにメッセージ投影」は、ドライバが運転する車両のフロントガラスやこのフロントガラスにメッセージを出力する出力装置が紐付けられている。「スマホからアラートする」は、ドライバ端末が紐付けられている。「フロントガラスに画像投影」は、ドライバが運転する車両のフロントガラスやこのフロントガラスに画像を出力する出力装置が紐付けられている。「不快音を発生する」は、ドライバ端末やドライバが運転する車両のスピーカが紐付けられている。「爆発音を発生する」は、ドライバ端末やドライバが運転する車両のスピーカが紐付けられている。「臭気を発生する」は、ドライバが運転する車両に設けられた刺激発生装置が紐付けられている。「車両を停止する」は、ドライバが運転する車両が紐付けられている。 Although not shown, each prevention measure is linked to a terminal or device that executes the prevention measure. "Emitting a sound similar to a heartbeat" is linked to the driver's terminal or a speaker in the vehicle driven by the driver. "Vibrating the seat" is linked to a stimulus generating device provided in the seat of the vehicle driven by the driver. "Projecting a message on the windshield" is linked to the windshield of the vehicle driven by the driver and an output device that outputs a message to the windshield. "Giving an alert from a smartphone" is linked to the driver's terminal. "Projecting an image on the windshield" is linked to the windshield of the vehicle driven by the driver and an output device that outputs an image to the windshield. "Generating an unpleasant sound" is linked to the driver's terminal or a speaker in the vehicle driven by the driver. "Generating an explosion sound" is linked to the driver's terminal or a speaker in the vehicle driven by the driver. "Generating an odor" is linked to a stimulus generating device provided in the vehicle driven by the driver. "Stop vehicle" is linked to the vehicle that the driver is driving.
なお、防止策データベースに登録されるレベルや防止策の内容は、上述した例に限らず、適宜変更可能である。また、レベルや防止策の数も、上述した例に限らず、適宜変更可能である。 Note that the levels and the contents of the prevention measures registered in the prevention measures database are not limited to the above-mentioned examples and can be changed as appropriate. Also, the number of levels and prevention measures is not limited to the above-mentioned examples and can be changed as appropriate.
選択モジュール42は、今回判定したレベルと、防止策データベースに登録されたレベルとを比較し、一致するものを特定する。選択モジュール42は、特定したレベルに対応付けられた複数の防止策を特定する。選択モジュール42は、所定の条件(例えば、ランダム、予め設定された順番)に基づいて、この複数の防止策の中から一の防止策を選択する。The selection module 42 compares the currently determined level with the levels registered in the prevention measures database and identifies a match. The selection module 42 identifies multiple prevention measures associated with the identified level. The selection module 42 selects one prevention measure from among the multiple prevention measures based on a predetermined condition (e.g., random, a preset order).
選択モジュール42が一の防止策を選択する例について、具体的に説明する。 A specific example in which the selection module 42 selects one prevention measure is described below.
選択モジュール42は、今回判定したレベルが2である場合、防止策データベースを参照し、今回判定したレベルであるレベル2に対応付けられた防止策を特定する。この結果、選択モジュール42は、防止策として、「フロントガラスにメッセージ投影」及び「スマホからアラートする」を特定する。選択モジュール42は、これら2つの防止策の中からランダムに、何れか一つの防止策を選択する。If the currently determined level is 2, the selection module 42 refers to the prevention measures database and identifies the prevention measures associated with the currently determined level,
選択モジュール42は、今回選択した防止策が、所定の間隔内に選択していたか否かを判断する(ステップS14)。ステップS14において、選択モジュール42は、例えば、今回選択した防止策を、一時間以内、数時間以内、1日以内、数日以内等の所定の間隔内に、既に選択していたか否かを判断する。選択モジュール42は、今回選択した防止策が、所定の間隔内に選択されていたと判断した場合(ステップS14 YES)、選択モジュール42は、居眠りを防止するための複数の防止策のうち、今回判定したレベルに応じた防止策のうち、上述したステップS13の処理により選択した防止策を除外したものの中から防止策を再度選択する(ステップS15)。ステップS15の処理は、上述したステップS13の処理と略同様であるが、上述したステップS13の処理により選択した防止策以外の防止策の中から、レベルに応じた防止策を選択する点が相違する。すなわち、ステップS15の処理は、選択モジュール42が選択しなかった防止策の中から、一の防止策を選択するものである。The selection module 42 judges whether the currently selected preventive measure has been selected within a predetermined interval (step S14). In step S14, the selection module 42 judges whether the currently selected preventive measure has already been selected within a predetermined interval, such as within one hour, within several hours, within one day, within several days, etc. If the selection module 42 judges that the currently selected preventive measure has been selected within a predetermined interval (step S14 YES), the selection module 42 reselects a preventive measure from among the multiple preventive measures for preventing dozing off, among the preventive measures corresponding to the level determined this time, excluding the preventive measure selected by the above-mentioned step S13 processing (step S15). The processing of step S15 is substantially similar to the processing of step S13 described above, but differs in that a preventive measure corresponding to the level is selected from among the preventive measures other than the preventive measure selected by the above-mentioned step S13 processing. That is, the processing of step S15 selects one preventive measure from among the preventive measures not selected by the selection module 42.
コンピュータ10は、ステップS15の処理を実行後、再度、上述したステップS14の処理を実行する。ここで、選択モジュール42は、今回選択した防止策が、所定の間隔内に選択していないと判断した場合、後述するステップS16の処理を実行する。After executing the process of step S15, the
一方、選択モジュール42は、今回再度選択した防止策が、所定の間隔内に選択していたと判断した場合、上述したステップS15の処理を再度実行する。コンピュータ10は、これらの処理を繰り返した結果、判定したレベルに応じた全ての防止策を、所定の間隔内に選択していたと判断した場合、所定の条件(例えば、ランダム、予め設定された順番)に基づいて、この複数の防止策の中から一の防止策を選択し、選択した一の防止策に従って、後述するステップS16の処理を実行する。すなわち、コンピュータ10は、判定したレベルに応じた全ての防止策が所定期間内に選択されていた場合、過去に選択したか否かに関わらず、上述した所定の条件に従って、一の防止策を選択することになる。On the other hand, if the selection module 42 determines that the preventive measures selected this time were selected within a predetermined interval, it executes the process of step S15 described above again. If the
この結果、コンピュータ10は、選択する防止策を所定の間隔でローテーションさせて選択することになる。As a result, the
一方、ステップS14において、今回選択した防止策が、所定の間隔内に選択していないと判断した場合(ステップS14 NO)、コマンド作成モジュール43は、選択した防止策を端末や装置類や車両に実行させるためのコマンドを作成する(ステップS16)。ステップS16において、コマンド作成モジュール43は、選択した防止策に紐付けられた端末や装置類や車両が、この防止策を実行するために必要なコマンドを作成する。On the other hand, if it is determined in step S14 that the currently selected preventive measure has not been selected within a predetermined interval (step S14 NO), the command creation module 43 creates a command for causing the terminal, device, or vehicle to execute the selected preventive measure (step S16). In step S16, the command creation module 43 creates a command required for the terminal, device, or vehicle linked to the selected preventive measure to execute this preventive measure.
上述した例に基づいて、コマンド作成モジュール43が実行する処理について説明する。 Based on the example above, the processing performed by the command creation module 43 will be explained.
コマンド作成モジュール43は、防止策として、「心音に近い音を発する」が選択された場合、ドライバ端末や車両が予め記録していた心音に近い音を出力するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「座席が振動する」が選択された場合、刺激発生装置が振動を発生するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「フロントガラスにメッセージ投影」が選択された場合、出力装置や車両が予め記録していたメッセージをフロントガラスに投影するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「スマホからアラートする」が選択された場合、ドライバ端末が予め記録されたアラートを出力するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「フロントガラスに画像投影」が選択された場合、出力装置や車両が予め記録していた画像をフロントガラスに投影するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「不快音を発生する」が選択された場合、ドライバ端末や車両が予め記録された不快音を出力するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「爆発音を発生する」が選択された場合、ドライバ端末や車両が予め記録された爆発音を出力するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「臭気を発生する」が選択された場合、刺激発生装置が臭気を発生するために必要なコマンドを作成する。コマンド作成モジュール43は、防止策として、「車両を停止する」が選択された場合、車両が停止するために必要なコマンドを作成する。 When "emit a sound similar to a heart sound" is selected as a preventive measure, the command creation module 43 creates a command required for the driver terminal or the vehicle to output a sound similar to a heart sound that has been recorded in advance. When "vibrate the seat" is selected as a preventive measure, the command creation module 43 creates a command required for the stimulus generating device to generate vibrations. When "project a message on the windshield" is selected as a preventive measure, the command creation module 43 creates a command required for the output device or the vehicle to project a message that has been recorded in advance on the windshield. When "alert from smartphone" is selected as a preventive measure, the command creation module 43 creates a command required for the driver terminal to output a pre-recorded alert. When "project an image on the windshield" is selected as a preventive measure, the command creation module 43 creates a command required for the output device or the vehicle to project an image that has been recorded in advance on the windshield. When "generate an unpleasant sound" is selected as a preventive measure, the command creation module 43 creates a command required for the driver terminal or the vehicle to output a pre-recorded unpleasant sound. When "generate an explosion sound" is selected as a preventive measure, the command creation module 43 creates a command required for the driver terminal or the vehicle to output a pre-recorded explosion sound. The command creation module 43 creates a command required for the stimulus generator to generate an odor if "generate an odor" is selected as a preventive measure. The command creation module 43 creates a command required for the vehicle to stop if "stop the vehicle" is selected as a preventive measure.
防止策実行モジュール21は、作成したコマンドを対応する端末や装置類や車両に送信し、選択した防止策を実行させる(ステップS17)。ステップS17において、端末や装置類や車両は、作成されたコマンドを受信する。これらは、このコマンドに従って、防止策を実行する。この結果、コンピュータ10は、選択した防止策を実行させることになり、ドライバ居眠り防止システム1は、選択した防止策を実行することになる。The prevention measure execution module 21 transmits the created command to the corresponding terminal, device, or vehicle, and executes the selected prevention measure (step S17). In step S17, the terminal, device, or vehicle receives the created command. These execute the prevention measure according to this command. As a result, the
上述した例に基づいて、端末や装置類や車両が実行する防止策について説明する。 Based on the examples above, we will explain the prevention measures implemented by terminals, devices, and vehicles.
ドライバ端末や車両は、「心音に近い音を発する」のコマンドを受信した場合、自身が予め記録していた心音に近い音を、スピーカから出力する。刺激発生装置は、「座席が振動する」のコマンドを受信した場合、座席を振動する。出力装置や車両は、「フロントガラスにメッセージ投影」のコマンドを受信した場合、自身が予め記録していたメッセージを、フロントガラスに投影する。ドライバ端末は、「スマホからアラートする」のコマンドを受信した場合、自身が予め記録していたアラートを出力する。出力装置や車両は、「フロントガラスに画像投影」のコマンドを受信した場合、自身が予め記録していた画像を、フロントガラスに投影する。ドライバ端末や車両は、「不快音を発生する」のコマンドを受信した場合、自身が予め記録していた不快音を、スピーカから出力する。ドライバ端末や車両は、「爆発音を発生する」のコマンドを受信した場合、自身が予め記録していた爆発音を、スピーカから出力する。刺激発生装置は、「臭気を発生する」のコマンドを受信した場合、臭気を発生する。車両は、「車両を停止する」のコマンドを受信した場合、車両を停止する。When the driver terminal or vehicle receives the command "emit a sound similar to a heartbeat," it outputs a sound similar to a heartbeat that it has recorded in advance from the speaker. When the stimulus generating device receives the command "vibrate the seat," it vibrates the seat. When the output device or vehicle receives the command "project a message onto the windshield," it projects a message that it has recorded in advance onto the windshield. When the driver terminal receives the command "issue an alert from a smartphone," it outputs an alert that it has recorded in advance. When the output device or vehicle receives the command "project an image onto the windshield," it projects an image that it has recorded in advance onto the windshield. When the driver terminal or vehicle receives the command "generate an unpleasant sound," it outputs an unpleasant sound that it has recorded in advance from the speaker. When the driver terminal or vehicle receives the command "generate an explosion sound," it outputs an explosion sound that it has recorded in advance from the speaker. When the stimulus generating device receives the command "generate an odor," it generates an odor. When the vehicle receives the command "stop the vehicle," it stops the vehicle.
生体情報取得モジュール20は、防止策を実行後の運転中のドライバの生体情報を再度取得する(ステップS18)。ステップS18の処理は、上述したステップS10の処理と同様である。The biometric information acquisition module 20 again acquires the biometric information of the driver while driving after the preventive measures are implemented (step S18). The process of step S18 is the same as the process of step S10 described above.
解析モジュール40は、再度取得した生体情報を解析する(ステップS19)。ステップS19の処理は、上述したステップS11の処理と同様である。The analysis module 40 analyzes the biometric information acquired again (step S19). The process of step S19 is the same as the process of step S11 described above.
判定モジュール41は、再度取得した生体情報の解析結果に基づいて、運転中のドライバが運転中に居眠りしそうなレベルを判定する(ステップS20)。ステップS20の処理は、上述したステップS12の処理と同様である。Based on the analysis results of the reacquired biometric information, the determination module 41 determines the level to which the driver is likely to fall asleep while driving (step S20). The process of step S20 is the same as the process of step S12 described above.
防止判断モジュール44は、今回実行させた防止策の結果、運転中のドライバの居眠りを防止できたか否かを生体情報の解析結果に基づいて判断する(ステップS21)。ステップS21において、防止判断モジュール44は、生体情報の解析結果に基づいたレベルの数値が、0であるか否かを判断する。これは、レベルが0であれば、ドライバの目が覚めたと判断可能であるからである。The prevention judgment module 44 judges whether the currently executed prevention measure has prevented the driver from falling asleep while driving based on the analysis result of the bioinformation (step S21). In step S21, the prevention judgment module 44 judges whether the level based on the analysis result of the bioinformation is 0. This is because if the level is 0, it can be determined that the driver has woken up.
防止判断モジュール44は、居眠りを防止できたと判断した場合(ステップS21 YES)、すなわち、判定したレベルが0であった場合、ドライバの居眠りを防止できたと判断し、記録モジュール30は、今回実行させた防止策と、居眠りを防止できた(ドライバの目が覚めた)こととを対応付けて覚醒情報として記録する(ステップS22)。コンピュータ10は、本処理を実行後、後述するステップS29の処理を実行する。If the prevention judgment module 44 judges that the driver has been prevented from falling asleep (step S21 YES), i.e., if the judged level is 0, it judges that the driver has been prevented from falling asleep, and the recording module 30 records the currently executed prevention measure and the fact that the driver has been prevented from falling asleep (the driver has woken up) as associated information on awakening (step S22). After executing this process, the
一方、ステップS21において、防止判断モジュール44は、居眠りを防止できなかったと判断した場合(ステップS21 NO)、すなわち、判定したレベルが1以上であった場合、上述したステップS12の処理により判定したレベル以上であるか否かを判断する(ステップS23)。ステップS23において、防止判断モジュール44は、防止策を実行する前後で、居眠りの程度が変化したか否かを判断することになる。防止判断モジュール44は、前回判定したレベルよりも小さいと判断した場合(ステップS23 NO)、ドライバの居眠りを防止できなかったものの一定の効果があったものと判断し、記録モジュール30は、今回実行させた防止策と、一定の効果があったこととを対応付けて部分覚醒情報として記録する(ステップS24)。コンピュータ10は、本処理を実行後、ドライバの居眠りを防止できなかったものと判断し、後述するステップS26の処理を実行する。
On the other hand, in step S21, when the prevention determination module 44 determines that the driver's dozing has not been prevented (step S21 NO), that is, when the determined level is 1 or more, it determines whether or not the level is equal to or higher than the level determined by the process of step S12 described above (step S23). In step S23, the prevention determination module 44 determines whether or not the degree of dozing has changed before and after the prevention measure is executed. If the prevention determination module 44 determines that the level is lower than the level determined last time (step S23 NO), it determines that the driver's dozing has not been prevented but has had a certain effect, and the recording module 30 records the currently executed prevention measure and the fact that it has had a certain effect as partial awakening information in association with each other (step S24). After executing this process, the
一方、ステップS23において、防止判断モジュール44は、前回判定したレベル以上であると判断した場合(ステップS23 YES)、ドライバの居眠りを防止できなかったものと判断し、記録モジュール30は、今回実行させた防止策と、効果が無かったこととを対応付けて非覚醒情報として記録する(ステップS25)。 On the other hand, in step S23, if the prevention judgment module 44 judges that the level is equal to or higher than the level judged previously (step S23 YES), it judges that the driver's drowsiness has not been prevented, and the recording module 30 records the currently executed preventive measure and the fact that it was ineffective as non-awakening information (step S25).
選択モジュール42は、上述したステップS12の処理により判定したレベルよりも高いレベルに対応する防止策を選択する(ステップS26)。ステップS26において、選択モジュール42は、前回判定したレベルよりも高いレベルに対応した防止策を選択する。選択モジュール42は、前回よりも高いレベルとして、一段階又はそれ以上に高いレベルに対応する防止策を選択する。The selection module 42 selects a prevention measure corresponding to a level higher than the level determined by the processing of step S12 described above (step S26). In step S26, the selection module 42 selects a prevention measure corresponding to a level higher than the level determined previously. The selection module 42 selects a prevention measure corresponding to a level that is one or more steps higher than the previous level.
判定したレベルに対応する防止策を選択する際、コンピュータ10は、上述したステップS14及びS15の処理を実行し、今回判定したレベルに応じた防止策を選択することになる。When selecting a prevention measure corresponding to the determined level, the
なお、選択モジュール42は、上述したステップS12の処理により判定したレベルよりも所定の範囲以上の高さのレベルであった場合、防止策データベースにおける最も高いレベル又はこのレベルの次に高いレベルに対応する防止策を選択することも可能である。所定の範囲以上の高さのレベルは、具体的には、選択モジュール42は、前回判定したレベルが1であり、今回判定したレベルが3であった場合、上述した図5における防止策データベースに登録されたレベルのうち、最も高いレベル5又は次に高いレベル4に対応する防止策を選択することになる。In addition, when the level is higher than the level determined by the processing of step S12 described above by a predetermined range or more, the selection module 42 can select a prevention measure corresponding to the highest level in the prevention measure database or the next highest level. Specifically, when the level determined previously is 1 and the level determined this time is 3, the selection module 42 selects a prevention measure corresponding to the
コマンド作成モジュール43は、選択した防止策を、端末や装置類や車両に実行させるためのコマンドを作成する(ステップS27)。ステップS27の処理は、上述したステップS16の処理と同様である。The command creation module 43 creates a command for causing the terminal, device, or vehicle to execute the selected prevention measure (step S27). The process of step S27 is the same as the process of step S16 described above.
防止策実行モジュール21は、作成したコマンドを対応する端末や装置類や車両に送信し、選択した防止策を実行させる(ステップS28)。ステップS28の処理は、上述したステップS17の処理と同様である。The prevention measure execution module 21 transmits the created command to the corresponding terminal, device, or vehicle to execute the selected prevention measure (step S28). The process of step S28 is the same as the process of step S17 described above.
コンピュータ10は、選択した防止策を実行させたのち、再度、上述したステップS18以降の処理を実行し、運転中のドライバが居眠りをやめるまでこれを実行することになる。After executing the selected prevention measure, the
なお、コンピュータ10は、所定の回数又は全ての防止策を実行させた場合であっても、運転中のドライバが居眠りをやめなかった場合、防止策データベースに登録された複数の防止策を組み合わせたものや全ての防止策を一度に実行させる構成であってもよい。In addition, even if the
本実施例において、説明を簡略化するために、上述したステップS28の処理の後に、後述するステップS29の処理を実行するものとして記載する。In this embodiment, for the sake of simplicity, it is described that the processing of step S29 described below is executed after the processing of step S28 described above.
学習モジュール45は、覚醒情報、部分覚醒情報及び非覚醒情報を学習する(ステップS29)。ステップS29において、学習モジュール45は、実行させた防止策と、その結果(目が覚めた、目が覚めなかったものの一定の効果はあった又は目が覚めなかった)とを対応付けて学習する。すなわち、学習モジュール45は、この運転中のドライバに対する防止策において、どの防止策で眠気が覚め、どの防止策で眠気が覚めなかったかを学習することになる。このとき、対象とするドライバの識別子等を併せて学習し、特定のドライバに対する有効な防止策を学習する。The learning module 45 learns the awakening information, partial awakening information, and non-awakening information (step S29). In step S29, the learning module 45 learns the preventive measures taken and their results (woke up, did not wake up but had a certain effect, or did not wake up at all) in association with each other. In other words, the learning module 45 learns which preventive measures for the driver while driving woke up the driver from drowsiness and which did not wake up the driver from drowsiness. At this time, the learning module 45 also learns the identifier of the target driver, etc., and learns effective preventive measures for a specific driver.
なお、学習モジュール45は、対象とするドライバの識別子を学習せず、不特定のドライバに対する有効な防止策を学習する構成であってもよい。 In addition, the learning module 45 may be configured not to learn the identifiers of the target drivers, but to learn effective preventive measures against unspecified drivers.
記録モジュール30は、学習結果を記録する(ステップS30)。 The recording module 30 records the learning results (step S30).
コンピュータ10は、次回以降において、上述したステップS13及びS26の処理を実行する際、学習結果を加味して、防止策を選択することになる。From the next time onwards, when the
この例について、具体的に説明する。 Let us explain this example in detail.
上述したステップS13及びS26の処理において、選択モジュール42は、判定したレベルと、学習結果とに応じて、防止策を選択する。選択モジュール42は、防止策データベースに登録された防止策のうち、判定したレベルに対応する防止策において、部分覚醒情報及び/又は非覚醒情報に対応する防止策を除外したものの中から、防止策を選択する。このとき、選択モジュール42は、判定したレベルに対応付けられた全ての防止策が、除外されている場合、判定したレベルよりも高いレベルに対応付けられた防止策を選択することになる。さらに、選択モジュール42は、この高いレベルに対応付けられた全ての防止策が除外されている場合、より高いレベルに対応付けられた防止策又は判定したレベルや高いレベルに対応付けられた複数の防止策を組み合わせた防止策を選択することも可能である。In the above-mentioned processing of steps S13 and S26, the selection module 42 selects a prevention measure according to the determined level and the learning result. The selection module 42 selects a prevention measure from among the prevention measures registered in the prevention measure database that correspond to the determined level, excluding prevention measures corresponding to partial awakening information and/or non-awakening information. At this time, if all prevention measures associated with the determined level have been excluded, the selection module 42 selects a prevention measure associated with a level higher than the determined level. Furthermore, if all prevention measures associated with this higher level have been excluded, the selection module 42 can also select a prevention measure associated with a higher level or a combination of multiple prevention measures associated with the determined level or a higher level.
なお、選択モジュール42は、、部分覚醒情報及び/又は非覚醒情報を選択する際の優先順位を低くした状態にする構成であってもよい。In addition, the selection module 42 may be configured to give a lower priority when selecting partial awakening information and/or non-awakening information.
以上が、居眠り防止策実行処理である。 The above is the process for implementing measures to prevent drowsiness.
上述した手段、機能は、コンピュータ(CPU、情報処理装置、各種端末を含む)が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される(SaaS:ソフトウェア・アズ・ア・サービス)形態で提供される。また、プログラムは、例えば、フレキシブルディスク、CD(CD-ROMなど)、DVD(DVD-ROM、DVD-RAMなど)等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記録装置又は外部記録装置に転送し記録して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記録装置(記録媒体)に予め記録しておき、その記録装置から通信回線を介してコンピュータに提供するようにしてもよい。The above-mentioned means and functions are realized by a computer (including a CPU, an information processing device, and various terminals) reading and executing a predetermined program. The program is provided, for example, in the form of software as a service (SaaS) provided from the computer via a network. The program is also provided in a form recorded on a computer-readable recording medium, such as a flexible disk, CD (CD-ROM, etc.), DVD (DVD-ROM, DVD-RAM, etc.). In this case, the computer reads the program from the recording medium, transfers it to an internal or external recording device, records it, and executes it. The program may also be recorded in advance on a recording device (recording medium), such as a magnetic disk, optical disk, or magneto-optical disk, and provided to the computer from the recording device via a communication line.
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。 Although the embodiments of the present invention have been described above, the present invention is not limited to these embodiments described above. Furthermore, the effects described in the embodiments of the present invention are merely a list of the most favorable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments of the present invention.
1 ドライバ居眠り防止システム、10 コンピュータ 1 Driver drowsiness prevention system, 10 Computer
Claims (7)
前記ドライバの生体情報を取得する取得手段と、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定する判定手段と、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択する選択手段と、
選択した前記一の防止策を実行する実行手段と、
を備えることを特徴とするドライバ居眠り防止システム。 A driver drowsiness prevention system that selects and executes a preventive measure to prevent a driver from falling asleep while driving, the preventive measure comprising:
An acquisition means for acquiring biometric information of the driver;
A determination means for determining a level at which the driver is likely to fall asleep while driving by analyzing the acquired biological information;
a selection means for identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, determining whether the selected preventive measure has already been selected within a predetermined interval, and if so, selecting again one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure, and randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level if all of the plurality of preventive measures corresponding to the level have been selected , and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
an execution means for executing the selected one of the prevention measures;
A driver drowsiness prevention system comprising:
をさらに備え、
前記選択手段は、判定した前記レベルと、学習の結果に応じて、前記一の防止策を選択する、
ことを特徴とする請求項1に記載のドライバ居眠り防止システム。 A learning means for learning which of the implemented preventive measures did not cause the driver to fall asleep and which of the implemented preventive measures did cause the driver to fall asleep;
Further equipped with
the selection means selects the one of the prevention measures according to the determined level and a learning result.
2. The driver drowsiness prevention system according to claim 1.
ことを特徴とする請求項1に記載のドライバ居眠り防止システム。 The selection means selects the preventive measures for preventing drowsiness at predetermined intervals in a rotating manner according to the determined level.
2. The driver drowsiness prevention system according to claim 1.
前記ドライバの生体情報を取得する取得手段と、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定する判定手段と、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択する選択手段と、
選択した前記一の防止策を実行させる実行手段と、
を備えることを特徴とするコンピュータ。 A computer that selects and executes a preventive measure to prevent a driver from falling asleep while driving, the computer comprising:
An acquisition means for acquiring biometric information of the driver;
A determination means for determining a level at which the driver is likely to fall asleep while driving by analyzing the acquired biological information;
a selection means for identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, determining whether the selected preventive measure has already been selected within a predetermined interval, and if so, selecting again one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure, and randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level if all of the plurality of preventive measures corresponding to the level have been selected , and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
an execution means for executing the selected one of the prevention measures;
A computer comprising:
前記ドライバの生体情報を解析して、居眠りを防止するための複数の防止策の内、ドライバが運転中に居眠りしそうなレベルを判定した判定結果に応じて特定されたレベルに応じた複数の防止策の内、ランダムに選択された一の防止策を実行し、選択された前記一の防止策が、所定の間隔内で、既に選択されていたと判断されていた場合、選択された前記一の防止策を除外した前記レベルに応じた複数の防止策の中から再度選択された一の防止策を実行し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から選択された一の防止策を実行し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて実行する実行手段と、
を備えることを特徴とする端末。 A terminal that selects and executes a preventive measure to prevent a driver from falling asleep while driving,
an execution means for analyzing the driver's biological information, and executing one of a plurality of preventive measures for preventing dozing off at the wheel, which is determined based on a result of determining a level at which the driver is likely to doze off while driving , randomly selecting one of the preventive measures from among the plurality of preventive measures for preventing dozing off at the wheel, and if it is determined that the one selected preventive measure has already been selected within a predetermined interval, executing one preventive measure again from the plurality of preventive measures for the level excluding the one selected preventive measure, and if all of the plurality of preventive measures for the level have been selected , randomly selecting one of the preventive measures from among the plurality of preventive measures for the level, and rotating and executing the preventive measures for preventing dozing off at a predetermined interval;
A terminal comprising:
前記ドライバの生体情報を取得するステップと、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定するステップと、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択するステップと、
選択した前記一の防止策を実行するステップと、
を備えることを特徴とするコンピュータにより実行されるドライバ居眠り防止方法。 1. A method for preventing a driver from falling asleep while driving, the method being executed by a computer to select and execute a preventive measure for preventing a driver from falling asleep while driving, the method comprising:
acquiring biometric information of the driver;
analyzing the acquired biological information to determine a level at which the driver is likely to fall asleep while driving;
a step of: identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel ; randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level ; determining whether the selected one preventive measure has already been selected within a predetermined interval; if the one preventive measure has already been selected, reselecting one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure; if all of the plurality of preventive measures corresponding to the level have been selected , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level; and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
executing the selected one of the prevention measures;
1. A computer-implemented method for preventing driver drowsiness, comprising:
前記ドライバの生体情報を取得するステップ、
取得した前記生体情報を解析して、前記ドライバが運転中に居眠りしそうなレベルを判定するステップ、
居眠りを防止するための複数の防止策の内、判定した前記レベルに応じて、レベルに応じた複数の防止策を特定し、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、選択した前記一の防止策が、所定の間隔内で、既に選択されていたかを判断し、既に選択されていた場合、選択した前記一の防止策を除外した前記レベルに応じた複数の防止策の中から一の防止策を再度選択し、前記レベルに応じた複数の防止策の全てが選択されていた場合、ランダムに、前記レベルに応じた複数の防止策の中から一の防止策を選択し、前記居眠りを防止するための防止策を所定の間隔でローテーションさせて選択するステップ、
選択した前記一の防止策を実行するステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。 A computer that selects and executes a preventive measure to prevent a driver from falling asleep while driving,
acquiring biometric information of the driver;
analyzing the acquired biological information to determine a level at which the driver is likely to fall asleep while driving;
a step of identifying a plurality of preventive measures corresponding to the determined level among a plurality of preventive measures for preventing dozing at the wheel, randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, determining whether the selected one preventive measure has already been selected within a predetermined interval, and if so, selecting again one preventive measure from among the plurality of preventive measures corresponding to the level excluding the selected one preventive measure, and if all of the plurality of preventive measures corresponding to the level have been selected , randomly selecting one preventive measure from among the plurality of preventive measures corresponding to the level, and rotating and selecting the preventive measures for preventing dozing at a predetermined interval;
executing the selected one of the prevention measures;
A computer readable program for executing the program.
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/039359 WO2021065002A1 (en) | 2019-10-04 | 2019-10-04 | Driver dozing prevention system, computer, terminal, driver dozing prevention method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021065002A1 JPWO2021065002A1 (en) | 2021-04-08 |
| JP7590976B2 true JP7590976B2 (en) | 2024-11-27 |
Family
ID=75336380
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021550929A Active JP7590976B2 (en) | 2019-10-04 | 2019-10-04 | Driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method and program |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7590976B2 (en) |
| WO (1) | WO2021065002A1 (en) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012245091A (en) | 2011-05-26 | 2012-12-13 | Panasonic Corp | Sleepiness-estimating device and sleepiness-estimating method |
| WO2014010568A1 (en) | 2012-07-09 | 2014-01-16 | テイ・エス テック株式会社 | Wakefulness-maintenance apparatus |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3374613B2 (en) * | 1995-09-25 | 2003-02-10 | 三菱電機株式会社 | Low alertness device |
| JP2005062911A (en) * | 2003-06-16 | 2005-03-10 | Fujitsu Ten Ltd | Vehicle controller |
| JP6358212B2 (en) * | 2015-09-17 | 2018-07-18 | トヨタ自動車株式会社 | Awakening control system for vehicles |
-
2019
- 2019-10-04 JP JP2021550929A patent/JP7590976B2/en active Active
- 2019-10-04 WO PCT/JP2019/039359 patent/WO2021065002A1/en not_active Ceased
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012245091A (en) | 2011-05-26 | 2012-12-13 | Panasonic Corp | Sleepiness-estimating device and sleepiness-estimating method |
| WO2014010568A1 (en) | 2012-07-09 | 2014-01-16 | テイ・エス テック株式会社 | Wakefulness-maintenance apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021065002A1 (en) | 2021-04-08 |
| WO2021065002A1 (en) | 2021-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US12156735B2 (en) | Detection of cognitive state of a driver | |
| EP3825981B1 (en) | Warning apparatus and driving tendency analysis device | |
| US10449856B2 (en) | Driving assistance apparatus and driving assistance method | |
| JP7092116B2 (en) | Information processing equipment, information processing methods, and programs | |
| JP2024026816A (en) | Information processing system, information processing device, information processing method, and program | |
| US20170267251A1 (en) | System And Method For Providing Context-Specific Vehicular Driver Interactions | |
| WO2016114369A1 (en) | Control method for calling driver's attention, attention-calling control program, attention-calling control device, driving assistance program, driving assistance method, and driving assistance device | |
| CN108694814A (en) | Fatigue driving method for early warning, device, equipment and storage medium | |
| CN109472253B (en) | Driving safety intelligent reminding method and device, intelligent steering wheel and intelligent bracelet | |
| CN110728218A (en) | Early warning method, device, electronic device and storage medium for dangerous driving behavior | |
| US12307791B2 (en) | Method for determining a drowsiness level of a motor vehicle driver | |
| CN113807126B (en) | A fatigue driving detection method and system, computer equipment, and storage medium | |
| WO2020066757A1 (en) | Dangerous driving prevention device | |
| US20130257620A1 (en) | Device and method for detecting driver's attention through interactive voice questioning | |
| Dua et al. | Drowsiness detection and alert system | |
| CN106652356B (en) | Driver fatigue judgment method and device | |
| CN116685516A (en) | Information processing device, information processing method, and information processing program | |
| JP7590976B2 (en) | Driver drowsiness prevention system, computer, terminal, driver drowsiness prevention method and program | |
| US11893807B2 (en) | Method for determining a level of alertness of a driver | |
| JP7223275B2 (en) | Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system | |
| JP2021122655A (en) | Abnormality detection system, abnormality detection device, and abnormality detection method | |
| Dalve et al. | Real Time Prevention of Driver Fatigue Using Deep Learning and Mediapipe | |
| CN118478891A (en) | A method and device for processing abnormal driving behavior of a driver | |
| CN113561989B (en) | Dangerous driving state detection method and equipment based on electrocardiosignals and storage medium | |
| CN115246395A (en) | Vehicle control method, system, vehicle and computer readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220322 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221206 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230201 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230530 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230721 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20230810 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230908 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20240305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240305 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20240418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240725 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241115 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7590976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |