JP6932007B2

JP6932007B2 - Information processing methods, information processing devices and programs

Info

Publication number: JP6932007B2
Application number: JP2017031197A
Authority: JP
Inventors: 泰生菰田
Original assignee: Jins Holdings Inc
Current assignee: Jins Holdings Inc
Priority date: 2017-02-22
Filing date: 2017-02-22
Publication date: 2021-09-08
Anticipated expiration: 2037-02-22
Also published as: JP2018136776A

Description

本発明は、情報処理方法、情報処理装置及びプログラムに関する。 The present invention relates to information processing methods, information processing devices and programs.

従来、運転者から覚醒度の低下が検出された場合に、運転者の覚醒度を向上させる装置が提案されている（例えば、特許文献１参照）。 Conventionally, a device for improving the driver's arousal level when a decrease in the arousal level is detected from the driver has been proposed (see, for example, Patent Document 1).

特開２０１０−１３４５３４号公報Japanese Unexamined Patent Publication No. 2010-134534

しかしながら、従来技術の装置は、運転者の覚醒度が低下した場合に、運転者に報知を行うにすぎず、報知によって運転者が覚醒したことを保証するものではない。 However, the device of the prior art merely notifies the driver when the driver's arousal level is lowered, and does not guarantee that the driver is awakened by the notification.

そこで、開示技術は、報知によって運転中のユーザの覚醒度が向上したか否かを検知することを目的とする。 Therefore, the disclosure technique aims to detect whether or not the alertness of the user during driving is improved by the notification.

開示技術の一態様における情報処理方法は、コンピュータが実行する情報処理方法であって、運転中のユーザが装着する処理装置からユーザの覚醒度に関する情報を取得することと、取得した覚醒度に関する情報に基づいて、ユーザの覚醒度を判定する第１の判定を実行すること、第１の判定によって判定された覚醒度が閾値以下である場合には、ユーザに対して頭部運動を促す報知を行うこと、報知のあとに、ユーザの頭部運動の有無を判定し、ユーザが覚醒したか否かを判定する第２の判定を実行すること、を実行する。 The information processing method in one aspect of the disclosure technique is an information processing method executed by a computer, in which information on the arousal level of the user is acquired from a processing device worn by the user while driving, and information on the acquired arousal level. The first determination for determining the arousal degree of the user is executed based on the above, and when the arousal degree determined by the first determination is equal to or less than the threshold value, the user is notified to urge the head movement. After the notification, the presence or absence of the head movement of the user is determined, and the second determination of determining whether or not the user is awake is executed.

開示技術によれば、報知によって運転中のユーザの覚醒度が向上したか否かを検知することができる。 According to the disclosed technology, it is possible to detect whether or not the alertness of the user during driving is improved by the notification.

実施例における情報処理システムの一例を示す図である。It is a figure which shows an example of the information processing system in an Example. 実施例における処理装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the processing apparatus in an Example. 実施例における情報処理装置のハードウェア構成を示す概略構成図である。It is a schematic block diagram which shows the hardware configuration of the information processing apparatus in an Example. 実施例における情報処理装置の構成の一例を示す図である。It is a figure which shows an example of the structure of the information processing apparatus in an Example. 実施例における報知部の構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the notification part in an Example. 実施例における報知処理の一例を示すフローチャートである。It is a flowchart which shows an example of the notification processing in an Example.

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. However, the embodiments described below are merely examples, and there is no intention of excluding the application of various modifications and techniques not specified below. That is, the present invention can be implemented with various modifications within a range that does not deviate from the gist thereof. Further, in the description of the following drawings, the same or similar parts are represented by the same or similar reference numerals. The drawings are schematic and do not necessarily match the actual dimensions and ratios. Even between drawings, parts with different dimensional relationships and ratios may be included.

［実施例］
実施例では、加速度センサ及び角速度センサ、生体電極を搭載する対象として、アイウエアを例に挙げるが、これに限られない。図１は、実施例における情報処理システム１の一例を示す図である。図１に示す情報処理システム１は、外部装置１０とアイウエア３０とサーバ４０を含み、外部装置１０とアイウエア３０とサーバ４０は、ネットワークを介して接続され、データ通信可能になっている。 [Example]
In the embodiment, eyewear is taken as an example as a target for mounting the acceleration sensor, the angular velocity sensor, and the bioelectrode, but the present invention is not limited to this. FIG. 1 is a diagram showing an example of the information processing system 1 in the embodiment. The information processing system 1 shown in FIG. 1 includes an external device 10, an eyewear 30, and a server 40, and the external device 10, the eyewear 30, and the server 40 are connected via a network to enable data communication.

アイウエア３０は、例えばテンプル部分に処理装置２０を搭載する。処理装置２０は、３軸加速度センサ及び３軸角速度センサ（６軸センサでもよい）を含む。また、アイウエア３０は、一対のノーズパッド及びブリッジ部分にそれぞれ生体電極３１、３３、３５を有する。アイウエア３０に設けられる生体電極から取得される眼電位信号は、処理装置２０に送信される。生体電極は、瞬目や視線移動等を検出するために設けられているが、画像処理により瞬目や視線移動等を検出する場合には、生体電極は設けられなくてもよい。 The eyewear 30 mounts the processing device 20 on the temple portion, for example. The processing device 20 includes a 3-axis acceleration sensor and a 3-axis angular velocity sensor (may be a 6-axis sensor). Further, the eyewear 30 has bioelectrodes 31, 33, and 35 on the pair of nose pads and bridge portions, respectively. The electro-oculography signal acquired from the bioelectrode provided in the eyewear 30 is transmitted to the processing device 20. The bioelectrode is provided to detect blinks, eye movements, etc. However, when detecting blinks, eye movements, etc. by image processing, the bioelectrodes may not be provided.

処理装置２０は、センサ信号や眼電位信号、及び／又はこれらの信号から算出される生体情報等を外部装置１０やサーバ４０に送信する。処理装置２０の設置位置は、必ずしもテンプルである必要はないが、アイウエア３０が装着された際のバランスを考慮して位置決めされればよい。 The processing device 20 transmits a sensor signal, an electro-oculography signal, and / or biometric information calculated from these signals to the external device 10 and the server 40. The installation position of the processing device 20 does not necessarily have to be a temple, but it may be positioned in consideration of the balance when the eyewear 30 is attached.

外部装置１０は、通信機能を有する情報処理装置である。例えば、外部装置１０は、ユーザが所持する携帯電話及びスマートフォン等の携帯通信端末、パーソナルコンピュータ、タブレット端末等である。外部装置１０は、処理装置２０から受信したセンサ信号や眼電位信号等に基づいて、運転中のユーザの覚醒度を判定し、ユーザが乗用車、二輪車、バス、トラック等を運転することを支援する。以下、外部装置１０は、情報処理装置１０と称して説明する。 The external device 10 is an information processing device having a communication function. For example, the external device 10 is a mobile communication terminal such as a mobile phone or a smartphone owned by the user, a personal computer, a tablet terminal, or the like. The external device 10 determines the degree of arousal of the user during driving based on the sensor signal, the electro-oculography signal, and the like received from the processing device 20, and assists the user in driving a passenger car, a two-wheeled vehicle, a bus, a truck, or the like. .. Hereinafter, the external device 10 will be referred to as an information processing device 10.

サーバ４０は、情報処理装置１０から覚醒度に関する情報等を取得し、記憶する。サーバ４０は、処理装置２０から直接、生体情報や、センサ信号、眼電位信号等を取得する構成でもよい。この場合、サーバ４０は、必要に応じて情報処理装置１０からのリクエストに応じ、センサ信号や眼電位信号等を外部装置１０に送信することができる。 The server 40 acquires and stores information and the like regarding the arousal level from the information processing device 10. The server 40 may be configured to acquire biometric information, sensor signals, electrooculogram signals, and the like directly from the processing device 20. In this case, the server 40 can transmit the sensor signal, the electro-oculography signal, and the like to the external device 10 in response to a request from the information processing device 10 as needed.

＜処理装置２０の構成＞
図２は、実施例における処理装置２０の構成の一例を示すブロック図である。図２に示すように、処理装置２０は、処理部２０２、送信部２０４、６軸センサ２０６、及び電源部２０８を有する。また、各生体電極３１、３３、３５は、例えば増幅部を介して電線を用いて処理部２０２に接続される。なお、処理装置２０の各部は、一方のテンプルに設けられるのではなく、一対のテンプルに分散して設けられてもよい。 <Configuration of processing device 20>
FIG. 2 is a block diagram showing an example of the configuration of the processing device 20 in the embodiment. As shown in FIG. 2, the processing device 20 includes a processing unit 202, a transmitting unit 204, a 6-axis sensor 206, and a power supply unit 208. Further, each bioelectrode 31, 33, 35 is connected to the processing unit 202 by using an electric wire, for example, via an amplification unit. It should be noted that each part of the processing device 20 may not be provided in one temple, but may be provided in a pair of temples in a dispersed manner.

６軸センサ２０６は、３軸加速度センサ及び３軸角速度センサである。また、これらの各センサは別個に設けられてもよい。６軸センサ２０６は、検出したセンサ信号（又は検出データとも称す）を処理部２０２に出力する。 The 6-axis sensor 206 is a 3-axis acceleration sensor and a 3-axis angular velocity sensor. Moreover, each of these sensors may be provided separately. The 6-axis sensor 206 outputs the detected sensor signal (also referred to as detection data) to the processing unit 202.

処理部２０２は、例えばプロセッサであり、６軸センサ２０６から得られるセンサ信号や、生体電極から得られる眼電位信号を必要に応じて処理し、送信部２０４に出力する。例えば、処理部２０２は、眼電位信号を用いて、瞬目に関する生体情報や、視線移動に関する生体情報を算出することができる。 The processing unit 202 is, for example, a processor, which processes the sensor signal obtained from the 6-axis sensor 206 and the electro-oculography signal obtained from the bioelectrode as necessary, and outputs the sensor signal to the transmitting unit 204. For example, the processing unit 202 can calculate biometric information related to blinking eyes and biometric information related to eye movement using the electro-oculography signal.

また、処理部２０２は、６軸センサ２０６からのセンサ信号を用いて、体動に関する生体情報を算出する。体動に関する生体情報は、例えば所定時間内における頭部運動を示す情報である。例えば、処理部２０２は、６軸センサ２０６からのセンサ信号を用いて、ピッチ（Ｐｉｔｃｈ）角を示すデータ、ロール（Ｒｏｌｌ）角を示すデータ、ヨー（Ｙａｗ）角を示すデータ、及び体軸の傾きの方向と大きさを含む姿勢を示すデータ（以下、これらを総称して「頭部運動情報」とも呼ぶ）を生成することができる。ピッチ角は、例えば頭の前後のブレを示し、ロール角は、例えば頭の左右のブレを示し、ヨー角は、例えば首の左右回転のブレを示し、体軸の傾きの方向及び大きさは、例えば頭の傾きの方向及び大きさを示す。ピッチ角、ロール角、ヨー角及び姿勢については、公知の技術を用いて算出すればよい。また、処理部２０２は、６軸センサ２０６から得られるセンサ信号を増幅等するだけでもよい。以下では、瞬目や視線移動に関する生体情報や、頭部運動情報について、処理部２０２により算出される例を用いて説明するが、情報処理装置１０又はサーバ４０により算出されてもよい。 In addition, the processing unit 202 calculates biological information related to body movement using the sensor signal from the 6-axis sensor 206. The biological information related to body movement is, for example, information indicating head movement within a predetermined time. For example, the processing unit 202 uses the sensor signal from the 6-axis sensor 206 to indicate the pitch angle data, the roll angle data, the yaw angle data, and the body axis. It is possible to generate data indicating the posture including the direction and magnitude of the inclination (hereinafter, these are collectively referred to as "head movement information"). The pitch angle indicates, for example, the front-back blur of the head, the roll angle indicates, for example, the left-right blur of the head, the yaw angle indicates, for example, the left-right rotation of the neck, and the direction and magnitude of the inclination of the body axis are For example, the direction and magnitude of the inclination of the head are shown. The pitch angle, roll angle, yaw angle and posture may be calculated using a known technique. Further, the processing unit 202 may only amplify the sensor signal obtained from the 6-axis sensor 206. In the following, biological information related to blinking and eye movement and head movement information will be described with reference to an example calculated by the processing unit 202, but may be calculated by the information processing device 10 or the server 40.

送信部２０４は、処理部２０２によって処理された瞬目や視線移動に関する生体情報、及び／又は頭部運動情報を含む各情報を情報処理装置１０やサーバ４０に送信する。例えば、送信部２０４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び無線ＬＡＮ等の無線通信、又は有線通信によって瞬目や視線移動に関する生体情報や頭部運動情報を情報処理装置１０やサーバ４０に送信する。電源部２０８は、処理部２０２、送信部２０４、６軸センサ２０６等に電力を供給する。 The transmission unit 204 transmits each information including biological information regarding blinks and eye movements processed by the processing unit 202 and / or head movement information to the information processing device 10 and the server 40. For example, the transmission unit 204 transmits biological information and head movement information related to blinking and eye movement to the information processing device 10 and the server 40 by wireless communication such as Bluetooth (registered trademark) and wireless LAN, or wired communication. The power supply unit 208 supplies electric power to the processing unit 202, the transmission unit 204, the 6-axis sensor 206, and the like.

＜情報処理装置１０の構成＞
（ハードウェア構成）
図３は、実施例における情報処理装置１０のハードウェア構成を示す概略構成図である。情報処理装置１０の典型的な一例は、スマートフォンなどの携帯電話であるが、この他、ネットワークに無線又は有線接続可能な携帯端末、あるいはタブレット型端末のようなタッチパネルを搭載した電子機器など、ネットワークを使って通信しながらデータ処理しつつ画面表示可能な汎用機器なども実施形態における情報処理装置１０に該当しうる。 <Configuration of information processing device 10>
(Hardware configuration)
FIG. 3 is a schematic configuration diagram showing a hardware configuration of the information processing device 10 in the embodiment. A typical example of the information processing device 10 is a mobile phone such as a smartphone, but in addition to this, a network such as a mobile terminal that can be wirelessly or wiredly connected to the network or an electronic device equipped with a touch panel such as a tablet terminal. A general-purpose device capable of displaying a screen while processing data while communicating using the information processing device 10 in the embodiment may also be applicable.

実施形態における情報処理装置１０は、例えば、図示しない矩形の薄形筐体を備え、その筐体の一方の面には、タッチパネル１０２が構成される。情報処理装置１０では、各構成要素が主制御部１５０に接続されている。主制御部１５０は、例えばプロセッサである。 The information processing device 10 in the embodiment includes, for example, a rectangular thin housing (not shown), and a touch panel 102 is configured on one surface of the housing. In the information processing device 10, each component is connected to the main control unit 150. The main control unit 150 is, for example, a processor.

主制御部１５０には、移動体通信用アンテナ１１２、移動体通信部１１４、無線ＬＡＮ通信用アンテナ１１６、無線ＬＡＮ通信部１１８、記憶部１２０、スピーカ１０４、マイクロフォン１０６、ハードボタン１０８、ハードキー１１０及び６軸センサ１１１が接続されている。また、主制御部１５０には、さらに、タッチパネル１０２、カメラ１３０、及び外部インターフェース１４０が接続されている。外部インターフェース１４０は、音声出力端子１４２を含む。 The main control unit 150 includes a mobile communication antenna 112, a mobile communication unit 114, a wireless LAN communication antenna 116, a wireless LAN communication unit 118, a storage unit 120, a speaker 104, a microphone 106, a hard button 108, and a hard key 110. And the 6-axis sensor 111 are connected. Further, a touch panel 102, a camera 130, and an external interface 140 are further connected to the main control unit 150. The external interface 140 includes an audio output terminal 142.

タッチパネル１０２は、表示装置及び入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１０２Ａと、入力機能を担うタッチセンサ１０２Ｂとで構成される。ディスプレイ１０２Ａは、例えば、液晶ディスプレイや有機ＥＬ（Electro Luminescence）ディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１０２Ｂは、ディスプレイ１０２Ａの上面に配置された接触操作を検知するための素子及びその上に積層された透明な操作面を備えて構成される。タッチセンサ１０２Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。 The touch panel 102 has both functions of a display device and an input device, and is composed of a display (display screen) 102A that has a display function and a touch sensor 102B that has an input function. The display 102A is composed of a general display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. The touch sensor 102B includes an element arranged on the upper surface of the display 102A for detecting a contact operation and a transparent operation surface laminated on the element. As the contact detection method of the touch sensor 102B, any of known methods such as a capacitance type, a resistance film type (pressure sensitive type), and an electromagnetic induction type can be adopted.

表示装置としてのタッチパネル１０２は、主制御部１５０によるプログラム１２２の実行により生成されるアプリケーションの画像を表示する。入力装置としてのタッチパネル１０２は、操作面に対して接触する接触物（プレイヤの指やスタイラスなどを含む。以下、「指」である場合を代表例として説明する。）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部１５０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１０２の短辺方向及び長辺方向の二軸上の座標値として表される。 The touch panel 102 as a display device displays an image of the application generated by the execution of the program 122 by the main control unit 150. The touch panel 102 as an input device detects the movement of a contact object (including a player's finger, a stylus, etc., the case of a "finger" will be described below as a typical example) that comes into contact with the operation surface. , Accepts the operation input and gives the contact position information to the main control unit 150. The movement of the finger is detected as coordinate information indicating the position or region of the contact point, and the coordinate information is represented as, for example, coordinate values on two axes in the short side direction and the long side direction of the touch panel 102.

情報処理装置１０は、移動体通信用アンテナ１１２や無線ＬＡＮ通信用アンテナ１１６を通じてネットワークＮに接続され、処理装置２０との間でデータ通信をすることが可能である。なお、記憶部１２０は、プログラム１２２を記録し、また、記憶部１２０は、外部装置１０と別体であってもよく、例えば、ＳＤカードやＣＤ−ＲＯＭ等の記録媒体であってもよい。 The information processing device 10 is connected to the network N through the mobile communication antenna 112 and the wireless LAN communication antenna 116, and can perform data communication with the processing device 20. The storage unit 120 records the program 122, and the storage unit 120 may be a separate body from the external device 10, and may be a recording medium such as an SD card or a CD-ROM.

（機能構成）
次に、情報処理装置１０の機能構成について説明する。図４は、情報処理装置１０の構成の一例を示す図である。情報処理装置１０は、記憶部３０２、通信部３０４、及び制御部３０６を有する。 (Functional configuration)
Next, the functional configuration of the information processing device 10 will be described. FIG. 4 is a diagram showing an example of the configuration of the information processing device 10. The information processing device 10 has a storage unit 302, a communication unit 304, and a control unit 306.

記憶部３０２は、例えば、図３に示す記憶部１２０等により実現されうる。記憶部３０２は、実施例におけるユーザの覚醒度を管理するアプリケーション（以下、「ドライブアプリ」ともいう。）に関するデータ等を記憶する。ドライブアプリに関するデータは、例えば、処理装置２０又はサーバ４０から受信したデータや、ユーザに報知するアナウンスに関するテキストデータ等である。 The storage unit 302 can be realized by, for example, the storage unit 120 shown in FIG. The storage unit 302 stores data and the like related to an application (hereinafter, also referred to as “drive application”) that manages the arousal level of the user in the embodiment. The data related to the drive application is, for example, data received from the processing device 20 or the server 40, text data related to an announcement to be notified to the user, and the like.

通信部３０４は、例えば移動体通信部１１４や無線ＬＡＮ通信部１１８等により実現されうる。通信部３０４は、例えば処理装置２０又はサーバ４０からデータを受信する。また、通信部３０４は、情報処理装置１０において処理されたデータをサーバ４０に送信してもよい。すなわち、通信部３０４は、送信部と受信部としての機能を有する。 The communication unit 304 can be realized by, for example, a mobile communication unit 114, a wireless LAN communication unit 118, or the like. The communication unit 304 receives data from, for example, the processing device 20 or the server 40. Further, the communication unit 304 may transmit the data processed by the information processing device 10 to the server 40. That is, the communication unit 304 has functions as a transmission unit and a reception unit.

制御部３０６は、例えば主制御部１５０等により実現され、ドライブアプリを実行する。実施例におけるドライブアプリは、ユーザの覚醒度が低下した場合に報知を行い、さらに報知によって覚醒度が向上したか否かを判定する機能を有する。この機能を実現するため、制御部３０６は、取得部３１２、検知部３１４、判定部３１６、報知部３１８を有する。 The control unit 306 is realized by, for example, the main control unit 150 or the like, and executes the drive application. The drive application in the embodiment has a function of notifying when the user's alertness is lowered and further determining whether or not the alertness is improved by the notification. In order to realize this function, the control unit 306 includes an acquisition unit 312, a detection unit 314, a determination unit 316, and a notification unit 318.

取得部３１２は、人体に装着された６軸センサ２０６からのセンサ信号に基づく頭部運動情報や、眼電位信号に基づく生体情報を取得する。なお、人体に装着されたとは、直接的に装着されることだけではなく、アイウエア２０等を含むウェアラブルデバイスを用いて間接的に装着されることを含む。 The acquisition unit 312 acquires head movement information based on the sensor signal from the 6-axis sensor 206 mounted on the human body and biological information based on the electro-oculography signal. It should be noted that the term "attached to the human body" includes not only direct attachment but also indirect wearing using a wearable device including eyewear 20 and the like.

検知部３１４は、取得部３１２が取得した頭部運動情報に基づいて、ユーザの頭部運動の有無を検知することができる。具体的には頭部運動情報が所定の値（例えば３６０度／秒）以上の角速度を示す場合に、検知部３１４はユーザの頭部運動を検知する。検知部３１４は、ヨー角方向の角速度に基づいて頭部運動を検知することが好ましいがこれに限定されない。例えば、検知部３１４は、ロール角方向や、ピッチ角方向の角速度に基づいて頭部運動を検知することも可能である。 The detection unit 314 can detect the presence or absence of the user's head movement based on the head movement information acquired by the acquisition unit 312. Specifically, when the head movement information shows an angular velocity of a predetermined value (for example, 360 degrees / sec) or more, the detection unit 314 detects the user's head movement. The detection unit 314 preferably, but is not limited to, detects the head movement based on the angular velocity in the yaw angle direction. For example, the detection unit 314 can also detect the head movement based on the angular velocity in the roll angle direction or the pitch angle direction.

判定部３１６は、ユーザの覚醒度を判定する。例えば判定部３１６は、検知部３１４が検知した頭部運動の頻度に基づいて、以下のように覚醒度の高さを判定することができる。
・検知された頭部運動が１分間に４回未満覚醒度：低い
・検知された頭部運動が１分間に４回以上１６回未満覚醒度：普通
・検知された頭部運動が１分間に１６回以上覚醒度：高い The determination unit 316 determines the user's alertness. For example, the determination unit 316 can determine the high arousal level as follows based on the frequency of the head movement detected by the detection unit 314.
・ Detected head movement less than 4 times per minute Alertness: Low ・ Detected head movement 4 times or more and less than 16 times per minute Arousalness: Normal ・ Detected head movement per minute 16 times or more Awakening: High

なお、判定部３１６は、覚醒度の高さを判定する閾値をユーザごとに変更することも可能である。例えば普段から頭部運動の頻度が多いユーザは、閾値を高めに設定し、頭部運動の頻度が小さいユーザは、閾値を低めに設定することが好ましい。 The determination unit 316 can also change the threshold value for determining the high arousal level for each user. For example, it is preferable that a user who usually has a high frequency of head movements sets a high threshold value, and a user who has a low frequency of head movements sets a low threshold value.

また、判定部３１６は、頭部運動ではなく、眼電位信号等に基づいてユーザの覚醒度を判定する構成でもよい。 Further, the determination unit 316 may be configured to determine the user's arousal level based on the electro-oculography signal or the like instead of the head movement.

報知部３１８は、ユーザの覚醒度に応じて、ユーザに対して報知を行うことができる。図５を参照して報知部３１８の詳細について説明する。図５は、実施例における報知部３１８の機能構成の一例を示すブロック図である。図５に示す報知部３１８は、アナウンス部３１８１と、結果判定部３１８２と、間隔制御部３１８３と、送信部３１８４とを含む。 The notification unit 318 can notify the user according to the arousal level of the user. The details of the notification unit 318 will be described with reference to FIG. FIG. 5 is a block diagram showing an example of the functional configuration of the notification unit 318 in the embodiment. The notification unit 318 shown in FIG. 5 includes an announcement unit 3181, a result determination unit 3182, an interval control unit 3183, and a transmission unit 3184.

アナウンス部３１８１は、ユーザに対して所定の間隔（以下、アナウンス間隔ともいう）でアナウンスを実行する。具体的にはアナウンス部３１８１は、アナウンス間隔で判定部３１６にユーザの覚醒度を判定させ、ユーザの覚醒度が低いと判定された場合には、ユーザに運動を促すアナウンス（以下、「運動促進アナウンス」という。）を行うことができる。運動促進アナウンスは、例えば、「首を左右に３回動かしてください」等のアナウンスである。なお、運動促進アナウンスは、「リラックスしてください」等の運動を促さないアナウンスでもよい。 The announcement unit 3181 executes an announcement to the user at a predetermined interval (hereinafter, also referred to as an announcement interval). Specifically, the announcement unit 3181 causes the determination unit 316 to determine the arousal level of the user at the announcement interval, and when it is determined that the arousal level of the user is low, an announcement prompting the user to exercise (hereinafter, "exercise promotion"). "Announcement") can be made. The exercise promotion announcement is, for example, an announcement such as "Please turn your neck three times to the left or right." The exercise promotion announcement may be an announcement that does not promote exercise, such as "please relax".

他方で、アナウンス部３１８１は、ユーザの覚醒度が普通以上であると判定された場合に、ユーザにそのまま運転を続けるようにアナウンス（以下、「正常アナウンス」という。）を行うことができる。正常アナウンスは、例えば、「引き続き安全運転をお願いします」等のアナウンスである。 On the other hand, when it is determined that the user's arousal level is higher than normal, the announcement unit 3181 can make an announcement (hereinafter, referred to as "normal announcement") to the user to continue driving as it is. A normal announcement is, for example, an announcement such as "Please continue to drive safely."

なお、本実施例では、アナウンス部３１８１は、音声によってアナウンスを行う例について説明するがこれに限定されない。アナウンス部３１８１は、情報処理装置１０のタッチパネル１０２にポップアップ等でアナウンスをテキスト情報として表示させる構成でもよい。 In this embodiment, the announcement unit 3181 describes an example in which an announcement is made by voice, but the present invention is not limited to this. The announcement unit 3181 may be configured to display the announcement as text information on the touch panel 102 of the information processing device 10 by pop-up or the like.

結果判定部３１８２は、運動促進アナウンスの後において、所定の期間（例えば、１分間）の間に、検知部３１４が頭部運動を検知するか否かに応じて、ユーザの覚醒度が向上したか否かを判定する。検知部３１４は、ユーザが運動促進アナウンスでアナウンスされた頭部運動に対応する頭部運動をしたか否かを検知する。例えば、運動促進アナウンスが「首を左右に３回動かしてください」であり、検知部３１４がユーザの頭部運動を左右にそれぞれ１回しか検知しなかったとする。この場合、検知部３１４は、ユーザが運動促進アナウンスでアナウンスされた頭部運動に対応する頭部運動をしていないと判定する。運動促進アナウンスの後、所定の期間内に頭部運動が検知されなかった場合には、結果判定部３１８２は、アナウンス部３１８１に対して、再度、運動促進アナウンスを実行させることができる。結果判定部３１８２は、アナウンス部３１８１に対して、「起きて下さい」と、ユーザに覚醒を促すアナウンスを実行させてもよい。或いは、結果判定部３１８２は、バイブレーション部（不図示）に対して、バイブレーションの振動により、ユーザの覚醒度を向上させてもよい。 After the exercise promotion announcement, the result determination unit 3182 improved the user's arousal level depending on whether or not the detection unit 314 detects the head movement during a predetermined period (for example, 1 minute). Judge whether or not. The detection unit 314 detects whether or not the user has performed a head movement corresponding to the head movement announced in the movement promotion announcement. For example, suppose that the exercise promotion announcement is "Please rotate the neck three times to the left and right", and the detection unit 314 detects the user's head movement only once to the left and right. In this case, the detection unit 314 determines that the user is not performing the head movement corresponding to the head movement announced in the movement promotion announcement. If the head movement is not detected within a predetermined period after the exercise promotion announcement, the result determination unit 3182 can cause the announcement unit 3181 to execute the exercise promotion announcement again. The result determination unit 3182 may make the announcement unit 3181 execute an announcement urging the user to awaken, saying "Please get up". Alternatively, the result determination unit 3182 may improve the user's arousal level by vibrating the vibration unit (not shown) with respect to the vibration unit (not shown).

間隔制御部３１８３は、運動促進アナウンスの後のユーザの挙動に応じて、アナウンス間隔の長さコントロールする。例えば間隔制御部３１８３は、運動促進アナウンスの後に頭部運動を検知したにも関わらず、ユーザの覚醒度が向上しなかった場合には、アナウンス間隔を短く設定する（例えば１分間）。他方で、間隔制御部３１８３は、運動促進アナウンスの後に頭部運動を検知した後、ユーザの覚醒度が向上した場合には、アナウンス間隔を変更しないことが好ましい。 The interval control unit 3183 controls the length of the announcement interval according to the behavior of the user after the exercise promotion announcement. For example, the interval control unit 3183 sets the announcement interval short (for example, 1 minute) when the user's alertness does not improve even though the head movement is detected after the exercise promotion announcement. On the other hand, it is preferable that the interval control unit 3183 does not change the announcement interval when the user's alertness is improved after detecting the head movement after the exercise promotion announcement.

なお、間隔制御部３１８３は、ユーザの覚醒度が連続して高い場合には、アナウンス間隔を長く設定する（例えば１５分間）ことも可能である。また、間隔制御部３１８３は、結果判定部３１８２が、運動促進アナウンスの後所定の期間内に頭部運動を検知しなかった場合に、運動促進アナウンスを繰り返し実行させる代わりに、アナウンス間隔を短く設定する構成でもよい。 The interval control unit 3183 can also set a long announcement interval (for example, 15 minutes) when the user's alertness is continuously high. Further, the interval control unit 3183 sets the announcement interval short instead of repeatedly executing the exercise promotion announcement when the result determination unit 3182 does not detect the head movement within a predetermined period after the exercise promotion announcement. It may be configured to be used.

送信部３１８４は、判定部３１６、及び結果判定部３１８２の判定結果をユーザの位置情報と併せて随時サーバ４０へと送信する。これによって、サーバ４０ではユーザの多段階の覚醒度に応じた柔軟な処理を行うことができる。例えば、サーバ４０においては、ユーザの覚醒度が著しく低い場合や、所定の期間連続して低い場合等には、オペレータが該当するユーザに電話する等の対応をすることができる。さらに送信部３１８４は、覚醒度と位置情報とを併せてサーバ４０へ送信することで、サーバ４０側では、ユーザの覚醒度が低下しやすい地点を特定することができる。この場合サーバ４０は、ユーザの覚醒度が低下しやすい地点から所定距離以内に処理装置が入った際に、報知部３１８にユーザに注意喚起を行うアナウンスを実行させる構成でもよい。或いは、サーバ４０は、バイブレーション部（不図示）により、ユーザに注意喚起してもよい。 The transmission unit 3184 transmits the determination results of the determination unit 316 and the result determination unit 3182 to the server 40 at any time together with the user's position information. As a result, the server 40 can perform flexible processing according to the user's multi-step arousal level. For example, in the server 40, when the user's arousal level is extremely low, or when the user's arousal level is continuously low for a predetermined period of time, the operator can take measures such as calling the corresponding user. Further, the transmission unit 3184 can transmit the arousal level and the position information to the server 40 together, so that the server 40 side can specify a point where the arousal level of the user is likely to decrease. In this case, the server 40 may be configured to cause the notification unit 318 to execute an announcement to alert the user when the processing device enters within a predetermined distance from a point where the user's alertness is likely to decrease. Alternatively, the server 40 may alert the user by a vibration unit (not shown).

このように、報知部３１８は、ユーザに報知を行った後、ユーザの頭部運動に基づいて、ユーザの覚醒度が向上したか否かを判定することができる。これによって、より高精度にユーザの覚醒度を判定することができる。さらに報知によってユーザの覚醒度が向上しなかった場合には、報知部３１８はアナウンス間隔を短くすることができる。 In this way, the notification unit 318 can determine whether or not the user's arousal level has improved based on the user's head movement after notifying the user. This makes it possible to determine the user's arousal level with higher accuracy. Further, when the alertness of the user is not improved by the notification, the notification unit 318 can shorten the announcement interval.

＜サーバ４０の構成＞
次にサーバ４０の構成について説明する。サーバ４０の典型的な一例は、ＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）等の情報処理装置であるが、この他にネットワークに接続可能なノートＰＣや、スマートフォンなどの携帯電話、タブレット型端末のような電子機器等であってもよい。実施例のサーバ４０は、例えば制御部や記憶部、通信部、表示部等を有している。 <Configuration of server 40>
Next, the configuration of the server 40 will be described. A typical example of the server 40 is an information processing device such as a PC (Personal Computer), but in addition to this, a notebook PC that can be connected to a network, a mobile phone such as a smartphone, an electronic device such as a tablet terminal, etc. It may be. The server 40 of the embodiment has, for example, a control unit, a storage unit, a communication unit, a display unit, and the like.

サーバ４０は、情報処理装置１０から運転中のユーザの位置情報と、判定部３１６による判定結果（第１判定結果）、及び／又は報知部３１８による判定結果（第２判定結果）を受信し、記憶部に記憶することができる。さらにサーバ４０では、第１判定結果、及び／又は第２判定結果において覚醒度が閾値以下であることが示される回数が他と比べて有意に多い地点（以下、「覚醒度低下地点」ともいう）に対に対応する位置情報を特定する。これによって、サーバ４０は情報処理装置１０と覚醒度低下地点との距離が、所定の距離以内に近づいた場合に、ユーザに対して覚醒を促すメッセージを送信することができる。 The server 40 receives the position information of the operating user from the information processing device 10, the determination result by the determination unit 316 (first determination result), and / or the determination result by the notification unit 318 (second determination result). It can be stored in the storage unit. Further, on the server 40, the number of times that the arousal level is shown to be below the threshold value in the first determination result and / or the second determination result is significantly higher than the others (hereinafter, also referred to as "alertness decrease point"). ) To specify the location information corresponding to the pair. As a result, the server 40 can send a message urging the user to awaken when the distance between the information processing device 10 and the arousal level lowering point approaches within a predetermined distance.

さらにサーバ４０は、経路案内を行う機能を有する構成でもよい。この場合、記憶部には、地図を描画するための地図画像や緯度経度の情報等の地図情報や、道路ネットワークデータ等が記憶されている。情報処理装置１０はサーバ４０に経路案内要求を送信する際に、例えば出発地点（または現在位置）と目的地との位置情報（緯度経度等）を送信する。サーバ４０は、受信した位置情報に基づいて経路案内を行う際に、当該経路に特定した覚醒度低下地点が含まれる場合には、情報処理装置１０に各精粗低下地点の位置情報を送信し、注意喚起を行うことができる。この場合にもサーバ４０は、覚醒度低下地点と情報処理装置１０の現在位置とが所定の距離以内になった場合に、当該情報処理装置１０に対してユーザの覚醒を促すメッセージを送信することが好ましい。 Further, the server 40 may be configured to have a function of providing route guidance. In this case, the storage unit stores map information such as a map image for drawing a map and latitude / longitude information, road network data, and the like. When transmitting the route guidance request to the server 40, the information processing device 10 transmits, for example, position information (latitude / longitude, etc.) between the departure point (or the current position) and the destination. When the server 40 provides route guidance based on the received position information, if the route includes a specific arousal level reduction point, the server 40 transmits the position information of each precision reduction point to the information processing device 10. , Can call attention. In this case as well, the server 40 transmits a message prompting the user to awaken to the information processing device 10 when the arousal level lowering point and the current position of the information processing device 10 are within a predetermined distance. Is preferable.

＜動作＞
次に、実施例における情報処理装置１０の動作について説明する。図６は、実施例におけるアプリケーションの全体処理の一例を示すフローチャートである。 <Operation>
Next, the operation of the information processing device 10 in the embodiment will be described. FIG. 6 is a flowchart showing an example of the overall processing of the application in the embodiment.

まず、ユーザがドライブアプリを起動させると、判定部３１６がユーザの覚醒度を判定する（Ｓ１００）。判定部３１６が覚醒度が閾値より低下していないと判定した場合（Ｓ１００：ＮＯ）であって、前回のアナウンスからアナウンス間隔を経過している場合（Ｓ１０１：ＹＥＳ）には、報知部３１８が正常アナウンスを実施する（Ｓ１０２）。他方で、前回のアナウンスからアナウンス間隔を経過していない場合（Ｓ１０１：ＮＯ）には、判定部３１６は再度Ｓ１００に戻って覚醒度の判定を行う。 First, when the user activates the drive application, the determination unit 316 determines the user's arousal level (S100). When the determination unit 316 determines that the arousal level is not lower than the threshold value (S100: NO) and the announcement interval has passed since the previous announcement (S101: YES), the notification unit 318 A normal announcement is made (S102). On the other hand, if the announcement interval has not elapsed since the previous announcement (S101: NO), the determination unit 316 returns to S100 again to determine the arousal level.

Ｓ１００の処理において、判定部３１６がユーザの覚醒度が閾値より低下したと判定した場合（Ｓ１００：ＹＥＳ）には、報知部３１８は運動促進アナウンスを実行する（Ｓ１０３）。 In the process of S100, when the determination unit 316 determines that the arousal level of the user is lower than the threshold value (S100: YES), the notification unit 318 executes the exercise promotion announcement (S103).

運動促進アナウンスの後、所定の期間（図６の例では１分間）の間に、検知部３１４が頭部運動を検知しなかった場合（Ｓ１０４：ＮＯ）には、報知部３１８は、繰り返し運動促進アナウンスを実行する。他方で、検知部３１４が頭部運動を検知した場合（Ｓ１０４：ＹＥＳ）において、ユーザの覚醒度が向上しなかった場合（Ｓ１０５：ＮＯ）には、報知部３１８は、アナウンス間隔を１分間に変更する（Ｓ１０８）。そして、情報処理装置１０は、前回の運動促進アナウンスからアナウンス間隔（設定された１分間）が経過するまで待機する（Ｓ１０９）。なお、このとき報知部３１８は、ユーザに対して、覚醒度が向上していない旨のアナウンスを行うことが好ましい。Ｓ１０９の実行後、情報処理装置１０は、再度Ｓ１００から処理を実行する。 If the detection unit 314 does not detect the head movement within a predetermined period (1 minute in the example of FIG. 6) after the exercise promotion announcement (S104: NO), the notification unit 318 repeatedly exercises. Make a promotion announcement. On the other hand, when the detection unit 314 detects the head movement (S104: YES) and the user's alertness does not improve (S105: NO), the notification unit 318 sets the announcement interval to 1 minute. Change (S108). Then, the information processing device 10 waits until the announcement interval (set 1 minute) elapses from the previous exercise promotion announcement (S109). At this time, it is preferable that the notification unit 318 announces to the user that the arousal level has not improved. After the execution of S109, the information processing apparatus 10 executes the process again from S100.

他方で、Ｓ１０５において、覚醒度が向上したと判定された場合には、報知部３１８はアナウンス間隔を例えば１５分間に設定する（Ｓ１０６）。そして、情報処理装置１０は、前回の運動促進アナウンスからアナウンス間隔（設定された１５分間）が経過するまで待機する（Ｓ１０７）。Ｓ１０７の実行後、情報処理装置１０は、再度Ｓ１００から処理を実行する On the other hand, when it is determined in S105 that the arousal level has improved, the notification unit 318 sets the announcement interval to, for example, 15 minutes (S106). Then, the information processing device 10 waits until the announcement interval (set 15 minutes) elapses from the previous exercise promotion announcement (S107). After the execution of S107, the information processing apparatus 10 executes the process again from S100.

このように、情報処理装置１０は、このＳ１００からＳ１０９の処理をユーザが運転中に繰り返し実行する。なお、ユーザがドライブアプリを終了した場合や、運転を終了した場合には、情報処理装置１０は、図６に示したいずれのステップを実行中でも、処理を終了する。 In this way, the information processing device 10 repeatedly executes the processes S100 to S109 during operation by the user. When the user terminates the drive application or the operation, the information processing apparatus 10 ends the process even while executing any of the steps shown in FIG.

以上、実施例によれば、ユーザの覚醒度が閾値より低下した場合にアナウンスを実行した後、頭部運動が行われるか否かを判定するため、より高精度でユーザの覚醒度を管理することができる。 As described above, according to the embodiment, the user's alertness is managed with higher accuracy in order to determine whether or not the head movement is performed after the announcement is executed when the user's alertness is lower than the threshold value. be able to.

なお、実施例において、アイウエア３０がメガネである場合について説明した。しかし、アイウエアはこれに限定されない。アイウエアは、眼に関連する装具であればよく、メガネ、サングラス、ゴーグル及びヘッドマウントディスプレイならびにこれらのフレームなどの顔面装着具又は頭部装着具であってよい。 In the examples, the case where the eyewear 30 is glasses has been described. However, eyewear is not limited to this. The eyewear may be any eye-related brace and may be a face or head brace such as eyeglasses, sunglasses, goggles and a head-mounted display and frames thereof.

また、実施例において、アイウエア３０が生体電極や６軸センサを設けることを説明したが、上述したように、視線移動や瞬目に関する情報や頭部運動に関する情報を画像処理を用いて取得可能であれば、生体電極や６軸センサは設けられなくてもよい。この場合、検知部３１４は、画像処理によって取得した頭部運動に関する情報に基づいて、ユーザの頭部運動を検知することができる。 Further, in the embodiment, it has been described that the eyewear 30 is provided with the bioelectrode and the 6-axis sensor, but as described above, it is possible to acquire information on eye movement and blinking and information on head movement by using image processing. If so, the bioelectrode and the 6-axis sensor may not be provided. In this case, the detection unit 314 can detect the user's head movement based on the information about the head movement acquired by the image processing.

なお、実施例において、アイウエア３０に搭載された６軸センサ２０６からのセンサ信号を用いて説明したが、情報処理装置１０に搭載された６軸センサ１１１からのセンサ信号を用いても、実施例において説明したアプリケーションを実行することが可能である。すなわち、６軸センサは頭部だけではなく、人体のいずれかの位置に装着されていればよい。 In the embodiment, the sensor signal from the 6-axis sensor 206 mounted on the eyewear 30 has been used, but the sensor signal from the 6-axis sensor 111 mounted on the information processing device 10 has also been used. It is possible to run the application described in the example. That is, the 6-axis sensor may be mounted not only on the head but also on any position on the human body.

また、実施例において、生体情報として、瞬目や視線移動、体動を用いて説明したが、これら以外にも、心拍、脈拍等の生体情報を用いてもよい。また、心理パラメータとして、エナジー、フォーカス、カームを用いて説明したが、その他の心理状態をパラメータとして用いてもよい。 Further, in the examples, as the biological information, the blinking eye, the movement of the line of sight, and the body movement have been described, but in addition to these, the biological information such as the heartbeat and the pulse may be used. Moreover, although the explanation was given using energy, focus, and calm as psychological parameters, other psychological states may be used as parameters.

以上、本発明について実施例を用いて説明したが、本発明の技術的範囲は上記実施例に記載の範囲には限定されない。上記実施例に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above with reference to Examples, the technical scope of the present invention is not limited to the scope described in the above Examples. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that such modified or improved forms may also be included in the technical scope of the present invention.

１０情報処理装置
２０処理装置
３０アイウエア
４０サーバ
３０２記憶部
３０４通信部
３０６制御部
３１２取得部
３１４検知部
３１６判定部
３１８報知部 10 Information processing device 20 Processing device 30 Eyewear 40 Server 302 Storage unit 304 Communication unit 306 Control unit 312 Acquisition unit 314 Detection unit 316 Judgment unit 318 Notification unit

［付記１］
サーバが実行する情報処理方法であって、
運転中のユーザの位置情報と、前記ユーザの覚醒度を判定する第１の判定結果及び／又は前記ユーザが覚醒したか否かを判定する第２の判定結果と、を処理装置から受信し、
前記ユーザの位置情報と、前記第１の判定の結果及び／又は前記第２の判定の結果とに基づいて、統計的に有意差のある覚醒度が閾値以下になる地点を特定すること、
を実行する情報処理方法。 [Appendix 1]
Information processing method executed by the server
The position information of the driving user, the first determination result for determining the awakening degree of the user, and / or the second determination result for determining whether or not the user is awakened are received from the processing device.
Identifying a point where the arousal level with a statistically significant difference is equal to or less than the threshold value based on the user's position information and the result of the first determination and / or the result of the second determination.
Information processing method to execute.

［付記２］
経路検索要求を処理装置から受信し、
前記経路に前記地点が含まれている場合には、前記地点の位置情報を前記処理装置に送信する、付記１に記載の情報処理方法。 [Appendix 2]
Receives a route search request from the processing device and
The information processing method according to Appendix 1, wherein when the route includes the point, the position information of the point is transmitted to the processing device.

［付記３］
処理装置の現在位置情報を定期的に受信し、
前記処理装置が前記地点から所定距離以内に入った場合、前記処理装置にユーザの覚醒を促すメッセージを送信する、付記１又は２に記載の情報処理方法。 [Appendix 3]
Receives the current location information of the processing device on a regular basis
The information processing method according to Appendix 1 or 2, wherein when the processing device enters the processing device within a predetermined distance, a message prompting the user to awaken is transmitted to the processing device.

Claims

It is an information processing method executed by a computer.
Acquiring information about the user's alertness from the processing device worn by the driving user,
And that on the basis of the obtained degree of awakening information about, performing the first determination determining alertness of the user,
When the wake-up level judged by the first judgment is below the threshold, and performing the notification urging the head movement to the user,
When the head movement of the user corresponding to the notification for prompting the head movement is not detected, the notification for prompting the head movement to the user is performed.
When the head movement of the user corresponding to the notification for prompting the head movement is detected, a second determination for determining whether or not the user has awakened based on the detected head movement is executed, and the above-mentioned Including notifying the user about the arousal level based on the second determination result.
Information processing method.

The information processing method further
When the arousal level determined by the first determination is not equal to or less than the threshold value, the user is notified that the driving is normal, and then the first determination is executed again. include,
The information processing method according to claim 1.

The information processing method further
After executing the second determination, executing the first determination again
Based on the second determination result, and controlling the interval for performing the first determination,
The information processing method according to claim 1 or 2.

Information about the user's alertness
Includes information about the user's ocular potential or information about the user's head movement detected by the processing device.
The information processing method according to any one of claims 1 to 3.

The information processing method further
The user's position information and the result of the first determination and / or the result of the second determination are transmitted to an external server device.
The information processing method according to any one of claims 1 to 4.

An acquisition unit that acquires information about the user's alertness from a processing device worn by the driving user,
A first determination unit that determines the arousal level of the user based on the acquired information on the arousal level, and
When the arousal level determined by the first determination unit is equal to or less than the threshold value, the notification unit that notifies the user to move the head and the notification unit.
A detection unit that detects the presence or absence of the user's head movement,
Have,
The notification unit further
When the detection unit does not detect the head movement of the user corresponding to the notification for prompting the head movement, the detection unit performs the notification for prompting the head movement to the user.
When the detection unit detects the head movement of the user corresponding to the notification prompting the head movement, the second determination of determining whether or not the user has awakened based on the detected head movement. To notify the user about the arousal level based on the second determination result.
Is configured to run,
Information processing device.

On the computer
Acquiring information about the user's alertness from the processing device worn by the driving user,
And that on the basis of the obtained degree of awakening information about, performing the first determination determining alertness of the user,
When the wake-up level judged by the first judgment is below the threshold, and performing the notification urging the head movement to the user,
When the head movement of the user corresponding to the notification for prompting the head movement is not detected, the notification for prompting the head movement to the user is performed.
When the head movement of the user corresponding to the notification for prompting the head movement is detected, a second determination for determining whether or not the user has awakened based on the detected head movement is executed, and the above-mentioned Notifying the user about the arousal level based on the second determination result,
A program that executes.