JP5862407B2 - Biological information processing apparatus and biological information processing method - Google Patents
Biological information processing apparatus and biological information processing method Download PDFInfo
- Publication number
- JP5862407B2 JP5862407B2 JP2012072135A JP2012072135A JP5862407B2 JP 5862407 B2 JP5862407 B2 JP 5862407B2 JP 2012072135 A JP2012072135 A JP 2012072135A JP 2012072135 A JP2012072135 A JP 2012072135A JP 5862407 B2 JP5862407 B2 JP 5862407B2
- Authority
- JP
- Japan
- Prior art keywords
- biological information
- heart rate
- driver
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Description
本件は、生体情報処理装置及び生体情報処理方法に関する。 The present case relates to a biological information processing apparatus and a biological information processing method.
車両(例えば、自動車)を運転する運転者が事故に至らなくても、「ヒヤリ」としたり、「ハッ」とするような危険な状態に遭遇することがある。このような危険な状態は「ヒヤリハット」と呼ばれている。従来、「ヒヤリハット」が生じる地点を収集し、これら「ヒヤリハット」地点を走行する車両に「ヒヤリハット」地点の情報を提供することにより、事故の低減を図ることが提案されている(例えば特許文献1参照)。 Even if a driver who drives a vehicle (for example, an automobile) does not have an accident, he or she may encounter a dangerous situation such as “near” or “hit”. Such a dangerous state is called “near-miss”. Conventionally, it has been proposed to reduce accidents by collecting points where “missing hats” occur and providing information on “missing hats” to vehicles traveling through these “missing hats” (for example, Patent Document 1). reference).
このような「ヒヤリハット」は、例えば暗い、見通しが悪い、路上駐車が頻繁に行われるなどの道路の環境に起因する慢性的な危険位置を通過する場合や、事故が起こる寸前の場合などにおいて発生する。運転中の「ヒヤリハット」を抽出する方法には、例えば、運転中の運転者から心拍数を取得し、心拍数が平均値から大きく変化した場合を「ヒヤリハット」として抽出する方法がある。 Such “missing hats” occur, for example, when passing through a chronic danger position due to the road environment, such as darkness, poor visibility, and frequent parking on the road, or just before an accident occurs. To do. As a method of extracting the “missing hat” during driving, for example, there is a method of acquiring the heart rate from the driving driver and extracting the case where the heart rate has greatly changed from the average value as the “missing hat”.
この場合、事故寸前のヒヤリハットに関しては、心拍数が倍増するような大きな生体反応が生じるため、その検出は比較的容易である。しかしながら、慢性的な危険位置を通過する場合のヒヤリハットに関しては、心拍数の変化は、平均値から1割程度上昇する程度のものであるため、他のノイズとなる要素の影響により検出が難しくなるおそれがある。 In this case, a near-accident near-accident incident is relatively easy to detect because a large biological reaction that doubles the heart rate occurs. However, regarding the near-miss when passing through a chronic danger position, the change in heart rate is about 10% higher than the average value, so detection is difficult due to the influence of other noise factors. There is a fear.
ノイズとなる要素には、運転者の身体の状態(疲労など)が含まれる。このため、長期間の運転等により運転者が疲れるなどして、心拍数が低下したり、刺激に対する感受性が低下し、生体反応が鈍くなったりすると、「ヒヤリハット」を正確に抽出できないおそれがある。 Elements that cause noise include the state of the driver's body (such as fatigue). For this reason, if the driver gets tired due to long-term driving, etc., the heart rate decreases, the sensitivity to stimulation decreases, and the biological reaction becomes dull. .
そこで本件は上記の課題に鑑みてなされたものであり、運転者の身体的な状態による影響を抑制した、運転者の生体情報を用いた処理を実行することが可能な生体情報処理装置及び生体情報処理方法を提供することを目的とする。 Therefore, the present case has been made in view of the above problems, and a biological information processing apparatus and a biological body capable of executing processing using biological information of the driver while suppressing the influence of the physical state of the driver An object is to provide an information processing method.
本明細書に記載の生体情報処理装置は、車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得部と、前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出部と、前記生体情報を前記補正値に基づいて補正する補正部と、前記補正後の生体情報を用いた処理を実行する処理部と、を備えている。 The biometric information processing device described in the present specification includes a biometric information acquisition unit that acquires biometric information of a driver who drives a vehicle in association with position information, and the driver's biometric information obtained from a time change of the biometric information. A calculation unit that calculates a correction value for correcting the influence of fatigue on the biological information, a correction unit that corrects the biological information based on the correction value, and a process using the corrected biological information are executed. And a processing unit.
また、本明細書に記載の生体情報処理装置は、車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得部と、前記運転者の眠気を検出する検出部と、前記検出部により前記運転者の眠気が検出されたタイミングに対応する生体情報以外の生体情報を用いた処理を実行する処理部と、を備えている。 Further, the biological information processing apparatus described in the present specification includes a biological information acquisition unit that acquires biological information of a driver who drives a vehicle in association with position information, a detection unit that detects sleepiness of the driver, A processing unit that executes processing using biological information other than the biological information corresponding to the timing at which the driver's sleepiness is detected by the detection unit.
また、本明細書に記載の生体情報処理方法は、車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得工程と、前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出工程と、前記生体情報を前記補正値に基づいて補正する補正工程と、前記補正後の生体情報を用いた処理を実行する処理工程と、をコンピュータが実行する生体情報処理方法である。 Further, the biological information processing method described in the present specification includes the biological information acquisition step of acquiring the biological information of the driver who drives the vehicle in association with the position information, and the driving obtained from the time change of the biological information. A calculation step for calculating a correction value for correcting the influence on the biological information due to the fatigue of the person, a correction step for correcting the biological information based on the correction value, and a process using the corrected biological information And a biological information processing method executed by a computer.
また、本明細書に記載の生体情報処理方法は、車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得工程と、前記運転者の眠気を検出する検出工程と、前記運転者の眠気が検出されたタイミングに対応する生体情報以外の生体情報を用いた処理を実行する処理工程と、をコンピュータが実行する生体情報処理方法である。 Further, the biological information processing method described in the present specification includes a biological information acquisition step of acquiring biological information of a driver who drives a vehicle in association with position information, a detection step of detecting sleepiness of the driver, A biological information processing method in which a computer executes a processing step of executing processing using biological information other than biological information corresponding to timing at which the driver's sleepiness is detected.
本明細書に記載の生体情報処理装置及び生体情報処理方法は、運転者の身体的な状態による影響を抑制した、運転者の生体情報を用いた処理を実行することができるという効果を奏する。 The biometric information processing device and the biometric information processing method described in the present specification have an effect that it is possible to execute processing using the driver's biometric information while suppressing the influence of the driver's physical state.
以下、一実施形態にかかるハザードマップ作成システムについて、図1〜図11に基づいて詳細に説明する。図1には、一実施形態にかかるハザードマップ作成システム100の構成が概略的に示されている。このハザードマップ作成システム100は、例えば車両を運転する運転者の心拍等に基づいて、暗い、見通しが悪い、路上駐車が頻繁に行われるなどの道路の環境に起因する慢性的な危険位置(ヒヤリハット地点)を特定し、出力するシステムである。
Hereinafter, a hazard map creation system according to an embodiment will be described in detail with reference to FIGS. FIG. 1 schematically shows a configuration of a hazard
ハザードマップ作成システム100は、車両(本実施形態では、自動車とする)に搭載される心拍変動記録装置10と、生体情報処理装置としてのハザードマップ作成装置30と、を備える。心拍変動記録装置10と、ハザードマップ作成装置30とは、インターネットやLAN(Local Area Network)などのネットワーク80に接続されている。
The hazard
図2には、心拍変動記録装置10とハザードマップ作成装置30のブロック図が示されている。心拍変動記録装置10は、図2に示すように、心拍測定装置12と、位置測定装置14と、時刻測定装置16と、記録部18と、通信部20と、心拍情報DB22と、を有する。
FIG. 2 shows a block diagram of the heart rate
心拍測定装置12は、例えば、車両のハンドルに設置されたり、あるいは運転者の耳に装着され、運転者に接触(又は近接)することで運転者の心拍を測定する装置である。心拍測定装置12としては、赤外線を利用した脈拍センサなどを用いることができる。位置測定装置14は、GPS(Global Positioning System)モジュールや加速度センサなどを含み、車両の位置(緯度、経度で表される絶対位置や、路線の起点からの距離など)を測定する。なお、車両にカーナビゲーションシステムが予め搭載されている場合には、位置測定装置14として、カーナビゲーションシステムの位置測定機能を用いることとしても良い。時刻測定装置16は、計時機能を有しており、現在の日時を記録部18に対して送信する。
The heart
記録部18は、CPU等を有し、心拍測定装置12、位置測定装置14、及び時刻測定装置16における測定結果を関連付けた状態で、心拍情報DB22に格納する。通信部20は、所定時間間隔で(例えば1日おきに)、心拍情報DB22に格納された心拍数のデータを、ハザードマップ作成装置30に対して送信する。
The
心拍情報DB22は、例えば、図4(a)に示すようなデータ構造を有している。すなわち、心拍情報DB22は、「時刻」、「路線」、「距離」、「心拍数」の各フィールドを有している。「時刻」のフィールドには、心拍測定装置12において心拍数を測定したときの時刻(時刻測定装置16で測定される)が入力される。「路線」のフィールドには、心拍数が測定されたときに位置測定装置14で測定された位置から導き出される、車両が走行している路線名が入力される。「距離」のフィールドには、心拍数が測定されたときに位置測定装置14で測定された位置から導き出される、路線の起点からの距離が入力される。また、「心拍数」のフィールドには、心拍測定装置12において測定された心拍数が入力される。
The heartbeat information DB 22 has, for example, a data structure as shown in FIG. That is, the heart rate information DB 22 has fields of “time”, “route”, “distance”, and “heart rate”. In the “time” field, the time when the heart rate is measured by the heart rate measuring device 12 (measured by the time measuring device 16) is input. In the “route” field, the name of the route on which the vehicle is traveling, which is derived from the position measured by the
ハザードマップ作成装置30は、サーバを含んでおり、図3に示すようなハードウェア構成を有している。具体的には、ハザードマップ作成装置30は、図3に示すように、CPU90、ROM92、RAM94、記憶部(ここではHDD(Hard Disk Drive))96、ネットワークインタフェース97及び可搬型記憶媒体用ドライブ99等を備えており、ハザードマップ作成装置30の構成各部は、バス98に接続されている。ハザードマップ作成装置30では、ROM92あるいはHDD96に格納されているプログラム、或いは可搬型記憶媒体用ドライブ99が可搬型記憶媒体91から読み取ったプログラムをCPU90が実行することにより、図2の各部の機能が実現される。
The hazard
すなわち、ハザードマップ作成装置30は、CPU90がプログラムを実行することで、生体情報取得部としての通信部32、心拍変動統計処理部34、算出部としての補正パラメータ算出部38、ヒヤリハット地点特定部36として機能する。なお、図2には、HDD96等に格納されている心拍変動DB40も図示されている。
That is, in the hazard
通信部32は、心拍変動記録装置10の通信部20から、心拍数のデータを受信し、心拍変動DB40に格納する。ここで、心拍変動DB40は、図4(b)のようなデータ構造を有している。すなわち、心拍変動DB40は、「ドライバ」、「時刻」、「路線」、「距離」、「心拍数」の各フィールドを有している。「ドライバ」のフィールドには、車両を運転している運転者(予め登録されているものとする)が入力される。その他のフィールドについては、図4(a)の心拍情報DB22と同様のデータが入力される。
The communication unit 32 receives heart rate data from the
心拍変動統計処理部34は、ハザードマップ作成装置30の利用者から入力される条件に基づいて、心拍変動DB40から必要なデータを抽出し、当該抽出したデータを補正したり、集計をした後、ヒヤリハット地点特定部36に対して出力する。
The heart rate variability
補正パラメータ算出部38は、心拍変動統計処理部34において用いられる補正パラメータを算出する。補正パラメータの詳細については後述する。
The correction
ヒヤリハット地点特定部36は、心拍変動統計処理部34から出力されたデータに基づいてに基づいて、運転者が危険と感じる位置(ヒヤリハット地点)を特定し、出力する。
The near-miss
次に、本実施形態におけるハザードマップ作成装置30の処理について、図5〜図11に基づいて、かつその他図面を適宜参照しつつ、詳細に説明する。
Next, the process of the hazard
ここで、本実施形態におけるヒヤリハット地点の特定原理について説明する。運転者が見通しの悪いカーブや運転しにくい隘路のような慢性的な危険位置(ヒヤリハット地点)を通過する場合、運転者の心拍数は、1割程度上昇する程度であり検出が難しい。そこで本実施形態では、例えば、図5(a)、図5(b)に示すように、ある起点からの走行距離に対応する心拍変動を複数の運転者(ドライバA、B)ごとに複数回取得し、図5(c)のように、各運転者の走行時心拍変動平均を算出する。この場合、各運転者で、心拍変動平均が上昇している地点(心拍変動量(率)が所定以上増加している地点)をヒヤリハット地点として特定することができる。 Here, the identification principle of the near-miss point in the present embodiment will be described. When a driver passes a chronic danger position (near-missing point) such as a curve with poor visibility or a difficult-to-drive road, the heart rate of the driver increases by about 10% and is difficult to detect. Therefore, in the present embodiment, for example, as shown in FIGS. 5A and 5B, the heart rate variability corresponding to the travel distance from a certain starting point is plural times for each of a plurality of drivers (drivers A and B). Obtained, and as shown in FIG. 5C, the average heart rate variability during driving of each driver is calculated. In this case, in each driver, a point where the heart rate variability average is increasing (a point where the heart rate variability (rate) increases by a predetermined value or more) can be identified as a near-miss point.
しかしながら、運転者が長時間運転を継続すると、運転者は疲労するため、一般に生体機能が低下して反応が鈍る。この状態で図5(c)のような走行時心拍変動平均を算出しても、運転者が疲労していたときの心拍変動は少ないため、慢性的な危険位置(ヒヤリハット地点)の特定に影響が出るおそれがある。 However, when the driver continues driving for a long time, the driver gets tired, so that the biological function is generally lowered and the reaction becomes dull. Even if the average heart rate variability during driving as shown in FIG. 5 (c) is calculated in this state, since the heart rate variability when the driver is tired is small, it has an influence on the identification of a chronic danger position (near-miss point). May occur.
また、ヒヤリハット地点の特定への影響には、疲労のほかに、眠気による知覚減退もある。ある程度の眠気ならば疲労と同様に生体反応の低下を生じるが、強度の眠気を受けると運転者は意識低下や朦朧運転状態になるため、ヒヤリハット地点であっても運転者は無反応となってしまう。 In addition to fatigue, other influences on identifying near-miss points include a decrease in perception due to sleepiness. A certain amount of sleepiness will cause a decrease in the biological response as well as fatigue, but if the driver receives intense sleepiness, the driver will be less conscious or in a state of dredging. End up.
そこで、本実施形態では、長時間運転による疲労の影響を抑制するために、補正パラメータを算出して、ヒヤリハット地点の特定に用いるとともに、眠気が発生しているときの心拍数のデータを、ヒヤリハット地点の特定に用いないこととする。 Therefore, in this embodiment, in order to suppress the influence of fatigue due to long-time driving, a correction parameter is calculated and used to identify the near-miss point, and the heart rate data when drowsiness is occurring is used as near-miss It will not be used to identify a point.
図6は、補正パラメータの算出原理を説明するための、長時間運転の時間経過による心拍数変化のモデル図が示されている。図6に示すように、時間経過とともに運転者に疲労が蓄積すると、一般的に、運転者の平均心拍数(破線で示している)が減少するとともに、心拍数変動量(実線で示している)が減少する。したがって、本実施形態では、運転者による走行時の心拍変化をこのモデルに当てはめ、疲労の少ない時間範囲a0と疲労が進行した時間範囲a1とを比較して、平均心拍数bの変化率と瞬間心拍数変動dの変化率の関係を補正パラメータとする。 FIG. 6 is a model diagram showing a change in heart rate over time of long-time driving for explaining the calculation principle of the correction parameter. As shown in FIG. 6, when the driver accumulates fatigue over time, the average heart rate of the driver (shown by a broken line) generally decreases and the heart rate fluctuation amount (shown by a solid line). ) Decreases. Therefore, in the present embodiment, the heart rate change during driving by the driver is applied to this model, and the rate of change of the average heart rate b and the instantaneous rate are compared by comparing the time range a0 with less fatigue with the time range a1 with progress of fatigue. The relationship of the rate of change of heart rate fluctuation d is used as a correction parameter.
具体的には、図6のモデルにおいて、範囲a0からa1への移行により、平均心拍数がb0からb1に、瞬間心拍数変動がd0からd1に変動したとする。この場合、図6のモデルは、pを比例定数とすると、次式(1)で示す1次比例モデルとなっている。
(d1−d0)=p×(b1−b0) …(1)
Specifically, in the model of FIG. 6, it is assumed that the average heart rate fluctuates from b0 to b1 and the instantaneous heart rate fluctuation fluctuates from d0 to d1 due to the transition from the range a0 to a1. In this case, the model of FIG. 6 is a linear proportional model represented by the following equation (1), where p is a proportional constant.
(D1-d0) = p × (b1-b0) (1)
比例定数pは疲労度蓄積(疲労進行)に対する心拍数の感受性の変化を表すもので、個人差があると考えられる。このため、各運転者について、実際の走行データから走行条件が揃った範囲(走行時にヒヤリハットの状態が発生しにくい箇所)a0,a1をサンプリングして、代表値(又は複数サンプリングした平均値)b0,b1,d0,d1を用いて比例定数pを求めればよい。なお、図6の1次比例モデルでは求めるべきパラメータが1つだけなので、パラメータ同定が容易であるメリットがある。 The proportionality constant p represents the change in sensitivity of the heart rate to the accumulation of fatigue (fatigue progression) and is considered to have individual differences. For this reason, for each driver, a range in which the driving conditions are set from actual driving data (location where the near-miss state is difficult to occur during driving) a0 and a1 are sampled, and a representative value (or an average value obtained by sampling a plurality of values) b0. , B1, d0, d1 may be used to determine the proportionality constant p. Note that the first-order proportional model in FIG. 6 has only one parameter to be obtained, so that there is an advantage that parameter identification is easy.
以下、図7に基づいて、補正パラメータの算出処理の流れを具体的に説明する。なお、図7の処理は、図2の補正パラメータ算出部38が実行する処理である。
Hereinafter, the flow of the correction parameter calculation process will be specifically described with reference to FIG. The process in FIG. 7 is a process executed by the correction
図7の処理では、まず、ステップS10において、補正パラメータ算出部38が、心拍変動DB40から、補正パラメータを算出すべき運転者の対象データを読み出す。この場合、例えば、図8(a)で示すような実データが読み出されるものとする。
In the process of FIG. 7, first, in step S <b> 10, the correction
次いで、ステップS12では、補正パラメータ算出部38が、安定走行領域を検出する。安定走行領域としては、例えば、これまでの処理において、他の運転者のデータからヒヤリハット地点と判定されたことがない地点(領域)を検出するなどすることができる。なお、図8(a)のデータでは、範囲a0(10〜15分の範囲)と範囲a1(70〜75分の範囲)が安定走行領域として検出されたものとする。
Next, in step S12, the correction
次いで、ステップS14では、補正パラメータ算出部38が、心拍数対瞬間心拍数変動の組み合わせを算出する。ここでは、図8(b)に示すように、心拍数として「平均」の欄の値が算出され、瞬間心拍数変動として「不偏分散」の欄の値が算出される。なお、不偏分散は、瞬間心拍数の変動度合いを示す。
Next, in step S14, the correction
次いで、ステップS16では、補正パラメータ算出部38が、補正パラメータを算出する。この場合、上式(1)に基づいて、補正パラメータpを算出する。なお、不偏分散は、上述のように瞬間心拍数の変動度合いを示すため、上式(1)の左辺としては、不偏分散の減少率を求める必要がある。
(29.262465−28.211638)/29.262465×100=p×(101.6933−94.51807)
p≒3.59/7.18≒4/7
Next, in step S16, the correction
(29.262465-28.211638) /29.262465×100=p× (101.6933−94.51807)
p ≒ 3.59 / 7.18 ≒ 4/7
本実施形態では、心拍変動統計処理部34は、上記図7の処理を経て得られた補正パラメータpを用いて、図9に示すフローチャートに沿ったヒヤリハット地点の特定に必要なデータ(心拍変動統計値)の出力処理を行う。以下、図9に沿って、心拍変動統計処理部34の処理について詳細に説明する。
In the present embodiment, the heart rate variability
図9の処理では、まず、ステップS20において、心拍変動統計処理部34が、ハザードマップ作成装置30の利用者によって検索条件が設定されるまで待機する。なお、利用者は、検索条件として、ハザードマップを作成したい路線、範囲、時間帯を入力するものとする。
In the process of FIG. 9, first, in step S <b> 20, the heart rate variability
利用者によって検索条件が入力されると、心拍変動統計処理部34は、ステップS22に移行し、データベース検索条件を作成する。この場合、心拍変動統計処理部34は、検索条件として設定された路線の範囲を割り出したり、当該路線の範囲を所定間隔(例えば100m間隔)で分割したり、当該分割した区間を各運転者が通過した時刻を推定したりする。
When the search condition is input by the user, the heart rate variability
次いで、ステップS24では、心拍変動統計処理部34は、作成したデータベース検索条件に基づいて、心拍変動DB40を検索し、検索条件に当てはまるデータを取得する。なお、この場合には、複数の運転者が、同一の範囲を運転したときのデータを複数回分取得するものとする。
Next, in step S24, the heart rate variability
次いで、ステップS26では、心拍変動統計処理部34は、補正パラメータpを用いて疲労補正を行う。
Next, in step S26, the heart rate variability
図10には、走行による疲労で平均心拍数が70から50に低下した場合のシミュレーションの例を示す。図10(a)では、走行時刻の10〜20(範囲a0)、80〜90(範囲a1)の区間が、ヒヤリハット地点であり、心拍変動率が5%上昇する状況を想定しており、図10(b)では、図10(a)に示す5回の走行での心拍測定値を重ね合わせている。疲労による補正を行わない場合、疲労により心拍数変動率が減少するため、図10(b)に示すように、範囲a1(走行時刻80〜90)の区間では、心拍増加が5%に至ったと判定することができないことがわかる。これに対し、補正パラメータpを用いて、疲労による補正を行った場合には、範囲a1(走行時刻80〜90)の区間では、心拍増加が5%に至ったと判定することができるようになる。なお、補正パラメータpを用いた補正は、例えば、pが4/7であれば、平均心拍数が20減少しているので、20×1/p=28(%)だけ、範囲a1における心拍数の振れ幅が大きくなるように(心拍変動率が大きくなるように)補正を行うようにする。
FIG. 10 shows an example of a simulation when the average heart rate is reduced from 70 to 50 due to fatigue due to running. In FIG. 10 (a), it is assumed that
図9に戻り、次のステップS28では、心拍変動統計処理部34が、ステップS24で検索されたデータにおいて、運転者に眠気が発生しているか否かを判断する。なお、眠気の判定には、例えば、心拍測定による自律神経系解析による方法を採用することができる。
Returning to FIG. 9, in the next step S28, the heart rate variability
このステップS28における判断が肯定された場合には、ステップS30に移行し、心拍変動統計処理部34は、眠気が発生している間のデータを除外する。その後は、ステップS32に移行する。一方、ステップS28の判断が否定された場合には、ステップS30を経ずに、ステップS32に直接移行する。
If the determination in step S28 is affirmative, the process proceeds to step S30, and the heart rate variability
ここで、図11(a)、図11(b)には、走行による疲労で平均心拍数が70から50に低下し、かつ走行の一部において眠気が発生した場合のシミュレーションの例が示されている。図11(a)では、走行時刻の10〜20の範囲(a0)と80〜90の範囲(a1)の区間がヒヤリハット地点であり、心拍変動率が5%上昇する状況を想定しており、図11(b)では、5回の走行中1回だけ眠気発生により心拍増加が起きなかったとする。この場合、眠気検知による除外処理(眠気補正)を行わない場合、心拍増加の起きなかった走行を除外することなく重ね合わせを行うため、図11(b)の破線に示すように、心拍増加が5%に至ったとの判定を行うことができないことがわかる。これに対し、眠気補正(データ除外)を行った場合には、範囲a0やa1の区間において、心拍増加が5%に至ったと判定することが可能となる。 Here, FIG. 11 (a) and FIG. 11 (b) show examples of simulations when the average heart rate decreases from 70 to 50 due to fatigue due to running and sleepiness occurs in part of running. ing. In FIG. 11 (a), it is assumed that the sections of the travel time range of 10-20 (a0) and 80-90 range (a1) are near-miss points, and the heart rate variability increases by 5%. In FIG. 11 (b), it is assumed that no increase in heart rate has occurred due to the occurrence of sleepiness only once during five runs. In this case, when the exclusion process (drowsiness correction) based on the drowsiness detection is not performed, since the overlapping is performed without excluding the run in which the heart rate does not increase, the increase in the heart rate is caused as shown by the broken line in FIG. It can be seen that it cannot be determined that the rate has reached 5%. On the other hand, when sleepiness correction (data exclusion) is performed, it is possible to determine that the increase in heart rate has reached 5% in the sections of the ranges a0 and a1.
図9に戻り、ステップS32に移行すると、心拍変動統計処理部34が、疲労及び眠気により補正されたデータを用いて心拍変動統計値を集計し、ヒヤリハット地点特定部36に対して出力する。
Returning to FIG. 9, when the process proceeds to step S <b> 32, the heart rate variability
なお、ヒヤリハット地点特定部36は、心拍変動統計処理部34が出力した心拍変動統計値を用いて、ヒヤリハット地点を特定し、出力する。
The near-miss
なお、これまでの説明からわかるように、本実施形態の心拍変動統計処理部34によって、心拍数のデータを補正パラメータに基づいて補正する補正部、運転者の眠気を検出する検出部、及び補正後の生体情報を用いた処理及び眠気が検出されたタイミングに対応する心拍数のデータ以外のデータを用いた処理を実行する処理部、としての機能が実現されている。
As can be seen from the above description, the heart rate variability
以上、詳細に説明したように、本実施形態によると、通信部32が、車両を運転する運転者の心拍数のデータ(走行位置と対応付けられている)を取得し、補正パラメータ算出部38が、心拍数及び瞬間心拍数変動の時間変化から求められる、運転者の疲労による心拍数のデータへの影響を補正するための補正パラメータを算出し、心拍変動統計処理部34が、補正パラメータに基づいて心拍数のデータを補正するとともに、補正後のデータを用いて心拍変動統計値を集計し、出力する。これにより、本実施形態では、運転者の疲労によって瞬間心拍変動が低下するような場合であっても、当該低下を補正した後のデータを用いて心拍変動統計値を出力するので、心拍変動統計値に基づいたヒヤリハット地点の算出を高精度に行うことが可能となる。例えば、長距離運転を行う場合、行きよりも帰りのほうが疲労により生体反応が低下して、心拍数上昇が小さくなるということがあるが、このような場合であっても「行きの方が帰りより危険を感じやすい(すなわち、危険である)」などと誤った判断がされるのを抑制することができる。また、本実施形態は、特に、長時間運転を行うことで疲労が蓄積する専業ドライバーを評価対象とする場合に有効である。
As described above in detail, according to the present embodiment, the communication unit 32 acquires the heart rate data (associated with the travel position) of the driver who drives the vehicle, and the correction
また、本実施形態によると、心拍変動統計処理部34が、運転者の眠気の発生を検出し、眠気が検出されたタイミングにおける心拍数のデータを除外して、心拍変動統計値を集計し、出力する。これにより、運転者の眠気(眠気による知覚減退、意識低下や朦朧運転状態)の影響を排除して、心拍変動統計値を集計し、出力することができる。したがって、この点からも、心拍変動統計値に基づいたヒヤリハット地点の算出を高精度に行うことが可能となる。
Further, according to the present embodiment, the heart rate variability
なお、上記実施形態では、疲労及び眠気による補正を加えるために、疲労及び眠気補正後の心拍数データを用いて、心拍変動統計値を集計し、ヒヤリハット地点特定部36に対して出力する場合について説明した。しかしながら、これに限られるものではなく、例えば、心拍数のデータとともに疲労や眠気の評価値を、ヒヤリハット地点特定部36に対して出力するようにしてもよい。この場合、心拍変動統計処理部34の処理としては、図12に示すように、図9のステップS26〜S30が省略されることになる。このように、図12のような処理を行えば、ヒヤリハット地点特定部36が扱うデータ量や処理が図9の処理よりも増えるものの、疲労や眠気評価の尺度をヒヤリハット地点の特定の際に調整できるという利点がある。
In the embodiment described above, in order to add correction due to fatigue and drowsiness, the heart rate variability statistical values are tabulated using the heart rate data after fatigue and drowsiness correction, and output to the near miss
なお、上記実施形態では、ハザードマップ作成装置30が、ヒヤリハット地点特定部36を有する場合について説明したが、これに限られるものではない。すなわち、ハザードマップ作成装置30は、ヒヤリハット地点特定部36を有していなくてもよく、単に心拍変動統計値を出力するのみでもよい。この場合、ハザードマップ作成装置30から出力された心拍変動統計値からヒヤリハット地点を特定する処理を、人が行うこととしてもよいし、他の装置が行うこととしてもよい。
In addition, although the said embodiment demonstrated the case where the hazard
なお、上記実施形態では、眠気の検出方法として、心拍測定による自律神経系解析による方法を用いる場合について説明したが、これに限られるものではない。例えば、閉眼検知による方法などを用いることもできる。この場合、眠気強度の評価基準としてNEDO(独立行政法人新エネルギー・産業技術総合開発機構)による顔面表情評価基準があるが、この基準において眠気レベル5(非常に眠そう)に相当する眠気を検出した箇所においては、ヒヤリ検出不能と判断して、心拍変動統計値の集計の対象から除外するなどすることができる。 In the above-described embodiment, the case where the method based on autonomic nervous system analysis based on heart rate measurement is used as the drowsiness detection method has been described. However, the present invention is not limited to this. For example, a method based on detection of closed eyes can be used. In this case, there is a facial expression evaluation standard by NEDO (New Energy and Industrial Technology Development Organization) as an evaluation standard of sleepiness intensity, and sleepiness corresponding to sleepiness level 5 (very sleepy) is detected in this standard. In such a place, it can be determined that near-miss detection is impossible, and it can be excluded from the target of aggregation of heart rate variability statistics.
なお、上記実施形態では、平均心拍数の減少に基づいて疲労を量的に評価しているが、他の疲労を示す量を用いて補正を行うこととしてもよい。例えば、心拍信号から評価できる疲労パラメータとしては、心拍ゆらぎ周波数のLF(low frequency)/HF(high frequency)成分比率の増加が知られている。したがって、平均心拍数の減少に代えて、心拍ゆらぎLF/HF成分比率の増加率を用いることとしてもよい。 In the above embodiment, fatigue is quantitatively evaluated based on a decrease in average heart rate. However, correction may be performed using an amount indicating other fatigue. For example, as a fatigue parameter that can be evaluated from a heartbeat signal, an increase in the LF (low frequency) / HF (high frequency) component ratio of the heartbeat fluctuation frequency is known. Therefore, instead of decreasing the average heart rate, an increase rate of the heart rate fluctuation LF / HF component ratio may be used.
なお、上記実施形態では、心拍変動記録装置10が搭載される車両が自動車である場合について説明したが、これに限られるものではない。車両として、その他の車両(例えば、バイク、電車、飛行機など)を採用することとしてもよい。
In the above-described embodiment, the case where the vehicle on which the heart rate
なお、上記実施形態では、生体情報として心拍に関する情報を取得し、当該情報を用いた処理(集計、出力など)を行う場合について説明したが、これに限られるものではない。例えば、生体情報としては、体動、呼吸などの他の生体情報を取得し、当該情報を用いた処理を行うこととしてもよい。 In the above-described embodiment, the case has been described in which information related to the heartbeat is acquired as biological information, and processing (totalization, output, etc.) using the information is performed. However, the present invention is not limited to this. For example, as biological information, other biological information such as body movement and respiration may be acquired and processing using the information may be performed.
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。 The above processing functions can be realized by a computer. In that case, a program describing the processing contents of the functions that the processing apparatus should have is provided. By executing the program on a computer, the above processing functions are realized on the computer. The program describing the processing contents can be recorded on a computer-readable recording medium.
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD−ROM(Compact Disc Read Only Memory)などの可搬型記録媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When the program is distributed, for example, it is sold in the form of a portable recording medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in a storage device of a server computer and transfer the program from the server computer to another computer via a network.
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 The computer that executes the program stores, for example, the program recorded on the portable recording medium or the program transferred from the server computer in its own storage device. Then, the computer reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable recording medium and execute processing according to the program. Further, each time the program is transferred from the server computer, the computer can sequentially execute processing according to the received program.
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The above-described embodiment is an example of a preferred embodiment of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the scope of the present invention.
なお、以上の説明に関して更に以下の付記を開示する。
(付記1) 車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得部と、
前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出部と、
前記生体情報を前記補正値に基づいて補正する補正部と、
前記補正後の生体情報を用いた処理を実行する処理部と、を備える生体情報処理装置。
(付記2) 前記運転者の眠気を検出する検出部を更に備え、
前記処理部は、前記検出部により前記運転者の眠気が検出されたタイミングに対応する前記運転者の生体情報を除外して、前記処理を実行することを特徴とする付記1に記載の生体情報処理装置。
(付記3) 前記補正値は、運転中の所定時間における平均心拍数の変化と、瞬間心拍数変動とに基づいて定まる値であることを特徴とする付記1又は2に記載の生体情報処理装置。
(付記4) 車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得部と、
前記運転者の眠気を検出する検出部と、
前記検出部により前記運転者の眠気が検出されたタイミングに対応する生体情報以外の生体情報を用いた処理を実行する処理部と、を備える生体情報処理装置。
(付記5) 前記処理部は、運転者が危険を感じた位置を特定する処理を実行することを特徴とする付記1〜4のいずれかに記載の生体情報処理装置。
(付記6) 車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得工程と、
前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出工程と、
前記生体情報を前記補正値に基づいて補正する補正工程と、
前記補正後の生体情報を用いた処理を実行する処理工程と、をコンピュータが実行することを特徴とする生体情報処理方法。
(付記7) 前記運転者の眠気を検出する検出工程を前記コンピュータが更に実行し、
前記処理工程は、前記検出工程により前記運転者の眠気が検出されたタイミングに対応する前記運転者の生体情報を除外して、前記処理を実行することを特徴とする付記5に記載の生体情報処理方法。
(付記8) 前記補正値は、運転中の所定時間における平均心拍数の変化と、瞬間心拍数変動とに基づいて定まる値であることを特徴とする付記6又は7に記載の生体情報処理方法。
(付記9) 車両を運転する運転者の生体情報を位置情報と対応付けて取得する生体情報取得工程と、
前記運転者の眠気を検出する検出工程と、
前記運転者の眠気が検出されたタイミングに対応する生体情報以外の生体情報を用いた処理を実行する処理工程と、をコンピュータが実行することを特徴とする生体情報処理方法。
(付記10) 前記処理工程は、運転者が危険を感じた位置を特定する処理を実行することを特徴とする付記6〜9のいずれかに記載の生体情報処理方法。
In addition, the following additional notes are disclosed regarding the above description.
(Supplementary Note 1) A biometric information acquisition unit that acquires biometric information of a driver who drives a vehicle in association with position information;
A calculation unit that calculates a correction value for correcting an influence on the biological information due to fatigue of the driver, which is obtained from a time change of the biological information;
A correction unit that corrects the biological information based on the correction value;
A biological information processing apparatus comprising: a processing unit that executes processing using the corrected biological information.
(Additional remark 2) It further has a detection part which detects the driver's sleepiness,
The biological information according to
(Supplementary Note 3) The biological information processing apparatus according to
(Supplementary Note 4) A biometric information acquisition unit that acquires biometric information of a driver who drives a vehicle in association with position information;
A detection unit for detecting sleepiness of the driver;
A biological information processing apparatus comprising: a processing unit that executes processing using biological information other than biological information corresponding to the timing at which the driver's sleepiness is detected by the detection unit.
(Additional remark 5) The said process part performs the process which specifies the position where the driver | operator felt danger, The biological information processing apparatus in any one of Additional remark 1-4 characterized by the above-mentioned.
(Additional remark 6) The biometric information acquisition process which matches and acquires the biometric information of the driver who drives a vehicle with position information,
A calculation step for calculating a correction value for correcting an influence on the biological information due to fatigue of the driver, which is obtained from a time change of the biological information;
A correction step of correcting the biological information based on the correction value;
A biological information processing method, wherein a computer executes a processing step of executing processing using the corrected biological information.
(Additional remark 7) The said computer further performs the detection process which detects the driver | operator's sleepiness,
The biological information according to appendix 5, wherein the processing step excludes the driver's biological information corresponding to the timing at which the driver's sleepiness was detected by the detection step, and executes the processing. Processing method.
(Supplementary note 8) The biological information processing method according to supplementary note 6 or 7, wherein the correction value is a value determined based on a change in average heart rate during a predetermined time during driving and a fluctuation in instantaneous heart rate. .
(Supplementary Note 9) A biometric information acquisition step of acquiring biometric information of a driver who drives a vehicle in association with position information;
A detection step of detecting sleepiness of the driver;
A biological information processing method, wherein a computer executes a processing step of executing processing using biological information other than biological information corresponding to timing at which the driver's sleepiness is detected.
(Supplementary note 10) The biological information processing method according to any one of supplementary notes 6 to 9, wherein the processing step executes a process of identifying a position where the driver feels danger.
30 ハザードマップ作成装置(生体情報処理装置)
32 通信部(生体情報取得部)
38 補正パラメータ算出部(算出部)
34 心拍変動統計処理部(補正部、処理部、検出部)
36 ヒヤリハット地点特定部(処理部)
30 Hazard map creation device (biological information processing device)
32 Communication unit (biological information acquisition unit)
38 Correction parameter calculation unit (calculation unit)
34 Heart rate variability statistical processing unit (correction unit, processing unit, detection unit)
36 Near-miss point identification part (processing part)
Claims (5)
前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出部と、
前記生体情報を前記補正値に基づいて補正する補正部と、
前記補正後の生体情報を用いた処理を実行する処理部と、を備える生体情報処理装置。 A biometric information acquisition unit that acquires biometric information of a driver who drives the vehicle in association with position information;
A calculation unit that calculates a correction value for correcting an influence on the biological information due to fatigue of the driver, which is obtained from a time change of the biological information;
A correction unit that corrects the biological information based on the correction value;
A biological information processing apparatus comprising: a processing unit that executes processing using the corrected biological information.
前記処理部は、前記検出部により前記運転者の眠気が検出されたタイミングに対応する前記運転者の生体情報を除外して、前記処理を実行することを特徴とする請求項1に記載の生体情報処理装置。 A detection unit for detecting the driver's sleepiness;
2. The living body according to claim 1, wherein the processing unit performs the processing by excluding the driver's biological information corresponding to a timing at which the driver's sleepiness is detected by the detection unit. Information processing device.
前記生体情報の時間変化から求められる、前記運転者の疲労による前記生体情報への影響を補正するための補正値を算出する算出工程と、
前記生体情報を前記補正値に基づいて補正する補正工程と、
前記補正後の生体情報を用いた処理を実行する処理工程と、をコンピュータが実行することを特徴とする生体情報処理方法。 A biometric information acquisition step of acquiring biometric information of a driver who drives the vehicle in association with position information;
A calculation step for calculating a correction value for correcting an influence on the biological information due to fatigue of the driver, which is obtained from a time change of the biological information;
A correction step of correcting the biological information based on the correction value;
A biological information processing method, wherein a computer executes a processing step of executing processing using the corrected biological information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072135A JP5862407B2 (en) | 2012-03-27 | 2012-03-27 | Biological information processing apparatus and biological information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012072135A JP5862407B2 (en) | 2012-03-27 | 2012-03-27 | Biological information processing apparatus and biological information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013205965A JP2013205965A (en) | 2013-10-07 |
| JP5862407B2 true JP5862407B2 (en) | 2016-02-16 |
Family
ID=49525017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012072135A Expired - Fee Related JP5862407B2 (en) | 2012-03-27 | 2012-03-27 | Biological information processing apparatus and biological information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5862407B2 (en) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6218336B2 (en) * | 2015-01-28 | 2017-10-25 | 日本電信電話株式会社 | Information processing capability estimation apparatus, method and program |
| JP6493858B2 (en) * | 2015-03-30 | 2019-04-03 | 国立大学法人東北大学 | Road information database construction support system and driving support system using a database constructed by the road information database construction support system |
| JP6478327B2 (en) * | 2015-07-02 | 2019-03-06 | Kddi株式会社 | Server and program for estimating user state in portable terminal not equipped with sensor |
| WO2020065940A1 (en) * | 2018-09-28 | 2020-04-02 | 本田技研工業株式会社 | Information providing system, server, method, and program |
| WO2020122135A1 (en) | 2018-12-13 | 2020-06-18 | テイ・エス テック株式会社 | Biological sensor and vehicle seat |
| JP7381830B2 (en) * | 2018-12-13 | 2023-11-16 | テイ・エス テック株式会社 | Driving support information storage system |
| JP7256380B2 (en) * | 2019-04-18 | 2023-04-12 | 富士通株式会社 | Information processing device, dangerous situation detection system, and dangerous situation detection method |
| CN120712052A (en) * | 2023-02-27 | 2025-09-26 | 三菱电机株式会社 | Physical condition detection device, physical condition detection system, physical condition detection method and physical condition detection program |
| CN121465538A (en) * | 2026-01-06 | 2026-02-06 | 南方科技大学 | Sleep staging methods, devices, terminals, and storage media based on multiple physiological characteristics |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0880287A (en) * | 1994-09-13 | 1996-03-26 | Seiko Epson Corp | Small portable electronic device |
| JP2003164430A (en) * | 2001-11-30 | 2003-06-10 | Seiko Instruments Inc | Device and method for biofeedback |
| JP2008181252A (en) * | 2007-01-23 | 2008-08-07 | Toyota Motor Corp | Danger information collection / delivery system, danger information transmission / reception device and danger information collection / distribution device constituting the system |
| JP5532714B2 (en) * | 2009-07-15 | 2014-06-25 | 日産自動車株式会社 | Driver state estimation device and program |
| JP5651994B2 (en) * | 2010-05-17 | 2015-01-14 | 富士通株式会社 | Driving assistance device |
-
2012
- 2012-03-27 JP JP2012072135A patent/JP5862407B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2013205965A (en) | 2013-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5862407B2 (en) | Biological information processing apparatus and biological information processing method | |
| JP4791874B2 (en) | Driving support device and driving action determination device | |
| JP5950025B2 (en) | Driving support device, driving support method, information providing device, information providing method, navigation device, and navigation method | |
| US8140241B2 (en) | Driving action estimating device, driving support device, vehicle evaluating system, driver model creating device, and driving action determining device | |
| CN102046086B (en) | Drowsiness detection device | |
| JP4905832B2 (en) | Driver state determination device and driving support device | |
| JP4803490B2 (en) | Driver state estimation device and driving support device | |
| TWI447039B (en) | Driving behavior analysis warning system and method | |
| JP4595377B2 (en) | Driver state detection device and program | |
| US8676444B2 (en) | Alertness monitoring systems and associated methods | |
| JP7617697B2 (en) | Driving characteristic determination device, driving characteristic determination method, and driving characteristic determination program | |
| CN104269026B (en) | Fatigue driving real-time monitoring and early warning method based on Android platform | |
| KR101069409B1 (en) | Safety Index Calculation System and Method Related to Vehicle Operation | |
| US20120150412A1 (en) | Driving work load measurement apparatus and method | |
| JP2009087122A (en) | Awakening state estimation device | |
| US20150266485A1 (en) | Driver anomaly detection | |
| JP6375873B2 (en) | Driver status diagnosis device | |
| KR20140147233A (en) | Apparatus and method for judging drowsiness drive using driving pattern of vehicle | |
| JP6809126B2 (en) | Drowsiness determination device and drowsiness determination method | |
| JP2009264880A (en) | Driver model creation device | |
| JP7825347B2 (en) | Driver assistance device, driver assistance system, and driver assistance method | |
| JP5744780B2 (en) | Random state judgment device | |
| JP2004110590A (en) | A method for generating an evaluation model of a bicycle road surface condition, a bicycle road surface environment evaluation method, and an evaluation system | |
| CN105852887A (en) | Steering wheel and system and method for detecting fatigue | |
| JP2010134533A (en) | Sleepiness detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150821 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150901 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150908 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151201 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5862407 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |