JP4585553B2 - 装置 - Google Patents

Description

本発明は、運転者の眠気を検出する眠気検出装置に関し、特に、眠気の検出技術とその検出結果による運転者の同定技術に関する。

車両運転中における運転者の眠気に起因する事故を防ぐために、運転者の覚醒の状態をモニタし、眠りかけていないかどうかを判定することの必要性は高い。眠気検出の技術として、自動車のハンドルから運転者の生体情報を取得するための方法が考案されており、例えば、ハンドルに装着した電極を用いて心電信号を計測する技術がある（例えば特許文献１参照）。一方、血流が有する情報を利用して眠気を検出する方法として、脈波から覚醒状態を判定する方法がある（例えば、特許文献２参照）。
特開昭５９−２５７２９号公報 特開２００２−２７２７０８号公報

しかしながら、特許文献１に開示されている方法を用いて心電信号を計測し、眠気検出に応用するためには、両手が必ずハンドルに触れていなければならない。さらに、手の筋電位信号などに代表されるノイズへの対策を講じる必要がある。

一方、特許文献２に開示されている技術は被験者の手首に装着するものであってその他の実装についての検討がなされていない。

又、交通事故が起こってしまった場合や、又運転者の生体情報を元に走行中の運転者の健康管理等を行う場合等において、運転者の本人認証が必要とされているがこの点については従来技術は検討がなされていない。

本発明は、運転者が誰であるかの同定を行うと共に、運転者の眠気に代表される運転者の生体情報の検出を行うことのできる装置を提供するものである。

本発明の前記並びにその他の目的と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

上記課題を解決するため、本願で開示する発明の概要は以下の通りである。

利用者の指または手へ光を照射する光源と、指または手からの反射光もしくは透過光を撮像する撮像部を有し、撮像された画像を解析して利用者の眠気を検知する眠気検出装置。

又、異なる２つ以上の波長の光を照射する光源を用いて、演算部が上記２つ以上の波長の光各々で撮像したデータを用いて利用者の認証を行う個人認証装置。及び、光源と照射される指又は手の間に光拡散部材を設置する個人認証装置を開示する。

以上、記述した発明により、精度よく個人認証を行うと共に車両運転者の眠気検出を行うことが可能となる。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば、以下のとおりである。

（１）静脈パターン画像を元にした眠気検出方法を用い、運転が安全でない場合には、運転者及び車内への警告を行うことができる。

（２）乗車時に個人認証を行い、その結果と合わせて運転者の眠気計測結果の記録を行うことで、車両の安全運行が確保され、事故が発生した場合には、記憶媒体に記録された個人認証結果より運転者の同定を行うことができる。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。

本発明においては、眠気の検出と個人認証を行うために、指の静脈パターン画像を用いる。指の静脈パターン画像を用いての個人認証に用いる指の静脈パターン画像を用いて、脈拍あるいは、手の温度上昇を検知することにより眠気の検出を行う。静脈パターンは指に限らず手のどの場所のものであっても構わないが、手のひら部分よりは指の静脈パターンの方が、より体表面に近い位置を走行しているために撮像しやすい。

指の静脈パターン画像の撮像は光計測に基づいて行い、光源としては透過光を用いる方法と反射光を用いる方法とがある。光源には主に近赤外光を用いる。これは、生体における近赤外光の主な吸収体は血色素ヘモグロビンであり、それ以外の生体組織では透過性が高いという性質を利用して静脈パターン画像を撮像するためである。透過光を用いる場合には、図１に示すように、指（１０１）は光源部（１０２）と撮像部（１０３）の間に置く。光源から指に対し、手の甲側から照射された光は、指の中で散乱を繰り返した後に指から出てくるために、手のひら側に設置した撮像部（１０３）によって撮像されるのは、手のひら側の皮膚直下に存在する静脈（１０４）のパターン画像となる。反射光方法の場合には、図２に示すように、光源部（２０１）と撮像部（１０３）は指（１０１）に対し、同じ側に置くことで静脈（１０４）のパターン画像の撮像を行う。上記、光源部には、LED等の発光素子を用いることができる。

本実施例においては車両として四輪自動車を採用するが、本願発明には四輪自動車の他に運転手が操縦を行う自動二輪車や鉄道車両、飛行機等も含まれる。個人認証技術による運転者の同定は、例えば、車両のドアを開けて運転席に乗り込む際やシートに着座しハンドル（操縦桿）を握った際に行う。以下、ドアの取っ手やハンドルの内部に装置を組み込み、反射光による撮像を行う場合を例に説明を行うが、車内において、例えばルームミラーやメータ等のパネル部分等、指に向けて光を照射することが可能な位置に光源部を設置すれば、透過光を使った静脈パターンの撮像も可能である。

この場合は、ミラー等による集光や、レーザー光を用いることが有効である。又、ハンドルの左右に右手用と左手用に分けて光源を設置した場合には、これら左右の光源のうち例えば何れの手がハンドルに位置されているか等に応じて選択的にひとつの光源を使用することが考えられる。

ドアを閉めて乗り込む際に認証を行う場合には図３に示すように、ドア（３０１）の内側の取っ手部分（３０２）に光源部（３０３）と撮像部（３０４）を組み込む。ドアの取っ手部分（３０２）において手の撮像部位が触れる部分には撮像用の窓を設ける。これは例えば、親指を除く4本の指の第２関節部分から指の付け根部分が触れることが想定されている位置に長方形の窓を設けることが挙げられる。窓部分は、外部の環境光はなるべく遮断し、光源光の波長の光を透過させることのできる材質及び大きさで構成することが有効である。

光源部（３０３）は、撮像の対象である指に対し直接光が照射されないような位置に設置する。これは、光源の光が指に直接強く照射されてしまうと、撮像素子のダイナミックレンジを越えてしまうために、例えば256階調グレースケールの画像では、光が強く照射された部分が真っ白になってしまうためである。これを防ぐためには、摺りガラスに代表される光拡散機能を持つ材料を光源の発光面に置くこと等が有効である。

光拡散機能を持つ材料に入射した光源光は、拡散され、光量が多少弱まった状態で出射する。そのため、光源の設置位置は３０３の位置の限定を受けず、指に対して光源光を直接照射することが可能となる。図４に、近赤外光発光LEDを光源に用いて、指に直接光源光を当てて指を撮像した場合（４０１）と４０１の光源の強度は変えずに光源の前に光拡散ガラスを設置して撮像した場合（４０２）の例を示す。撮像部（３０４）には、ＣＣＤ素子やＣＭＯＳ素子を用いることができる。認証の演算は、例えばエンジン制御系等に組み込むことができる。本構成によれば新たに制御系を組み込まずに済み、認証の結果をエンジンの始動制御に使うことができる。

本構成においては運転者が乗車する際にドアの内側の取っ手部分（３０２）を握ろうとする際に個人認証を行う。ドア（３０１）に図示しない例えば赤外線センサ等生体の接近を感知することのできるセンサを組み込み、ヒトの手（３０５）が取っ手に近づいたことを同センサで感知し、光源部（３０３）、撮像部（３０４）の電源が入るようにすることで、なるべく電力消費を抑える方法を取ることもできる。また、ドアの取っ手部分（３０２）には、突起形状（３０６）を設けたり、人差し指が納まるような窪み（３０７）をつけたりすることで、手をかける場所が視認しなくても限定されるようにすることにより、撮像対象の指の位置決めを行えるようにする。本構成によって、撮像画像の位置が規定でき、登録画像との照合精度を上げることができる。

運転席に着座し、ハンドルを握った際に個人認証を行う場合には、認証装置をハンドルに搭載する。ドアとハンドルとで２重に認証を行うことも可能である。この場合、ドアとハンドルにはそれぞれ異なる情報、例えばドアは人差し指をハンドルには中指と異なる指を登録する等を登録しておき、２重に認証されて初めて車両が利用できるようにする。これにより、セキュリティ強度を上げることが可能となる。

図５には、ハンドル（５０１）に認証装置を組み込む場合の例を示す。ハンドル（５０１）の内部に光源部（５０９）と撮像部（５１０）を組み込み、認証の演算部（５０３）は、ハンドル中央部分（５０４）に組み込む。また、計測結果の記録媒体（５０５）も組み込む。記録媒体は図５においてクラクション部に記載するがこれ以外のところに設けても良い。

図５には、右手（３０５）が握る部分に装置を組み込む例を示すが、これは左手（５０６）が握る部分でも構わない。両手部分に組み込み、片手がハンドルから離れても、ハンドルに触れている片手から静脈パターン画像を撮像することも可能である。

図５(a)は、両手でハンドルを握った図を示す。図５(b)は、(a)の右手部分を示す。さらに(c)には、ハンドルの輪に対して平行な面での断面図を示す。光源部（５０９）はドアの取っ手部分に装着する場合と同様、照射対象である指に直接光が照射されない位置に設置することが望ましい。しかし、光拡散機能を持つ材料を光源の発光面に設置する場合にはこの限りではない。

ドアの取っ手、ハンドルのいずれに装置を装着する場合でも、光源部より照射された光は、指における手の平側の皮膚直下に存在する静脈血中のヘモグロビンで主に吸収されるために、撮像部では指の腹側の静脈パターン画像を撮像することができる。撮像した画像と予め登録しておいた指の静脈パターン画像とを照合することで、本人認証を行う。認証は例えば、特開２００１−１８４５０７号公報に記載される方法を用いて行う。

ハンドル（５０１）にも、図３のドア（３０１）の場合と同様に生体の接近を感知する赤外線センサを組み込み、又、取っ手（３０２）同様、静脈パターン画像を撮像するのに適した位置に手が置かれることを目的とした、突起形状（５０２）を設けたり、人差し指を置く位置のすぐ脇のグリップ部分にマーカ（５０７）をつけるなどして握る部分の位置決めを行うことが認証精度向上のために有効である。

ハンドル（５０１）内部に組み込んだ撮像部（５１０）で指の静脈パターン画像を撮像するために、図５(c)のハンドル部分のA-A’部分には、撮像用の窓（５０８）を設ける。この窓は、ドアの取っ手部分に組み込む場合と同様に、外部の環境光はなるべく遮断し、光源光の波長の光を透過させることのできる材質で構成することが有効である。

また、取っ手やハンドルの内部に素子を組み込み指の静脈パターンを撮像するためには、光源と撮像素子の間の光学距離を短くする必要がある。一般に、反射光を用いた撮像方法は、透過光を用いた撮像方法よりは光学系を小型化しやすい。一方で、反射光を用いた撮像方法では、透過光を用いて撮像した静脈パターン画像と同等のコントラストを得ることが難しい。そこで、静脈パターン画像をより感度良く取得するため、２波長を用いて複数枚の画像を撮像し、画像処理によるパターン強調を行う実施例を説明する。

光源には、２波長以上を発光することのできる発光素子（例えばＬＥＤ）を用いる。撮像に用いる２波長のうち、短波長のものは生体を透過できる600nm付近までから選ぶことができ、長波長のものは水の吸収ピークが出現する980nm近傍より手前の波長までから選ぶことができる。600nmより短波長側では、生体が光を吸収するために画像は全体的に暗くなり静脈パターンをコントラスト良く撮像することができない。また、980nmより長波長側では、生体の構成成分である水の光吸収が大きくなるために、これと同様のことが起きる。

以降、本実施例においては680nmと810nmを例として説明するが、選択する波長はこの限りではない。尚、680nmの波長の光は、デオキシヘモグロビンとオキシヘモグロビンの吸光係数の差が大きく、810nmは差が小さいという特徴を有する。選択する波長については、プログラム上でどの波長を選択するかをその都度決定されるようにすれば、どの波長で撮像しているかが利用者にわからないため、偽造指を看破しやすくすることも可能となる。

異なる２つの波長で撮像した２枚の画像を用いて静脈パターンを強調するために、まず、撮像したそれぞれの画像において、（数１）に従い、輝度値を吸光度Ａに変換する。

ここで、ｐ_ｍａｘ は画素値の最大値、ｐは画素値である。また、波長λにおける吸光度は（数２）式で与えられる。

（数２）式で、ε_{ｏｘｙＨｂ} (λ)、ε_{ｄｅｏｘｙＨｂ} (λ)はオキシヘモグロビン、デオキシヘモグロビンの分子吸光係数、ｃ_{ｏｘｙＨｂ}、ｃ_{ｄｅｏｘｙＨｂ}は、それぞれのヘモグロビンの濃度、ｄは実効光路長、α(λ)はヘモグロビン以外の生体組織による減衰を表す。指の掌部における色素はオキシヘモグロビンとデオキシヘモグロビンが主であるため、α(λ)が測定波長（この場合は680nmと810nm）によらず一定値αであるとの仮定を行うと次の（数３）、（数４）式を得る。

また、

が成り立つ。ここで、係数１は各画素値（吸光度）に共通成分として寄与していると考え、パターン強調の観点からは差に寄与する成分を考える必要があるためこれを無視する。

するとｋＣ_{ｄｅｏｘｙＨｂ}が残るが、Ｃ_{ｄｅｘｙＨｂ}は、各画素値の共通成分として考えると、各画素値の差への寄与成分の主なものはｋの値であると考えることができる。

これより、（数３）と（数４）式よりｋ＝Ｃ_{ｏｘｙＨｂ}／Ｃ_{ｄｅｘｙＨｂ}を求める。次に結果を画像表示するために、各画素毎に求めたｋの値を例えば、グレースケール（0-255の数値）に変換する。その結果、強調された静脈パターン画像が得られる。

ここでｋは、デオキシヘモグロビンの濃度に対するオキシヘモグロビンの濃度の比である。つまり、２波長計測により撮像した画像を用いて算出した酸素化していないヘモグロビンに対する酸素化しているヘモグロビンの存在比率を画素毎にプロットすることで、血管パターンを強調した画像を得ることが可能となる。尚、上記血管パターン強調方法はその用途を反射光による撮像に限るものではなく、透過光を用いた撮像においても適用可能かつ有効な方法である。

ｋ＝Ｃ_{ｏｘｙＨｂ}／Ｃ_{ｄｅｘｙＨｂ}の具体的な数値としては、ヘモグロビンの吸収スペクトルより求められる、ε_{ｏｘｙＨｂ} (680)= 277.6、ε_{ｄｅｏｘｙＨｂ} (680)= 2407.9、ε_{ｏｘｙＨｂ}(810)= 864、ε_{ｄｅｏｘｙＨｂ} (810)= 717.08を用いる。

図６は、680nm光源を使用した場合の静脈パターン画像（６０１）、810nm光源を使用した場合の静脈パターン画像（６０２）、それらに基づくパターン強調画像（６０３）を示す。パターン強調画像（６０３）は、算出した画素値毎のｋの値をグレースケールに変換して得られる。元画像では輝度むらがあり、指の根元部分が暗くなっているにも拘らず、静脈パターン自体を強調することができる。例えば６０３の画像では右側３分の２の領域に２本の血管が楕円を描くように強調される。

次に、静脈パターン画像を用いて眠気検出を行う方法について説明する。眠気の検出は、それだけを独立した処理として行うことも可能であるが、個人認証が成功した場合にのみこれを行うように制御することもできる。まず、画像から脈拍情報を検出することで眠気を検知する方法について述べる。

近赤外波長域における単一波長光を用いて指の静脈パターン画像を時間連続的に（例えば30フレーム/秒）撮像するか、２波長光を交互に点滅させることで異なる波長の光を用いて指の静脈パターンを撮像し、上記記載の方法による静脈パターン強調を時間連続的に行う。画像処理により指の輪郭部分を検出し、このようにして時系列に取得したそれぞれの静脈パターン画像において、指の内側における画素値の総和あるいは平均値を算出する。ここで算出した総和あるいは平均値の時間変化は脈拍に対応する。脈拍情報を元に眠気を検出するためには、例えばカオス理論に基づく解析を行いリアプノフ指数を指標とした眠気検出を行えば良い。

一定時間測定した脈波データを元にリアプノフ指数を算出することを経時的に繰り返し、リアプノフ指数の変化を計測する。この指数が増加傾向を示した場合には、疲労などにより眠気を催しつつあると判定する。リアプノフ指数の増大は、強い疲労などによる意識の集中度の低下と対応づけられる。また、眠くなってくると脈拍数が減少することから、脈波のピーク間の時間を測定し、これが増加傾向にある場合には眠気を催しつつあると判定することもできる。

次に静脈パターン画像から手の温度上昇を検知することで眠気を検出する方法について述べる。指の静脈パターン画像を経時的に撮像し、血管部分の占有面積(s)をそのつど算出する。これは例えば撮像した画像における血管位置の同定を行い、血管が存在している部分のピクセル数を数えることにより、これを占有面積とする。

予め登録しておいた画像において算出した値ｓを元にして設定した閾値と比較し、ｓの実測値が閾値を越えた場合、または、ｓが時間に対し増加傾向を示した場合に、手の静脈血流量が増加していると判定する。手の静脈血流量の増加を手の温度上昇の指標とし、増加傾向が続く場合には、眠気を催していると判定する。上記閾値は、一律に設定することも可能であるが、実際に眠気を催した状態での静脈パターンを撮像し、これを元にして個人毎に設定することも可能である。昼食の2時間後が眠気を催す時間帯であることから、食事時間入力用ボタンを設け、昼食の2時間後には必ず警告を行うといった設定を行えるようにすることも有効である。

上記の様に本願の構成を用いることにより、個人認証と眠気の検出を共に行うことが可能である。計測結果の記録媒体（５０５）は、車両の事故時にも破壊されないだけの熱や衝撃に対する強度を有する構造を持たせ、事故時に取り出しが行えるようにすることも有効であるが、無線や携帯電話等を用いた通信機能によって外部にデータを送信し、外部機関で経時的なデータの蓄積と管理を行う方法もまた有効である。さらに、計測結果については、全記録を残さない場合でも、警告発生開始直前の5分間程度は必ず残すようにし、眠気検出機能が正しく働いていたかどうかの判断が後で行えるようにしておくことが有効である。

図７には、以上の一連の流れ図を示す。まず、光源制御等による撮像条件の補正を行い、上記に例を記載した方法で個人を認証（７０１）し、これをトリガーとして経時的な静脈パターン画像の撮像（７０２）を開始する。撮像条件の補正としては、光源制御による光量の最適化以外には、温度センサをハンドルに組み込むなどして環境温度をモニタし、低温時あるいは高温時には眠気を検出あるいは個人認証は行わずにアラームを鳴らすなどの警告を行うことなどを挙げることができる。この時の温度の閾値は、任意に設定できるようにしたり、時間や季節に応じて自動的に設定されるようにすることが可能である。

さらに、撮像した指の静脈パターン画像において、血管が一定の比率以上に収縮していることが観測されることをもって低温時の判定とすることも可能である。計測結果については、時間経過と共に記録媒体（５０５）へ記録するか、無線等により外部に情報発信することでデータセンタ等の外部機関で記録を行い（７０３）、運転者は眠気を催していないかどうかの判定（７０４）を経時的に行う。眠気を催していない場合には、静脈パターン画像の撮像と眠気検出を継続するが、眠気を催していると判定された場合には、車内のスピーカーより音声を発する等の方法によって車両内への警告音発信（７０５）により運転者および同乗者への注意喚起を行う。

また、この注意喚起は、眠気検出システムをカーナビゲーションシステムに連携させ、ナビゲーションの画面や音声を用いて行うことや、エアコンや窓の開閉による換気によって行うこともできる。さらに、警告回数の計数（７０６）を行うステップ、運転者への警告が一定回数を越えたかどうかの判定（７０７）を行うステップを設けて、一定回数を越えた場合には、認証された本人の情報と眠気検出の結果を車外の関係者あるいは、病院等の関係機関へ発信しハザードランプを点灯する（７０８）ことで外部への警告を行うようにすることもできる。この時の情報発信先はあらかじめ登録しておく。

万が一、事故が発生してしまった場合には、車内の記憶媒体に記録、あるいは車外に発信され記録された個人認証結果より運転者の同定を行うことができる。

上記の例は、反射光を用いた計測方法に基づくものであるが、二波長計測による指の静脈パターン画像強調方法は、反射光を用いた計測方法に限るものではない。光源に相当する部分をハンドル内部に組み込まずに外付けにし、透過光方法を用いて指の静脈パターンを撮像することも可能である。その場合には、手（３０５、５０６）の指は光源（３０３）と撮像装置（３０４）の間に置くことができるように装置を構成する。また、上記実施例では２つの波長を用いたが、２以上の波長を照射し、それらから選択的に２つを選ぶようにしても良い。また２以上の波長を用いても、上記式を用いて２波長毎にｋの値を求め、それらの平均値を画像表示する等の方式を用いることにより、同じように解析できる。

以上、本発明者によってなされた発明をその実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。

透過光方法における装置構成を示す図である。 反射光方法における装置構成を示す図である。 四輪自動車のドアとその取っ手への静脈撮像装置の組み込み例を示す図である。 反射光方法で撮像する場合における光拡散ガラスの効果の例を示す図である。 ハンドル内部への静脈撮像装置の組み込み例を示す図である。 ２波長を用いた撮像とパターン強調処理の結果の例を示す図である。 眠気検出計測の流れを示す図である。

符号の説明

１０１…指、１０２…光源部（透過光方法）、１０３…撮像部、１０４…静脈、２０１…光源部（反射光方法）、３０１…ドア、３０２…ドアの内側の取っ手部分、３０３…光源部、３０４…撮像部、３０５…右手、３０６…取っ手に設けた突起形状、３０７…窪み、４０１…反射光での指の撮像例（光拡散ガラスなし）、４０２…反射光での指の撮像例（光拡散ガラスあり）、５０１…ハンドル、５０２…ハンドルに設けた突起形状、５０３…認証の演算部、５０４…ハンドル中央部分、５０５…記録媒体、５０６…左手、５０７…マーカ、５０８…撮像用の窓、５０９…光源部、５１０…撮像部、６０１…680nmの光を光源として撮像した指の静脈パターン画像の例、６０２…810nmの光を光源として撮像した指の静脈パターン画像の例、６０３…６０１と６０２を用いたパターン強調処理結果。

Claims (8)

1. 利用者の手または指へ光を照射する光源と、上記指から反射もしくは透過した光を撮像する撮像部と、上記撮像部により撮像された画像を解析する演算部とを有し、
   上記光源は異なる２つの波長の光を照射し、
   上記撮像部は上記波長ごとに第１画像と第２画像を撮像し、
   上記演算部は上記第１画像と上記第２画像における画像データを夫々取得し、夫々の当該画像データから各画素毎にオキシヘモグロビンとデオキシヘモグロビンの存在比率を求め、上記存在比率を各画素毎にプロットすることにより静脈パターン画像を得ることを特徴とする装置。
2. 請求項１記載の装置において、
   上記演算部は、上記画像データに基づいて上記第１画像と上記第２画像それぞれについて各画像毎の輝度値を各画素毎に吸光度に変換し、上記第１画像と上記第２画像の各画素毎の吸光度の差から上記存在比率を求めることを特徴とする装置。
3. 請求項１記載の装置において、
   上記利用者の手または指の静脈パターン画像を登録する記録部をさらに有し、
   上記演算部は、上記撮像された画像に基づく上記画像データと上記登録された静脈パターン画像データを用いて上記利用者の認証を行うことを特徴とする装置。
4. 請求項１記載の装置において、
   上記演算部は、上記静脈パターンの画像データから脈拍を検出することで眠気を検知することを特徴とする装置。
5. 請求項１記載の装置において、
   上記演算部は、上記撮像された画像における静脈パターンの占有面積を計測することにより上記利用者の眠気を検知することを特徴とする装置。
6. 請求項１記載の装置において、
   上記光源および上記撮像部がハンドルに取り付けられていることを特徴とする装置。
7. 請求項４に記載の装置において、
   さらに警報発生部を有し、上記演算部が上記眠気を検出した場合に、上記警報発生部が警報を発することを特徴とする装置。
8. 請求項１記載の装置において、
   光拡散部材を有し、
   上記光源からの光は、上記光源と上記指の間に置かれた上記光拡散部材を通過して上記手または指に照射されることを特徴とする装置。