JP7787133B2

JP7787133B2 - 異常検出装置

Info

Publication number: JP7787133B2
Application number: JP2023180023A
Authority: JP
Inventors: 勇氣 ▲高▼橋
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2023-10-19
Filing date: 2023-10-19
Publication date: 2025-12-16
Anticipated expiration: 2043-10-19
Also published as: EP4541679A1; JP2025070015A; US20250128717A1

Description

本発明は、異常検出装置に関する。

車両を運転する運転者の異常状態を検出する様々な異常検出装置が開発されている。例えば、特許文献１には、自車両の車室内を撮影するカメラで得られた撮影画像を取得する取得部と、撮影画像に基づいてドライバの現在の姿勢を検出する検出部と、検出部によって検出されたドライバの現在の姿勢とドライバの過去の姿勢に関するデータベースとに基づいて、ドライバの未来の運転不能状態を予測する状態予測部と、を備える運転不能状態予測装置が開示されている。

特開２０１９－０７４９６４号公報

しかしながら、特許文献１のような従来技術においては、運転不能状態を予測することはできるものの、運転不能である異常状態を検出することはできない。

本発明は、上記の事情に鑑みてなされたものであって、運転者が運転不能となる予兆を示す予兆状態と運転者が運転不能であることを示す異常状態とをそれぞれ区別して検出することができる異常検出装置を提供することを目的とする。

上記目的を達成するために、本発明に係る異常検出装置は、入力部が取得した車両の運転者に関する情報に基づいて、前記運転者が運転不能となる予兆を示す予兆状態と、前記運転者が運転不能であることを示す異常状態と、をそれぞれ検出する制御部を備えることを特徴とする。

本発明に係る異常検出装置は、運転者が運転不能となる予兆を示す予兆状態と運転者が運転不能であることを示す異常状態とをそれぞれ区別して検出することができる、という効果を奏する。

図１は、一実施形態に係る異常検出装置を含む車両の概要構成例を示すブロック図である。図２は、異常検出方法における処理の一例を示すフローチャートである。

以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

［実施形態］
図１は、一実施形態に係る異常検出装置を含む車両の概要構成例を示すブロック図である。図１に示す本実施形態の異常検出装置を含む車両１は、入力部２と、出力部３と、通信部４と、異常検出装置としての制御部５と、記憶部７と、を備える。

入力部２は、カメラ２１と、心拍計測機２２と、マイク２３と、スイッチ２４と、を備える。

カメラ２１は、車両１の運転者を撮像した画像データを生成する。カメラ２１は、例えば、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサを含む。カメラ２１は、ＣＣＤ（Ｃｈａｒｇｅ－ＣｏｕｐｌｅｄＤｅｖｉｃｅ）イメージセンサ等の他の種類のイメージセンサであってもよい。

心拍計測機２２は、車両１の運転者の心拍数を計測する。心拍計測機２２は、例えば、ステアリングに搭載されていてもよいし、運転者に装着できるスマートウォッチ等のウェアラブル端末であってもよい。また、脈波計測としては、電波を用いたドップラー効果による非接触計測するものであってもよいし、顔の色合いから脈拍を検出するものであってもよいし、脈拍によって生じる圧力を、圧電素子を用いて計測するものであってもよい。また、心拍計測機２２は、電波を用いたドップラー効果により車両１の運転者の呼吸を計測する機能を有していてもよい。

マイク２３は、車両１の運転者の音声を取得した音声データを生成する。

スイッチ２４は、例えば、押しボタンを有し、運転者が押しボタンを押下すると所定の信号を出力する。

出力部３は、スピーカー３１と、アクチュエーター３２と、を備える。

スピーカー３１は、制御部５による制御のもと、各種音声を出力する。

アクチュエーター３２は、制御部５による制御のもと、各種動作を出力する。アクチュエーター３２は、例えば、シートやステアリングに振動を発生させる。

通信部４は、ネットワークに対して無線で接続され、ネットワークに有線又は無線で接続された各種端末との間で情報や信号等の送受信を行う。

制御部５は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＭＰＵ（ＭｉｃｒｏＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の中央演算処理装置、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御部５は、顔検出部５１１と、表情検出部５１２と、身体部位検出部５２１と、動作解析部５２２と、心拍検出部５３と、呼吸検出部５４と、音声検出部５５と、応答検出部５６と、第１予兆状態検出部５７と、第２予兆状態検出部５８と、異常状態検出部５９と、異常判定部６０と、車両制御部６１と、を備える。

顔検出部５１１は、カメラ２１が撮像した画像データにおいて顔検出を行う。

表情検出部５１２は、顔検出部５１１が検出した顔の特徴点を抽出し、車両１の運転手の各種表情を検出する。具体的には、表情検出部５１２は、口を大きく開閉を繰り返す、口が半開き又は大きく開いたままになる、断続的なうつむきが反復する、激しい咳き込み、頻繁に咳をする、白目又は閉眼状態が続く、顔色が悪くなる、顔が歪む（痛みに耐える表情）、苦しい表情等の表情を検出する。

身体部位検出部５２１は、運転手である人の関節点及びボーンを検出し、身体の各種部位を検出する。

動作解析部５２２は、身体部位検出部５２１が検出した部位の動きに基づいて、車両１の運転手の各種動作を解析する。具体的には、動作解析部５２２は、違和感により頭部を触る、長い時間片手運転する、胸に手をしっかりと当てる、まさぐるように両手で胸を触る、腹を擦る、ネクタイ又はシャツの襟元を緩める、肩で息をする、胸を突き出す、何度も大きく座りなおす、ふらつく、姿勢崩れ（突っ伏し、仰け反り、横倒れ等）、けいれん等の動作を検出する。

心拍検出部５３は、心拍計測機２２の計測結果に基づいて、車両１の運転手の心拍数を検出する。具体的には、心拍検出部５３は、心拍計測機２２の計測結果に基づいて、心拍数の急上昇又は急低下、不整脈や頻脈、血圧の低下等を検出する。

呼吸検出部５４は、心拍計測機２２が呼吸を計測する機能を有している場合、この計測結果に基づいて、車両１の運転者の呼吸を検出する。具体的には、呼吸検出部５４は、心拍計測機２２の計測結果に基づいて、呼吸の乱れ等を検出する。

音声検出部５５は、心拍検出部５３が生成した音声データから、車両１の運転手の音声を検出する。具体的には、音声検出部５５は、運転者の叫び声、呻き声、ろれつが回らなくなる、大きな呼吸音等を検出する。

応答検出部５６は、運転者への呼びかけに対する運転者の応答を検出する。運転者の応答は、音声による応答であってもよく、スイッチ２４を押下することによる応答であってもよい。

第１予兆状態検出部５７及び第２予兆状態検出部５８は、入力部２が取得した車両１の運転者に関する情報に基づいて、運転者が運転不能となる予兆を示す予兆状態を検出する。

第１予兆状態検出部５７は、運転者が運転不能となる可能性がある第１予兆状態を検出する。第１予兆状態検出部５７は、例えば、運転者の身体の違和感に対する運転者の無意識の行動を検出した場合、第１予兆状態であると判定する。

第２予兆状態検出部５８は、運転者が運転不能となる可能性が第１予兆状態より高い第２予兆状態を検出する。第２予兆状態検出部５８は、運転者の身体の異常に対処する、又は運転者の身体の異常を緩和させる運転者の行動を検出した場合、第２予兆状態であると判定する。

異常状態検出部５９は、車両１の運転者に関する情報に基づいて、運転者が運転不能であることを示す異常状態を検出する。異常状態検出部５９は、運転者が運転不能であることを検出した場合、異常状態であると判定する。また、異常状態検出部５９は、異常状態を検出した場合、運転者に呼びかけを行い、呼びかけに対して所定の期間に運転者の応答がなかった場合、車両の事故を回避する制御を行う。呼びかけは、スピーカー３１からの音声による呼びかけであってよいが、アクチュエーター３２からの振動による通知であってもよい。また、運転者は、音声により応答を行い、マイク２３により応答を検出してもよいが、運転者は、スイッチ２４を押下することにより応答してもよい。

第１予兆状態検出部５７、第２予兆状態検出部５８、異常状態検出部５９は、それぞれ異なる状態検出動作群により第１予兆状態、第２予兆状態、異常状態をそれぞれ検出する。

異常判定部６０は、通信部４から所定の入力があった場合、異常であると判定し、車両の事故を回避する制御を行う。外部のオペレータは、カメラ２１やマイク２３の情報から運転者が運転不能であると判断した場合、車両１に所定の信号を送信する。

車両制御部６１は、車両１の駆動を制御する。車両制御部６１は、制御部５とは別のＥＣＵとして設けられていてもよい。車両制御部６１は、第１予兆状態と第２予兆状態と異常状態とにおいて、車両１に対して異なる制御を行う。具体的には、車両制御部６１は、第１予兆状態において、車両１を減速又は停車させる運転補助制御を開始する時間閾値を短縮する。また、車両制御部６１は、第２予兆状態において、車両１を減速又は停車させる運転補助制御を開始する時間閾値を第１予兆状態よりさらに短縮する。また、車両制御部６１は、第２予兆状態において、運転者に呼びかけを行い、運転者に応答を要求する。また、車両制御部６１は、第２予兆状態において、車両１の速度を制限又は軽減、走行車線維持等の車両１の安全な停車に向けた予備的な制御を行ってもよい。また、車両制御部６１は、異常状態において、車両１を減速又は停車させる運転補助制御を開始する時間閾値を第２予兆状態よりさらに短縮する。また、車両制御部６１は、異常状態において、応答を待つ時間閾値を短縮する。また、車両制御部６１は、異常判定部６０が異常であると判定した場合、車両１を減速及び停車させる等の車両１の事故を回避する制御を行う。

記憶部７は、例えば、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（ＮｏｎＶｏｌａｔｉｌｅＳｔａｔｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部７は、制御部５での各種処理に必要な条件や情報、制御部５で実行する各種プログラムやアプリケーション、制御データ等が格納されている。また、記憶部７には、個人データ７１と、検出結果データ７２と、運転データ７３と、が格納されている。

個人データ７１は、車両１の運転者の個人に関する情報であり、例えば、氏名、性別、年齢、体重、血圧、運転歴、既往歴等の情報である。

検出結果データ７２は、入力部２及び制御部５による検出結果に関する情報であり、カメラ２１が生成した画像データ、心拍計測機２２が計測した心拍数、マイク２３が生成した音声データ、第１予兆状態検出部５７、第２予兆状態検出部５８、異常状態検出部５９における検出結果等の情報である。

運転データ７３は、車両１の運転に関する情報であり、車両１に対する運転者の操作の履歴、車両制御部６１による車両１の制御の履歴等の情報である。

次に、制御部５による異常検出方法について説明する。図２は、異常検出方法における処理の一例を示すフローチャートである。まず、図２に示すように、第１予兆状態検出部５７は、第１予兆状態であるか否かを判定する（ステップＳ１）。第１予兆状態検出部５７は、例えば、運転者の身体の違和感に対する運転者の無意識の行動として、カメラ２１により運転者を撮像した画像データにおいて、車両１の運転者が顔、胸や肩を触っている、口を開いている、口を開閉している、頻繁に咳込んでいること等の状態検出動作群を検出した場合、第１予兆状態であると判定する。また、第１予兆状態検出部５７は、心拍計測機２２により車両１の運転者の心拍が急上昇又は急低下している場合、第１予兆状態であると判定してもよい。

第１予兆状態検出部５７が、第１予兆状態ではないと判定した場合（ステップＳ１：Ｎｏ）、第２予兆状態検出部５８は、第２予兆状態であるか否かを判定する（ステップＳ２）。第２予兆状態検出部５８は、例えば、運転者の身体の異常に対処する、又は運転者の身体の異常を緩和させる運転者の行動として、カメラ２１により運転者を撮像した画像データにおいて、車両１の運転者が胸に手をしっかり当てている、苦しそうな表情をしている、顔色の変化（悪化）がみられること等の状態検出動作群を検出した場合、第２予兆状態であると判定する。また、第２予兆状態検出部５８は、マイク２３により取得した運転者の音声データにおいて、うめき声をあげている場合、第２予兆状態であると判定してもよい。また、第２予兆状態検出部５８は、心拍計測機２２により運転者の心拍に不整脈、頻脈、又は呼吸の乱れが生じている場合、第２予兆状態であると判定してもよい。

第２予兆状態検出部５８が、第２予兆状態ではないと判定した場合（ステップＳ２：Ｎｏ）、異常状態検出部５９は、異常状態であるか否かを判定する（ステップＳ３）。異常状態検出部５９は、例えば、運転者が運転不能であることを示す状態として、カメラ２１により運転者を撮像した画像データにおいて、車両１の運転者が閉眼している、白目である、けいれんしている、姿勢が崩れていること等の状態検出動作群を検出した場合、異常状態であると判定する。また、異常状態検出部５９は、運転データ７３から、車両１の運転者がハンドルを操作していない場合、異常状態であると判定してもよい。また、異常状態検出部５９は、心拍計測機２２により車両１の運転者の血圧が低下している場合、異常状態であると判定してもよい。

異常状態検出部５９が、異常状態ではないと判定した場合（ステップＳ３：Ｎｏ）、制御部５は、運転終了を示す所定の制御信号を検知したか否かを判定する（ステップＳ４）。制御部５が、運転終了を示す所定の制御信号を検知したと判定した場合（ステップＳ４：Ｙｅｓ）、一連の処理を終了する。

一方、制御部５が、運転終了を示す所定の制御信号を検知していないと判定した場合（ステップＳ４：Ｎｏ）、ステップＳ１に戻り、処理を継続する。

ステップＳ１において、第１予兆状態検出部５７が、第１予兆状態であると判定した場合（ステップＳ１：Ｙｅｓ）、制御部５は、車両制御部６１が車両１の制御に用いる各種閾値を調整する（ステップＳ５）。制御部５は、例えば、車両制御部６１が車両１を減速又は停車させる運転補助制御を開始する時間閾値を短縮する。

ステップＳ２において、第２予兆状態検出部５８が、第２予兆状態であると判定した場合（ステップＳ２：Ｙｅｓ）、制御部５は、車両制御部６１が車両１の制御に用いる各種閾値を調整するとともに、車両１の運転者に呼びかけを開始する（ステップＳ６）。制御部５は、例えば、車両制御部６１が車両１を減速又は停車させる運転補助制御を開始する時間閾値を第１予兆状態よりさらに短縮する。また、制御部５は、例えば、スピーカー３１からのブザー音等の音声による呼びかけを行い、運転者に音声による応答を要求する。また、制御部５は、第２予兆状態を検知したことを通信部４により外部のオペレータに通知してもよい。これにより、異常状態を検出してから通知するよりも早期に外部のオペレータに通知することが可能となる。また、制御部５は、この段階で車両１の速度を制限又は軽減、走行車線維持等の車両１の安全な停車に向けた予備的な制御を行ってもよい。

続いて、制御部５は、運転者からの応答があったか否かを判定する（ステップＳ７）。制御部５は、例えば、運転者からの所定の応答をマイク２３により検出した場合、運転者からの応答があったと判定する。

制御部５が、運転者からの応答があったと判定した場合（ステップＳ７：Ｙｅｓ）、ステップＳ３に進み、処理を継続する。このとき、制御部５は、車両制御部６１が車両１の制御に用いる各種閾値を初期値に戻す。

一方、制御部５が、運転者からの応答がなかったと判定した場合（ステップＳ７：Ｎｏ）、制御部５は、車両制御部６１に車両１を安全に減速し、停車させる処理を実行させる（ステップＳ８）。制御部５は、スピーカー３１から車外に異常を報知する音声を出力するとともに、非常点滅表示灯を点滅させて減速し、安全な路肩等に車両１を停車させ、処理を終了する。

ステップＳ３において、異常状態検出部５９が、異常状態であると判定した場合（ステップＳ３：Ｙｅｓ）、制御部５は、車両制御部６１が車両１の制御に用いる各種閾値を調整するとともに、車両１の運転者に呼びかけるブザー音を強にする（ステップＳ９）。制御部５は、例えば、車両制御部６１が車両１を減速又は停車させる運転補助制御を開始する時間閾値を第２予兆状態よりさらに短縮する。また、制御部５は、例えば、スピーカー３１からのブザー音による呼びかけの音量を大きくするとともに、応答を待つ時間閾値を短縮する。また、制御部５は、異常状態を検知したことを通信部４により外部のオペレータに通知してもよい。

続いて、制御部５は、運転者からの応答があったか否かを判定する（ステップＳ１０）。制御部５が、運転者からの応答があったと判定した場合（ステップＳ１０：Ｙｅｓ）、ステップＳ４に進み、処理を継続する。このとき、制御部５は、車両制御部６１が車両１の制御に用いる各種閾値を初期値に戻す。

一方、制御部５が、運転者からの応答がなかったと判定した場合（ステップＳ１０：Ｎｏ）、ステップＳ８に進み、処理を継続する。

以上説明した異常検出装置によれば、制御部５が、予兆状態と異常状態とをそれぞれ区別して検出するので、予兆状態と異常状態とのどちらか一方を検出する場合よりも安全性を向上させることができる。

また、異常検出装置によれば、カメラ２１が生成する画像データ、心拍計測機２２が計測する心拍数、又はマイク２３が生成する音声データを用いて運転者の異常又は異常予兆を検出するため、画像のみを用いて運転者の異常を検知する場合よりも異常を検知する精度を向上させることができる。

また、異常検出装置によれば、予兆状態と異常状態とにおいて異なる制御を行うため、予兆状態では車両１の安全を確保するための予備的な制御を実行し、異常状態では車両１の安全を確保しながら減速及び停車させる制御を実行し、車両１の安全性を向上させることができる。

また、異常検出装置によれば、第１予兆状態と第２予兆状態とを検出するため、運転者の無意識の行動等の些細な状態の変化から異常予兆を検出することができる。

また、異常検出装置によれば、異なる状態検出動作群により第１予兆状態と第２予兆状態と異常状態とを検出することにより、運転者の状態を段階的に精度よく判定することができる。

また、異常検出装置によれば、運転者に呼びかけを行い、呼びかけに対する応答がなかった場合、車両１を安全に制御することができる。

また、異常検出装置によれば、運転者の身体の違和感に対する運転者の無意識の行動を検出することにより、早期に異常予兆を検出することができる。

また、異常検出装置によれば、運転者の身体の異常に対処する運転者の行動を検出することにより、正確に異常予兆を検出することができる。

また、異常検出装置によれば、運転者が運転不能であることを検出することにより、運転不能状態を早期に検出し、車両１の安全を確保することができる。

なお、上述した本発明の実施形態に係る異常検出装置は、上述した実施形態に限定されず、特許請求の範囲に記載された範囲で種々の変更が可能である。

以上の説明では、車両１が異常検出装置である制御部５を備える例を説明したが、車両１の外部にある端末が異常検出装置の機能を有していてもよい。

本実施形態に係る異常検出装置は、以上で説明した実施形態、変形例の構成要素を適宜組み合わせることで構成してもよい。

１車両
２入力部
３出力部
４通信部
５制御部（異常検出装置）
７記憶部
２１カメラ
２２心拍計測機
２３マイク
２４スイッチ
３１スピーカー
３２アクチュエーター
５３心拍検出部
５４呼吸検出部
５５音声検出部
５６応答検出部
５７第１予兆状態検出部
５８第２予兆状態検出部
５９異常状態検出部
６０異常判定部
６１車両制御部
７１個人データ
７２検出結果データ
７３運転データ
５１１顔検出部
５１２表情検出部
５２１身体部位検出部
５２２動作解析部

Claims

入力部が取得した車両の運転者に関する情報に基づいて、
前記運転者が運転不能となる予兆を示す予兆状態と、
前記運転者が運転不能であることを示す異常状態と、
をそれぞれ検出する制御部を備え、
前記制御部は、前記運転者の身体の違和感に対する前記運転者の無意識の行動を検出した場合、前記予兆状態であると判定する、
異常検出装置。
前記入力部は、画像データを生成するカメラを含み、
前記情報は、前記カメラにより前記運転者を撮像した前記画像データである、
請求項１に記載の異常検出装置。
前記入力部は、音声データを生成するマイクを含み、
前記情報は、前記マイクにより前記運転者の音声を取得した前記音声データである、
請求項１に記載の異常検出装置。
前記入力部は、心拍数を計測する心拍計測機を含み、
前記情報は、前記心拍計測機により前記運転者の心拍を計測した前記心拍数である、
請求項１に記載の異常検出装置。
前記制御部は、前記予兆状態と前記異常状態とにおいて、前記車両に対して異なる制御を行う、
請求項１に記載の異常検出装置。
前記制御部は、
前記予兆状態として、
前記運転者が運転不能となる可能性がある第１予兆状態と、
前記運転者が運転不能となる可能性が前記第１予兆状態より高い第２予兆状態と、
をそれぞれ検出する、
請求項１に記載の異常検出装置。
前記制御部は、前記第１予兆状態と前記第２予兆状態と前記異常状態とを、それぞれ異なる状態検出動作群により検出する、
請求項６に記載の異常検出装置。
前記制御部は、
前記異常状態を検出した場合、前記運転者に呼びかけを行い、
前記呼びかけに対して所定の期間に前記運転者の応答がなかった場合、前記車両の事故を回避する制御を行う、
請求項１に記載の異常検出装置。
前記制御部は、前記運転者が運転不能であることを検出した場合、前記異常状態であると判定する、
請求項１に記載の異常検出装置。
入力部が取得した車両の運転者に関する情報に基づいて、
前記運転者が運転不能となる予兆を示す予兆状態と、
前記運転者が運転不能であることを示す異常状態と、
をそれぞれ検出する制御部を備え、
前記制御部は、前記運転者の身体の異常に対処する、又は前記運転者の身体の異常を緩和させる前記運転者の行動を検出した場合、前記予兆状態であると判定する、
異常検出装置。