JP6947556B2 - 車載機、処理装置およびプログラム - Google Patents

Description

本発明は、車載機および処理装置に関し、特に車両を運転する運転者の状態を検知するための技術に関する。

様々な車両において、安全な運転状態を維持するためには、運転者が正常な運転状態であることが不可欠である。例えば、睡眠不足の状態の運転者が車両を運転している時には居眠り運転を行う可能性があり、交通事故に繋がる危険性が高い。また、何らかの病気の発症により運転者が突然意識を失い、運転不可能な状況に陥る可能性も考えられる。また、運転者自体が身体的には問題が発生していない場合であっても、例えばわき見運転を継続的に行った場合には交通事故に繋がる危険性が高くなる。

そこで、特許文献１に示されている居眠り運転防止装置は、検出した車両の速度に基づいて、予め定められた監視速度から所定時間以内に所定速度以上の減速を検出すると、居眠りと判定する居眠り判定手段と、居眠りを判定した場合に運転者に対して警告を発する警告手段とを備えている。

また、特許文献２に示されている車両用運転支援装置は、ドライバ（運転者）特性算出に使用する走行ログのデータ範囲を、蓄積した走行ログの特徴に応じて動的に変化させることで、より精度良くドライバ特性を算出するための技術を示している。

また、特許文献３に示されている状態判定装置は、移動体の運転者の状態を判定する際の判定精度を向上させるための技術を示している。具体的には、センサ群での検知結果に従って、自動車の挙動を表すパラメータを繰り返し導出し、パラメータを判定モデルに照合した結果、判定モデルが有する閾値領域のいずれかに、パラメータが包含されていれば、運転者が漫然と運転しているものと判定する。

また、人間の健康状態を検出するための一般的な技術として、ウェアラブル機器が用いられる場合もある。このようなウェアラブル機器は、例えば腕時計のように人体に装着され、体温、心拍、血圧などの生体情報を計測する。このような生体情報を利用して、眠気を判定することが可能である。また、車載カメラを利用して車両を運転している運転者の顔等を撮影し、顔画像の内容から運転者の状態を監視することも試みられている。

特開２００４−３４９３８号公報 特開２０１５−１４３９３６号公報 特開２０１６−２１１９２号公報

しかしながら、運転者の状態を推定するために運転者の生体情報を利用する場合には、運転者がウェアラブル機器を常に装着した状態で車両を運転しなければならないので、運転者にかかる負担が大きく、継続的に使用するのは困難である。また、車載カメラを利用して車両を運転している運転者の顔等を撮影する場合には、運転者が常に監視されていることを意識することになり、特に、業務用車両を運転する乗務員の場合には運転中の精神的な負担が大きい。すなわち、乗務員は運転中に企業内の他人から常に監視されていると考えることになるので、このような状況は避ける必要がある。

一方、特許文献１のように車両の速度に基づいて居眠り運転等の状態を検出する場合には、運転者に特別な負担がかかることはない。しかし、検出対象が居眠り運転のような特定の状態のみに限られるし、誤検出が生じる可能性もあるので、信頼性が十分に高いとは言えない。

本発明は、上記の状況に鑑みてなされたものであり、その目的は、車載機から取得できる各種の運行データに基づいて、運転手の状態、例えばウトウトしながら運転している状態、動揺しながら運転している状態などを精度よく判定するために利用可能な車載機、処理装置及びプログラムを提供することにある。

前述した目的を達成するために、本発明に係る車載機は、下記（１）〜（４）を特徴としている。
（１） 情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報が入力される入力部と、
Ｌ種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え、
前記統計値として、前記運行情報それぞれから取得されるＭ（Ｍは２以上の整数）種類の統計値を有し、
前記評価値は、Ｌ種類の前記運行情報毎に取得されたＭ種類の前記統計値（合計Ｎ＝Ｌ×Ｍ個の統計値）の中から所定数Ｐ取り出したときの組合せ（ _Ｎ Ｃ _Ｐ ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする車載機。
（２） 前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である
ことを特徴とする上記（１）に記載の車載機。
（３） 前記統計値は、Ｎ個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値を有し、
前記評価値は、（Ｎ＋１）個の前記統計値の中から所定数Ｐ取り出したときの組合せ（_Ｎ+1Ｃ_Ｐ）毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
ことを特徴とする上記（２）に記載の車載機。
（４） 情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報が入力される入力部と、
Ｌ種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
を備え、
前記評価値は、複数の前記特徴量を重回帰式に代入した数値である、
ことを特徴とする車載機。

上記（１）の構成の車載機によれば、複数種類の運行情報の各々の統計値に基づいて算出される評価値を利用するので、単一の運行情報だけでは得られない特徴量を評価することができ、運転手の微妙な状態の違いも識別可能になる。また、運転手の顔を撮影する必要もないし、ウェアラブル機器を運転手が装着する必要もないので、運転手の負担が小さい。
更に、上記（１）の構成の車載機によれば、複数種類の運行情報と、複数種類の統計値との組み合わせの少なくとも一部分の各々から算出される特徴量に基づいて算出される評価値を利用するので、様々な種類の特徴量を評価することができ、運転手の微妙な状態の違いも識別可能になる。
上記（２）の構成の車載機によれば、各統計値の積により前記特徴量を算出するので、様々な種類の特徴量を評価することができる。
上記（３）の構成の車載機によれば、過去の少なくとも一時点における評価値を最新の計算値にフィードバックすることができる。そのため、運転状態の特徴量の検出を開始してから正しい特徴量が得られるまでに時間がかかる場合であっても、フィードバックした過去の評価値に基づいて正しい特徴量を評価することが可能になる。
上記（４）の構成の車載機によれば、重回帰式に基づき、複数の前記特徴量の各々を説明変数として、運転手の状態を表す１つの目的変数を前記評価値として算出できる。

前述した目的を達成するために、本発明に係る処理装置は、下記（５）、（６）を特徴としている。
（５） 各種情報が入力される入力部と、
前記入力部から入力された情報を基にデータ処理を行うデータ処理部と、
を備え、
前記入力部は、情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
前記データ処理部は、
Ｌ種類の前記運行情報毎に取得されたＭ種類の統計値（合計Ｎ＝Ｌ×Ｍ個の統計値）の中から所定数Ｐ取り出したときの組合せ（_ＮＣ_Ｐ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し、
さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する
ことを特徴とする処理装置。
（６） 前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
ことを特徴とする上記（５）に記載の処理装置。

上記（５）の構成の処理装置によれば、目的変数である前記運転手の状態と一致するように学習が実施され、必要な特徴量毎の係数が算出される。ここで算出された適切な係数を、上記（１）に記載の車載機に与えることにより、車載機は前記運転手の状態を適切に評価することが可能になる。
上記（６）の構成の処理装置によれば、上記（１）に記載の車載機が運転手の状態を正しく評価するために必要な特徴量の数を大幅に削減できるので、計算の負荷が小さくなり、処理能力の低いコンピュータを搭載した車載機であっても短時間で評価結果を得ることが可能になる。

前述した目的を達成するために、本発明に係るプログラムは、下記（７）を特徴としている。
（７） コンピュータに、上記（５）又は（６）に記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。

上記（７）の構成のプログラムによれば、目的変数である前記運転手の状態と一致するように学習が実施され、必要な特徴量毎の係数が算出される。ここで算出された適切な係数を、上記（１）に記載の車載機に与えることにより、車載機は前記運転手の状態を適切に評価することが可能になる。

本発明の車載機、処理装置およびプログラムは、車載機から取得できる各種の運行データに基づいて、運転手の状態を精度よく判定するために役立てることができる。本発明の処理装置及びプログラムは、車載機が計算に用いる特徴量毎の係数を学習により算出する機能を有する。本発明の車載機は、本発明の処理装置が算出した各係数を採用することにより、運転手の状態を評価する精度を高めることができる。

以上、本発明について簡潔に説明した。更に、以下に説明される発明を実施するための形態（以下、「実施形態」という。）を添付の図面を参照して通読することにより、本発明の詳細は更に明確化されるであろう。

図１は、本発明の実施形態における車載機の構成例を示すブロック図である。 図２は、本発明の実施形態における学習処理システムの構成例を示すブロック図である。 図３は、車載カメラが撮影した映像の例を示す正面図である。 図４は、ドライビングシミュレータとそれに付随する装置の位置関係を示す側面図である。 図５は、学習処理装置における学習処理の具体例を示すフローチャートである。 図６は、眠気レベルの時間推移に関する正解値、重回帰式の推定値、および重回帰式の推定値を量子化した値の具体例を示すタイムチャートである。 図７は、学習処理装置における学習処理の変形例を示すフローチャートである。

本発明の車載機および処理装置に関する具体的な実施の形態について、各図を参照しながら以下に説明する。

＜実施形態の車載機１０の説明＞
＜概要の説明＞
本発明の実施形態における車載機１０の構成例を図１に示す。図１に示した車載機１０は、例えばタクシー、トラック、バスのような業務用車両など様々な車両に搭載した状態で使用され、運転手の状態を自動検出するために利用される。検出対象の代表的な状態として、ここでは運転手の居眠りの状態を想定している。しかし、この車載機１０は居眠りに限らず、様々な状態の検知に利用できる。

図１に示した車載機１０は、ドライブレコーダであり、運転手の居眠り運転を検知して危険を報知するための機能が追加されている。しかし、本発明の車載機はドライブレコーダに限らず、様々な種類の車載機に本発明の機能を搭載できる。

＜構成の説明＞
図１に示した車載機１０の入力には、自車両に搭載されている車速センサ（図示せず）が出力する車速パルス信号ＳＧ１が印加される。この車速パルス信号ＳＧ１は、例えば車両のトランスミッションの出力軸が所定量回動する毎に発生するパルスを含んでいる。したがって、自車両の走行速度（ｋｍ／ｈ）や移動距離を車速パルス信号ＳＧ１に基づいて算出できる。

また、図１に示した車載機１０の入力には、車載カメラ３０が接続されている。この車載カメラ３０は、例えば自車両の前方の窓付近に固定され、自車両の進行方向前方の路面や風景などの状況を撮影できる方向に向けられている。なお、複数台の車載カメラ３０を必要に応じて用いることができる。車載カメラ３０の撮影内容を表す映像信号ＳＧ４が車載機１０に入力される。

また、実際の車両においては、車速パルス信号ＳＧ１、映像信号ＳＧ４以外の様々な信号を外部から車載機１０に入力することが可能であるが、運転手の居眠りを検出する用途だけであれば、他の信号を入力する必要はない。

図１に示したように、車載機１０の内部には、車速検出機能１１、加速度センサ１２、画像認識エンジン１３、ドライブレコーダ機能１４、運行データ検出機能１５、統計値算出部１６、評価値算出部１７、フィードバック処理部１８、評価値判定部１９、音声出力部２０、および広域無線通信アダプタ２１が備わっている。また、広域無線通信アダプタ２１にアンテナ２２が接続されている。

なお、図１に示した車載機１０の内部の主要な構成要素の実体は、マイクロコンピュータを主体とする電気回路のハードウェアと、このマイクロコンピュータが実行するプログラムおよびデータとで構成されるソフトウェアからなる。また、必要に応じて、画像処理専用のプロセッサや、数値演算用のプロセッサなどが車載機１０に内蔵される場合もある。

車速検出機能１１は、外部から入力される車速パルス信号ＳＧ１に基づいて自車両の最新の走行速度（ｋｍ／ｈ）を常時算出する。この算出結果の走行速度の信号ＳＧ５が車速検出機能１１から出力され運行データ検出機能１５に入力される。

加速度センサ１２は、車載機１０に固定されており、自車両の進行方向（前後方向）の加速度の大きさと、横方向（左右方向）の加速度の大きさとをそれぞれ検出する機能を有している。進行方向の加速度の大きさを表す信号ＳＧ２と、横方向の加速度の大きさを表す信号ＳＧ３とのそれぞれが加速度センサ１２から出力され、運行データ検出機能１５に印加される。

画像認識エンジン１３は、入力される映像信号ＳＧ４の各フレームの画像に対して、リアルタイムで認識処理を実行し、様々な特徴量を検出する。具体的には、画像中の路面に標示されている各白線（レーンの境界の区切り位置）の位置、自車両の位置などを自動的に認識することができる。

ドライブレコーダ機能１４は、一般的なドライブレコーダと同様の機能を実現する。すなわち、入力される映像信号ＳＧ４の情報や、走行速度、加速度のような自車両の運行状態に関する情報を取得して記録する。大量の情報を記録できるように、例えば不揮発性メモリにより構成されるメモリカードのような記憶装置がドライブレコーダ機能１４に備わっている。

運行データ検出機能１５は、運転手の状態を検出するために必要とされる９種類の運行情報Ｄ１〜Ｄ９を、走行速度の信号ＳＧ５、進行方向の加速度の信号ＳＧ２、横方向の加速度の信号ＳＧ３、および画像認識結果の信号ＳＧ６に基づいて検出する。なお、運行情報Ｄ１〜Ｄ９の種類数を必要に応じて増減することも可能である。この運行情報Ｄ１〜Ｄ９については後で詳細に説明する。

統計値算出部１６は、運行データ検出機能１５から出力される９種類の運行情報Ｄ１〜Ｄ９のそれぞれについて、統計処理を施して各々の統計値Ｄｘを算出する。統計値算出部１６が算出する統計値Ｄｘの種類については、標準偏差（ｓｔｄ）、最大値（ｍａｘ）、最小値（ｍｉｎ）、平均値（ｍｅａｎ）、中央値（ｍｅｄｉａｎ）、最頻値（ｍｏｄｅ）、および範囲（ｒａｎｇｅ）の７種類がある。なお、統計値Ｄｘの種類数を必要に応じて増減してもよい。

評価値算出部１７は、９種類の運行情報Ｄ１〜Ｄ９のそれぞれの７種類の統計値Ｄｘと、フィードバック処理部１８から印加されるフィードバック信号Ｄｆとを、所定の計算式に代入して計算することにより、評価値Ｄｙを求める。この評価値Ｄｙは、この例では運転手の居眠りの状態の程度を数値化して表すものである。評価値算出部１７の計算式の具体例については後で説明する。

フィードバック処理部１８は、時間的に古い情報を現在の情報にフィードバックして現在の情報の評価に反映するための処理を行う。具体的には、フィードバック処理部１８が評価値算出部１７の出力する評価値Ｄｙを入力して一時的に保持し、一定時間（例えば１２０秒）の経過後にフィードバック信号Ｄｆとして出力する機能を有している。

評価値判定部１９は、評価値算出部１７が出力する評価値Ｄｙを事前に定めた閾値と比較することにより、警報等を出力するか否かを判定する。例えば、評価値Ｄｙが大きく、運転手が非常に眠そうな状況であると評価値判定部１９が判定した場合には、居眠り運転の発生を回避するために必要な報知信号ＳＧ８を出力する。

音声出力部２０は、報知信号ＳＧ８に従って、居眠り運転の発生を回避するために役立つ音声出力を実行する。例えば、運転手に聞こえるように「危険です、停車して休憩して下さい」のような音声を出力する。

広域無線通信アダプタ２１は、遠隔地のコンピュータとの間でデータ通信するための無線通信機能を提供する。例えば、ドライブレコーダ機能１４が記録する運行情報や、報知信号ＳＧ８を、必要に応じて、遠隔地のサーバや当該車両を管理している企業の事務所ＰＣなどに対して送信することができる。

＜動作の説明＞
＜運行データ検出機能１５の動作＞
図１に示した運行データ検出機能１５は、以下に示す９種類の運行情報Ｄ１〜Ｄ９をそれぞれ検出する。

Ｄ１：自車両の走行速度。
Ｄ２：自車両の進行方向（前後方向：ｘ軸）加速度。
Ｄ３：自車両の横方向（左右方向：ｙ軸）加速度。
Ｄ４：ＦＯＥ（Focus Of Expansion）ゆらぎ。より具体的には、ｘ座標における（１０秒間移動平均値−今回値）を利用する。
Ｄ５：ＦＯＥ差分Ｒ。具体的には、ｘ座標における絶対値（１０秒間移動平均値−キャリブレーション後のＦＯＥ ｘ座標値）を利用する。
Ｄ６：自車位置。具体的には、（絶対値（左白線交点座標＋右白線交点座標）／２−車両直進走行時の６ｍ地点での車両中心投影位置（座標））を６ｍ地点の距離に換算した結果を利用する。
Ｄ７：左白線からの距離。より具体的には、自車両の現在位置から６ｍ先の地点（自車位置）と左白線との横方向の距離を利用する。
Ｄ８：右白線からの距離。より具体的には、自車両の現在位置から６ｍ先の地点（自車位置）と右白線との横方向の距離を利用する。
Ｄ９：横移動速度。

自車両の走行速度Ｄ１は、走行速度の信号ＳＧ５に相当する。車両の進行方向（前後方向：ｘ軸）加速度Ｄ２、および横方向（左右方向：ｙ軸）加速度Ｄ３は、加速度センサ１２が出力する加速度の信号ＳＧ２およびＳＧ３に相当する。その他の上記運行情報Ｄ４〜Ｄ９の各々は、画像認識エンジン１３の認識結果（信号ＳＧ６）に基づいて算出できる。

動きの消失点（ＦＯＥ）について説明する。例えば走行中の車両上で前方を撮影したカメラの映像においては、路面上の白線のように輝度の大きい箇所の画素が流れるように移動する。また、このような動きを表す各ベクトルを直線状に延長した先にある交点では動きがなくなる。この交点が動きの消失点（ＦＯＥ）である。例えば、直線状の道路上を直進している車両においては、走行中の路面の進行方向の先にある無限遠点がＦＯＥになる。また、例えば自車両が蛇行して走行したり、進行方向が変化するときにはＦＯＥにも変化が現れる。したがって、居眠り運転の可能性を検知するために、ＦＯＥの変化を利用できる。

車載カメラ３０が撮影した映像の例を図３に示す。図３に示した映像の中には、動きの消失点（ＦＯＥ）、６ｍ先の左白線、６ｍ先の右白線の各位置が示されている。

＜評価値算出部１７が実行する計算式の説明＞
図１に示した評価値算出部１７が評価値Ｄｙを算出するために利用する計算式の具体例を以下に示す。

ｙ＝ ｋ０１×Ｄ１max
＋ｋ０２×Ｄ６max
＋ｋ０３×Ｄ６min
＋ｋ０４×Ｄ９max
＋ｋ０５×Ｄｆ
＋ｋ０６×Ｄ１max×Ｄ６min
＋ｋ０７×Ｄ１max×Ｄ７min
＋ｋ０８×Ｄ１max×Ｄ７mean
＋ｋ０９×Ｄ１max×Ｄｆ
＋ｋ１０×Ｄ１min×Ｄ８median
＋ｋ１１×Ｄ４std×Ｄ５median
＋ｋ１２×Ｄ４min×Ｄ５range
＋ｋ１３×Ｄ５max×Ｄ７median
＋ｋ１４×Ｄ５mode×Ｄ６min
＋ｋ１５×Ｄ６max×Ｄ９max
＋ｋ１６×Ｄ６max×Ｄｆ
＋ｋ１７×Ｄ６min×Ｄ７min
＋ｋ１８×Ｄ７std×Ｄ７mean
＋ｋ１９×Ｄ９max×Ｄｆ
＋ｋｃ０ ・・・（１）
但し、
ｙ：評価値（Ｄｙに相当する）
ｋ０１〜ｋ１９：各項目の運行情報（Ｄ１〜Ｄ９）の該当する統計値に割り当てた係数
ｋｃ０：定数項
Ｄ１max：自車両の走行速度Ｄ１の最大値
Ｄ６max：自車位置Ｄ６の最大値
Ｄ６min：自車位置Ｄ６の最小値
Ｄ９max：横移動速度Ｄ９の最大値
Ｄｆ：フィードバック値（１２０秒前のｙの計算値）
Ｄ７min：左白線からの距離Ｄ７の最小値
Ｄ７mean：左白線からの距離Ｄ７の平均値
Ｄ８median：右白線からの距離Ｄ８の中央値
Ｄ４std：ＦＯＥゆらぎＤ４の標準偏差
Ｄ５median：ＦＯＥ差分Ｒの中央値
Ｄ４min：ＦＯＥゆらぎＤ４の最小値
Ｄ５range：ＦＯＥ差分Ｒの範囲
Ｄ５max：ＦＯＥ差分Ｒの最大値
Ｄ７median：左白線からの距離Ｄ７の中央値
Ｄ５mode：ＦＯＥ差分Ｒの最頻値
Ｄ７std：左白線からの距離Ｄ７の標準偏差

上記第（１）式の内容は単なる一例であり、実際には後述する学習処理を実施することにより様々な計算式を採用して計算の精度を向上することができる。

評価値ｙを算出するために用いる計算式の各項目における組み合わせについては、本実施形態では最大で２０８０種類存在する。すなわち、運行情報（Ｄ１〜Ｄ９）が９種類、統計値Ｄｘの統計種類数が７であり、更に１種類のフィードバック信号Ｄｆを利用するので、６４種類の計算項目が存在する。
９×７＋１＝６４ ・・・（２）

そして、これらの６４項目の各々についての２項目の積を計算する組み合わせの種類数は次式のように２０８０になる。
６４×（６４−１）／２＋６４＝２０８０ ・・・（３）

しかしながら、２０８０種類の全ての項目を計算するためには大きな計算負荷がかかる。また、２０８０種類の項目の全てが運転手の居眠りと大きな因果関係を有しているわけではない。そこで、２０８０種類の組み合わせの項目の中から、学習処理によって利用価値の高い項目だけを選択して採用する。その結果の代表例が上記第（１）式の内容である。現実的には、２３０程度の計算項目を有する計算式を採用することが想定される。

しかし、いずれにしても、例えば上記第（１）式の内容の各項目は、運転手の居眠りと相関関係を有する運行情報（Ｄ１〜Ｄ９）の統計値を含んでいるので、運転手の居眠りに関する評価値Ｄｙを算出するために利用できる。また、この計算式に含まれている各係数ｋ０１〜ｋ１９の値については、「−１〜＋１」の範囲内の実数であり、例えば小数点以下４桁程度の精度を有する数値を採用する。これらの内容は、学習処理によって最適化される。

＜実施形態の学習処理システム４０の説明＞
＜概要の説明＞
本発明の実施形態における学習処理システム４０の構成例を図２に示す。図２に示した学習処理システム４０に含まれている学習処理装置５０が本発明の処理装置に相当する。この学習処理システム４０は、図１に示した車載機１０の評価値算出部１７が適切な計算式を用いて評価値Ｄｙを算出するために必要な学習処理を実現するものである。この学習処理の結果により、評価値算出部１７が採用する上記第（１）式の内容が変化する。

＜学習処理の準備の説明＞
ドライビングシミュレータ４１とそれに付随する装置の位置関係図４に示す。本実施形態では、学習処理で利用可能な実験データを取得するために、図４に示したドライビングシミュレータ４１を利用する。

このドライビングシミュレータ４１は、実際の車両の運転席と同じように運転手が着座可能な運転席を有しており、更に、運転手が操作可能なステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を備えている。また、運転手の前方を主体として運転手を囲むように６面のディスプレイ４１ａが配置されている。このディスプレイ４１ａの画面上には、実際の運転状態において運転手が視認可能な前方視界の情景等を模擬した内容が、ドライビングシミュレータ４１に対する運転操作に応じて表示される。

模擬運転の実験を実施する場合には、図４に示すように被験者４２がドライビングシミュレータ４１の運転席に着座する。そして、この被験者４２は、ドライビングシミュレータ４１の運転手として、ディスプレイ４１ａの画面の内容を視認しながら、ステアリングホイール、アクセルペダル、ブレーキペダル、変速操作レバーなどの機器を操作して模擬運転を行う。被験者４２の模擬運転操作に応じてディスプレイ４１ａの画面の内容が逐次変化する。

学習処理に必要な実験データを取得するために、図４に示すように運転席の前方に配置された前方映像録画用カメラ４３が、ディスプレイ４１ａの画面における前方映像を撮影する。また、運転席の前方に配置された運転手顔映像録画用カメラ（ステレオカメラ）４４が運転席に着座している被験者４２の顔およびその近傍を撮影する。また、被験者４２の生体情報である心電図を取得するために、心電計４５が被験者４２に装着される。

学習処理に必要な実験データは、図２に示した情報記録装置４６が記録する。すなわち、前方映像録画用カメラ４３の撮影により得られる前方の映像と、運転手顔映像録画用カメラ４４の撮影により得られる被験者４２の顔の映像と、心電計４５が出力する心電図の情報とが１組の時系列データとして情報記録装置４６に記録される。また、自車両の走行速度、前後方向加速度、横方向加速度等の情報をドライビングシミュレータ４１から入力して情報記録装置４６が記録する。情報記録装置４６は、大量の情報の記録を可能にするためにハードディスクなどの記憶装置を搭載している。

重回帰分析を適用して学習処理を行うためには、情報記録装置４６が記録した模擬運転の実験データの他に、重回帰分析の目的変数に相当する運転手の状態を表す正解値が必要になる。したがって、図２に示すように、情報記録装置４６が記録した情報に基づいて各時点の正解値を正解値の特定処理４７により特定する。

正解値の特定処理４７については、ここでは熟練者が行う人間の作業として、運転手顔映像録画用カメラ４４が撮影した顔の再生映像（表情や頭の動きなど）と、心電計４５が出力する心電図とに基づいて感覚的に評価した結果を各時点の正解値として出力する場合を想定している。

勿論、正解値の特定処理４７を自動化し、人間の作業を不要にすることも可能である。例えば、画像認識技術により、再生映像における被験者４２の顔の表情や頭の動きなどを自動認識したり、認識した状態と心電図の状態とを組み合わせて正解値の評価結果を自動的に出力することができる。

正解値の特定処理４７において正解値を評価する際には、例えば表１に示した評価指標を利用し、これに準じた評価を実施することが想定される。表１の評価指標は、「新エネルギー・産業技術総合開発機構（ＮＥＤＯ）」が提案しているものである。

すなわち、表１に示した評価指標を利用する場合には、被験者４２の顔の表情や頭の動きなどと、５段階の評定値とを対応付けることができる。したがって、情報記録装置４６が記録した情報を再生しながら、各時点の被験者４２の状態として、眠気レベルを５段階評価した場合の正解値を、表１の内容に基づき、人間、又は機械が正解値の特定処理４７で特定することができる。

＜学習処理の説明＞
図２に示した学習処理装置５０は、学習処理に用いる入力データ４８として、情報記録装置４６が記録した模擬運転の記録情報と、正解値の特定処理４７により得られた各時点の正解値とを組み合わせて学習処理を実施する。

学習処理装置５０の実体は、パーソナルコンピュータのような一般的な計算機であって、重回帰分析等の特別な計算処理を含む学習処理を実行するために必要なアプリケーションソフトウェアを搭載している。

学習処理装置５０は、基本的には運転手の状態（この例では眠気レベル）を目的変数ｙとする重回帰式の説明変数の各項目の数、各項目の種類、各項目の係数を最適化するための学習を実施するものである。この場合の重回帰式が使用可能な説明変数は、車載機１０内の評価値算出部１７に入力される各運行情報Ｄ１−Ｄ９における各統計値Ｄｘに相当する。したがって、学習処理装置５０においても、重回帰式の説明変数の項目数は、初期状態では上記第（３）式に示した組み合わせ種類数の２０８０になる。

そして、学習処理装置５０が学習処理を実施することにより、重回帰式の説明変数の項目数を減らし、説明変数の種類を最適化すると共に、適切な目的変数ｙを算出するために必要な各係数を項目毎に算出する。学習処理装置５０が学習処理の結果として算出した学習処理後の各種係数５２や、重回帰式の説明変数の項目数、各項目の種類などが車載機１０の評価値算出部１７に登録される。

＜学習処理の具体的な手順＞
学習処理装置５０における学習処理の手順の具体例を図５に示す。図５に示した学習処理について以下に説明する。

ステップＳ１１では、学習処理装置５０が入力データ４８の中から、利用可能なデータを順次に抽出する。すなわち、車載機１０の運行データ検出機能１５が検出する９種類の運行情報Ｄ１−Ｄ９の各々に相当するデータをここで抽出する。

ステップＳ１２では、Ｓ１１で抽出した運行情報Ｄ１−Ｄ９の各々のデータに基づき、学習処理装置５０が各々の特徴量を算出する。つまり、車載機１０の統計値算出部１６の動作と同じように、７種類の統計値Ｄｘを９種類の運行情報Ｄ１−Ｄ９の各々に対して算出し、これらを特徴量とする。実際には、上記第（３）式に示した組み合わせ種類数の２０８０と同じ数の特徴量が得られる。

ステップＳ１３では、正解値への推定値の追従性向上を目的として、学習処理装置５０が主成分分析（ＰＣＡ：principal component analysis）を実施する。この例では、累積寄与率を定数として設定し、主成分分析を実施する。主成分分析について以下に説明する。

例えば、ある車両を真上から視た場合には、車両の縦幅と横幅とが分かるが、高さは分からない。一方、この車両を正面から見た場合には、車両の横幅と高さとが分かるが、縦幅は分からない。また、この車両を真横から視た場合には、車両の縦幅と高さとが分かるが、横幅は分からない。そこで、この車両を斜め４５度方向から視ると、検出精度は落ちるが車両の縦幅、横幅、高さの全てを総合的に検出できる状態になる。

真上、正面、真横のそれぞれの視点で特徴量を把握する代わりに、斜め方向のように１つの視点、つまり主成分から全ての特徴量を把握しようとするのが主成分分析の考え方である。

一方、車載機１０の評価値算出部１７、および学習処理装置５０に入力される２０８０種類の特徴量には、９種類の運行情報Ｄ１−Ｄ９の各々に関する７種類の統計値Ｄｘ、および１つのフィードバック信号Ｄｆにより構成される６４個の特徴量の２項目積の組み合わせの全てが含まれている。つまり、車両を斜め方向から視た場合と同じような、全ての主成分が２０８０種類の特徴量に既に含まれている。そこで、２０８０種類の特徴量の中から重要度の高い主成分だけを抽出することが、主成分分析を実施することを意味する。

例えば、次の第（４）式に示す行列式を計算することにより、ｐ種類の特徴量Ｃ１〜Ｃｐと各種重みＷとに基づき、ｑ種類（ｐ＞＞ｑ）の主成分ｆ１〜ｆｑを取り出すことができる。つまり、説明変数の次元数をｐからｑに圧縮することができる。

ステップＳ１４では、学習処理装置５０は、重回帰式における目的変数ｙと各特徴量との相関係数の行列を取得する（Ｒ＝corrcoef）。つまり、ステップＳ１３で２０８０個からｑ個（例えば２３０個）まで削減されたｑ個の各特徴量と目的変数ｙとの各々の相関係数を表す行列を取得する。

そして、学習処理装置５０は、特徴量毎の相関係数の集合（行列）の中で相関係数が所定の閾値（この例では０．１）以上のもののみをステップＳ１５で抽出し、閾値未満の特徴量はステップＳ１６で削除する。つまり、相関係数が閾値未満の特徴量は重回帰式の計算対象項目から除外する。

ステップＳ１７では、学習処理装置５０は、ステップＳ１５で抽出した、特徴量毎の相関係数の集合（行列）の中で相関係数が所定の閾値以上の特徴量に対して、説明変数の選択方法として一般的なステップワイズ法を適用し、特徴を選択する。すなわち、重回帰分析の結果の自由度調整済Ｒ二乗値（決定係数）、Ｆ値と係数のｐ値（それぞれの説明変数の係数の有意確率）を見ながら、どの組み合わせが最も当てはまりが良いかを繰り返し処理によって探る。

ステップＳ１８では、学習処理装置５０はステップＳ１７で選択した特徴を用いて重回帰分析を実行する。すなわち、重回帰式の目的変数ｙを、説明変数である各特徴量の組み合わせにより十分に説明できる状態になるように、各特徴量の組み合わせと各特徴量の係数とをそれぞれパラメータとして特定する。この時には、学習処理に用いる入力データ４８として正解値も入力されるので、目的変数ｙの正解値と、各特徴量との関係が最適化されるように、各特徴量の種類の組み合わせと各組み合わせの係数とを決定することができる。

ステップＳ１８で得られるパラメータが図２に示した学習処理後の各種係数５２であり、これが車載機１０の評価値算出部１７に登録される。その結果として、評価値算出部１７は、例えば上記第（１）式のような重回帰式の計算を実行することになる。したがって、例えば前記表１の内容に相当する運転手の眠気レベルについて、図２の学習処理システム４０で学習した結果のパラメータを車載機１０に登録した場合には、車載機１０の評価値算出部１７および評価値判定部１９は居眠り運転を防止するために役立つ判定動作を行うことになる。

＜眠気レベルの具体例＞
眠気レベルの時間推移に関する正解値６１（図中、正解値６１を明りょうに示すため、正解値６１と横軸とに挟まれる領域にグラデーションを施している。）、重回帰式の推定値６２（図中、折れ線グラフにて記載されている。）、および重回帰式の推定値を量子化した値６３（図中、「＋」形状のプロットにて記載されている。）の具体例を図６に示す。図６において、横軸は時間を表し、縦軸は眠気レベルを表す。すなわち、学習処理装置５０が学習処理を実行する場合には、図６に示すように、学習処理の進行に伴って重回帰式の推定値（ｙ）６２と正解値６１とのずれが小さくなり、重回帰式のパラメータが最適化されていくことが分かる。

＜学習処理の手順の変形例＞
学習処理システム４０における学習処理の手順の変形例を図７に示す。図７の学習処理について以下に説明する。

ステップＳ２１では、学習処理装置５０が入力データ４８の中から、利用可能なデータを順次に抽出する。すなわち、車載機１０の運行データ検出機能１５が検出する９種類の運行情報Ｄ１−Ｄ９の各々に相当するデータをここで抽出する。

ステップＳ２２では、Ｓ２１で抽出した運行情報Ｄ１−Ｄ９の各々のデータに基づき、学習処理装置５０が各々の特徴量を算出する。つまり、車載機１０の統計値算出部１６の動作と同じように、７種類の統計値Ｄｘを９種類の運行情報Ｄ１−Ｄ９の各々に対して算出し、これらを特徴量とする。実際には、上記第（３）式に示した組み合わせ種類数の２０８０と同じ数の特徴量が得られる。

ステップＳ２３では、学習処理装置５０は、重回帰式における目的変数ｙと各特徴量との相関係数の行列を取得する（Ｒ＝corrcoef）。つまり、２０８０個の各特徴量と目的変数ｙとの各々の相関係数を表す行列を取得する。

そして、学習処理装置５０は、特徴量毎の相関係数の集合（行列）の中で相関係数が所定の閾値（この例では０．３）以上のもののみをステップＳ２４で抽出し、閾値未満の特徴量はステップＳ２５で削除する。つまり、相関係数が閾値未満の特徴量は重回帰式の計算対象項目から除外する。

ステップＳ２６では、正解値への推定値の追従性向上を目的として、学習処理装置５０が主成分分析（ＰＣＡ：principal component analysis）を実施する。この例では、累積寄与率が定数として設定して、主成分分析を実施する。すなわち、ステップＳ２４で抽出した特徴量の数を更に削減して利用価値の高い主成分のみを抽出する。

ステップＳ２７では、学習処理装置５０は、説明変数の選択方法として一般的なステップワイズ法を適用し、特徴を選択する。すなわち、重回帰分析の結果の自由度調整済Ｒ二乗値（決定係数）、Ｆ値と係数のｐ値（それぞれの説明変数の係数の有意確率）を見ながら、どの組み合わせが最も当てはまりが良いかを繰り返し処理によって探る。

ステップＳ２８では、学習処理装置５０はステップＳ２７で選択した特徴を用いて重回帰分析を実行する。すなわち、重回帰式の目的変数ｙを、説明変数である各特徴量の組み合わせにより十分に説明できる状態になるように、各特徴量の組み合わせと各特徴量の係数とをそれぞれパラメータとして特定する。この時には、学習処理に用いる入力データ４８として正解値も入力されるので、目的変数ｙの正解値と、各特徴量との関係が最適化されるように、各特徴量の種類の組み合わせと各組み合わせの係数とを決定することができる。

ステップＳ２８で得られるパラメータが図２に示した学習処理後の各種係数５２であり、これが車載機１０の評価値算出部１７に登録される。その結果として、評価値算出部１７は、例えば前記第（１）式のような重回帰式の計算を実行することになる。したがって、例えば前記表１の内容に相当する運転手の眠気レベルについて、図２の学習処理システム４０で学習した結果のパラメータを車載機１０に登録した場合には、車載機１０の評価値算出部１７および評価値判定部１９は居眠り運転を防止するために役立つ判定動作を行うことになる。

＜利点＞
図１に示した車載機１０は、複数種類の運行情報Ｄ１〜Ｄ９を利用し、更にこれらの各々の複数種類の統計値Ｄｘの組み合わせを利用するので、眠気レベルのような運転手の状態を高精度で検出することができる。また、算出に利用する特徴量として複数項目の積を採用することにより、利用価値の高い主成分を抽出し、評価値の精度を高めることができる。また、過去に算出された評価値をフィードバック信号Ｄｆとして重回帰式の入力にフィードバックすることにより、評価値の精度を高めることができる。また、学習されたパラメータに基づいて重回帰式の内容を決定することにより、評価値の精度を高めることができる。

また、図２に示した学習処理システム４０において、学習処理装置５０は、学習処理に用いる入力データ４８に基づき図５または図７に示した手順の学習処理を実施することにより、車載機１０が必要とする高精度のパラメータを自動的に算出できる。また、学習処理装置５０は、重回帰式で計算する各特徴量、すなわち説明変数の項目数を削減できるので、車載機１０における計算の負荷を削減することができる。

＜変形の可能性＞
上述の実施形態においては、車載機１０及び学習処理装置５０における重回帰式の目的変数（ｙ）として、運転手の眠気レベルを想定しているが、目的変数（ｙ）を変更して適切な学習を実施することにより、他の様々な用途にも適用できる。例えば、運転手の注意力が低下している状態、運転手の運動能力が低下している状態、危険性の高い運転を行っている状態などの検出に利用できる可能性がある。

ここで、上述した本発明に係る車載機、処理装置及びプログラムの実施形態の特徴をそれぞれ以下［１］〜［８］に簡潔に纏めて列記する。
［１］ 情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報（Ｄ１〜Ｄ９）が入力される入力部（評価値算出部１７）と、
Ｌ種類の前記運行情報それぞれから取得される統計値（Ｄｘ）を特徴量として有する評価値（Ｄｙ）に応じて、運転手の状態を通知する出力部（音声出力部２０）と、
を備えることを特徴とする車載機（１０）。
［２］ 前記統計値として、前記運行情報それぞれから取得されるＭ（Ｍは２以上の整数）種類の統計値（Ｄｘ）を有し、
前記評価値（Ｄｙ）は、Ｌ種類の前記運行情報毎に取得されたＭ種類の前記統計値（合計Ｎ＝Ｌ×Ｍ個の統計値）の中から所定数Ｐ取り出したときの組合せ（_ＮＣ_Ｐ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する（第（１）式参照）、
ことを特徴とする上記［１］に記載の車載機。
［３］ 前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である（第（１）式参照）
ことを特徴とする上記［２］に記載の車載機。
［４］ 前記統計値は、Ｎ個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値（フィードバック信号Ｄｆ）を有し、
前記評価値は、（Ｎ＋１）個の前記統計値の中から所定数Ｐ取り出したときの組合せ（_Ｎ+1Ｃ_Ｐ）毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する（第（１）式参照）、
ことを特徴とする上記［３］に記載の車載機。
［５］ 前記評価値（Ｄｙ）は、複数の前記特徴量を重回帰式に代入した数値である、
ことを特徴とする上記［１］乃至［４］のいずれかに記載の車載機。
［６］ 各種情報が入力される入力部（学習処理に用いる入力データ４８）と、
前記入力部から入力された情報を基にデータ処理を行うデータ処理部（学習処理装置５０）と、
を備え、
前記入力部は、情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
前記データ処理部は、
Ｌ種類の前記運行情報毎に取得されたＭ種類の統計値（合計Ｎ＝Ｌ×Ｍ個の統計値：Ｄｘ）の中から所定数Ｐ取り出したときの組合せ（_ＮＣ_Ｐ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し（Ｓ１２，Ｓ２２）、
さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する（Ｓ１８，Ｓ２８）
ことを特徴とする処理装置。
［７］ 前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い（Ｓ１３，Ｓ２６）、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
ことを特徴とする上記［６］に記載の処理装置。
［８］ コンピュータに、上記［６］又は［７］に記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。

１０ 車載機
１１ 車速検出機能
１２ 加速度センサ
１３ 画像認識エンジン
１４ ドライブレコーダ機能
１５ 運行データ検出機能
１６ 統計値算出部
１７ 評価値算出部
１８ フィードバック処理部
１９ 評価値判定部
２０ 音声出力部
２１ 広域無線通信アダプタ
２２ アンテナ
３０ 車載カメラ
４０ 学習処理システム
４１ ドライビングシミュレータ
４２ 被験者
４３ 前方映像録画用カメラ
４４ 運転手顔映像録画用カメラ
４５ 心電計
４６ 情報記録装置
４７ 正解値の特定処理
４８ 学習処理に用いる入力データ
５０ 学習処理装置
５１ 学習処理前の各種係数
５２ 学習処理後の各種係数
６１ 眠気レベルの時間推移に関する正解値、
６２ 重回帰式の推定値
６３ 重回帰式の推定値を量子化した値
Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５，Ｄ６，Ｄ７，Ｄ８，Ｄ９ 運行情報
Ｄｆ フィードバック信号
Ｄｘ 統計値
Ｄｙ 評価値

Claims (7)

1. 情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報が入力される入力部と、
   Ｌ種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
   を備え、
   前記統計値として、前記運行情報それぞれから取得されるＭ（Ｍは２以上の整数）種類の統計値を有し、
   前記評価値は、Ｌ種類の前記運行情報毎に取得されたＭ種類の前記統計値（合計Ｎ＝Ｌ×Ｍ個の統計値）の中から所定数Ｐ取り出したときの組合せ（ _Ｎ Ｃ _Ｐ ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
   ことを特徴とする車載機。
2. 前記特徴量は、各組合せに用いられた前記統計値の積から算出される値である
   ことを特徴とする請求項１に記載の車載機。
3. 前記統計値は、Ｎ個の前記統計値に加え、さらに、過去の少なくとも一時点における評価値を有し、
   前記評価値は、（Ｎ＋１）個の前記統計値の中から所定数Ｐ取り出したときの組合せ（_Ｎ+1Ｃ_Ｐ）毎に、各組合せに用いられた前記統計値から算出される値を前記特徴量として有する、
   ことを特徴とする請求項２に記載の車載機。
4. 情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報が入力される入力部と、
   Ｌ種類の前記運行情報それぞれから取得される統計値を特徴量として有する評価値に応じて、運転手の状態を通知する出力部と、
   を備え、
   前記評価値は、複数の前記特徴量を重回帰式に代入した数値である、
   ことを特徴とする車載機。
5. 各種情報が入力される入力部と、
   前記入力部から入力された情報を基にデータ処理を行うデータ処理部と、
   を備え、
   前記入力部は、情報の種類が互いに異なるＬ（Ｌは２以上の整数）種類の車両の運行情報と、前記運行情報が取得された際に評価された運転手の状態と、が入力され、
   前記データ処理部は、
   Ｌ種類の前記運行情報毎に取得されたＭ種類の統計値（合計Ｎ＝Ｌ×Ｍ個の統計値）の中から所定数Ｐ取り出したときの組合せ（_ＮＣ_Ｐ）の一部又は全てそれぞれにおいて、各組合せに用いられた前記統計値から算出される値を特徴量として算出し、
   さらに、前記運転手の状態を目的変数として重回帰分析を行い、前記特徴量に対して乗算する係数を当該特徴量毎に算出する
   ことを特徴とする処理装置。
6. 前記データ処理部は、さらに、前記特徴量に対して主成分分析を行い、前記目的変数に対する相関が相対的に高い特徴量を前記重回帰分析の対象とする、
   ことを特徴とする請求項５に記載の処理装置。
7. コンピュータに、請求項５又は６に記載の前記入力部及び前記データ処理部の機能を実現させるためのプログラム。

Images