JP6090653B2

JP6090653B2 - 疲労判定装置、疲労判定方法、及びそのプログラム

Info

Publication number: JP6090653B2
Application number: JP2012278580A
Authority: JP
Inventors: 純一郎河原; 稔久佐藤
Original assignee: National Institute of Advanced Industrial Science and Technology AIST
Current assignee: National Institute of Advanced Industrial Science and Technology AIST
Priority date: 2012-12-20
Filing date: 2012-12-20
Publication date: 2017-03-08
Anticipated expiration: 2032-12-20
Also published as: JP2014121410A

Description

この発明は、人物を含む動画像データを基づいて人物の疲労度を判定する装置、方法及びプログラムに関する。

従来、例えば、乗用車やトラックの長距離運転における運転手や講義中の聴講生といった人物の疲労度を判定する方法として、様々な方法が検討されてきた。

人物の眠気を予測する方法として、運転手の目の瞬きや脳波、心拍、呼吸等を測定し、評価することが提案されている（非特許文献１）。

また、運転手を撮影した画像データを用いて顔認識を行って特徴点分析を行い、覚醒度の低下を推定することが提案されている（非特許文献２）。

北島洋樹，沼田仲穂，山本恵一，五井美搏、「自動車運転時の眠気の予測手法についての研究：第１報，眠気表情の評定法と眠気変動の予測に有効な指標について」日本機械学会論文集Ｃ編，Vol.63，No.613-C，pp.93-100(1997) 石田健二，蜂須賀知理、「顔表情を用いたドライバ状態センシング-覚醒低下検知手法の取り組みと今後の展望について-」自動車技術会シンポジウム，02-11号，pp.12-17，2011年11月11日

非特許文献１による方法では、脳波や心拍、呼吸等を個別のセンサーを用いて測定する必要があり、装置が高価になるという問題があるほか、常に運転者に多くのセンサーを装着させることは現実には困難であった。また、非特許文献２による方法においては、撮影されたユーザ各々で特徴点が異なることから、覚醒度を推定するにはそれぞれのユーザに合ったアルゴリズムが必要となるという問題があった。

本発明は、人物を含む動画像データの単位時間あたり輝度変化に基づいて疲労度を判定する疲労度判定装置に関する。

本発明は、人物が撮影された動画像データにおいて単位時間毎に画像を取得する画像取得部と、単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出する画像比較部と、動画像データの第一の所定期間における画素変化データを基準データとし、基準データと第二の所定期間における画素変化データとに基づいて、第二の所定期間における疲労度を判定する疲労判定部と、を有する疲労判定装置を提供する。

また、本発明の疲労判定装置の疲労判定部は、第一及び第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、第二の所定期間における疲労度を判定してもよい。

上記疲労判定装置において、基準データを記憶する基準データ記憶部をさらに有し、疲労判定部は、基準データを前記基準データ記憶部から読み出して疲労度を判定してもよい。

上記疲労判定装置において、疲労判定部は、基準データの変動値と第二の所定時間における変動値とをｔ検定し、有意に異なっている場合、第二の所定期間において疲労していると判定するようにしてもよい。

上記疲労判定装置において、画像比較部は、画素変化データとして輝度変化を検出してもよい。

上記疲労判定装置において、画像取得部は、取得する画像範囲を予め決定し、画像比較部は、画像データのうち決定された画像範囲における画素変化データを算出してもよい。

本発明は、人物が撮影された動画像データにおいて単位時間毎に画像を取得するステップ、単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出するステップ、動画像データの第一の所定期間の画素変化データを基準データとし、基準データと第二の所定期間における画素変化データとに基づいて、上記第一及び上記第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、上記第二の所定期間における疲労度を判定するステップと、を有する疲労判定方法を提供する。

人物が撮影された動画像データにおいて単位時間毎に画像を取得するステップ、単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出するステップ、動画像データの第一の所定期間の画素変化データを基準データとし、基準データと第二の所定期間における画素変化データとに基づいて、上記第一及び上記第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、上記第二の所定期間における疲労度を判定するステップをコンピュータに実行させるための疲労判定プログラムを提供する。

本発明によれば、人物を含む動画像データの単位時間あたりの画素の変化を抽出することで疲労度を判定するため、特殊なセンサー等を用いることなく、疲労度を判定することが可能となる。また、疲労に伴って増加する人間の微細な運動を、画像データにおける画素の変化を抽出することで疲労度を判定するため、顔認識等の複雑なアルゴリズムを用いることなく、簡易な装置構成とアルゴリズムで疲労度を判定することが可能となる。

本発明の一つの実施形態における疲労判定装置のブロック図である。本発明の実施の形態に係る疲労判定装置１００のハードウェア構成の一例を示すブロック図である。動画像データから画素変化データを算出する処理の一例を示すフローチャートである。ステップＳ４における取得する画像範囲の決定方法の一例を説明する図である。疲労判定部１０５における画素変化推移データから変動値を算出する処理の一例を示すフローチャートである。疲労判定部１０５における疲労判定処理の一例を示すフローチャートである。

以下、本発明の実施形態である疲労判定装置を図面に従って説明する。

図１は、本発明の一つの実施形態における疲労判定装置のブロック図である。疲労判定装置１００は、人物が撮像された動画像データに基づいて、その人物の疲労度を判定する装置である。疲労判定装置１００は、例えば、自動車の運転席を撮影するカメラから入力される動画像データに基づいて、単位時間毎に画像を取得し、隣接画像間における画素変化、例えば輝度変化を測定する。ある期間における輝度変化の変動値と、例えば運転当初の所定期間における変動値とを比較して疲労度を判定する。なお、自動車の運転している人物の疲労判定だけではなく、他の場合にも疲労判定が可能である。例えば、授業を受講中の生徒の席を撮影するように設定されたカメラで撮像された動画像データに基づいて疲労判定を行ってもよい。

疲労判定装置１００は、例えば、撮像部２００と出力部３００と接続されている。撮像部２００は、ビデオカメラなど、人物を含んだ動画像データを撮影するための装置である。疲労判定装置１００は、撮像部２００で撮影された動画像データが入力されると、動画像データに基づいて疲労判定を行う。なお、撮像部２００で撮影された動画像データをリアルタイムで処理することは実用上望ましい。しかし、予め撮影された動画像データを一旦記憶し、記憶した動画像データを読み出すことで疲労判定を行ってもよい。

出力部３００は、疲労判定装置１００における疲労判定の結果を出力する。例えば、表示装置や警告音やアナウンスを出力するマイクなどの音声出力装置が該当する。

疲労判定装置１００は、入力部１０１、画像取得部１０２、画像比較部１０３、基準データ記憶部１０４、疲労測定部１０５を有する。入力部１０１は、例えば、撮像部２００で撮影された動画像データを入力する。なお、撮像部で撮像された動画像データに限らず、外部記憶部に記憶された動画像データを入力してもよい。

画像取得部１０２は、入力部１０１より入力された動画像データから単位時間毎に画像データを取得する。単位時間とは、サンプリング時間である。例えば、サンプリング時間として0.5秒と設定した場合、単位時間は0.5秒であり、画像取得部１０２は０.５秒ごとに画像データを取得する。画像取得部１０２は、入力された動画像データのうち、所定期間の動画像データにおいてのみ単位時間毎に画像データを取得してもよい。所定期間とは、例えば疲労度を判定する対象期間である。例えば、入力された動画像データのうち、最初の１０分間と最後の１０分間のみ、単位時間毎に画像データを取得し、その他の期間は取得しないようにしてもよい。画像取得部１０２は、動画像データのうち、少なくとも予め定められた２つの期間、１つは基準データとなる期間、もう一つは疲労判定を行う対象期間において単位時間毎に画像データを取得する。

画像比較部１０３は、画像取得部１０２が取得した画像データについて、隣接する画像間、つまり取得した画像データと取得した画像データの次の単位時間先の画像データとにおいて互いに対応座標における画素値を比較し、画素変化量を算出する。そして、画素変化量に基づく画素変化データを得る。画像比較部１０３は、例えば指定された所定期間において取得された画像データすべてにおいて、画素変化データを算出して画素変化推移データとして出力する。なお、画像比較部１０３は、画像データのなかで画素比較を行う範囲を予め決めておき、その範囲においてのみ画素変化量を算出してもよい。

基準データ記憶部１０４は、動画像データの基準となる期間の画素変化に基づくデータを記憶する。基準となる期間は、例えば、動画像データのなかで、人物を撮影開始した最初の所定期間である。基準となる期間は、これに限らないが、疲労度を判定するためであるから、疲労していない期間であることが望ましい。例えば、運転や作業を始めた時間又はそれに近い期間である。また、画素変化に基づく基準データは例えば、所定期間内の単位時間毎の隣接画像間の画素変化推移データである。なお、基準となる期間での画素変化量から所定値以上に変化のあった回数を変動値として算出し、基準データとして記憶してもよい。

疲労判定部１０５は、基準データとある所定期間における画素変化データとに基づいて、当該所定期間における疲労度を判定する。例えば、基準データにおける画素変化の変動値と、疲労度判定の対象期間における画素変化の変動値とを比較することで、疲労度を判定する。なお、変動値に対してｔ検定を行うことにより、疲労度を判定してもよい。具体的な判定方法については、後述する。

図２は、本発明の実施の形態に係る疲労判定装置１００のハードウェア構成の一例を示すブロック図である。図２において、疲労判定装置１００を構成するコンピュータは、従前から存在する汎用的なハードウェア構成で実現できる。すなわち、疲労判定装置１００を形成するコンピュータは、図２に示したようにＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、外部記憶装置１０４、通信インターフェース１０５、入出力インターフェース１０６と接続されたキーボード１０８をバスに接続して構成される。また、入出力インターフェース１０６に出力部３００として、一例としてスピーカ３０１と、表示装置として設けられたディスプレイ３０２が接続されている。

一連の処理をソフトウェアにより実行させる場合には、例えば、画像取得部１０２、画像比較部１０３、疲労判定部１０５は、外部記憶装置１０４として磁気ディスク、光ディスク、光磁気ディスク、もしくは半導体メモリなどよりなるリムーバブルメディアに疲労判定プログラムとして記憶され、ＣＰＵ１０１で実行させることで、各種の機能を実行させる。なお、ネットワークからコンピュータへ疲労判定プログラムをインストールし、また、装置本体に予め組み込まれた状態、例えば、プログラムが記録されているＲＯＭ１０２などで構成してもよい。

図３は、動画像データから画素変化量を算出する処理の一例を示すフローチャートである。画像取得部１０２は、入力部１０１から入力された動画像データを読み込む（ステップＳ1）。次に画像取得部１０２は最終フレーム番号を取得する（ステップＳ２）。ここでの最終フレーム番号とは、動画像データのなかで画素変化を取得する期間における最終画像のフレーム番号である。例えば動画像データのうち、基準となる所定期間や疲労度を判定する対象期間を１０分間とすると１０分間の最後の画像のフレーム番号を取得する。

画像取得部１０２は、次に単位時間（サンプリング時間）を決定する（ステップＳ３）。ここでは、単位時間毎に画像を取得する場合の時間間隔を決定する。例えば、画像取得部１０２は、動画像データのフレームレートや、画素変化量を取得する期間に基づいてサンプリング時間を決定する。例えば、画像取得部１０２は、フレームレートに対応したサンプリング時間のテーブルを記憶し、テーブルに基づいてサンプリング時間を決定してもよい。同様に、画素変化量を取得する期間に対応したサンプリング時間を記憶したテーブルを記憶し、テーブルに基づいて決定してもよい。なお、予めサンプリング時間が決まっているのであれば本ステップＳ３及び最終フレーム番号の取得のステップＳ２は不要である。ここでは、一例として基準期間及び画素変化量を取得する期間を１０分とし、単位時間を0.5秒とする。

画像取得部１０２は、取得する画像範囲を決定する（ステップＳ４）。動画像データから取得したフレーム画像データにおいて、画素変化量を算出する画像範囲を決定する。撮影されている動画像データにおいて背景となる部分など、人以外が映っていて画素が変化する領域を除去するよう、取得する画像範囲を決定する。このように、画像取得部１０２は、単位時間毎に取得した画像データにおいて画素変化量を取得する画像範囲を座標データ等で指定することで予め決定しておく。

なお、上記ステップＳ２〜ステップＳ４は、既に規定値として決められている場合には、省略可能である。その場合、ステップＳ１の次にステップＳ５へと移る。

画像取得部１０２は、初期フレーム画像を取得する（ステップＳ５）。画像取得部１０２は、画素変化量を取得すると決定した期間の最初のフレームの画像を取得する。画像取得部１０２は、初期画像を現在画像に設定し（ステップＳ６）、１単位時間先の画像を取得する（ステップＳ７）。

画像比較部１０３は、画像取得部１０２が取得した現在の画像と１単位時間先の画像との隣接画像間で比較を行う（ステップＳ８）。一例として、隣接画像間で同一座標における画素値の比較を各々の画素において行う。画素値とは、例えば輝度値である。輝度値に限らず、ＲＧＢの値であってもよい。ＲＧＢの値で画素変化量を算出する場合、例えば画像比較部１０３は、下記の方法で画素変化量（ＰＴ）の算出を行う。

ここで、ｉは画像上の画素（ピクセル）のｘ座標における座標値、ｊは画像上の画素（ピクセル）のｙ座標における座標値である。隣接画像間において、同座標値を有する画素の変化量を１画素ごとに算出し、画素差分の絶対値を合計して画素変化量（ＰＴ）を算出する。さらに画素変化量を総ピクセル数で割って平均値とすることで、画素変化データを算出する。ここでは、平均値としているが、特定座標における画素変化量を画素変化データとしてもよく、また画像データ全体の画素変化量そのものを画素変化データとしてもよい。なお、ステップＳ４において画素変化データを算出する画像範囲が決定されている場合には、画像中の決定された範囲においてのみ画素変化データを算出する。

画像比較部１０３は、画素変化データを記憶する（ステップＳ９）。

次に、画像取得部１０２は、１単位時間先の画像を現在の画像として設定する（ステップＳ１０）。次の単位時間先の画像と比較を行うためである。画像取得部１０２は、現在の画像が最終フレーム画像かどうか判定し（ステップＳ１１）、最終フレーム画像でない場合（Ｎｏ）は、画像取得部１０２は、次の単位時間先の画像を取得し、画像比較部１０３は画素値の比較を行う。所定期間の最終フレーム画像である場合（Ｙｅｓ）は、画像比較部１０３は、所定期間分の画素変化データを画素変化推移データとしてファイルに出力する（ステップＳ１２）。出力した所定期間における画素変化量の推移データは、図示しない記憶部に記憶してもよく、またそのまま疲労判定部１０５へ出力してもよい。なお、画像比較部１０３は、基準期間の画素変化推移データは、基準データ記憶部１０４に記憶させる。但し、これに限らず、出力した画素変化推移データを、基準期間、判定期間にかかわらず測定したデータを全て基準データ記憶部１０４に記憶するように構成してもよい。

図４は、ステップＳ４における取得する画像範囲の決定方法の一例を説明する図である。図４（ａ）は、カメラなどの撮像部で撮影された動画から取得した画像のなかで、人に起因する輝度変化が生じえない領域であって輝度変化が起こりうる領域を斜線で示している。ここでは、自動車の運転席に座っている人物を撮影している。窓から見える景色は輝度変化が起こりうる領域であり、座席より後方部分については、人物が映る可能性がないことから除外領域として斜線としている。図４（ｂ）のように、斜線部分を取り除き、太線で囲んだ領域のみを画素計算するように範囲指定を行う。範囲の指定方法は、画像における座標を指定する等の方法によって行う。そして、図４（ｃ）のように画素変化量を取得する画像範囲のみとし、各々の画素の値を算出する。このような領域の決定は、動画像データに対して個別に行ってもよい。

図５は、疲労判定部１０５における画素変化推移データから変動値を算出する処理の一例を示すフローチャートである。疲労判定部１０５は、画像比較部１０３から出力された所定期間の画素変化の推移データ、または記憶部から読み出した画素変化の推移データを読み込む（ステップＳ１３）。

次に、疲労判定部１０５は、疲労度判定のための閾値を算出する（ステップＳ１４）。例えば、対象期間の画素変化推移データについて画素変化データの平均値を算出し、平均値（Ｍｅａｎ）に１ＳＤ（Standard Deviation標準偏差）を足したものを閾値として算出する。なお、これに限らず、他の方法で閾値を定めてもよい。定めた閾値は、平均から何回偏差を超えて画素変化が生じたかをカウントするために用いる。つまり、疲労判定対象となる人が、通常の動きよりも平均を超えて動いた度合いを測定している。平均値や標準偏差の算出は、例えば下記の式で行う。

数式におけるｎは、所定期間内の画素変化推移データの要素数である。

疲労判定部１０５は、決定した基準値で画素変化推移データの分類を行う（ステップＳ１５）。例えば、画素変化データが平均値から１ＳＤ以上の増減があった回数の合計を当該所定期間の変動値として算出する。基準期間、判定対象期間ともに本フローチャートに従って、変動値の算出を行う。

疲労判定部１０５は、算出した変動値をファイルに出力する（ステップＳ１６）。算出した変動値は、一旦メモリなどに記憶してもよく、例えば、基準期間における変動値は、基準データ記憶部１０４へ記憶してもよい。

図６は、疲労判定部１０５における疲労判定処理の一例を示すフローチャートである。疲労判定部１０５は、基準期間における変動値及び疲労判定対象期間における変動値を読み出す（ステップＳ１７）。例えば、基準期間における変動値は、基準データ記憶部１０４から読み出す。また、対象期間についてリアルタイムでの判定を行う場合、ステップＳ１６からそのままステップＳ１７へとうつる。

読み出された基準期間における変動値と疲労判定対象期間における変動値とをｔ検定する（ステップＳ１８）。例えば、ｔ検定におけるｐ値が０.０５未満の場合、疲労していると判定する。なお、ここでは、ｔ検定を用いて比較しているが、他の手法、たとえばノンパラメトリックな手法（符号順位検定など）を用いてもよい。

次に疲労判定部１０５は、疲労判定を行う（ステップＳ１９）。例えば、ｔ検定の結果、有意に異なっている場合、疲労状態にあると判定する。判定の結果をディスプレイなどの表示装置やマイクなどの音声出力部といった出力部３００へ出力することで、通知を行ってもよい。また、ｔ検定を行う場合は、ｔ検定におけるｐ値に応じて警告の重みを変えるようにしてもよい。

このように、画素変化を算出することで疲労に伴う人物の細かな動きの変化を測定することで、疲労度の判定を行うことができる。上記では、運転している人物を撮影する例で説明したが、これに限らず、授業中の聴講生や、仕事中の人物を撮影することでもそれらの人物の疲労度を判定することができる。

Claims

人物が撮影された動画像データにおいて単位時間毎に画像を取得する画像取得部と、
単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出する画像比較部と、
前記動画像データの第一の所定期間における画素変化データを基準データとし、前記基準データと第二の所定期間における画素変化データとに基づいて、前記第一及び前記第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、前記第二の所定期間における疲労度を判定する疲労判定部と、を有する疲労判定装置。
前記基準データを記憶する基準データ記憶部をさらに有し、
前記疲労判定部は、基準データを前記基準データ記憶部から読み出して疲労度を判定する請求項１記載の疲労判定装置。
前記疲労判定部は、基準データの変動値と第二の所定時間における変動値とをｔ検定し、有意に異なっている場合、第二の所定期間において疲労していると判定する請求項１又は２記載の疲労判定装置。
前記画像比較部は、画素変化データとして輝度変化を検出する請求項１〜３記載の疲労判定装置。
前記画像取得部は、取得する画像範囲を予め決定し、前記画像比較部は、画像データのうち決定された画像範囲における画素変化データを算出する請求項１〜４記載の疲労判定装置。
人物が撮影された動画像データにおいて単位時間毎に画像を取得するステップ、
単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出するステップ、
前記動画像データの第一の所定期間の画素変化データを基準データとし、前記基準データと第二の所定期間における画素変化データとに基づいて、前記第一及び前記第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、前記第二の所定期間における疲労度を判定するステップ、
と、を有する疲労判定方法。
人物が撮影された動画像データにおいて単位時間毎に画像を取得するステップ、
単位時間毎に取得した画像間を比較し、隣接画像間での画素変化データを算出するステップ、
前記動画像データの第一の所定期間の画素変化データを基準データとし、前記基準データと第二の所定期間における画素変化データとに基づいて、前記第一及び前記第二の所定期間における画素変化データから所定値以上に変化のあった回数を算出することで変動値を算出し、前記第二の所定期間における疲労度を判定するステップ、
をコンピュータに実行させるための疲労判定プログラム。