JP3799889B2

JP3799889B2 - 瞬目動作解析装置及び方法

Info

Publication number: JP3799889B2
Application number: JP23857799A
Authority: JP
Inventors: 裕友泉
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 1999-08-25
Filing date: 1999-08-25
Publication date: 2006-07-19
Anticipated expiration: 2019-08-25
Also published as: JP2001061801A

Description

【０００１】
【発明の属する技術分野】
本発明は、脳波信号から瞬目動作を検出し、解析するための装置及び方法に関する。
【０００２】
【従来の技術】
人間の集中度合いを測定するための技術として、例えば特開平9-262216号公報記載の「集中度推定装置」がある。この装置では、被験者の神経活動から測定しようするもので、複数の生体情報を測定し、その測定情報と集中度設定ルール情報か集中度を推測する。また、特開平11-137530公報号記載の「特徴脳電磁波検出装置」では、脈波、眼球運動、瞬目などが原因で生じた特徴波が混在した脳電磁波をウェーブレット解析し、分解された脳電磁波データと生体情報時系列データを比較することで前記特徴波の成分を判定している。この装置は、脳波判読者、医者など、脳波を判読する者の負担軽減を目指すものであり、脈波や眼球運動、瞬目などを検出するための検出手段を脳波計以外に設け、この検出手段の検出信号に基づいて特徴波を判定している。さらに、特開平11-65422号公報記載の「作業者の心身状態評価方法、機器を用いた作業の作業内容制御方法及び作業内容制御システム」では、皮膚インピーダンスセンサや瞬きセンサの検出信号を用いて、作業者の心身状態を判定している。瞬きセンサからは瞬目頻度を測定している。
【０００３】
【発明が解決しようとする課題】
パーソナルコンピューターなどのディスプレイに向かって作業しているときなどでは、集中度や関心が増すにつれて作業者の瞬目回数が減ると言われている。このように、瞬目動作に関する情報は人間の精神活動を知る上で重要な要素となる。
【０００４】
ところで、人間の脳内活動を観察する手法として、脳波計測が広く行われている。この脳波計測と同時に瞬目動作情報を検出し、脳波と他の生体情報とで複合解析を行おうとする場合、従来は脳波計の他に、瞬きセンサなどのセンサを被験者に装着する必要があり、被験者の負担が大きかった。また、脳波計と瞬きセンサとが干渉するおそれがあり、測定データの信用性を落とす可能性があった。
【０００５】
また、上記の特開平11-137530公報号記載の技術は、脳波と同時に、別のセンサで脈波や瞬目などの生体情報を検出しているが、このとき検出される脳波以外の生体情報は脳波における特徴波の特定に用いられているのみであり、この生体情報を解析して瞬目等の生体現象についての解析を行っているわけではなかった。
【０００６】
本発明は、このような状況に鑑みなされたものであり、被験者の負担を増すことなく、脳波と同時に瞬目に関する情報を得るための装置及び方法と提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題を解決するため、本発明では、ウェーブレット解析によって脳波の時系列データを分解して瞬目波形のデータと通常の脳波のデータに分離する。この分離した瞬目波形データを利用することで、瞬目確認情報を得る。
【０００８】
本発明に係る瞬目動作解析装置は、脳波検出手段と、前記脳波検出手段で検出した脳波の時系列データを所定の分解レベルまでウェーブレット分解する分解手段と、前記分解手段で求めた前記所定分解レベルの分解結果における低周波成分から、瞬目動作に関する情報を求める瞬目解析手段とを有する。
【０００９】
例えば好適な態様では、前記所定分解レベルの分解結果における低周波成分の傾きが負で、かつ該低周波成分の値が前記脳波時系列データの負値の平均のα倍（αは定数）より小さい値となることを瞬目判定条件として、瞬目動作の有無を判定する。
【００１０】
例えばウェーブレット分解は、マザーウェーブレットとしてスプライン４関数を用い、前記所定分解レベルとしてレベル（−４）まで分解する。
【００１１】
【発明の実施の形態】
発明者は、本実施形態の装置の開発のための予備実験として、被験者の眼の周りに瞬目センサの電極を装着して瞬目動作を検出すると共に、これと並行して脳波計による脳波計測を行った。そして、瞬目動作をしたときの脳波計の検出結果と瞬目センサの検出結果とを照らし合わせて、脳波時系列データが瞬目動作によってどのように変化するかを調べた。このときに被験者に瞬目動作をさまざまな時間間隔で行ってもらうことで、いろいろなタイプの瞬目動作によって変化する脳波時系列データを記録した。この予備実験から、脳波波形に混在する瞬目由来成分の特徴をとらえた。
【００１２】
この実験で瞬目による波形が混在しているとわかった脳波時系列データに対してウェーブレット変換した。ウェーブレット変換自体は公知の技術であり、例えば、数理科学ウェーブレットビギナーズガイド、榊原進著東京電機大学出版局、１９９５年などが詳しい。以下、本実施形態で用いるウェーブレット変換処理について簡単に説明する。
【００１３】
時刻tで計測された脳波時系列データをf(t)とすると、波形f(t)に対するウェーブレット変換の展開係数は
【数１】

となる。ここで、Ψは、マザーウェーブレット(Mother Wavelet)関数と呼ばれ、ハール(Haar)、ドーベシィ(Daubechies)、メキシカンハット(MexicanHat)等様々なものが知られている。この例では、周波数分解能が高いといわれるスプライン４(Spline4)関数をマザーウェーブレット関数に用いてウェーブレット変換を行う。式（１）において、ａはマザーウェーブレット関数の時間軸方向についての伸縮に関するパラメータであり、周波数成分の情報に対応する。またｂはマザーウェーブレット関数を時間軸方向の平行移動に関するパラメータである。この変換を、離散的にサンプリングされたデータに適用できるよう、パラメータａ，ｂを、
【数２】

と定義する。すると式（１）は、
【数３】

と書け、この逆変換は、
【数４】

と表せる。次に式（４）は、
【数５】

を使って、脳波時系列データf(t)を原データf₀(t)と見ることで
【数６】

と書ける。ここで、
【数７】

としたとき、このｊは分解レベルを表していて、ｊの値が小さいほどサンプリング間隔が大きくなることに対応し、低周波成分を検出できるようになる。式（７）から明らかなように、f_j(t)は次のように分解できる。
【００１４】
【数８】

これがウエーブレット分解であり、この式（８）の右辺第２項がウェーブレット展開係数、すなわち高周波成分を表し、右辺第１項が元の信号（左辺）から高周波成分を取り除いて得た低周波成分を表す。この分解操作により得られた低周波成分f_j-1に再び同じ式（８）を適用し、これを繰り返すことにより分解を進めていく。
【００１５】
発明者らは、瞬目動作による波形成分が入っていることを確認している脳波時系列データを多数用意し、これらに対してマザーウェーブレットにスプライン４関数を用いて上記のウェーブレット分解操作を施し、各分解レベルでの低周波成分f_jと高周波成分g_jの信号を調べた。その結果、レベル（−４）まで分解することにより、ほとんどのケースで瞬目動作による波形成分を抽出できることを発見した。
【００１６】
すなわち、
【数９】

と分解することで、f_-4に瞬目動作による脳波成分をとらえることができることが実験により確認できた。
【００１７】
図１に、実験に用いたオリジナルの脳波信号f₀の波形を示す。この波形は、符号１に示す範囲に、脳内活動による通常の脳波成分の他に、瞬目動作による脳波成分が重畳されている。図２は、図１に示した信号f₀を分解して得た、レベル（−１）の低周波成分f_-1、高周波成分g_-1の波形を示し、図３はf_-1を分解して得たレベル（−２）の低周波成分f_-2、高周波成分g_-2の波形を示す。同様に図４はレベル（−３）の、図５はレベル（−４）の、各成分（すなわちf_-3、g_-3、f_-4、g_-4）の波形を示す。この図５の（ａ）に示すレベル（−４）の低周波成分f_-4の波形は、図１のオリジナルの信号の符号１の範囲に該当する部分が十分滑らかになっており、これが瞬目動作による脳波成分の波形を表している。
【００１８】
以上説明したように、予備実験により、前頭極の任意の位置に装着した電極から計測した脳波時系列データに対して、マザーウェーブレットにスプライン４関数を用い、レベル（−４）まで分解することで、瞬目動作により生じた脳波成分を抽出できることが分かった。前頭極の電極の信号には、瞬目成分が現れやすい。
【００１９】
図６は、図５の（ａ）に示したf_-4の波形のうち、瞬目動作による波形部分を模式的に示した図である。図６に示すように、一般的に、瞬目時には、f_-4成分は、一般的に鋭く正の方へ立ちあがり、次に負の方向へ落ち込み、また正の方向へ立ちあがってから徐々に落ち着く軌跡を描く。実験では、用いた様々な脳波について、負の方向への落ち込みは瞬目一回につき一度しかないことを確認した。したがって、図６にて符号２で示す負の方向へ落ち込む部分を検出することで、瞬目情報を得ることが考えられる。実験では、瞬目動作が短期間に連続すると、瞬目波形の形が図６のような典型的な波形から崩れることがあるが、負の方向へは瞬目一回につき一度しかないという原則は崩れないことも確認した。
【００２０】
また、瞬目による脳波成分の振幅は、（瞬目以外の）通常の脳内活動による脳波の振幅より大きいことも実験で確認した。
【００２１】
すなわち、図７に示すように、f_-4成分における１回の瞬目に対応する部分５は、必ず１カ所の下り勾配部４を持ち、かつf_-4成分が負に振れた箇所では、そのピークの絶対値は、脳波信号の負値の平均レベル３の絶対値よりも大きくなっている。
【００２２】
これらから、本実施形態では、レベル（−４）のウェーブレット分解結果の低周波成分f_-4の傾きが負で、かつf_-4の絶対値が脳波振幅の平均より所定割合α以上大きくなった時点をもって、瞬目動作が起こったと判定するようにした。所定割合以上としたのは、誤判定を防ぐための余裕を考慮したためである。
【００２３】
このため、まず前頭極に装着した電極で検出した脳波の時系列データＸ（ｉ）（ｉは時刻）のうち、Ｘ（ｉ）＜０を満たす値Ｘの平均を求める。
【００２４】
【数１０】

ここでＮは、この平均値を求めるために取り出したデータ数である。
【００２５】
そして、次の式（１１）及び（１２）の２つの条件式を同時に満足したときに瞬目動作をしたと判定することとした。
【００２６】
【数１１】

【数１２】

以上を瞬目動作アルゴリズムと呼ぶことにする。これは、f_-4の傾きが負で、かつその値が閉眼時の脳波の振幅平均のα倍になったときに、瞬目動作の波形をとらえたと判定することを意味する。
【００２７】
式（１２）の右辺の微分は、レベル（−４）におけるサンプリング間隔をΔｔとして、
【数１３】

で求める。
【００２８】
ここで上記係数αは、ユーザが表示波形の状態を見て選択できるようにした。実験によれば、αの選択範囲は、１．４≦α≦２．０に限定することが望ましいことが分かった。このように、αの選択範囲に幅を持たせたのは、閉眼時の脳波波形の振幅には個人差があり、さらに瞬目波形の振幅にも個人差があるので、αを固定値にしてしまうと、ある人には適用できても違う人には適用できなくなる可能性があるからである。
【００２９】
また、αの選択範囲の下限１．４及び上限２．０は、実験により定めた。すなわち、多数のケースについての分析から、αを１．４より小さい値にすると、瞬目動作でない通常の脳内活動による脳波波形を、瞬目動作と誤って判定してしまう可能性があることがわかった。αを２．０より大きい値にすると、瞬目波形が小さい場合に検出漏れを起こす可能性があることも分かった。以上のことから、（１１）及び（１２）の両式を満たしたときに瞬目動作が起こったと判定し、それら両式を満足した時刻を、瞬目発生時刻とすることとした。
【００３０】
図８に、本実施形態の装置の概略構成を示す。この装置は、脳波計１０、脳波解析表示処理部２０及び表示装置３０を含む。脳波計１０は従来からある一般的な脳波計である。脳波解析表示処理部２０は、脳波計１０で得られた脳波信号（時系列データ）に対し瞬目動作に関する解析を行い、その解析結果と脳波波形とを示す表示画像情報を生成する。表示装置３０は、脳波解析表示処理部２０で生成された表示画像情報を表示するＣＲＴ、液晶ディスプレイなどの表示装置である。
【００３１】
図９は、この装置の脳波解析表示処理部２０の瞬目動作解析の手順を示すフローチャートである。以下、図８及び図９を参照して、本実施形態の装置の構成及び動作を説明する。
【００３２】
脳波計１０の電極は、例えば、前頭極にFp1、Fp2、前頭にF3、Fz、F4、下前頭にF7、F8、中心頭にC3、Cz、C4、頭頂にP3、Pz、P4、後頭にO1、O2、側頭にT3、T4後側頭にT5、T6、耳朶にA1、A2を、それぞれ装着する。この方法は国際脳波学会で標準方式として推奨している１０／２０法である。ただし、この電極装着法はあくまで一例であり、本実施形態の手法は脳波電極装着法には基本的に依存しない。例えば将来新たな方式が出現してきたらその方式で電極を装着しても良い。
【００３３】
この脳波計１０で検出された生の脳波信号は、増幅及びＡ／Ｄ変換されて時系列データとなり、脳波解析表示処理部２０の表示画像生成部２６とウェーブレット分解部２２に入力される（図９のＳ１００）。
【００３４】
ウェーブレット分解部２２は、入力された脳波時系列データに対してマザーウェーブレットとしてスプライン４関数を用いてウェーブレット変換を施し（Ｓ１０２）、レベル（−４）までウェーブレット分解して、瞬目による脳波成分を通常脳内活動の脳波成分から分離する（Ｓ１０４）。この分解結果は瞬目解析部２４に送られる。瞬目解析部２４では、受け取ったウェーブレット分解結果の信号群からレベル（−４）の低周波成分f_-4を抽出し（Ｓ１０６）、この抽出結果に対して式（１１）及び（１２）に示した瞬目判定条件を満足するかどうかの判定を行う（Ｓ１０８）。この判定結果がＹｅｓの場合は瞬目動作があったと判断し、Ｎｏの場合は瞬目動作がないと判断する。
【００３５】
この手順では、瞬目判定条件が満たされた時刻を瞬目動作の発生時刻とする。また、瞬目解析部２４にて、一連の脳波計測結果の時系列データに対してこの判定を連続して行い、瞬目判定基準を満足した回数を計数することで、計測中に発生した瞬目動作の累計発生回数を求めることができる。さらに、所定の単位時間間隔当たりの瞬目動作の回数を計数するようにすることもできる。この単位時間間隔を、ユーザから設定できるようにすると、ユーザの目的に応じた解析結果が求められる。
【００３６】
このようにして瞬目解析部２４で求められた瞬目発生時刻や累計発生回数、単位時間当たりの発生回数の情報は、表示画像生成部２６に渡される。表示画像生成部２６は、受け取った瞬目発生時刻や回数の情報を、脳波計１０から受け取った脳波信号データの波形表示画像と合成し、表示装置３０に供給する。瞬目解析結果と脳波信号の表示結果との合成は、瞬目解析部２４での処理遅延に応じて時相を合わせるように行うことが好適である。
【００３７】
このような構成により、ユーザは、表示装置３０の表示により、時々刻々変化する脳波波形に併せて、瞬目動作の発生や、その回数などに関する情報を得ることができる。しかも、この装置では、被験者に対して脳波計１０の電極を装着するだけで瞬目動作に関する情報が得られる。したがって、瞬目動作検出のための専用の検出装置を被験者に装着する必要がないので、被験者の負担が軽減される。
【００３８】
なお、以上の例では、脳波計の電極は頭部全体に装着したが、瞬目動作検出だけならば、前頭極の電極と基準電位の電極だけでよい。
【００３９】
以上示した本実施形態の瞬目動作解析は、脳波計１０により時々刻々検出される脳波信号に対してリアルタイムで適用することもできるし、過去に脳波計１０で計測し記憶装置に記憶した脳波時系列データを取り出して、それに対して適用することもできる。なお、リアルタイム処理の場合、瞬目解析処理に長い時間を要すると、表示装置３０に表示される波形のリアルタイム性が損なわれてしまうおそれがあるが、パーソナルコンピュータでも高速なものを用いれば、実用上問題ない程度の時間で解析が行える。
【００４０】
脳波解析表示処理部２０は、例えばパーソナルコンピュータなどのコンピュータシステムをプラットフォームとして、ソフトウエア的に実装することができる。この場合、以上に説明した処理手順を記述したプログラムをコンピュータシステムに実行させればよい。このプログラムは、ＣＤ−ＲＯＭ等の可搬記録媒体の形でベンダから提供することができる。ユーザはこの記録媒体上のプログラムを自分のコンピュータシステムにインストールすることにより、脳波解析表示処理部２０を構成することができる。
【００４１】
以上、本発明の好適な実施形態について説明したが、これはあくまで一例に過ぎず、様々な変形例が本発明の範囲内に含まれる。
【００４２】
例えば、上記の例では、ウェーブレット分解のマザーウェーブレットにスプライン４関数を用いたが、他のマザーウェーブレット関数を用いることも可能である。スプライン４関数を用いた場合はレベル（−４）までの分解で瞬目動作による脳波成分を抽出できたが、他の関数を用いた場合は、それに応じて分解レベルのレベル数を決める必要がある。実験等によりどの分解レベルまで分解すればよいかを求め、これに応じてウェーブレット分解部２２のウェーブレット分解のレベル数の設定を変えればよい。
【００４３】
また、例示した瞬目判定条件は一例であり、これ以外の判定条件を用いることもできる。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、脳波測定結果から瞬目動作に関する情報を抽出することができるので、脳波検出装置を被験者に装着するだけで、脳波のみならず瞬目動作の情報を得ることができ、被験者の負担を軽減できる。
【図面の簡単な説明】
【図１】瞬目による成分を含んだオリジナルの脳波データの波形を示す図である。
【図２】オリジナルデータをウェーブレット分解して得たレベル（−１）の低周波成分f-1、高周波成分g-1の波形を示す図である。
【図３】レベル（−２）の分解結果の波形を示す図である。
【図４】レベル（−３）の分解結果の波形を示す図である。
【図５】レベル（−４）の分解結果の波形を示す図である。
【図６】瞬目波形の特徴を説明するための図である。
【図７】瞬目波形の判定条件を説明するための図である。
【図８】実施形態の装置構成を示す図である。
【図９】瞬目解析処理の手順を示すフローチャートである。
【符号の説明】
１０脳波計、２０脳波解析表示処理部、２２ウェーブレット分解部、２４瞬目解析部、２６表示画像生成部、３０表示装置。

Claims

脳波検出手段と、
前記脳波検出手段で検出した脳波の時系列データを所定の分解レベルまでウェーブレット分解する分解手段と、
前記分解手段で求めた前記所定分解レベルの分解結果における低周波成分から、瞬目動作に関する情報を求める瞬目解析手段と、
を有し、前記所定分解レベルの分解結果における低周波成分の傾きが負で、かつ該低周波成分の値が前記脳波時系列データの負値の平均のα倍（αは定数）より小さい値となることを瞬目判定条件として、瞬目動作の有無を判定することを特徴とする瞬目動作解析装置。
ユーザから前記定数αの設定を受け付ける手段を有することを特徴とする請求項１記載の瞬目動作解析装置。
前記脳波時系列データを解析して前記瞬目判定条件が満足された回数を計数することにより、瞬目動作の回数を求める手段を有することを特徴とする請求項１記載の瞬目動作解析装置。
前記脳波時系列データを解析して、所定の単位時間内に前記瞬目判定条件が満足された回数を計数することにより、瞬目動作の頻度を求める手段を有することを特徴とする請求項１記載の瞬目動作解析装置。
前記分解手段は、マザーウェーブレットとしてスプライン４関数を用い、前記所定分解レベルとしてレベル（−４）までウェーブレット分解を行うことを特徴とする請求項１から請求項４のいずれかに記載の瞬目動作解析装置。
脳波検出手段が出力する脳波の時系列データを取得するステップと、
検出した脳波の時系列データを所定の分解レベルまでウェーブレット分解するステップと、
前記脳波時系列データの前記所定分解レベルの分解結果における低周波成分から、瞬目動作に関する情報を求めるステップと、
を含み、記所定分解レベルの分解結果における低周波成分の傾きが負で、かつ該低周波成分の値が前記脳波時系列データの負値の平均のα倍（αは定数）より小さい値となることを瞬目判定条件として、瞬目動作の有無を判定することを特徴とする瞬目動作解析方法。