JP4969462B2 - 注意領域を推定するシステムおよび方法 - Google Patents

Description

本発明は、ユーザが視界内で関心を持っている注意領域を推定する技術に関するものであり、より詳細には、ユーザの視線分布および自律神経系の生体情報に基づいて注意領域を推定する技術に関するものである。

人間は好むものを注視する傾向があり、この現象は選好注視（preferential looking）として知られている。この選好注視の特性を利用して、搭乗者（ユーザ）の視線に基づいて注視点（eye gaze point）を特定し、注視点に基づいて搭乗者が関心をもっている物体を推定する技術が知られている（例えば特開2005-6897号公報を参照）。

また、ユーザが関心を持って物体を見ている状態において頻繁に現れる特有の注視パターン（eye gaze pattern）を統計モデルにより抽出して、注視点の代わりにこの注視パターンに基づいてユーザが関心を持っている注意領域（attended area）を推定する手法が提案されている。例えば、Santellaらは、EMアルゴリズムを用いて、ユーザが注視している部分を統計的に抽出する手法を提案している（A. Santella and D. DeCarlo, “Robust clustering of eye movement recordings for quantification of visual interest”, eye tracking research and applications (ETRA) symposium 2004, pp. 27 - 34を参照）。本願発明者であるKoshizenらは、変分ベイズ法（Variational Bayes：VB）を用いて、ユーザの視線分布に基づき混合ガウス関数（Gaussian Mixture）を導出することによって、視線分布を幾つかの注視パターンに分離できることを示した。そして、これらの注視パターンのうち最大事後確率（Maximum A Posteriori）を示すものを視線停留モデル（fixation model）として抽出し、この視線停留モデルを用いて注視対象を推定した（T. Suzuki, T. Koshizen, et al, “Learning to estimate user interest utilizing the variational Bayes estimator”, ISDA 2005, pp. 94 - 99を参照）。

しかしながら、上述の従来手法は、ユーザの視線に関する情報だけを利用して注視領域を推定しており、ユーザの心理状態によっては、推定された注視領域にユーザが関心をもつ物体等が存在しない場合がある。人間は常に関心をもつものを見ているわけではなく、たとえば、初めてみるようなものを提示された場合には視線がそのものの方向に向く現象が知られている。また、ユーザの集中力が欠けている状態では、一点をただ漠然と見つめる状況がありうる。このように、従来手法では、視線停留モデルに基いて推定された注意領域の信頼性は、ユーザの心理状態に依存してしまい定常的なものではないので、注意領域の境界を一意に決めるのは困難であり、不確定性を伴う。

本発明の目的は、ユーザの心理状態を考慮して注意領域をより適切に推定することが可能なシステムを提供することである。

本発明は、ユーザが視界内で関心を持っている注意領域を推定するシステムを提供する。このシステムは、ユーザの視線方向を検出する手段と、ユーザの自律神経系の生体情報を検出する手段と、視線方向からユーザの視線分布を求め、統計学習手法を用いてこの視線分布を解析して、視界内でユーザの視線が留まっている度合いを表す視線停留モデルを推定する手段と、生体情報に基づいてユーザの覚醒度（arousal level）を推定する手段と、視線停留モデルのパラメータおよび覚醒度に基づいて、注意領域を推定する手段と、を有する。

この発明により、視線および自律神経系の生体情報に基づいて注意領域を推定するので、ユーザの心理状態を考慮して注意領域をより適切に推定することができる。

本発明の一実施形態によると、注意領域を推定する手段は、視線停留モデルのパラメータおよび覚醒度がそれぞれに設定されたしきい値以上のとき、視線停留モデルによって画定される領域を注意領域として推定する。

本発明の一実施形態によると、視線停留モデルのパラメータおよび覚醒度のしきい値は、事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、しきい値のそれぞれを調整しながら、計測された視線方向および生体情報に基づいて複数の視覚刺激における注意領域を推定し、推定の結果とユーザの自己評価との一致率が最高となったしきい値の組み合わせを選択する。これにより、実施条件に応じた最適なしきい値を得ることができるので、注意領域をより適切に推定することができる。

本発明の一実施形態によると、統計学習手法が変分ベイズ法であり、視線停留モデルのパラメータが、視線停留時間と、混合ガウス分布の混合率とを含む。

本発明の一実施形態によると、生体情報が皮膚電位レベルである。

本発明の一実施形態によると、覚醒度を推定する手段は、皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定する。

本発明は、上述の注意領域を推定するシステムを備える、ユーザの活動を補助するシステムを提供する。このシステムは、推定された注意領域および覚醒度に応じて、ユーザの活動を補助する補助装置の動作を制御する手段を有する。

本発明の一実施形態によると、補助装置は、ユーザを搭乗させて移動することによりユーザの移動を補助する装置、ユーザの身体に力を作用させることでユーザの運動を補助する装置、または、ユーザに情報を提供することによりユーザの身体的または精神的活動を補助する装置を含む。

本発明は、ユーザが視界内で関心を持っている注意領域を推定する方法を提供する。この方法は、ユーザの視線方向を検出するステップと、ユーザの自律神経系の生体情報を検出するステップと、視線方向からユーザの視線分布を求め、統計学習手法を用いて視線分布を解析して、視界内でユーザの視線が留まっている度合いを表す視線停留モデルを推定するステップと、生体情報からユーザの覚醒度を推定するステップと、視線停留モデルのパラメータおよび覚醒度に基づいて、注意領域を推定するステップと、を含む。

本発明の一実施形態による注意領域推定システムの構成図である。 注意領域推定システムの機能ブロック図である。 ユーザの視線分布およびこの視線分布に基づき導出された混合ガウス関数を示す図である。 ＳＰＬおよびこのＳＰＬに基づく覚醒検知結果の一例を示す図である。 注意領域を判定するための三次元空間を示す図である。 注意領域推定処理のフローチャートである。 注意領域を判定するしきい値ｄ１、ｄ２、ｆを決めるための予備実験の構成図である。 予備実験のフローチャートである。 注意領域を判定するしきい値ｄ１、ｄ２、ｆを決める処理のフローチャートである。 一致率を算出する処理の詳細を示すサブルーチンである。

符号の説明

１０ 注意領域推定システム
１１ ＣＣＤカメラ
１３ 皮膚電位センサ
１５ 補助装置
１７ 視線検出部
１９ 視線分布解析部
２１ ＳＰＬ検出部
２３ 覚醒度推定部
２５ 注意領域推定部
２７ 制御部

次に図面を参照して、この発明の実施の形態を説明する。

図１は、本発明の一実施形態による注意領域推定システムの構成図である。

注意領域推定システム１０は、補助装置１５のユーザから計測した視線情報および皮膚電位レベル（Skin Potential Level：ＳＰＬ）に基づいて、ユーザが視界内で関心をもっている注視領域を推定し、さらに、注意領域に応じた動作指令を補助装置１５に送る。

注意領域推定システム１０は、中央処理装置（ＣＰＵ）およびメモリを備える汎用のコンピュータによって実現可能である。注意領域推定システム１０の機能は、メモリに記憶されたプログラムをＣＰＵが実行することにより実現される。注意領域推定システム１０は、補助装置１５に搭載されている形式でも良いし、遠隔から補助装置１５と有線または無線で通信する形式でもよい。

ＣＣＤカメラ１１は、ユーザの顔に向けて設置されており、ユーザの視線方向を検出するために利用する撮像データを注意領域推定システム１０に提供する。ＣＣＤカメラ１１は、高さおよび方向を調整するための機構を備えており、ユーザの座高などの身体的特徴に応じてユーザの顔を撮像するよう調整することができる。

皮膚電位センサ１３は、ユーザの任意の皮膚表面（図１では前腕部）に貼付されており、ユーザの皮膚電位レベル（ＳＰＬ）を検出するための電気信号を注意領域推定システム１０に提供する。ＳＰＬは、ユーザの心理状態に応じて変動する特徴がある。

補助装置１５は、ユーザの精神的または肉体的活動を補助するための装置であり、本実施形態では、電動車いすを例示している。電動車いすの場合、例えば、注意領域推定システム１０が推定した注意領域を目標位置として設定し、この目標位置まで移動するように制御指令が電動車いすの移動機構に与えられる。

図２は、注意領域推定システム１０の機能ブロック図である。

注意領域推定システム１０は、視線検出部１７、視線分布解析部１９、ＳＰＬ検出部２１，覚醒度推定部２３、注意領域推定部２５、および制御部２７を有する。注意領域推定システム１０の機能ブロックは、コンピュータのメモリに記憶されたプログラムを、ＣＰＵを用いて実行することによって実現することができる。

視線検出部１７は、ＣＣＤカメラ１１の撮像データに基づいてユーザの視線方向を検出する。

視線分布解析部１９は、視線検出部１７で求められた視線方向に基づいてユーザの視線分布を求め、統計学習手法を用いてこの視線分布を解析して、視界内で前記ユーザの視線が留まっている度合いを表す視線停留モデルを推定する。

視線分布解析部１９は、まず、視線検出部１７で求められた視線方向の位置座標を所定の時間間隔で計測して、ユーザの視線の遷移を表す視線分布を求める。図３（ａ）は、任意の視覚刺激（visual stimuli）に対するユーザの視線分布の一例を示している。図３（ａ）のＸ軸およびＹ軸は、提示された視覚刺激の縦方向および横方向の位置座標に対応している。図３（ａ）を参照すると、円で囲まれた特定の部分に視線が多くプロットされていることがわかる。このことは、ユーザがこれらの円で囲まれた部分を頻繁に見ていることを示している。

視線分布解析部１９は、次に、変分ベイズ法（Variational Bayes：VB）を利用して、視線分布に基づく確率密度関数を導出する。確率密度関数p(x;θ)は、次式のように混合ガウス関数（Gaussian Mixture）として近似することができる。

ここで、ｘは二次元ベクトルであり、視線分布の各点の位置座標（ｘ、ｙ）を表す。Ｎ(x|μ, Σ)は、中心位置μ、分散Σのガウス関数を表す。φは混合比率（Mixing Proportion）である。θは、ガウス関数を構成するパラメータでθ＝（μ、σ）である。

（１）式の混合ガウス関数は、それぞれがφm・Ｎ(x|μm, Σm)という確率密度分布をもつM個のコンポーネントから構成される。図３（ｂ）は、図３（ａ）に示す視線分布に基づいて導出された混合ガウス関数を３次元表現した図である。図３（ｂ）のｘ軸およびｙ軸は、図３（ａ）のｘ軸およびｙ軸に対応しており、視線分布の位置座標を表す。グラフの垂直方向は、（１）式で算出された確率密度ｐを表している。混合ガウス関数を構成する各コンポーネントｍは、混合比率φmによって垂直方向の高さ（確率密度の大きさ）が決められ、分散Σmによって水平方向の広がりが決められる。

なお、変分ベイズ法による混合ガウス関数の導出方法は周知技術であり、具体的な方法については、例えば、S. Waterhouse, D. Mackay, and T. Robinson, “Bayesian Methods for Mixture of Experts”, Proc. NIPS8, pp. 351-357, 1995などを参照されたい。

視線分布解析部１９は、次に、導出した混合ガウス関数に基づいて、ユーザの視線が留まっている度合いを表す視線停留モデルを抽出する。視線停留モデルによって画定される領域は、視線が停留する度合いが高いので、注意領域である可能性が高い。視線分布解析部１９は、（１）式の混合ガウス関数のうち、混合比率φが最も大きいコンポーネントを１つ選択し、このコンポーネントを視線停留モデルとする。例えば、図３（ｂ）を参照すると、混合比率φが最も大きく、確率密度が最大のコンポーネント３１が視線停留モデルとして選択される。

そして、図３（ｂ）に円３３で示すように、たとえば、所定値以上の確率密度をもつ領域がユーザの注視領域の候補として選択される。そして、この注視領域の候補の中に視線が連続して存在する最長時間が、停留時間（Gaze Duration Time）として算出される。視線停留モデルの混合比率および停留時間は、注意領域推定部２５に送られる。

SPL検出部２１は、皮膚電位センサ１３で計測された電気信号を増幅およびフィルタ処理して、ユーザの皮膚電位レベル（SPL）を求める。図４（ａ）は、ＳＰＬの一例を示している。SPLは所定の時間間隔で計測され、所定量のデータが蓄積されると覚醒度推定部２３へ送られる。なお、この所定量とは、たとえば、視線分布解析部１９において視線分布を作成するために必要な視線情報のデータ量と同一である。

覚醒度推定部２３は、SPLに基づいてユーザの覚醒度を推定する。覚醒度推定部２３は、まず、ＳＰＬ検出部２１から受け取ったSPLのデータセットの平均値μsplおよび標準偏差σsplを求める。そして、次式のように、覚醒検知しきい値τを求める。

τ＝μspl＋ε・σspl （２）
ここで、εは、覚醒検知の感度を決める係数であり、εの値が小さいほど覚醒が頻繁に検知されるようになる。εの値は、後述する予備実験により最適な値が予め設定されている。

覚醒度推定部２３は、次に、（２）式で算出された覚醒検出しきい値τに基づいて覚醒検知を行なう。SPLのデータセットのそれぞれがしきい値τと比較される。しきい値τより大きいＳＰＬデータは、有意に反応したデータとみなされ、高い覚醒状態として１をラベル付けされる。しきい値τ以下のＳＰＬデータは０をラベル付けされる。図４（ｂ）は、覚醒検知の結果を示す図である。１がプロットされる頻度が多いほど覚醒状態である可能性が高く、０がプロットされる頻度が多いほど覚醒状態である可能性が低い。

覚醒度推定部２３は、続いて、SPLのデータセットのうち覚醒検知され１をラベル付けされた頻度を算出し、この頻度を０から１の間の値に正規化したものを覚醒度として定義する。求められた覚醒度は、注意領域推定部２５に送られる。

なお、ＳＰＬから覚醒度を求める手法は周知技術であり、詳細については、J. Healey and R. Picard, “Digital processing of affective signals”, Proceedings of the Twenty-Sixth Annual Conference of the Cognitive Science Society, 1565, 1998などを参照されたい。

注意領域推定部２５は、視線分布解析部１９から受け取った混合比率および停留時間と、覚醒度推定部２３から受け取った覚醒度とに基づいて、視線停留モデルが注意領域であるかどうかを判定する。この判定には、混合比率、停留時間、覚醒度についてそれぞれ軸をとる三次元座標を用いる。図５は、注意領域を判定するための三次元空間を示している。グラフのｘ軸は混合比率に関するものであり、ｙ軸は停留時間に関するものであり、ｚ軸は覚醒度に関するものである。混合比率にはｄ１、停留時間にはｄ２、覚醒度にはｆという判定しきい値が設定されている。これらの判定しきい値は、後述する予備実験により最適な値が予め設定されている。

図５に示すような三次元空間において、混合比率がｄ１以上であり、停留時間がｄ２以上であり、覚醒度がｆ以上である空間３５に視線停留モデルのパラメータが含まれるとき、この視線停留モデルが注意領域であると判定される。注意領域推定部２５は、視線停留モデルを注意領域と判定すると、この注意領域の位置情報を制御部２７に送る。

制御部２７は、注意領域推定部２５から注意領域の情報を受け取ると、これに応じた制御指令を生成し、補助装置１５の動作を制御する。補助装置１５が電動車椅子の場合、たとえば、注意領域を目標位置として移動する制御指令が生成される。また、覚醒度が高いときには移動を速くして、覚醒度が低いときには移動を遅くするように、覚醒度の大きさに応じて移動速度を設定してもよい。

図６は、注意領域推定処理のフローチャートである。

まず、ユーザの視線に基づく処理（Ｓ１０１〜Ｓ１０７）と、ユーザのＳＰＬに基づく処理（Ｓ１０９〜Ｓ１１７）が並行して実施される。

ステップＳ１０１〜Ｓ１０７について説明する。視線分布検出部１７が、カメラ１１によるユーザの視線情報に基づいて視線分布を検出する（ステップＳ１０１）。視線分布解析部１９が、視線分布に基づいて（１）式のような混合ガウス関数を算出し（Ｓ１０３）、混合比率φmが最大のコンポーネントを視線停留モデルとして選択し（Ｓ１０５）、視線停留モデルの停留時間を算出する（Ｓ１０７）。

ステップＳ１０９〜Ｓ１１７について説明する。ＳＰＬ検出部２１が、皮膚電位センサ１３によって計測されたユーザの皮膚表面電位に基づいてＳＰＬを検出し（Ｓ１０９）、ＳＰＬの平均値μおよび標準偏差σを算出する（Ｓ１１１）。覚醒検知の感度を決めるパラメータεをメモリから読出し（Ｓ１１３）、（２）式から求めたしきい値τに基づき、ＳＰＬを０または１でラベル付けする（Ｓ１１５）。すなわち、ＳＰＬがしきい値τより大きい場合に１をラベル付けし、しきい値τ以下の場合に０をラベル付けする。ここで、εは、後述する予備実験によって予め最適値が導出されている。そして、ＳＰＬのうち１がラベル付けされた割合を求め、これを覚醒度として設定する（Ｓ１１７）。

続いて、注意領域推定部２５が、後述する予備実験で予め導出されている判定しきい値ｄ１、ｄ２、ｆを読出し（Ｓ１１９）、混合比率、停留時間、覚醒度のすべてが、それぞれの判定しきい値ｄ１、ｄ２、ｆより大きいとき（ステップＳ１２１〜Ｓ１２５が全てＹＥＳ）、選択された視線停留モデルを注意領域と判定する（Ｓ１２７）。

次に、図７〜図１０を参照して、注意領域を判定するしきい値ｄ１、ｄ２、ｆを決めるための予備実験について説明する。

図７は、予備実験の構成図である。被験者は、皮膚電位センサ１３を装着された状態で固定された椅子（図示せず）に座っている。CCDカメラ１１が被験者の視線を検出できるように設置されている。被験者の正面には視覚刺激（visual stimuli）を提示するためのディスプレイ４１が配置されている。

ディスプレイ４１には、複数の視覚刺激４３およびコントロール刺激４５が交互に表示される。視覚刺激およびコントロール刺激は、例えば、それぞれ２５秒および３０秒間提示される。視覚刺激４３が表示されているときに、被験者の視線情報がCCDカメラ１１で計測され、被験者のSPLが皮膚電位センサ１３により計測される。

視覚刺激４３の内容は、補助装置１５の動作に関連するものであればよい。補助装置１５が電動車椅子の場合、車いすの使用時にユーザが見るような風景の映像を所定時間ごとに分割して、それぞれを予備実験用の視覚刺激とする。

コントロール刺激４５は、直前に提示された視覚刺激の影響を受けないように被験者の視線やSPLを標準的なレベルに戻すためのものであり、例えば、図７に示すように＋マークなどを用いる。

このように計測された視線情報およびＳＰＬを規準として利用して、最適な判定しきい値のセットが導出される。

図８は、予備実験のフローチャートである。

まず、画面にコントロール刺激４５が提示された後（ステップＳ２０１）、視覚刺激４３が提示される（ステップＳ２０３）。視覚刺激４３を所定時間提示している間に、カメラ１１により被験者の視線情報が検出され（ステップＳ２０５）、これと並行して、表面電位センサ１３によって被験者のＳＰＬが検出される（ステップＳ２０７）。所定時間経過後、被験者は、提示された視覚刺激４３をどれくらいの注意度で見ていたかを５段階で自己評価する（ステップＳ２０８）。検出された視線情報およびＳＰＬは、システムに含まれるメモリなどの記憶手段に記憶される。

用意された視覚刺激４３がまだ有る場合には（ステップＳ２０９のＹＥＳ）、ステップＳ２０１に戻り、新たな視覚刺激４３に対して同様の計測を行なう。視覚刺激４３をすべて提示した場合には（ステップＳ２０９のＮＯ）、処理を終了する。

図９は、注意領域を判定するしきい値ｄ１、ｄ２、ｆを決めるための処理を表すフローチャートである。

まず、判定しきい値ｄ１，ｄ２，ｆと、覚醒検出の感度を決めるパラメータεを初期化する（ステップＳ３０１）。

次に、予備実験で測定した視線情報およびＳＰＬがメモリから読出され（ステップＳ３０３）、図６のステップＳ１０１〜Ｓ１０７と同様の処理により、視覚刺激ごとに混合比率および停留時間が算出される（ステップＳ３０５）。

続いて、ｄ１、ｄ２が設定される（ステップＳ３０７）。ｄ１、ｄ２は、1回目の処理では初期値であり、以降のループでは所定のきざみ幅で変更される。

続いて、εを０．５〜３まで０．５ずつ変化させながら（ステップＳ３０９）、現在設定されているしきい値ｄ１、ｄ２、εにおいて、注意領域の推定結果と、ユーザの自己評価との適合度合いを示す一致率が算出される（ステップＳ３１１）。一致率を算出する処理については、図１０を参照して後述する。

ステップＳ３０９〜Ｓ３１１の一致率を算出する処理は、しきい値ｄ１、ｄ２が所定範囲内の全ての組み合わせについて設定されたと判定されるまで（ステップＳ３１５のＮＯ）、繰り返し実施される。

このように、所定の範囲内で判定パラメータｄ１、ｄ２、εの全ての組み合わせにおける一致率が求められ、この中で最高の一致率となるｄ１、ｄ２、ｆ、εの組み合わせが、注意領域推定部２５で用いる判定しきい値として設定される（ステップＳ３１７）。

図１０は、ステップＳ３１１の一致率算出処理の詳細を示すサブルーチンである。

まず、一致率を計算するために使われる変数Ｃ１が初期化される（ステップＳ４０１）。

ステップＳ３０９で設定された現在のεの値に応じて、図６のステップＳ１０９〜Ｓ１１７と同様の処理により、視覚刺激ごとに覚醒度が算出される（ステップＳ４０３）。算出された各視覚刺激の覚醒度の平均値が求められ、この平均値が判定しきい値ｆとして記憶される（ステップＳ４０５）。

続いて、ステップＳ４０７〜Ｓ４２５において、視覚刺激ごとに、算出された覚醒度が、被験者の自己評価と比較される。

視覚刺激が選択されると（ステップＳ４０７）、覚醒度、混合比率、停留時間がそれぞれの判定しきい値ｆ、ｄ１、ｄ２より大きい場合（Ｓ４０９〜Ｓ４１３が全てＹＥＳ）、被験者の自己評価が４以上ならば（ステップＳ４１７のＹＥＳ）、Ｃ１がインクリメントされる（ステップＳ４２３）。また、覚醒度、混合比率、停留時間がそれぞれの判定しきい値ｆ、ｄ１、ｄ２以下である場合（Ｓ４０９〜Ｓ４１３が全てＮＯ）、被験者の自己評価が３以下ならば（ステップＳ４２１のＹＥＳ）、Ｃ１がインクリメントされる（ステップＳ４２３）。

ステップＳ４０７〜Ｓ４２３の処理は、ステップＳ４２５で全ての視覚刺激について処理が行なわれたと判定されるまで繰り返し行なわれる。

最終的に得られるＣ１の値は、予備実験で提示された視覚刺激のそれぞれにおいて、注意領域が抽出され、かつ被験者の集中度合いが高い状態、または注意領域が抽出されず、かつ被験者の集中度が低い状態の回数である。

そして、一致率＝Ｃ１／視覚刺激数×１００が算出され（ステップＳ４２７）、メインルーチンに戻る。

本発明による注意領域推定システムは、皮膚電位レベル（ＳＰＬ）のような自律神経系の生体情報に基づいてユーザの覚醒度を推定し、この覚醒度を考慮して注意領域を推定するので、覚醒度が低いときには注意領域を選択しないように構成されている。したがって、本発明による注意領域推定システムは、人間の心理状態を考慮して注意領域をより適切に推定することができる。

なお、上述の実施形態では、電動車椅子１５によってユーザの移動が補助されたが、他の実施形態として自動車などの他の移動体によってユーザの移動が補助されても良い。

また、たとえば特開２００４―３２９５１０号公報に記載されているような歩行補助装置によって、ユーザの注意領域に応じてユーザの身体に力を作用させることで、その歩行運動が補助されてもよい。

さらに、ユーザの注意領域に応じて、画像表示装置や音響装置などを通じて当該ユーザに対して情報が提供されてもよい。これにより、たとえば美術館においてユーザの視野に含まれる複数の美術作品のうち、ユーザの注意が向けられた作品の案内情報が表示等されるので、ユーザの美術鑑賞に関する理解や試作などの精神的活動が補助される。

以上にこの発明を特定の実施例によって説明したが、この発明はこのような実施例に限定されるものではない。

Claims (14)

1. ユーザが視界内で関心を持っている注意領域を推定するシステムであって、
   前記ユーザの視線方向を検出する手段と、
   前記ユーザの自律神経系の生体情報を検出する手段と、
   前記視線方向から前記ユーザの視線分布を求め、統計学習手法を用いて該視線分布を解析して、前記視界内で前記ユーザの視線が留まっている度合いを表す視線停留モデルを推定する手段と、
   前記生体情報に基づいて前記ユーザの覚醒度を推定する手段と、
   前記視線停留モデルのパラメータおよび前記覚醒度に基づいて、前記注意領域を推定する手段と、
   を有するシステム。
2. 前記注意領域を推定する手段は、前記視線停留モデルのパラメータおよび前記覚醒度がそれぞれに設定されたしきい値以上のとき、前記視線停留モデルによって画定される領域を前記注意領域として推定する、請求項１に記載のシステム。
3. 前記視線停留モデルのパラメータおよび前記覚醒度のしきい値は、事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、前記しきい値のそれぞれを調整しながら、該計測された視線方向および生体情報に基づいて該複数の視覚刺激における注意領域を推定し、該推定の結果とユーザの自己評価との一致率が最高となった前記しきい値の組み合わせを選択する、請求項２に記載のシステム。
4. 前記統計学習手法が変分ベイズ法であり、
   前記視線停留モデルのパラメータが、視線停留時間および混合比率を含む、請求項１に記載のシステム。
5. 前記生体情報が皮膚電位レベルである、請求項１に記載のシステム。
6. 前記覚醒度を推定する手段は、前記皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定し、
   該しきい値は次式により算出され、
   τ＝μspl＋ε・σspl
   ここで、τはしきい値を表し、μsplは前記皮膚電位レベルの平均値であり、σsplは前記皮膚電位レベルの標準偏差であり、εは覚醒検知の感度を決める正の値である、
   請求項５に記載のシステム。
7. 請求項１乃至６に記載の注意領域を推定するシステムを備える、ユーザの活動を補助するシステムであって、
   前記推定された注意領域および覚醒度に応じて、前記ユーザの活動を補助する補助装置の動作を制御する手段を有するシステム。
8. 前記補助装置は、ユーザを搭乗させて移動することにより該ユーザの移動を補助する装置、ユーザの身体に力を作用させることで該ユーザの運動を補助する装置、または、ユーザに情報を提供することにより該ユーザの身体的または精神的活動を補助する装置を含む、請求項７に記載のシステム。
9. ユーザが視界内で関心を持っている注意領域を推定する方法であって、
   前記ユーザの視線方向を検出するステップと、
   前記ユーザの自律神経系の生体情報を検出するステップと、
   前記視線方向から前記ユーザの視線分布を求め、統計学習手法を用いて該視線分布を解析して、前記視界内で前記ユーザの視線が留まっている度合いを表す視線停留モデルを推定するステップと、
   前記生体情報から前記ユーザの覚醒度を推定するステップと、
   前記視線停留モデルのパラメータおよび前記覚醒度に基づいて、前記注意領域を推定するステップと、
   を含む方法。
10. 前記注意領域を推定するステップは、前記視線停留モデルのパラメータおよび前記覚醒度がそれぞれに設定されたしきい値以上のとき、前記視線停留モデルによって画定される領域を前記注意領域として推定することを含む、請求項９に記載の方法。
11. 事前に複数の視覚刺激を提示したときのユーザの視線方向および生体情報を計測し、前記しきい値のそれぞれを調整しながら、該計測された視線方向および生体情報に基づいて該複数の視覚刺激における注意領域を推定し、該推定の結果とユーザの自己評価との一致率が最高となった前記しきい値の組み合わせを、前記視線停留モデルのパラメータおよび前記覚醒度のしきい値として選択するステップをさらに含む、請求項１０に記載の方法。
12. 前記統計学習手法が変分ベイズ法であり、
    前記視線停留モデルのパラメータが、視線停留時間および混合比率を含む、請求項９に記載の方法。
13. 前記生体情報が皮膚電位レベルである、請求項９に記載の方法。
14. 前記覚醒度を推定するステップは、前記皮膚電位レベルが所定のしきい値を超えた頻度により覚醒度を決定することを含み、
    該しきい値は次式により算出され、
    τ＝μspl＋ε・σspl
    ここで、τはしきい値を表し、μsplは前記皮膚電位レベルの平均値であり、σsplは前記皮膚電位レベルの標準偏差であり、εは覚醒検知の感度を決める正の値である、
    請求項１３に記載の方法。

Images