JPH0446570B2 - - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は眼球運動分析装置に関し、特に、被
験者の眼球運動と頭部運動とを検出し、デイスプ
レイ上に視点を表示可能な眼球運動分析装置に関
する。

［従来の技術］ 被験者の眼の動き、すなわち眼球運動を検出
し、デイスプレイ上やフイルム上に注視点を表示
する装置は、アイカメラとして関発され、最も多
く見る機会はおそらくドライバの眼の動きであ
る。この被験者の眼球運動を検出する方法は、角
膜反射光による方法、コンタクトレンズを用いる
方法あるいはEOG法など種々考えられている。

第１０図は、角膜表面の白目と黒目の反射率の
違いを利用する強膜反射方式を用いた眼球運動の
検出原理を説明するための図である。第１０図を
参照して、左右の眼Ｅ１，Ｅ２に３個の素子が設
けられたセンサ１，２が配置される。センサ１，
２の中央には発光素子３が配置され、この発光素
子３として比較的指向性の広い±21゜程度の赤外
線投射の発光ダイオードが用いられる。発光素子
３の両側には受光素子４が設けられる。受光素子
４は指向性の鋭い±10゜程度のフオトダイオード
が用いられる。発光素子３から眼球に投射された
光は黒目と白目とで反射率が異なり、この反射率
の違いを増幅し、差をとれば水平（左右）の出力
となり、和をとれば垂直（上下）の出力となる。

また、水平方向と垂直方向とでは、眼球に対家
するセンサ１，２の位置が異なり、水平方向のセ
ンサ１は眼球の上下に対して中央に反射光を検出
し、垂直方向のセンサ２は下方にて反射光を検出
するようにそれぞれ配置される。そして、一方の
眼Ｅ１に水平方向のセンサ１が配置され、他方の
眼Ｅ２に垂直方向のセンサ２が配置され、これら
を同時に用いれば２次元的な眼球運動を検出し、
デイスプレイ上に視点を表示することができる。
たとえば、このような方法から眼球の移動速度、
移動方向、移動距離、注視時間などの情報を求め
るものとして、特開昭60−126140号公報において
開示されている。

このような装置を用いて、眼球運動の分析を行
なう場合、顎台を用いて被験者の頭部を固定し、
眼球運動だけを記録する。あるいは眼球運動検出
センサを取付けたゴーグルもしくは眼鏡フレーム
に小型カメラを搭載し、被験者の視野に対応した
画像を撮影することにより、頭部の自由な運動を
実現しつつ眼球運動を検出するという方式が用い
られている。また、従来の眼球運動分析装置で
は、測定値はここで述べたように頭部を固定して
いるか、あるいは固定していないときでも頭部運
動の検出を行なつていないか、もしくは行なつて
いても独立に検出して視線への変換を行なつてい
ない。

［発明が解決しようとする課題］ 上述のごとく、従来の眼球運動分析装置では、
頭部運動を考慮していないために、頭部運動を顎
台で固定して測定する方式では、眼球運動の分析
は容易となるが、実際には頭部運動を併用して注
視を行なつている人間の自然な観測行動を実現で
きないという問題点があつた。

頭部運動を自由にした方式でも、頭部運動によ
つて実現される視線の動きを考慮していないため
に、車を運転中など激しく頭部を動かし視線を変
化させた場合、眼球運動は生じていないために、
注視点として表示される不都合や、離れた相手
へ、その顔を注視しながら歩くときのように、姿
勢制御系の作用のために、頭部運動と全く逆に眼
球運動が生じ、実際には相手の顔を注視している
のに、眼球運動として記録されたり表示されたり
する不都合があつた。

それゆえに、この発明の主たる目的は、頭部運
動を検出し、これを視線の動きに変換することに
より、頭部運動によつて実現される視線の動きと
眼球運動による視線の動きを同時に分析すること
のできるような眼球運動分析装置を提供すること
である。

［課題を解決するための手段］ この発明は観察者の眼球運動の分析する眼球運
動分析装置であつて、眼球の動きを検出する眼球
運動検出手段と、頭部の動きを検出する頭部運動
検出手段と、検出された眼球の動きと頭部の動き
とに応じて観察者の視線の動きを演算し、注視点
を定義することによつて視線の動きから注視点を
分離する注視点処理手段と、注視点と注視点との
間を移動する視線の動きからなる視線情報を画像
上に表示するための画像処理手段と、視線情報を
観察者のビデオ画像上に重ね合わせるスーパーイ
ンポーズ手段とを備えて構成される。

［作 用］ この発明に係る眼球運動分析装置は、眼球の動
きと頭部の動きとを検出し、これら眼球の動きと
頭部の動きとに応じて観察者の視線の動きを演算
して注視点を定義することにより、視線の動きか
ら注視点を分離し、注視点と注視点との間をを移
動する視線の動きからなる視線情報を観察者の見
ているビデオ画像上に重ね合わせて表示する。

［発明の実施例］ 以下に図面を参照してこの発明の一実施例につ
いて詳細に説明する。

第１図はこの発明の一実施例の概略ブロツク図
である。第１図を参照して、眼球運動検出部５は
観察者の眼球の動きを検出するものであつて、そ
の検出出力を注視点処理部７に与える。頭部運動
検出部６は観察者の頭部の動きを検出するもので
あつて、その検出出力を注視点処理部７に与え
る。注視点処理部７は眼球運動検出部５で検出さ
れた眼球の動きと頭部運動検出部６で検出された
頭部の動きとに応じて、観察者の視線の動きを演
算し、注視点を定義することによつて、視線の動
きから注視点と注視点との間の移動成分を分離す
る。注視点処理部７によつて分離された視線情報
は画像処理部８に与えられ、画像信号に変換され
る。この画像信号は、スーパーインポーザ９に与
えられ、外部から与えられるビデオ信号にスーパ
ーインポーズされてビデオ出力となり、図示しな
いデイスプレイに表示される。

第２図は頭部運動による視線の動きを説明する
ための図である。次に、第２図を参照して、頭部
運動による視線の動きについて説明する。一般に
見たい視対象を移動させるには、眼球をその視対
象に回転させる他、眼球は動かさなくても頭部を
移動させることによつても実現できる。通常は両
者の動きを併用して行なつている。頭部運動に
は、足や背骨の向きによる平行移動と、首、背
骨、腰、足などによつて実現される回転運動があ
る。この頭部運動を後述する方式により、眼の回
転角へ換算し、第２図に示した頭部運動補正眼球
回転角αを得る。注視点の移動はこの頭部運動補
正眼球回転角αと眼球自身の回転角θの組合せに
より実行される。ここで、この２つの回転角αと
θの和を総称して視線と定義する。

第３図は前述の視線から注視点を定義する方法
について説明するための図である。眼球運動中に
固視あるいは注視しているときでも固視微動と称
される微小な運動を行なつている。また、姿勢の
揺れによる視線のずれを防ぐための前庭動眼反
射、姿勢そのものの揺れによる前記頭部運動補正
眼球回転角αも固視中に生じている。すなわち、
視線が空間上を完全に静止している瞬間は、ほと
んど存在しない。したがつて、このように絶えず
動いている視線の動きの中から被験者が視対象よ
り情報を受容したいと思つて注視することにより
生じる注視点を分離する必要がある。そのために
は、ある基準を設けて注視点を定義する必要があ
る。この注視点については、すでに眼球運動速度
を基準としたものが報告されている。（特開昭60
−126140：通信学会論文誌「画像における注視点
の定義と画像分析への応用」1986，９，Vol.J69
−Ｄ，No.９，1335頁〜1342頁）。

この発明では、眼球運動速度を基準として決め
られた注視点の定義を、頭部運動を含めた視線移
動速度に拡張して注視点を定義したことをその特
徴の１つとする。具体的には、第３図に示すよう
に、現在の注視点からしきい速度Vthと、サンプ
リング周期Tsで決まる注視点の範囲Dthの範囲内
に、次のサンプルが入るときは、現在の注視点と
同じ注視点とし、この範囲を超えたときは新しい
注視点とした。しきい速度Vthの一例として、眼
球運動中の随従運動の性質を基に5゜／秒と定め、
実用に供している。たとえば、サンプリング周期
が10msecのとき、Dth＝5゜／sec×0.01sec＝0.05
＝3′である。

第４図は観察者の見ている画像の座標とこの発
明の一実施例によつて実現される座標との対応を
説明するための図である。第４図ａに示すよう
に、被験者の位置から距離Ｄだけ離れた縦Dv、
横Dhの画像を観察する場合、画像座標は（１，
１）…（Px，Py）で表わされる。被験者から見
た提示画像の視角は、第４図ｂに示すように、 ａ＝180／π・tan^-1Dh／（２・Ｄ） ｂ＝180／π・tan^-1Dv／（２・Ｄ） 視線移動角（Xv，Yv）とし、これを画面座標
（Xp，Yp）に変換する式は、 Xp＝ｆ（Xv）＝ｐ＋（ｒ−ｐ）・Xv／（ａ−
Xv） …(1) Yp＝ｇ（Yv）＝ｑ＋（ｓ−ｑ）・Yv／（ｂ−
Yv） …(2) で表わされる。

第５図は第１図に示した眼球運動検出部５と頭
部運動検出部６とをゴーグルへ装着した例を示す
図である。眼球運動検出部５は前述の第１０図に
示したセンサ１と同様にして中央に発光ダイオー
ドが設けられ、その両側にフオトダイオードが設
けられ、眼球の水平方向および垂直方向の動きが
検出される。頭部運動検出部６としては磁気セン
サが用いられる。

第６図は第５図に示した頭部運動検出部６に用
いられる磁気センサの原理を説明するための図で
ある。第６図を参照して、頭部運動検出部６はソ
ース６１となる直交コイルと、センサ６２となる
直交コイルとを含む。コンピユータ６４からの指
令に応じて、ドライブ回路６５がソース６１の直
交コイルを駆動して磁界を発生させる。頭部運動
検出部６を装着した被験者が動くと、センサ６２
に電圧が誘起され、この電圧を検出回路６３が検
出し、その検出出力をコンピユータ６４が演算す
ることにより、頭部の移動に応じたデータが出力
される。

第７図は被験者を中心とした頭部座標系につい
てその原理を示す図である。次に、第７図を参照
して、頭部運動検出部６によつて検出される頭部
座標系について説明する。頭部座標系は、第７図
ａに示すように、被験者の観察対象に対する平行
移動により実現されるXYZ座標系と、第７図ｂ
に示す頭部の回転運動に基づく極座標系の２つが
考えられる。それぞれの座標系の頭部移動量を
（Hx，Hy，Hz），（Hφ，Hθ，Hψ）と定義する。
ここでは、一例として、観察対象に近ずく方向を
Ｙ軸とし、水平移動方向をＸ軸とし、垂直移動方
向をＺ軸とした。HφはＸ軸の回転点すなわち首
を上下に頷く運動を示し、HθはＹ軸の回転すな
わち左肩から右肩へと一旦首を傾げる運動を示
す。HψはＺ軸の回転であり、首を左右に回転す
る運動である。

頭部の水平移動（Hx，Hy，Hz）により視線
が変化するが、これを眼球回転角（Ex，Ey）に
換算すると次式が得られる。

Ex＝180／π・tan^-1Hx／（Ｄ＋Hy） …(3) Ey＝180／π・tan^-1Hz／（Ｄ＋Hy） …(4) 首を左肩方向もしくは右肩方向にHθかしげる
と、眼球運動系の座標が回転する。したがつて、
Hθだけ傾いた眼球運動座標系（Xe，Ye）を元
の観察対象に直交した座標系（Xe′，Ye′）に変
換する必要がある。

Xe′＝Xe・cosHθ＋Ye・sinHθ …(5) Ye′＝−Xe・sinHθ＋Ye・cosHθ …(6) 頭部運動により実現される視線の動き（Xh，
Yh）は第(3)式、第(4)式より次式で表わされる。

Xh＝Ex＋Hψ …(7) Yh＝Ey＋Hφ …(8) したがつて、頭の動きを考慮した視線の動き
（Xv，Yv）は第(5)式〜第(8)式より、次の第(9)式
および第(10)式で表わされる。

Xv＝Xe′＋Xh …(9) Yv＝Ye′＋Yh …(10) 上述の第(9)式および第(10)式を用いることによ
り、頭部運動と眼球運動とを組合せて行なわれて
いる通常の視線の動きを再現することができる。

第８図はこの発明の一実施例の全体の動作を説
明するフロー図であり、第９図はこの発明の一実
施例による表示画面の一例を示す図である。

次に、第１図ないし第９図を参照して、この発
明の一実施例の具体的な動作について、第８図を
用いて説明する。まず、初期設定では、観察者の
見ている座標と、この発明の一実施例によつて得
られる視線の位置データを正しく、観察者の見て
いる画像上にスーパーインポーズをするための座
標変換係数および数式の設定を行なう。座標の変
換を前述の第４図に示した方法により、第(1)式お
よび第(2)式を用いて視線移動角（Xv，Yv）が画
像座標（Xp，Yp）に変換される。次に、眼球運
動検出部５で検出された眼球の動きと頭部運動検
出部６で検出された頭部の動きとにより、眼球運
動データの較正が行なわれる。すなわち、上述の
第(9)式および第(10)式により眼球運動データと頭部
運動データが視線の動きに変換され、同じく第(1)
式および第(2)式を用いて画面座標に変換される。
これらの変換によつて得られる視線の動きは画面
座標上に変換されるが、その変換は相対的なもの
である。被験者の視線の動きを被験者が実際に見
ている視対象を撮影した画面上に再現するために
は、この画面座標と被験者の視線を絶対的に一致
させる必要がある。眼球運動較正ではこの作業が
実行される。

較正を終了した後、たとえばキーなどによつて
測定の開始が指令され、再びキー入力などによつ
て測定の終了が指示されるまで測定が繰返され
る。画像表示では、第(1)式から第(10)式を用いて眼
球運動データと頭部運動データから真の視線の動
きを求め、被験者の見ている画像上に表示され
る。その際、すでにその一例を開示した注視点の
定義により視線の動きを注視点と注視点との間の
移動成分に分離される。そして、スーパーインポ
ーザ９によつて、観察者の見ている画像上に注視
点と注視点間の移動軌跡とがスーパーインポーズ
される。そのときの表示例を第９図に示す。第９
図に示した例は、被験者が女の子を見ているとき
の視線の動きの例である。注視点は注視時間によ
つて色分けし、注視点間の移動軌跡を速度によつ
て色分けし、画像の対応する位置にスーパーイン
ポーズされる。これらによつて得られた眼球運
動、頭部運動およびサンプル数などのデータは図
示しないデイスクなどに記録される。

［発明の効果］ 以上のように、この発明によれば、眼球の動き
と頭部の動きとを検出し、これらの検出出力に応
じて観察者の視線の動きを演算し、注視点を定義
することによつて視線の動きから注視点を分離
し、視線情報を観察者の見ている移動画像上に重
ね合わせてスーパーインポーズするようにしたの
で、眼球運動による視線の動きと頭部運動による
視線の動きとを同時に分析することができる。

【図面の簡単な説明】

第１図はこの発明の一実施例の概略ブロツク図
である。第２図は頭部運動による視線の動きを説
明するための図である。第３図は注視点の定義を
説明するための図である。第４図は観察者の見て
いる画像の座標とこの発明の一実施例によつて実
現されるシステムの座標との対応を説明するため
の図である。第５図は眼球運動検出センサと頭部
運動検出センサとをゴーグルへ装着した例を示す
図である。第６図は第５図に示した頭部運動検出
部に用いられる磁気センサの原理を説明するため
の図である。第７図は被験者を中心とした頭部座
標系についてその原理を示す図である。第８図は
この発明の一実施例の具体的な動作を説明するた
めのフロー図である。第９図は表示画面の一例を
示す図である。第１０図は強膜反射方式を用いた
眼球運動の検出原理を説明するための図である。 図において、５は眼球運動検出部、６は頭部運
動検出部、７は注視点処理部、８は画像処理部、
９はスーパーインポーザ、６１はソース、６２は
センサ、６３は検出回路、６４はコンピユータ、
６５はドライブ回路を示す。

Claims (1)

1. 【特許請求の範囲】 １ 観察者の眼球運動を分析する眼球運動分析装
   置であつて、 眼球の動きを検出する眼球運動検出手段、 頭部の動きを検出する頭部運動検出手段、 前記眼球運動検出手段によつて検出された眼球
   の動きと前記頭部運動検出手段によつて検出され
   た頭部の動きとに応じて、前記観察者の視線の動
   きを演算し、注視点を定義することによつて視線
   の動きから注視点を分離する注視点処理手段、 注視点と注視点との間を移動する視線の動きか
   らなる視線情報を画像上に表示するための画像処
   理手段、および 前記視線情報を前記観察者の見ているビデオ画
   像上に重ね合わせるスーパーインポーズ手段を備
   えた、眼球運動分析装置。