JP3834636B2 - 視線位置計測における頭部の動きのズレを補正する方法及びシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラに対する視線方向を求める視線位置計測における頭部の動きのズレを補正する方法及びシステムに関する。
【０００２】
【従来の技術】
従来より、視線位置を計測する簡便な視線位置計測システムが求められている。このようなシステムを、より低価格で提供することができるならば、例えば、以下のような分野に使用できると考えられる。
1)視覚に関する心理学的研究
2)医療検査
3)マンマシンインターフェース（視線入力装置）
4)3)と重なるが障害者に対する補助装置。
5)ヘッドマウントディスプレーに内蔵し、視線入力装置として用いる。
6)装置を２台用い、一台のカメラは右目、もう一台のカメラは左目を撮影することにより、両眼の視差を受動的な校正（視標を提示して、凝視してもらうのでは無く、だだ、眼を動かすだけ）で計測することができる。医療検査、心理実験、行動実験などに用いることができる。
【０００３】
先に、本出願人は、視線検出方法及びシステムについての提案をした（特許文献１、２参照）。ここに提案した通り、視線方向は、瞳孔中心位置（xp,yp）、眼球回転中心（xo,yo）、瞳孔中心回転半径ｒより求めることができる。この提案方法は、眼球は固定された点を中心に回転するとして計算を行っていた。しかし、本出願人の計測の結果、非常にわずかではあるが、眼球回転中心位置は変動することが分かった。
【０００４】
この変動は、図８に示されるような装置を用いて計測された。頭部を固定した被験者に対して、カメラは、被験者の瞳孔の映る範囲であれば任意の位置に設置可能である。また、照明は角膜上に反射光が映るように設置する。
この状態で、図示したように、１番から９番まで順に視標を提示することにより、先に提案した方法で校正を行い、ｒ（瞳孔中心回転半径）、α、β（反射点−角膜曲率中心偏心量）、ｒｒ（角膜曲率中心回転半径）、（ｘｏ，ｙｏ）眼球回転中心座標の値を取得する。
【０００５】
校正時には、頭部が動いていない。よって、眼球回転中心位置も動かないはずであるが、実際にはわずかに動いている。図９は、上の図が順次提示した視標の位置、下の図が校正中の眼球中心位置を【００１５】に示される式によって求めた値を示す。左が、x方向の変動量[mm]。右がy 方向の変動量[mm]である。X軸は時間[sec]を表し、33.3msごとに計測を行った。
このように、非常にわずかではあるが、眼球回転中心の動揺が見られる。実際の眼球は、必ずしも一点を中心に回転するわけではないことが分かる。この際の、眼球中心の計測誤差は1mm以下であった。よって、カメラに平行な頭部の動きの計測精度は、1mm以下であった。
【０００６】
三次元空間における頭部の位置を計測できれば、頭部を固定することなく視線計測が可能となる。そのためには、複数のカメラで同一の点を撮影することにより、頭部の三次元上の位置を確定することができる。通常は、マーカーを頭部に貼り付けることにより、頭部の動きを計測している。眼球運動と同時にマーカーも撮影しようとすると、眼球の近傍にマーカーをつけなければならない。これは、被験者にとって不愉快であると同時に、皮膚にマーカーを貼り付けると筋肉の動きによって動いてしまい、正確に頭部の動きを反映できないという欠点がある。
【０００７】
【特許文献１】
特開２００２−１０２１７２号公報
【特許文献２】
特開２００２−３４９５１号公報
【０００８】
【発明が解決しようとする課題】
そこで、本発明は、係る問題点を解決して、奥行き方向の頭部の動きも許容する視線計測を可能にすることを目的としている。
【０００９】
【課題を解決するための手段】
本発明の視線位置計測における頭部の動きのズレを補正する方法及びシステムは、被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込む。それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の眼球回転中心-角膜曲率中心距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測する。そして、ある定点からの眼球回転中心位置の移動量を視線方向の関数として表し、該移動量を前記瞳孔中心から差し引くことにより、視線位置によって変動しない、眼球回転中心位置を決定する。
【００１０】
【発明の実施の形態】
まず、視線方向の計測について説明するが、この計測自体は、特許文献１に記載された方法と同一のものである。
i)反射光重心位置計測について
１）図１は、反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図であり、また、図２は、その眼球を横方向から見た図である。
瞳孔中心位置(xp,yp)、眼球回転中心位置(xo,yo)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)が分かっている場合には、以下の式より反射光重心位置(rx,ry)を予測することができる。
rx=(xp-xo)*rr/r+xo+alpha
ry=(yp-yo)*rr/r+yo+beta
２）予測点を中心とした、40x30pixelの画像を生成する。
３）ある閾値以上の点を取り出し、それを塊毎にラベルをつけてゆく。
４）一定以上の大きさがあり、かつ予測に最も近い塊の重心を測定する。
【００１１】
図３に示す画像から、反射光重心を計測する例を考える。画面の十字は、瞳孔中心位置を表している。十字の上の白い点が、第１プルキニエ像、右下の白い点が第２プルキニエ像である。いずれも照明光の反射であるが、眼球内の反射する場所が異なるため複数の反射像が出現する。
１）瞳孔中心位置（xp,yp）、眼球回転中心位置（xo,yo）、角膜曲率中心-反射点距離（alpha、beta）、瞳孔中心回転半径r、角膜曲率中心回転半径rrがすでにわかっている際、反射光重心位置(rx,ry)を上記の式より予測する。
２）予測位置は図４のXの位置になる。Xを中心とした四角で示した40x30pixelの画像より反射光重心を求める。
３）ある閾値以上の点を取り出だしラベリングをおこない、一定以上の大きさがあり、重心が予測値に最も近いものを選ぶ。図５において反射光重心を十字で表した。
【００１２】
ii)反射光選別について
校正時に反射点の幅と高さの平均を求める。計測時に、反射点の幅、高さと比較し大きく異なる物を排除することにより、正確に計測を行うことが可能となる。図６に示された反射点の大きさは、縦６pixel 横７pixelである。これは、平均値からの差が十分に小さい。どの程度の誤差を許容するかはプログラムによって設定可能である。
図７に示すように、反射光が強膜に存在するときは、大きさが大きく異なる（縦１９pixel横５０pixel）。この場合は、反射点を用いた計測は断念する。
【００１３】
iii)自動方式切り替えについて。
瞳孔中心-反射点法で計算できなくなった場合、自動的に瞳孔中心法に切り替えることにより計測の中断をなくすことができる。
反射点が強膜上に存在すると、反射点を用いた視線計測ができない。しかし、この状態でも、瞳孔中心座標の計測は可能である。瞳孔中心-眼球回転中心法により、視線方向を求めることが可能である。眼球回転中心の動きについては、自動補正により、修正を行うことにより対応する。
【００１４】
iv)瞳孔中心-眼球回転中心方法の自動補正
視線方向を瞳孔中心位置（xp,yp）、眼球回転中心（xo,yo）瞳孔中心回転半径ｒより求めることができる。カメラに対する視線方向は、以下の［数１］で表すことができる。
【数１】

【００１５】
頭部が動かないときは、瞳孔回転中心(xo,yo)は、一定値である。しかし、どのように頭部を固定しても、動いてしまう場合がある。頭部が動いてしまった場合、反射点を用いて自動的に校正することができる。
瞳孔中心位置と反射光重心から眼球回転中心を求めることができる。瞳孔中心位置(xp,yp)、反射光重心位置(rx,ry)、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置との距離(alpha,beta)、瞳孔中心回転半径（r）、角膜曲率中心回転半径（rr)から眼球回転中心(xo,yo)とすると以下の式で求められる。
xo=(rx-alpha-xp*rr/r)/(1-rr/r)
yo=(ry-beta-yp*rr/r)/(1-rr/r)
【００１６】
反射点は、計測できない場合がある、また、断続的なズレを想定しているので、計測時以前の何秒間（設定により変更可能、20秒程度を規定値に想定）の眼球回転中心（xo,yo）の平均値をその時点の眼球回転中心とする。この値を用いることにより、再校正なしに、瞳孔中心のみで視線方向を計算することができるようになる。また、十分に短い時間ならば、頭部は動いていないと仮定できるので、瞳孔中心-反射点法が使えない場合の、補助として使用することが可能である。
【００１７】
図１０は、頭部を固定している際の視線の動きを示すグラフである。図９と、図１０を対比すると、眼球回転中心位置と視線方向には、明らかな相関が存在することが、見て取ることができる。（図9の下（A）は、、図10の（A）に強く、図１０(B)にも若干の相関がある。同様に、図9の下（B）は、図10の（B）に強く、図10の（A)にも若干の相関がある。）。これは、図１２で示すように、視線方向によって眼球回転中心が、頭部に対して微少量移動するためである。
そこで、ある定点からの眼球回転中心位置の移動量を、視線方向の関数として表し、移動量を前述の計算法によって求められた瞳孔回転中心から差し引くことにより、視線位置によって変動しない、眼球回転中心位置（頭部マーカー位置）を決定する。
【００１８】
視線方向をx,y方向の角度で表した値をそれぞれ、xi,yiとする。その際の眼球回転中心移動量をXi,Yiとする。
Axi+Byi+C=Xi
Dxi+Eyi+F=Yi
という式を満足するA-Fを最小二乗法によって、求める。これによって、眼球回転中心移動量Xi,Yiが求まる。
【００１９】
図１１は、実際に、A-Fを求め、補正を行い、計測した眼球回転中心位置（頭部マーカー位置）を示す。縦軸の単位はmmである。従来よりも誤差が減少しているのがわかる。０．５mm以下のの精度で、頭部の位置を計測することが可能となる。（従来は、1mm以下であった）。
複数のカメラを用いて、視線を計算する際に、基準となる点を高精度で利用可能となるなどの利点がある。本発明は一つのカメラで、視線が動いた際でも頭部の動きを視線の動きと独立に捕らえることができるが、複数のカメラを使用する際、それぞれのカメラにおいて、高精度で基準となる点（眼球回転中心位置、頭部マーカー位置）を計測することができる。基準点を定めることにより三角測量の原理より、頭部の三次元位置を精度よく計測できることになる。
【００２０】
【発明の効果】
本発明は、ある定点からの眼球回転中心位置の移動量を、視線方向の関数として表し、移動量を前述の計算法によって求められた眼球回転中心から差し引くことにより、視線位置によって変動しない、眼球回転中心位置（頭部マーカー位置）を決定することができる。これによって、頭部の動きのズレを補正して、高精度な視線方向の計測が可能となる。また、複数のカメラを用いることにより、特殊なマーカーを使用せずに頭部の三次元位置の計測も可能となる。
【図面の簡単な説明】
【図１】反射光重心位置計測を説明するための図であり、眼球をカメラ方向から見た図である。
【図２】図１に示す眼球を、横方向から見た図である。
【図３】反射光重心の計測を説明するための画像である。
【図４】反射光重心を求める方法を説明するための図である。
【図５】重心が予測値に最も近いものを選ぶ方法を説明するための図である。
【図６】反射点の大きさを説明するための図である。
【図７】強膜に存在する反射光を説明するための図である。
【図８】眼球回転中心位置の変動を計測する装置を示す図である。
【図９】校正中の、眼球中心位置を従来技術に基づき求めた値を示すグラフである。
【図１０】頭部を固定している際の視線の動きを示すグラフである。
【図１１】本発明に基づき補正を行った結果を示すグラフである。
【図１２】視線の動きにより、眼球回転中心の動く様子の模式図である。

Claims (1)

1. 被験者において、反射位置が角膜上に位置するように配置された光源により照明された瞳孔を撮影可能のカメラによって、複数の画像を取り込み、それぞれの画像について、反射光形状及び瞳孔形状を計測して、反射光重心位置、及び瞳孔を楕円近似することにより短軸の傾き、短軸長軸比、及び瞳孔中心を計算して、反射光重心位置と角膜を球の一部としたとき球の中心である角膜曲率中心の位置関係及び眼球が回転する際の眼球回転中心-角膜曲率中心距離を計測し、計測された値と反射光重心と瞳孔中心位置を用いて視線位置計測するシステムにおいて、
   ある定点からの眼球回転中心位置の移動量を視線方向の関数として表し、該移動量を前記眼球回転中心から差し引くことにより、視線位置によって変動しない、眼球回転中心位置を決定することを特徴とする頭部の動きのズレを補正するシステム。

Images