JP6265348B2 - 視線計測装置、視線計測方法および視線計測プログラム - Google Patents

Description

本発明は、主に遠方を眺めるユーザ、例えば、展望台から遠方を眺めるユーザの視線計測や、電車、自動車、船などの操縦者の視線計測に関し、ユーザが遠方を見ている状況下で自動キャリブレーションを行い、視線計測を行えるものに関する。

従来、コンピュータを操作するためのインタフェースの一種として非接触型の視線インタフェースがある。この視線インタフェースは、カメラと光源を用いて、ユーザの視線をデータとして検出し、検出された視線データを用いてコンピュータの画面上のアイコンなどを操作するものである。この視線インタフェースでは、ユーザの眼球に赤外線などの光源からの光を照射して眼球を撮影し、撮影した画像の角膜表面における赤外線などの反射光と瞳孔との距離から算出される方向データをユーザの推定視線データとして検出する。

この技術により算出される推定視線データと、実際のユーザの実視線データとの間には、ユーザごとに異なる誤差が生じる。誤差が生じる原因には、眼球形状の個人差、角膜表面での光の屈折、中心窩の位置に関する個人差など様々な要素がある。
そこで、実視線データに対する推定視線データの誤差を補正するために、ユーザ毎の補正用パラメタを予め算出しておき、算出された推定視線データをこの補正用パラメタで補正するキャリブレーションと呼ばれる処理が行われる。
キャリブレーション処理は、予め定められた複数のマーカを利用者に順に注視させ、それぞれのマーカが注視されたときの推定視線データを検出し、検出された推定視線データと眼球から各マーカへの実際の方向データとの差から算出される補正用パラメタを用いることにより行われる。

キャリブレーション処理を行うことにより、ユーザの実際の視線により近い方向データを視線データとして検出することが可能になる。
しかし、精度の高い視線データを検出するためには、補正用パラメタを生成する際に利用者に５点から２０点程のマーカを注視させる必要があり、ユーザの負担が大きかった。このような状況下、キャリブレーション処理を１点のマーカにまで減少させる技術が開示されている（例えば、特許文献１，非特許文献１〜３を参照。）。

これらの手法では、光源の角膜表面での反射光と瞳孔をカメラで撮影することより、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である眼球の光軸を求めている。そして、眼球の光軸と視軸（視線と同等）とのずれ（個人差がある）を、１点を注視するキャリブレーションで求めて、その後計測した光軸をずれの分ずらすことにより正確に視線を求めている。これら技術では、眼球の内部の中心窩の位置がカメラで外部から撮影できないことから、キャリブレーション時に注視する点数を１点から減らすことは困難である。

既に、本発明者は、両眼の光軸を計測し、ディスプレイ画面上で視軸が交差するという拘束条件を付加することにより、キャリブレーション処理が不要な視線計測装置を提案している（特許文献２を参照）。
本発明者の提案する視線計測装置は、ディスプレイ画面を見ているユーザについて、光源からの光が反射した眼球画像をカメラで取得し、眼球画像から角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出し、算出した光軸を利用して、光軸と、中心窩と角膜の曲率中心とを結ぶ軸である視軸との間のずれを算出し、光軸と視軸との間のずれに基づき、光軸をずらして視軸を求め、ユーザの画面上での注視点を画面と視軸の交点として算出するものである。

一方、コンピュータを操作するためのインタフェースではなく、図１に示すように、車、電車、船などの乗り物の操縦時の視線など遠方を眺めるユーザや、展望台から遠方を眺めるユーザの視線計測を行う状況を想定した場合、ユーザは殆どの時間、前方で遠方のどこかを見ていると考えられる。図１の中の矢印１は、（１）では自動車の運転手２の視線、（２）では電車の運転手３の視線、（３）では船の船長等４の視線を示している。
このようなユーザは、特別に指定されたどこかを見ることなしに、遠方を眺める視線動作中に自然にキャリブレーションがなされるならば、非常に理想的である。

上述の如く、特許文献１，非特許文献１〜３に開示された技術では、少なくとも１点の事前に決められた場所を注視しなければならないといった制約がある。このような制約があっても、個人が特定できれば、最初の１回だけのキャリブレーションで済むのであるが、仮に不特定多数の人を計測対象とするケースには適さない。

また、特許文献２に開示された技術では、ディスプレイ画面を見ているケースでは自動的にキャリブレーションが可能であるが、車、電車、船などの乗り物の操縦の場合、操縦者が近くのディスプレイ等を見る時間は非常に短く、殆どの時間は遠方のどこかを注視していることから適当ではない。また、特許文献２に開示された技術のうち左右の眼球の光軸とディスプレイとの交点の中点を利用するものでは、一瞬（１フレーム）で自動キャリブレーションが行えるものの、注視を伴うキャリブレーションを行うものより精度が低くなるといった問題がある。

この他、運転者に注視させるターゲットをヘッドアップディスプレイにより運転者前方の虚像面に表示させて、視線方向を検出する技術が知られているが（特許文献３を参照）、この場合は、注視しやすいターゲットを用いてキャリブレーションを行うものであり、ユーザの自然な視線動作中に自動的にキャリブレーションを行うものではない。

また、車の運転については、全ての人が自分専用の車を所有しているわけではなく、家族や友人が運転することもある。電車の運転手も途中で交代があり、異なる人が運転することもある。船については、同時に複数人がブリッジに存在し、交代もある。また、急病などにより、予定外の人が運転・操縦する可能性も否定できない。このような事情があり、特定ユーザ以外の利用時も常に安全装置として視線計測装置を使うために、自動キャリブレーションが行える技術が要望されている。

特開２００７−１３６０００号公報 特開２００９−２９７３２３号公報 特開２００９−１８３４７３号公報

Guestrin, E.D.,M. Eizenman: General Theory of Remote Gaze Estimation Using the Pupil Center and Corneal Reflections, IEEE Transactions on Biomedical Engineering, Vol. 53, No.6, pp.1124-1133 (2006). Shih, S.-W.,J. Liu: A novel approach to 3-D gaze tracking using stereo cameras, IEEE Transactions on Systems, Man, and Cybernetics, Part B, Vol. 34, No.1, pp.234-245 (2004). Nagamatsu, T., J. Kamahara, N. Tanaka: 3D Gaze Tracking with Easy Calibration Using stereo Cameras for Robot and Human Communication, in Proceedings of the 17th International Symposium on Robot and Human Interactive Communication (IEEE RO-MAN) 2008, pp.59-64. (2008).

上記状況に鑑みて、本発明は、展望台から遠方を眺めるユーザ、電車、自動車、船などの操縦者を含む、遠方を眺めるユーザの視線計測を自動キャリブレーションで行う視線計測装置および方法を提供することを目的とする。

上記目的を達成すべく、本発明の視線計測装置は、主に遠方を眺めるユーザの視線計測装置であって、遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出手段と、遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出手段と、光軸と視軸との間のずれに基づき、ユーザの注視点を算出する注視点算出手段とを備える。

上記の構成により、主に遠方を眺めるユーザの視線計測を、予め定めた注視点を意識的に注視されて行うキャリブレーションではなく、遠方を自然に眺める状態下で自動キャリブレーションができる。すなわち、ユーザが遠方注視の際に、ユーザの左右両眼の視軸（視線）が平行であることを拘束条件とし、遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出することにより、左右両眼の光軸と視軸との間のずれを算出できる。そのため、自動キャリブレーションが行えるので、ユーザに対して予め特定のマーカを注視するというキャリブレーションが不要である。
なお、本明細書において、キャリブレーションとは、眼球の光軸と視軸のずれを求めることと同義である。

ここで、主に遠方を眺めるユーザとは、展望台などで遠方を注視するユーザや、電車、自動車、船舶を含む移動手段の操縦時の操縦者をいう。この他、電車、自動車、船舶、飛行機、自転車などの乗り物の操縦訓練のための訓練シミュレーション装置の操縦者も含まれる。本発明は、実際の乗り物を操縦する操縦者の視線計測や、操縦訓練のための訓練シミュレーション装置の操縦者の視線計測に好適に用いることができる。シミュレーション装置の場合、投影スクリーンが数ｍ先の可能性があるが、特殊な光学系により、無限遠に映像を表示する装置を用いることにより、シミュレーション装置の操縦者が遠方を眺めるユーザとして扱える可能性がある。また、展望台で遠方を眺めるユーザの視線計測にも好適に用いることができる。

展望台で遠方を眺めるユーザや、電車、自動車、船などの操縦時の操縦者（ユーザ）の視線は、ユーザが主に遠方を注視していることから、ユーザの左右両眼の視軸（視線）が平行であるという拘束条件を用いる。

遠方の少なくとも２点を眺めることにより自動キャリブレーションを行う場合、左右両眼の視軸のそれぞれの単位ベクトルが等しいと制約を設けて、眼球の光軸と視軸のずれを表現する４つの変数を算定し、眼球の光軸と視軸のずれを算出する。

また、遠方の少なくとも４点を眺めることにより自動キャリブレーションを行う場合、後述するように、左右両眼の視軸のそれぞれのベクトルの外積の大きさ、或いは、単位ベクトルの内積の式を立てて、眼球の光軸と視軸のずれを表現する４つの変数を算定する。なお、“少なくとも”とするのは、眼球の光軸の算出にために、例えばカメラで撮影した画像から特徴を抽出して計算するのであるが、通常ノイズが含まれているため、より多くの点を計測する方が算定精度を高めることができるからである。

光軸算出手段が遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸を算出する場合、拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０、もしくは、左右両眼の視軸のそれぞれの単位ベクトルの内積が１とする。数式を用いることで、コンピュータを用いた演算処理が容易に実現できる。

拘束条件は、左右両眼の視軸のそれぞれの単位ベクトルの内積が１である場合、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸に対して、下記数式（１）を満たす。但し、ｃ_Ｌｎ（α_Ｌ，β_Ｌ）、ｃ_Ｒｎ（α_Ｒ，β_Ｒ）は、それぞれ左右眼球の視軸の単位ベクトルであり、光軸からの水平方向のずれ角αと垂直方向のずれ角βの関数として表現されたものである。但し、Ｌは左、Ｒは右、ｎは０，１，・・・，Ｎ（Ｎは３以上）である。

（数３）
ｃ_Ｌｎ（α_Ｌ，β_Ｌ）・ｃ_Ｒｎ（α_Ｒ，β_Ｒ）＝１ ・・・ （１）

左右眼球の視軸の単位ベクトルは、光軸からの水平方向のずれ角αと垂直方向のずれ角βの関数として表現されるからである。これについては後述する。

また、拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０である場合、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸に対して、下記数式（２）を満たす。但し、ｃ_Ｌｎ（α_Ｌ，β_Ｌ）、ｃ_Ｒｎ（α_Ｒ，β_Ｒ）は、それぞれ左右眼球の視軸の単位ベクトルであり、光軸からの水平方向のずれ角αと垂直方向のずれ角βの関数として表現されたものである。但し、Ｌは左、Ｒは右、ｎは０，１，・・・，Ｎ（Ｎは３以上）である。なお、下記数式（２）の左辺は、ベクトルの大きさ（ノルム：ｎｏｒｍ）を表すことから、二重の縦棒で囲んでいる。

（数４）
||ｃ_Ｌｎ（α_Ｌ，β_Ｌ）×ｃ_Ｒｎ（α_Ｒ，β_Ｒ）||＝０ ・・・ （２）

また、光軸算出手段は、遠方を眺める際のユーザについて、眼球の画像である眼球画像を取得し、眼球画像から、角膜の曲率中心もしくは眼球の回転中心と、瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する。ここで、眼球画像は、好適には所定の光源からの光が反射した眼球の画像である。

眼球画像として、所定の光源からの光が反射した眼球の画像を取得するために、本発明の視線計測装置は、ユーザの前方に、左右両眼の眼球画像を取得し得るように各々異なる位置に配置される少なくとも２個のカメラ手段と、眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置される少なくとも２個の光源手段が設けられる。そして、左右両眼の眼球の角膜の曲率半径一定領域に少なくとも２個のプルキニエ像を形成させ、何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付け、対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する。

また、上記のずれ算出手段において、左右両眼の光軸に対する視軸のずれ角の探索範囲を、水平方向で±７°以下、垂直方向で±２°以下とする制約を設けることにより、ずれ角を収束させる。これによりずれ角の解の安定性を確保する。水平方向で±７°以下、垂直方向で±２°以下としたのは、眼球の光軸と実際に人間が見ている視線は平均で、水平方向に約５°、垂直方向に約１°ずれていることが知られているからである。但し、ずれの大きさや向きは、個人毎に異なるが、水平方向で±７°より大きくずれるケース、垂直方向で±２°より大きくずれるケースは少なく、解の安定性を優先して、上記の如く、所定のずれ角の範囲を探索範囲とする。

また、本発明の視線計測方法は、主に遠方を眺めるユーザの視線計測方法であって、遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出ステップと、遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出ステップと、光軸と視軸との間のずれに基づき、ユーザの注視点を算出する注視点算出ステップとを備えることを特徴とする。上記の光軸算出ステップによって、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸を算出する場合、拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０、もしくは、左右両眼の視軸のそれぞれの単位ベクトルの内積が１である。

また、本発明の視線計測プログラムは、主に遠方を眺めるユーザの視線計測プログラムであって、コンピュータに、下記１）〜３）のステップを実行させる。
１）遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出ステップ
２）遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出ステップ
３）光軸と視軸との間のずれに基づき、ユーザの注視点を算出する注視点算出ステップ

本発明によれば、電車、自動車、船などの操縦者を含む、遠方を眺めるユーザの視線について、自動キャリブレーションを行って視線計測できるので、特定ユーザ以外の不特定多数の人を計測対象にできるといった効果がある。
また、本発明によれば、ユーザが予め特定のマーカを注視するというキャリブレーションが不要であるので、ユーザの負担がないといった効果がある。
本発明を用いて、車などの操縦者が主に遠方を見ている状況での視線を計測することにより、よそ見運転を検出して警告発信や安全装置を作動させ、事故防止を図ることができる。

乗り物での視線についての説明図、（１）は自動車の運転手の視線、（２）は電車の運転手の視線、（３）は船の船長の視線を示している。 眼球の回転を示す模式図 眼球の光軸と視軸の回転の説明図 実施例１の視線計測装置の機能ブロック図 実施例１の視線計測装置のシステム構成図 実施例１の視線計測装置の光軸算出処理フロー図 第１プルキニエ像抽出処理フロー図 遠方を眺めているときの両眼の光軸と視軸との関係図 実験システムの説明図１ 実験システムの説明図２

本発明では、電車、自動車、船などの操縦者を含む、遠方を眺めるユーザの視線計測において、先ず初めに、左右両眼の光軸と視軸のずれ角を自動で求める。
左右両眼の光軸と視軸のずれ角を自動で求めるために、遠方注視の際に左右両眼の視軸（視線）が平行であることを拘束条件とする。この拘束条件を用いるのは、例えば、電車、自動車、船舶などの操縦時のユーザの視線の殆どは、前方で遠方を注視することが通常の自然な状態と想定されるためである。遠方の少なくとも４点を眺めた眼球の状態を捉えることにより、左右両眼の眼球の光軸を算出し、左右両眼の光軸と視軸との間のずれを算出する。

これにより、ユーザが予め特定のマーカを注視するというキャリブレーションという処理を必要としないで、ユーザの自然な視線の状態を利用して、左右両眼の光軸と視軸との間のずれを算出することにより、自動でキャリブレーションを行うことが可能になる。
そして、光軸と視軸との間のずれが求まることで、ユーザのその後の注視点を算出でき、視線を計測できる。その後の注視点は、遠方の注視点のみならず、メータパネルなど近くの注視点も計測可能である。

まず、本発明の視線計測装置および方法について説明する前に、リスティングの法則に従った眼球の回転について以下に説明する。
眼球は、その動作において実行可能な全ての動作をするわけではなく、通常は、ある一定の法則に従って動作している。この一定の法則をリスティングの法則という。リスティングの法則は、眼の回転運動と眼位に関する法則であり、（ａ）眼球の任意の眼位は、第一眼位（Primary Position）から単一の回転で到達できる位置しかとらず、そして、（ｂ）その回転の回転軸は、第一眼位の視軸方向に垂直な平面（リスティング平面）内に存在するという眼球動作に関する法則をいう。なお、第一眼位は、リスティングの法則を満たす頭部に対する相対的な目の位置であり、およそまっすぐ立ったときに水平に真正面を見たときの方向となる。

眼球動作前の第一眼位（Primary Position）及び動作後の眼位における視軸と光軸との関係を図２に示す。図２において、ａ，ｂは第一眼位における眼球の視軸ベクトル、光軸ベクトルであり、ｃ，ｄは回転後の視軸ベクトル、光軸ベクトルである。いずれも単位ベクトルである。また、Ａは眼球の角膜曲率中心を表している。ここで、ａ，ｂ，ｃ，ｄ，Ａは、ベクトルであることを表すためにボールド体で記載している。なお、本明細書では、アルファベットの大文字（ボールド体）は位置ベクトル、アルファベット小文字（ボールド体）は単位方向ベクトルを表すように使い分けしている。

なお、動作後の眼位には、第一眼位から縦または横に眼球が回転した時の眼球の位置（第二眼位）及び第一眼位から縦または横への回転以外の回転をした時の眼球の位置（第三眼位）を含む。図２では、第一眼位における視軸の単位方向ベクトル（第一視軸ベクトル）をａ、第一眼位における光軸の単位方向ベクトル（第一光軸ベクトル）をｂ、眼球動作後の眼位における視軸の単位方向ベクトル（第二視軸ベクトル）をｃ、眼球動作後の眼位における光軸の単位方向ベクトル（第二光軸ベクトル）をｄとしている。
第一視軸ベクトルａは、人がおおよそ真っ直ぐ立って正面を見た時の向きのベクトルであり、頭部の位置とともに変動するベクトルであり、頭部の位置に相対的に決定されるものである。第一視軸ベクトルａは、正面の方向と近似するなど、なんらかの方法で計測し、向きは既知であるとする。

次に、リスティングの法則に基づく第一眼位及び動作後の眼位における視軸と光軸との関係を図３に示す。図３では、図２における各ベクトルａ、ｂ、ｃ、ｄを移動して、始点を一カ所に集め、回転の関係が分かりやすくなるようにしている。図３では、第一眼位から動作後の眼位まで眼球が直接的に動作する際の回転軸をｌとしている。ｌは、眼球の回転軸に沿った単位方向ベクトルであり、眼球は第一眼位であるａから、ａに垂直なリスティング平面内の軸（軸の向きのベクトルがｌ）を中心に回転した位置しかとらない。眼球が、第一眼位から角度ψだけ回転動作し動作後の眼位に到達すると、第一視軸ベクトルａは角度ψだけ回転移動し第二視軸ベクトルｃとなり、第一光軸ベクトルｂは角度ψだけ回転移動し第二光軸ベクトルｄとなる。この際、回転軸ｌは、第一視軸ベクトルａに垂直なリスティング平面に存在する。より詳細には、回転軸ｌは、第一視軸ベクトルａ及び第二視軸ベクトルｃに垂直となる。

ここで、第一光軸ベクトルｂは３次元空間のベクトルであるため、Ｘ軸の値（ｘ）、Ｙ軸の値（ｙ）、Ｚ軸の値（ｚ）の３変数で表すことができ、第一光軸ベクトルｂを単位ベクトルとすることによって、ｘ^２＋ｙ^２＋ｚ^２＝１の条件が付加されるので、ｘ、ｙが分かればｚも分かることになる。

第一光軸ベクトルｂ及び第二光軸ベクトルｄから、回転軸ｌと回転角度ψは、それぞれ下記数式（３）、（４）を用いて算出できる。

第二視軸ベクトルｃは、第一視軸ベクトルａを回転軸ｌを中心に角度ψだけ回転させることによって算出できる。すなわち、下記数式（５）のように、ａを回転させればｃを求めることができる。ここで、Ｒ（ψ，ｌ）は、ｌを軸にψ回転する行列である。

以上、リスティングの法則に従った眼球の回転について説明した。
以下では、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

本発明の視線計測装置の実施例について、図４に示す機能ブロック図を用いて説明する。視線計測装置１００は、光源手段１０、カメラ手段１２、光軸算出手段１４、ずれ算出手段１６、注視点算出手段１８の５つの構成要素からなる。ここで、光軸算出手段は、ユーザの眼球の光軸を算出する手段であるが、既知の方法を用いて、常に眼球の光軸を算出できるものであればよい。本実施例では、片眼に対してカメラ２台、光源２個を用いる方法を用いる。これにより、精度良くかつ速く（１フレームで）眼球の光軸を求めることが可能である。
ユーザの前方周囲に配置された２個のＬＥＤ光源（ＬＥＤ光源は赤外光線を照射するものを用いる）と、前方で遠方を注視しているユーザについて、ＬＥＤ光源からの光が反射した眼球画像を取得するカメラ（ＬＥＤ光源が赤外光線を照射する場合、赤外線に感度をもつ赤外線カメラ（infrared camera））を用意する。
２台のカメラでそれぞれ両眼撮影すればよいが、高解像度で眼球画像を撮るためには、右目用２台、左目用２台の合計４台のカメラを使用する。

視線計測装置１００のハードウェア構成を図５に基づき説明する。視線計測装置１００は、ＣＰＵ２１１、メモリ２１２、ハードディスク２１３、キーボード２１４、マウス２１５、ディスプレイ２１６、外部メモリ２１７、ＬＥＤ２１８及びカメラ２１９を備えている。
ＣＰＵ２１１は、ハードディスク２１３に記録されているオペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーションに基づいた処理を行う。メモリ２１２は、ＣＰＵ２１１に対して作業領域を提供する。ハードディスク２１３は、オペレーティング・システム（ＯＳ）、視線計測プログラム等その他のアプリケーション、及び視線計測の結果得られた計測データを記録保持する。
キーボード２１４、マウス２１５は、外部からの命令を受け付ける。ディスプレイ２１６は、右目用２台、左目用２台のカメラ２１９で撮像した被験者の眼球画像を、視線計測装置１００の使用者の確認のために表示する。外部メモリ２１７は、例えばＵＳＢメモリなどであり、視線計測プログラム等のデータを読み取る。
ＬＥＤ２１８は、視線計測装置１００によって視線を計測する被験者に対して、光を照射する。カメラ２１９は、被験者の眼球画像を撮影する。２台のカメラの場合、それらはステレオカメラとして構成され、両眼の画像を撮影するために用いる。また、４台のカメラの場合、２組のステレオカメラが構成され、左右の眼の画像を撮影するために用いる。

実施例１の視線計測装置では、何れかのカメラにより撮像された眼球画像上における光源のプルキニエ像の位置と、実際の光源の位置とを対応付ける。そして、そのカメラの位置（レンズ中心）と撮像されたプルキニエ像の位置と対応付けられた光源の位置から角膜曲率中心を含む面を算出し、その面を３つ以上求めることにより、角膜の曲率中心位置を算出する。そして、眼球画像から瞳孔の中心位置を算出し、角膜の曲率中心位置及び瞳孔の中心位置に基づき角膜の曲率中心と瞳孔の瞳孔中心とを結ぶ軸である光軸を算出する。詳細については、図６，７のフロー図、並びに上述の特許文献２の段落００１９〜００２９を参照のこと。

従来の方法では、ユーザが事前に行うキャリブレーション操作によって、例えば、事前に決められた場所を注視する等によって、予め眼球の光軸と視軸とのずれ値を算出していた。そして、算出したずれ値を用いて、算出した光軸から中心窩と角膜の曲率中心とを結ぶ軸である視軸を算出していた。

キャリブレーションは、図３において、ａ，ｂの関係を求めることである。ａは頭部の位置に相対的に決まるものであるが、ここでは正面を方向と近似して、既知であるとすることにより、キャリブレーションはｂを推定することと同等になる。
ａとｂのずれは２変数で表される。水平方向のずれ角度をα、垂直方向をβとすると、ｂは、α、βを用いて下記数式（６）のように表現できる。

本発明では、ユーザは遠方を注視している時、両眼の視軸は平行になることに着眼し、ユーザが事前に決められたマーカを注視することが必要なキャリブレーションを行わずに、ユーザの自然の両眼の状態をとらえて、自動でキャリブレーションを行う方法を用いている。
これについて以下に説明する。ユーザが遠方を見ているとき、両眼の光軸と視軸の関係は図８のように示される。両目の視軸は平行になる。ここで、眼球の光軸と視軸のずれは、全部で４変数を用いて表現できる。４変数は、左目の水平方向、垂直方向、右目の水平方向、垂直方向を、それぞれα_Ｌ，β_Ｌ，α_Ｒ，β_Ｒとする。

ここで、ｃ_Ｌとｃ_Ｒを、それぞれ左目と右目の眼球の視軸とする。ｃ_Ｌとｃ_Ｒが、単位ベクトルで互いに平行ならば、下記数式（７）のように、ｃ_Ｌとｃ_Ｒの内積は１となる。

ところで、ａ_Ｌは既知であり、ｂ_Ｌは上記数式（６）から、α_Ｌ、β_Ｌの関数として表現できる。ｄ_Ｌは従来方法から求められる。
よって、上記数式（３）〜（６）から、ｃ_Ｌはα_Ｌ，β_Ｌの関数として表現できる。同様に、ｃ_Ｒはα_Ｒ，β_Ｒの関数として表現できる。
未知数が４つあり、ユーザが異なる４方向を見るとすると、下記数式（８）のように式が４つ成立することになる。この４つの式を解くことにより、未知数である４変数α_Ｌ，β_Ｌ，α_Ｒ，β_Ｒを求めることができる。

眼球の光軸は、カメラで撮影した画像から特徴を抽出して計算するが、通常ノイズが含まれている。そのため、より多くの点を計測して、下記数式（９）の評価関数Ｆが最小となるように、４変数α_Ｌ，β_Ｌ，α_Ｒ，β_Ｒの解を決定する。

次に、シミュレーションにより評価を行った。
シミュレーションは、正解（True Value）のα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒを変化させた５ケースについて実施した。眼球の動きについては、水平、垂直方向、それぞれ１０°刻みで、−２０°〜２０°の範囲で計２５方向について計算を行った。各方向について、標準偏差が０．３°となるように計測に伴う誤差を載せて６０点のデータを作成した。計測誤差の大きさは、従来方法から眼球の光軸を計測した結果から、水平方向０．２１°、垂直方向０．１８°であったことから０．３°と決定した。

以上のように作成された眼球の光軸の計測結果をシミュレーションしたデータを用いて、各方向について中央値で代表させた２５方向のデータを作成し、そのデータを用いて、上記数式（９）式を最少とするα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒを求めた。各ケースについて、これを５回繰り返し、その５回の平均(ave.)と標準偏差(ＳＤ)を計算した。
結果を下記表１に示す。
下記表１より、Ｃａｓｅ１〜４の|α|が大きい場合（ずれ角が３°や５°の場合）、正確にα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒを計算でき、また、標準偏差が小さい。一方、Ｃａｓｅ５，６の|α|が小さい場合は（ずれ角が１°の場合）、α_Ｌ,β_Ｌ,α_Ｒ,β_Ｒの値はあまり正確に求まらず、また標準偏差も大きくばらついていることがわかる。

眼球の光軸と視軸とのずれが大きい場合は、本発明を用いた場合、そのずれは正確に求まるが、眼球の光軸と視軸とのずれ小さい場合は、そのずれを求める計算において、ノイズの影響が大きくなり、計算結果は不安定となり、ずれは正確に求まらない結果となっている。しかしながら、眼球の光軸と視軸とのずれが小さい場合は、光軸を視軸と近似することが可能であるとも言える。どちらの場合かは、何度か計算し、その結果がばらつくかどうかで判断できる可能性がある。

次に、図９，１０のような実験システムを構築して、視線計測装置の精度を評価した。
実験システムは、被験者２０に、前方のガラス２１越しに遠方のターゲットを眺めてもらい、その状態を、ガラス２１下縁部に設けた４台のカメラ２２（Camera０〜Camera３）で眼球部分の画像を取得できるようにしたものである。ガラス２１上に赤外線ＬＥＤ（ＩＲ−ＬＥＤ）２３を２台設けている。また、従来技術である１点キャリブレーション方法により、α_Ｌ，β_Ｌ，α_Ｒ，β_Ｒを求めるための１点キャリブレーション用のマーカ２４をガラス２１上に設けている（１点キャリブレーションの方法については上述の非特許文献３を参照）。

被験者は、ガラス２１越しに８ｍ離れた先の９点のターゲットを眺めてもらう。９点のターゲットは、ユーザの正面に３ｍ（水平方向）×２ｍ（垂直方向）の枠内に収まるように配置されている。
ガラス２１下縁部に設けた４台のカメラの内、２台のカメラ２２（Camera０，Camera１）のペアーを用いて右目の眼球の光軸を算出し、２台のカメラ２２（Camera２，Camera３）のペアーを用いて左目の眼球の光軸を算出することにしている。使用したカメラは、５０ｍｍレンズと赤外線（ＩＲ）フィルタを備えたＣＭＯＳイメージセンサを搭載したディジタルカメラである。

実験は、被験者が９点のターゲットの内、ガラス２１越しに何れかのターゲットを眺めている状態で、両眼の光軸を算出し、左右両眼の視軸のそれぞれの単位ベクトルの内積が１であることを拘束条件として光軸と視軸のずれ（α_Ｌ，β_Ｌ，α_Ｒ，β_Ｒ）を算出した。また、従来手法の１点キャリブレーションの方法を用いて光軸と視軸のずれを算出し、両者を比較した。
実験結果を下記表２に示す。実験参加者は３名（男子１名、女子２名）である。計算は、左目の水平方向のαの値の探索範囲を、−７°から０°、右目の水平方向のαの値の探索範囲は、０°から７°、垂直方向のβの値の探索範囲は、左右ともに−２°から２°とした。

上記表２の結果から、従来手法の１点キャリブレーションの方法（表中「Ｏｎｅ−ｐｏｉｎｔ」と表記）と、本発明の視線計測装置（表中「Ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ」と表記）による自動キャリブレーションの結果は近い値となっていることがわかる。

本発明によれば、遠方注視により自動的にα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒが求まるが、この値は、近くを見た場合にも使えるものである。しばらく遠方を見ているだけで、近くにあるメータ等のどこを見たかを正確に知ることが可能となる。また、本発明を用いた場合、キャリブレーション後も常にα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒの計算に必要なデータが取得できる状況となっており、通常の視線計測装置と異なり、常に、キャリブレーションの結果の補正をすることが可能である。本発明のキャリブレーションは遠方を見ていることを前提としているので、遠方を見ているか、近くを見ているかの判別は重要である。従来方法で、眼球の光軸が±５°程度の誤差の範囲で求まることから、光軸の向きからその判別はある程度可能である。
光軸の向きのみからは、ガラス上に止まっている虫を見ている場合は判別できない。車など、ある程度速度が出ている場合、長時間近くを見ることは考えられない。車速を取得し、一定の車速以上で、どれだけの頻度で輻輳角が大きくなるのかという観点から判別が可能であろう。

なお、遠方の１点だけ注視していたのでは、上記数式（８）からでは解を得ることができない。本発明の計算には異なる方向のデータが必要である。時系列データを方向によりクラスタリングし、一方向のデータに偏らないデータを作成してからα_Ｌ,β_Ｌ,α_Ｒ,β_Ｒを計算する必要がある。

次に、実施例２の視線計測装置について説明する。
実施例２の視線計測装置では、遠方の２点を眺める際の状態を捉えて、ユーザの左右両眼の視軸（視線）が平行であることを拘束条件とし、遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出し、左右両眼の光軸と視軸との間のずれを算出できることを説明する。
実施例１の視線計測装置とは異なり、遠方の２点を眺めることにより自動キャリブレーションを行う場合、左右両眼の視軸のそれぞれの単位ベクトルが等しいと制約を設ける。
すなわち、下記数式（１０）が成立する。ここで、ｃ_Ｌとｃ_Ｒはそれぞれ左目と右目の眼球の視軸の単位方向ベクトルであり、α_Ｌ，β_Ｌ，α_Ｒ，β_Ｒは眼球の光軸と視軸のずれを表現するものであり、それぞれ左目の水平方向、垂直方向、右目の水平方向、垂直方向のずれを表す。

（数１２）
ｃ_Ｌ０（α_Ｌ，β_Ｌ）＝ｃ_Ｒ０（α_Ｒ，β_Ｒ）
ｃ_Ｌ１（α_Ｌ，β_Ｌ）＝ｃ_Ｒ１（α_Ｒ，β_Ｒ） ・・・（１０）

左右両眼の視軸のそれぞれの単位ベクトルが等しいという制約は、左右両眼の視軸（視線）が平行であることを拘束条件とするのと同じである。

本発明は、電車、自動車、船舶などの操縦者や、展望台から遠方を眺めるユーザの視線計測装置や視線計測方法として有用である。

１ 視線
１０ 光源手段
１２ カメラ手段
１４ 光軸算出手段
１６ ずれ算出手段
１８ 注視点算出手段
２０ 被験者
２１ ガラス
２２ カメラ
２３ 赤外線ＬＥＤ
２４ １点キャリブレーション用のマーカ
１００ 視線計測装置

Claims (14)

1. 主に遠方を眺めるユーザの視線計測装置であって、
   遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出手段と、
   遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出手段と、
   光軸と視軸との間のずれに基づき、前記ユーザの注視点を算出する注視点算出手段と、を備えたことを特徴とする視線計測装置。
2. 前記拘束条件は、左右両眼の視軸のそれぞれの単位ベクトルが等しいことを特徴とする請求項１に記載の視線計測装置。
3. 前記光軸算出手段は、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸を算出し、
   前記拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０、もしくは、左右両眼の視軸のそれぞれの単位ベクトルの内積が１であることを特徴とする請求項１に記載の視線計測装置。
4. 前記拘束条件は、左右両眼の視軸のそれぞれの単位ベクトルの内積が１である場合、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸に対して、下記数式を満たすことを特徴とする請求項３に記載の視線計測装置。
   （数１）
   ｃ_Ｌｎ（α_Ｌ，β_Ｌ）・ｃ_Ｒｎ（α_Ｒ，β_Ｒ）＝１
   但し、ｃ_Ｌｎ（α_Ｌ，β_Ｌ）、ｃ_Ｒｎ（α_Ｒ，β_Ｒ）は、それぞれ左右眼球の視軸の単位ベクトルであり、光軸からの水平方向のずれ角αと垂直方向のずれ角βの関数として表現されたもの。但し、Ｌは左、Ｒは右、ｎは０，１，・・・，Ｎ（Ｎは３以上）。
5. 前記拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０である場合、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸に対して、下記数式を満たすことを特徴とする請求項３に記載の視線計測装置。
   （数２）
   ||ｃ_Ｌｎ（α_Ｌ，β_Ｌ）×ｃ_Ｒｎ（α_Ｒ，β_Ｒ）||＝０
   但し、ｃ_Ｌｎ（α_Ｌ，β_Ｌ）、ｃ_Ｒｎ（α_Ｒ，β_Ｒ）は、それぞれ左右眼球の視軸のベクトルであり、光軸からの水平方向のずれ角αと垂直方向のずれ角βの関数として表現されたもの。但し、Ｌは左、Ｒは右、ｎは０，１，・・・，Ｎ（Ｎは３以上）。
6. 前記光軸算出手段は、
   遠方を眺める際のユーザについて、眼球の画像である眼球画像を取得し、
   前記眼球画像から、角膜の曲率中心もしくは眼球の回転中心と、瞳孔の瞳孔中心とを結ぶ軸である光軸を算出することを特徴とする請求項１〜５のいずれかに記載の視線計測装置。
7. 前記眼球画像が、所定の光源からの光が反射した眼球の画像であることを特徴とする請求項６に記載の視線計測装置。
8. 前記ユーザの前方に
   左右両眼の眼球画像を取得し得るように各々異なる位置に配置される少なくとも２個のカメラ手段と、
   眼球における光源の反射像が互いに分離したものとなるように各々異なる位置に配置される少なくとも２個の光源手段と、
   が設けられ、
   左右両眼の眼球の角膜の曲率半径一定領域に少なくとも２個のプルキニエ像を形成させ、何れかのカメラ手段により撮像された眼球画像上における光源手段のプルキニエ像の位置と、実際の光源手段の位置とを対応付け、対応付けられた少なくとも２組のカメラ手段と光源手段の位置関係から眼球の光軸を算出する、
   ことを特徴とする請求項６又は７に記載の視線計測装置。
9. 前記ずれ算出手段において、
   左右両眼の光軸に対する視軸のずれ角の探索範囲を、水平方向で±７°以下、垂直方向で±２°以下とする制約を設けることにより、ずれ角を収束させることを特徴とする請求項１〜８のいずれかに記載の視線計測装置。
10. 前記ユーザは、電車、自動車、船舶を含む移動手段の操縦時の操縦者であることを特徴とする請求項１〜９のいずれかに記載の視線計測装置。
11. 主に遠方を眺めるユーザの視線計測方法であって、
    遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出ステップと、
    遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出ステップと、
    光軸と視軸との間のずれに基づき、前記ユーザの注視点を算出する注視点算出ステップと、を備えたことを特徴とする視線計測方法。
12. 前記光軸算出ステップは、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸を算出し、
    前記拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０、もしくは、左右両眼の視軸のそれぞれの単位ベクトルの内積が１である請求項１１に記載の視線計測方法。
13. 主に遠方を眺めるユーザの視線計測プログラムであって、
    コンピュータに、
    遠方の少なくとも２点を眺める際の左右両眼の眼球の光軸を算出する光軸算出ステップと、
    遠方注視の際、左右両眼の視軸（視線）が平行であることを拘束条件として、左右両眼の光軸と視軸との間のずれを算出するずれ算出ステップと、
    光軸と視軸との間のずれに基づき、前記ユーザの注視点を算出する注視点算出ステップと、
    を実行させる視線計測プログラム。
14. 前記光軸算出ステップは、遠方の少なくとも４点を眺める際の左右両眼の眼球の光軸を算出し、
    前記拘束条件は、左右両眼の視軸のそれぞれのベクトルの外積の大きさが０、もしくは、左右両眼の視軸のそれぞれの単位ベクトルの内積が１である請求項１３に記載の視線計測プログラム。