JP2550128B2 - 視線方向検出方法 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、視線方向を検出することにより、操作者
の作業を補助するシステムの構成に資する視線方向検出
方法に関するものである。

〔従来の技術〕

視線方向を測定する従来の装置（通称アイカメラ）
は、次のように構成されている。

操作者は、左右の眼球を照射する発光素子、視線方向
を検出するための固体撮像カメラ、眼球の角膜で反射さ
れる反射光を固体撮像カメラに導くための光学部品（ハ
ーフミラー等）および操作者の視野領域を撮影するため
の視野カメラ等を内蔵したヘルメットを装着する。

前述の視野方向検出用固体撮像カメラを用いて眼球の
角膜における発光素子の反射光を得、これを視野カメラ
の画像に重畳する。この重畳に際しては、操作者の視野
方向に対応する上記発光素子の反射光が視内の操作者の
見ている方向と合致するように前述の光学部品を調整す
る。

〔発明が解決しようとする課題〕

従来装置では、このようなヘルメットを装着する必要
があるため、次のような問題がある。

まず、ヘルメットは各種の部品を内蔵しているためそ
の重畳は数百グラムと重い。このため、長時間の装置使
用は操作者に大きな負担をかけることになる。また、操
作時に頭部を動かすと上記のヘルメットの固定位置がず
れ、視線方向を高い精度で検出することは困難である。

この発明は、上記欠点を解決するためになされたもの
で、操作者に負担をかけることなく、精度の良い視線方
向の検出を行うことができる方法を提供することを目的
とする。

〔課題を解決するための手段〕

この発明にかかる視線方向検出方法は、発光素子を直
線状に配置した光源を、操作者にメガネ等を用いて装
置、あるいは操作者の前方に配置し、これら発光素子を
順次点灯する際、操作者の角膜における投影像を操作者
の前方に配置した複数台のカメラで撮影し、光源像の座
標等をもとに操作者の眼球および視線方向を検出するも
のである。

〔作用〕

この発明においては、カメラ内における発光素子の座
標位置、２台のカメラの設定間隔、各カメラの光軸方向
および焦点距離から３次元空間内における両眼球の座標
を検出するとともに、２台のカメラで同時に撮影される
線状の発光素子の角膜面上の端点から各々の眼球の視軸
方向を検出し、両眼の視線方向を検出する。

〔実施例〕

第１図はこの発明による視線方向検出方法の一実施例
を示す構成図である。この図において、１は操作者、２
はメガネフレーム、3₁,3₂……（以下個別に区別する必
要がないときは、単に３を用いる。他の符号についても
同じ。）はメガネフレーム２の内側にフレームに沿って
装着した複数の赤外線等の発光素子、４はメガネのつ
る、５は前記メガネのつる４に装着した発光素子３の駆
動部、６−1,6−２は操作者１の眼球、７−1,7−２は前
記眼球６−1,6−２の角膜、８は入力装置、９は前記入
力装置８の表示部、10−1,10−２は眼球６−1,6−２を
撮影するためのカメラ、11−1,11−２は前記カメラ10の
焦点距離を可変できる自動焦点調節部、12−1,12−２は
前記カメラ10の向き（光軸）を任意の方向に設定する自
動首振り調節部、13は前記カメラ10−1,10−２から得ら
れる発光素子３−1,3−２の投影像の座標を検出し出力
する座標データ出力部、14は前記座標データ出力部13の
値をもとに眼球位置および視線方向を検出するための視
線データ検出部、15は前記入力装置８の中央制御部であ
る。

次に動作について、眼球６−２側の場合で説明する。

操作者１はメガネフレーム２を装着して表示部９を見
る。駆動部５をONして発光素子3₁,3₂……を順次周期的
に点灯する。点灯の順序は両眼を交互にあるいは片側か
ら連続的に行う。この点灯によって、メガネフレーム２
に装着した発光素子3₁,3₂……の光源像が眼球６−２の
角膜７−２に投影される。この投影像をカメラ10−1,10
−２を用いて撮影する。撮影に際して、各発光素子３に
対応する投影像が各カメラ10−1,10−２で得らえるよう
に、自動焦点調節部11−1,11−２を調節する。この調節
は発光素子３の発光に同期する撮影像が２台のカメラ10
−1,10−２で得られるようにする。すなわち、カメラ10
−1,10−２の焦点距離を始め短くして広域の画角を得る
ようにし、次いで、焦点距離を大きくして眼球６−２の
部分を拡大して撮影する。このようにして、２台のカメ
ラ10−1,10−２により同一の発光素子３について各２個
の撮影像を得る。なお、ズームアップ時に眼球６−２が
カメラ10−1,10−２の視野からはずれないように、自動
首振り調節部12を用いてカメラ10−1,10−２の光軸が顔
面の中央にくるように調節する。座標データ出力部13
は、各投影像のＸおよびＹ座標を出力する。これは、発
光素子３の発光に同期する投影像を固体撮像素子（通称
CCDセンサ）を用いることによって検出する。

次に、両眼球６−1,6−２の位置および視線方向を検
出する方法について説明する。まず、両眼球６−1,6−
２の位置検出方法について述べる。なお、第２図も第１
図に合せて眼球６−２の場合で説明する。

第２図は発光素子3,カメラ10−1,10−２が同一平面に
ある場合の例である。この図において、Q₁,Q₂は左右の
眼球６−1,6−２の中心、Ｄは２台のカメラ10−1,10−
２の距離、f₁,f₂はカメラ10−1,10−２の焦点距離、l₁,
l₂は両投影画像における発光素子３のＸ座標、θ₁,θ_２
はは発光素子３の眼球６−２における反射位置と自動首
振り調節部12によって設定されたカメラ10−1,10−２の
基線がなす角度、Ｌはあらかじめ測定しておいた操作者
１の両眼間隔、2Rは同じくあらかじめ測定しておいた操
作者１の角膜直径である。

以上の各数値が既知であるとき、左右の眼球６−1,6
−２における反射位置のＸ・Ｙ座標を求めればよい。

次に、Ｘ座標の場合について示す。

発光素子３により発せられた光線は、角膜７−２にお
いて反射し、２台のカメラ10−1,10−２に入射する。こ
の入射光は焦点距離大f₁,f₂に設置された固体撮像素子
の受光面に像を結像する。この像の位置がl₁,l₂で示す
点Ｐ−1,P−２である。この結果、第２図の相似関係か
ら次式が成立する。

l₁/f₁＝X/Y ……（１） l₂/f₂＝（Ｄ−Ｘ）/Y ……（２） 上記第（１），（２）式より、 Ｘ＝f₂l₁D/（l₂f₁＋l₁f₂） が得られる。

両眼球６−1,6−２の３次元空間内における座標値を
もとに眼間距離を算出し、これをあらかじめ求めておい
た操作者１の両眼間隔Ｌと比較・対比することによって
各座標値X,Yを確認することができる。角膜７−1,7−２
の直径は約1cmであり、カメラ10−1,10−２と眼球６−
1,6−２との距離は通常これに比べて十分大きい。した
がって、同一発光素子３から各々のカメラ10−1,10−２
に入射する光線の角膜７−２における反射位置は極く近
傍にある。両カメラ10−1,10−２から見て角膜７−1,7
−２上の発光素子３の反射位置を同一点とみなせば反射
位置は３角測量の方法を用いて表すことができる。すな
わち角膜７−1,7−２を完全な球体の一部とみなし、球
体の３次元空間における位置座標を決定するためには、
球面上の少なくとも３点の位置が判ればよい。したがっ
て、異なる位置にある３個の発光素子３を順次点灯する
ことによって、角膜７−1,7−２面上の反射位置を上述
の方法によって３点求め、これにより角膜７−1,7−２
が属する球体の中心と半径Ｒを求める。

次に視線方法を検出する場合について述べる。

各眼球６−1,6−２を照らす発光素子３の角膜７−1,7
−２における投影像は、視線方向とカメラ10−1,10−２
の向きとの関係によって種々の形状に変化する。

第３図は光源像が角膜７に投影されている場合の一例
を示す。角膜７は通常他の部分に比べて高い反射率を有
しており、その境界を用意に検出することができる。角
膜７は上述した球体の一部であり、その周囲は円形をな
くしている。したがって、この中心と球体の中心とを結
ぶ方向が視線方向である。球体の座標は前述の方法によ
って求められているから円形の皿、すなわち角膜７の中
心を求めれば視線方向が得られる。この時、角膜７の直
径があらかじめ判っていれば、角膜７の円周部の少なく
とも２点を検出すれば前記球体における角膜７の位置
は、この２点を通る既知の直径の円を求めることによっ
て決定することができる。

第３図に示す円形部分は、角膜７の境界部分であり、
16−1,16−２は発光素子３を順次点灯してきた場合、角
膜７面上で反射光が得らえる２つの端点であり、これが
角膜７の境界を示すことになる。これにより円の中心を
求め、球中心とを結ぶ方向を得る。なお、発光素子３の
像が角膜７に投影されるようにメガネフレーム２の形状
を調整しておく。また、駆動部５は無線により中央制御
部15と同期して駆動すればリード線等が不要となり、操
作者１の負担がより少なくなる。このようにして、左右
の視線方向を検出する。

次に、両眼の視線が合致する位置を求める。この位置
は、両眼の座標および視線方向がわかっているから３角
測量の方法を用いて容易に算出できる。この座標値を表
示部９内における座標値に変換し、この値を中央制御部
15に投入してカーソルを操作者１の視線方向に合致する
ように設定する。

以上はメガネをした場合であるが、本検出方法はメガ
ネを使用しない場合でも用いることができる。これにつ
いて次に述べる。

発光素子３−1,3−２を直線状に配置した光源を操作
者１の前方に配置する。この光源を長さは角膜７−1,7
−２の境界を検知できる程度に十分長くしておく。この
光源は、操作者１によって負担にならなければ可視光で
あってもよい。この光源内の各発光素子３を順次点灯
し、操作者１の角膜７−1,7−２における反射像を得
る。その他の各構成部および検出方法は前述した場合と
同じである方法である。

本方法では、２台のカメラ10−1,10−２を用いて操作
者１の顔面を投影することにしたが、より多くのカメラ
を３次元空間に配置することによって任意に選択した２
台のカメラ10−1,10−２でメガネフレーム２に装着した
光源あるいは部屋の周囲に光源が角膜７−1,7−２に投
影される像を前述と同様に測定して、操作者１の視線の
動きを常に把握することも可能である。

なお、本方法では、光源として１つの直線像の光源を
用いたが、角膜７−1,7−２の端点を正確に求めるため
にこれを複数あるいは形の定まった曲線状としてもよい
ことは当然である。この場合は、操作者１の角膜７−1,
7−２の直径2Rをあらかじめ求めておく必要はない。

〔発明の効果〕

この発明は、発光素子を直線状に配置した光源を、操
作者にメガネ等を用いて装着、あるいは操作者の前方に
配置し、これらの発光素子を順次点灯する際、操作者の
角膜における投影膜を操作者の前方に配置した複数台の
カメラで撮影し、光源像の座標等をもとに操作者の眼球
および視線方向を検出するようにしたので、次の効果が
ある。

まず、操作者は複数の発光素子を直線状に配置した
光源を内蔵した簡単なメガネを装着するだけでよいか
ら、操作時に負担を大幅に軽減することができる。空間
的な余裕がある場合には直線状の光源を操作者の前方に
配置するだけでよいから操作者の負担は全くない。

各光源に同期する光源像を２台カメラで得るだけで
あるから、光源、すなわちメガネフレーム等の位置を微
妙に調整する必要がないので、装置の操作性を大幅に向
上することができる。

複数のカメラを用いることによって操作者の視線の
動きを操作者に負担を与えることなく、常に測定するこ
とができるから、各種入力システムに有効に利用するこ
とができる。

【図面の簡単な説明】

第１図はこの発明による視線方向検出方法の一実施例の
構成を示す図、第２図は両眼およびカメラが同一平面に
ある場合の動作説明図、第３図は角膜における光源の投
影像の一例を示す図である。 図中、１は操作者、２はメガネフレーム、３はメガネフ
レームの内側にフレームに沿って装着した複数の発光素
子、４はメガネのつる、５はメガネのつるに装着した発
光素子の駆動部、６−1,6−２は操作者の眼球、７−1,7
−２の眼球の角膜、８は入力装置、９は入力装置の表示
部、10−1,10−２はカメラ、11−1,11−２はカメラの焦
点距離を可変できる自動焦点調節部、12−1,12−２はカ
メラの向き（光軸）を任意の方向に設定する自動首振り
調節部、13はカメラから得られる発光素子の投影像の座
標を検出し出力する座標データ出力部、14は座標データ
出力部の値をもとに眼球位置および視線方向を検出する
ための視線データ検出部、15は入力装置の中央制御部で
ある。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】複数の発光素子を線状に配置した光源を操
   作者に装着あるいは操作者の前方に配置し、前記各発光
   素子を順次周期的に点灯し、前記発光素子の発光に同期
   して操作者の眼球の角膜に投影される光源像を撮影する
   少なくとも２台のカメラを有し、このカメラ内における
   前記発光素子の座標値、前記少なくとも２台のカメラの
   設定間隔、前記各カメラの光軸方向および焦点距離から
   ３次元空間における両眼球の座標を検出するとともに、
   前記各発光素子を順次点灯する際、前記少なくとも２台
   のカメラで同時に撮影される前記線状の発光素子の前記
   角膜面上の端点の位置から各々の眼球の視軸方向を検出
   し、両眼の視線方向を検出することを特徴とする視線方
   向検出方法。