JPH0351407B2 - - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は視線検出方法に関し、特に、画像処
理により非接触で視線および注視点を検出し、マ
ン・マシンインタフエース技術の分野において
は、視線による入力装置への利用、視線の動き分
析に基づく融通性の高いコンピユータ応答システ
ムへの利用、また通信コンピユータグラフイクス
が利用される知的符号化画像通信の分野において
は、視線検出結果を画像生成法にフイードバツク
することにより高速で高品質な画像生成を行なう
表示法などに利用可能な視線検出方法に関する。

［従来の技術］ 近年、コンピユータはその進歩により、複雑か
つ豊富な機能を実現できるようになり、適用範囲
がますます広がりつつある。一方、その利用者も
専門家から非専門家に範囲を広げつつある。ここ
に、より複雑化するシステムをより簡単に使用で
きるようにするヒユーマンインタフエースの技術
が重要になる。人間同士のコミユニケーシヨンで
は言葉だけでなく、表情や仕草から相手の意思を
推測することによつて円滑な対話が行なわれてお
り、特に目の動きは意思疎通に重要な役割を果た
している。

すなわち、視点の動きには人の意図が大きく反
映されると考えられる。コンピユータや通信シス
テムインタフエースでは、利用者は何らかの表示
装置に長い時間向い合うことになるため、表示装
置の画面への視点の動きを常時検出できれば、利
用者の意図を抽出する大きな手掛りになると考え
られる。端的には、利用者がどこを見ているの
か、その先には何に関心があるのか、迷いは何か
などである。

そこで、本願発明者らは、利用者の操作意図を
汲取り、柔軟な応答を返すインタフエース機能を
実現すること、さらに知的通信の分野において受
信者の視線の動きから受信者の関心のある視対象
を抽出し、通信側にフイードバツクすることによ
つて、臨場感のある受手主体の画像通信を実現す
ることなどを狙いとして、視線の効率的な検出方
法の重要性を指摘してきた。

上述のような視線を検出する装置として、従来
よりアイカメラが知られている。しかしながら、
アイカメラは眼鏡を装着しなければならず、利用
者が相対しているデイスプレイの座標系で視点を
求めるためには、頭部を固定する必要があるなど
の制約があるため、視線をインタフエースや画像
通信に利用する目的には必ずしも向いていない。
すなわち、人に特別な物を装着させることなく、
非接触で視線を検出するためには、画像処理によ
つて検出する方法の方が有利である。

第１５図は非接触視線検出方式の構造として考
えられる一例を示す図である。第１５図を参照し
て、デイスプレイ１の両側にはカメラ２，３と照
明装置４，５とが設けられている。このような非
接触視線検出装置において、第１の課題は照明装
置４，５で照明された利用者の画像をカメラ２，
３により撮影し、撮影された画像から視線検出に
必要な複数の特徴点を抽出することにある。第２
の課題はそれらの特徴点の空間位置を高速、高精
度で計測することである。第３の課題は、特徴点
の位置から視線の方向およびデイスプレイの注視
点位置を求めることである。

［発明が解決しようとする課題］ 上述の第１の課題は本願発明者が提案した「画
像撮影装置」（特開平２−138673号）により、効
率的な特徴点の抽出を期待できる。しかしなが
ら、このように特徴点の抽出ができたとしても、
次の第２、第３の課題、すなわち、利用者の頭部
の動きを許容しかつ非接触で視線を検出する手
法、さらには利用者が実際に見ている注視点の検
出手法については、実用的な発表例はない。

それゆえに、この発明の主たる目的は、利用者
が特別な装置を装着することなく、画像撮影装置
によつて撮影された撮影対象からの画像に基づい
て、利用者の視線の動きを非接触で検出し得る視
線検出方法を提供することである。

さらに、この発明の他の目的は、マン・マシン
インタフエースの入力ツールとして適用可能な視
線検出方法を提供することである。

［課題を解決するための手段］ この発明は画像撮影装置によつて撮影された顔
画像から特徴点を抽出し、この特徴点の空間位置
を所望の座標系で検出し、この結果に基づいて視
線を検出する視線検出方法であつて、顔画像から
頭部の空間位置と方向とを所望の座標系において
求め、顔座標系をつくる顔座標系生成ステツプ
と、生成された顔座標系において眼球の回転中心
を推計する眼球中心推計ステツプと、顔座標系で
表わされた眼球中心を所望の座標系に変換して眼
球中心の空間位置を検出する検出ステツプと、顔
画像から瞳孔または黒目を抽出し、その中心点の
空間位置を所望の座標系において求める眼球特徴
点の空間位置検出ステツプと、眼球中心の空間位
置と眼球特徴点の空間位置とを結ぶ線分を求める
ステツプとを備え、線分またはこれと所定の傾き
を持つ線分を視線として検出するように構成した
ものである。

［作用］ この発明は視線検出方法であつて、頭部の位置
と方向を所望の座標系で求め、位置と方向を求め
ることによつて、所望の座標系に対して一意に変
換可能な顔座標系を設けることができる。顔座標
系が設定されると、眼球の回転中心は顔座標系の
中で概ね固定点と考えることができるため、眼球
中心は顔座標系の中で定数ベクトルとして扱うこ
とができる。定数ベクトルはｘ、ｙ、ｚの３つの
成分を顔座標系で求めることにより決定できる。
これを求めるためには、様々な方法があるが、後
述のように利用者に指標を予め提示し、このとき
の特徴点の空間位置検出結果を用いて求めること
ができる。未知数が３つであるため、このような
較正が比較的簡単にできる。

顔座標系と所望の座標系は、前述のように一意
に変換可能であるため、顔座標系で表わされた眼
球中心の位置は、所望の座標系に変換自在であ
る。このようにして、顔の位置と方向とが検出さ
れると、眼球中心の位置が所望の座標系で求ま
る。

一方、瞳孔または黒目の中心点（前記眼球特徴
点）の空間位置が後述のごとく、所望の座標系で
求まると、眼球中心の空間位置と眼球特徴点の空
間位置とを結ぶ線分として視線を近似的に求める
ことができる。ただし、この線分は、視線として
は誤差を含むため、正確にはその線分と一定の傾
きを持つ線分を視線とすることが望ましい。

顔の位置と方向とを求めるには、顔に少なくと
も３点の動きの少ない特徴点があればよい。３点
の空間位置が所望の座標系で求まれば、その座標
系で３点を通過する面を定義できる。面が決まれ
ば方向が決まる。また、顔座標系の原点はたとえ
ば３つの点の重心とすればよい。このようにし
て、３点の空間位置から顔座標系を決定できる。

顔上に３つの不動点を見つけるのが困難な場合
には、眼鏡に３つのマークを付けてもよい。この
眼鏡を装着することにより、顔を簡単に３点でモ
デル化できる。

［発明の実施例］ まず、視線検出方法について説明するに先立つ
て視線について説明する。

第２図は眼球の構造を模式的に示した図であ
る。第２図を参照して、目の前面を覆つている透
明な膜が角膜１６１であり、網膜１６２への集光
はほとんど角膜１６１によつて行なわれるが、指
標に視点を合わせるための微調整（調節作用）は
水晶体１６３の厚みを変えて行なわれる。角膜１
６１、水晶体１６３の光軸の延長上に網膜１６２
の中で最も分解能が高い中心窩１６４と呼ばれる
部分が存在する。人は対象を注視するときには、
この中心窩１６４にその像が結像するように目を
動かす。したがつて、視線は近似的には結像光軸
上にあるとみてよい。また、瞳孔１６５の中心、
眼球の回転中心もこの光軸の近くにあるため、視
線は瞳孔中心位置および眼球中心位置を求めるこ
とで基本的には検出が可能である。

以下、眼球中心と瞳孔中心とを結ぶ線を視線と
近似し、検出アルゴリズムについて説明する。な
お、視線の方向が厳密には異なる場合の補正は、
後で述べる。

第１図はこの発明の一実施例を説明するための
図である。次に、第１図を参照して、この発明の
視線検出方法について概略を説明する。１７２は
瞳孔または黒目の中心点であり、P1，P2，P3は
顔の特徴点である。瞳孔または黒目、さらに顔の
特徴点はカメラで直接撮影できるため、後述のス
テレオ計測などにより、所望の座標系（たとえば
ワールド座標系）Ｘ、Ｙ、Ｚで求めることができ
る。ｅは顔座標系としての頭部座標系ｘ、ｙ、ｚ
で表わされた眼球中心ベクトルである。眼球中心
の位置はカメラで直接測定できないが、顔座標系
において固定点であるため、後述の較正により求
めることができる。眼球中心ベクトルｅが求まる
と、眼球の回転中心の位置１７１は、後述のよう
にワールド座標系で表わすことができる。したが
つて、眼球の回転中心の位置１７１と瞳孔または
黒目の中心点１７２とを結ぶ線分として視線が求
まる。ワールド座標系のＹ、Ｚ軸平面を利用者が
相対しているデイスプレイスクリーン面とする
と、視線とその面が交わる点を注視点として求め
ることができる。

以下、視線検出方法の詳細について、式を用い
て説明する。

第１図において、頭部座標系は三角形（P1，
P2，P3）の重心P_G（X_G、Y_G、Z_G）に原点があり、
Ｐ１とＰ２とを結ぶ線分の方向をｘ軸、ｘ軸に直
交する方向をｙ軸、三角形の法線方向をｚ軸とす
る。眼球中心位置ベクトルｅは現時点では未知数
であるが、定数ベクトルである。何らかの方法で
重心P_Gからの位置を測定することができる。後
述するように、このベクトルは較正によりもとめ
ることができる。そこで、以下の説明では、入力
データとして与えることができるものとする。し
たがつて、入力データとしては、顔上の三特徴
点P_i（X_i、Y_i、Z_i）（ｉ＝１〜３）、頭部座標系
（ｘ、ｙ、ｚ）における眼球中心座標ｅ（x_e、y_e、
z_e）である。出力データは眼球中心のワールド座
標Ｃ（X_C、Y_C、Z_C）である。この結果がわかれ
ば、視線の方向は第１図においてＤ（X_D、Y_D、
Z_D）−Ｃ（X_C、Y_C、Z_C）として求まる。

以上の命題は、頭部座標系（ｘ、ｙ、ｚ）をワ
ールド座標系（Ｘ、Ｙ、Ｚ）に変換することとい
える。

第３図は原点の移動と座標軸の回転が伴う座標
変換を説明するための図である。第３図を参照し
て、原点の移動と座標軸の回転が伴う座標変換
は、一般的に次の第(1)式により可能である。

ｘ ｙ ｚ＝ＲＸ−X_G Ｙ−Y_G Ｚ−Z_G …(1) また、逆変換は次の第(2)式で表わされる。

Ｘ Ｙ Ｚ＝R^-1ｘ ｙ ｚ＋X_G Y_G Z_G …(2) またR^-1はワールド座標系をＹ軸まわりにβ回
転させ、続いてＸ軸のまわりにα回転させ、Ｚ軸
の方向にγ回転して頭部座標系に一致させると、
次の第(3)式で表わされる。

R^-1sinα・sinβ・sinγ sinα・sinβ・c
osγ cosα・sinβ＋cosβ・cosγ−cosβ・sinγ cosα・sinγ cosα・cosγ sinα・cosβ・sinγ sinα・cosβ・cosγ cosα・ cosβ−sinβ・cosγ＋sinβ・sinγ …(3) P_G（X_G、Y_G、Z_G）は計測されるため、sinα、
sinβ、sinγ、cosα、cosβ、cosγがわかればよい。
これを求める方法について以下に説明する。

第４図は第１図において、顔の中の特徴点P1
であるワールド座標系の原点を移動した図であ
る。頭部座標系のｚ方向は顔の３点がつくる三角
形の法線ベクトルＮに等しいものとする。ワール
ド座標系における三角形の法線ベクトルの方向余
弦は次の第(4)式となる。

n_x＝cosθ n_y＝cosφ n_z＝cosφ …(4) この値はワールド座標系で計測される顔の３点
の位置座標から以下のようにして求めることがで
きる。第３図において、平面の方程式を次の第(5)
式で示す。

Ａ・Ｘ＋Ｂ・Ｙ＋Ｃ・Ｚ＋Ｄ＝０ …(5) Ｘ、Ｙ、Ｚは３点P_i（X_i、Y_i、Z_i）（ｉ＝１〜
３）をとるので、 Ｘ X₁ X₂ X₃Ｙ Y₁ Y₂ Y₃Ｚ Z₁ Z₂ Z₃１ １ １ １ Ａ Ｂ Ｃ Ｄ＝０ ０ ０ ０ …(6) 上述の第(6)の式はＡ＝Ｂ＝Ｃ＝Ｄ＝０以外の解
を持つことから、係数の行列式は０であり、平面
の方程式は次の第(7)式となる。

Ｘ X₁ X₂ X₃Ｙ Y₁ Y₂ Y₃Ｚ Z₁ Z₂ Z₃１ １ １ １＝０ …(7) すなわち、 Ａ＝ Y₁ Z₁ １ Y₂ Z₂ １ Y₂ Z₂ １ Y₃ Z₃ １＝Y₁（Z₂−Z₃）−Z₁（Y₂−Y₃）＋（Y₂ Z₃−Y₃
Z₂）…(8) Ｂ＝−X₁ Z₁ １ X₂ Z₂ １ X₂ Z₂ １ X₃ Z₃ １＝−X₁（Z₂−Z₃）＋Z₁（X₂−X₃）−（X₂ Z₃−X
₃ Z₂）…(9) Ｃ＝ X₁ Y₁ １ X₂ Y₂ １ X₂ Y₂ １ X₃ Y₃ １＝X₁（Y₂−Y₃）−Y₁（X₂−X₃）＋（X₂ Y₃−X₃
Y₂）…(10) Ｄ＝−X₁ Y₁ Z₁ X₂ Y₂ Z₂ X₂ Y₂ Z₂ X₃ Y₃ Z₃＝−X₁（Y₂Z₃−Y₃Z₂）＋Y₁（X₂Z₃−X₃−Z₂）−
Z₁（X₂Y₃−X₃Y₂）…(11) したがつて、この平面１７０の法線ベクトルＮ
は次のようになる。

また、三角形の法線ベクトルの方向余弦（n_x、
n_y、n_z）は、ワールド座標系がＹ軸のまわりにβ
回転し、次にＸ軸のまわりにα回転して、Ｚ軸を
頭部座標系のＺ時に合わせる条件からも同様にし
て求めることができる。

第５図において、はワールド座標系がＹ軸の
まわりにβ回転することを示す。このとき、（Ｘ、
Ｙ、Ｚ）は、破線に示す（X′、Y′、Z′）になる。
続いて、はX′のまわりにワールド座標系がα
回転することを示している。この操作により、
Z′軸はｚ軸に一致する。したがつて、第５図から
方向余弦（n_x、n_y、n_z）は、 n_x＝cosα・sinβ n_y＝−sinα n_z＝cosα・sinβ …（13） となる。このようにして、ｚ軸の方向が決定さ
れ、第（12）式および第（13）式より、sinα、
sinβ、sinγ、cosα、cosβ、cosγを求めるための１
つの条件ができる。

次に、第５図において、に示すような頭部座
標のｚ軸（すなわちＮ）のまわりにワールド座標
系がγ回転し、X′軸が頭部座標系のｘ軸に重な
るように、すなわちＸ軸、Ｙ軸も頭部座標系に平
行になるようにする。

P1，P2とXZ平面のなす角をδとすると、第５
図からわかるように、 である。これをｎと置くと、回転角α、β、γは
第（12）式、第（13）式および第（14）式から次
の第（15）式で表わされる。

sinα＝−n_y、cosα＝√１−² _y sinβ＝ｎ×／√１−² _y、cosβ＝n_z√１−² _y siniγ＝ｍ／√１−² _y、 cosγ＝√１−² _y−ｍ／√１−² _y …（15） 上述の第（15）式の値を第(3)式に代入すれば、
R^-1が求まる。第(10)式により、頭部座標系の点は
ワールド座標系に変換される。したがつて、眼球
中心の位置はワールド座標系で求まる。

次に、視線の計算方法について説明する。前述
の第１図において、眼球中心のワールド座標値Ｃ
（X_C、Y_C、Z_C）が求まれば、これと瞳孔座標Ｄ
（X_D、Y_D、Z_D）を結んだ線が視線となる。視線上
の任意の点のベクトルは、次の第（17）式で表わ
すことができる。

Ａ＝Ｃ＋ｔ・（Ｄ−Ｃ） …（17） ここで、ｔは視標までの距離を示すパラメータ
であり、様々な方法で求めることができる。ワー
ルド座標系に求められたデイスプレイが平面であ
れば（たとえば第１図においてYZ平面がデイス
プレイ面である。）、視線ベクトル（Ｄ−Ｃ）の原
点と方向が検出されているので、このベクトルが
デイスプレイに当たる点は、デイスプレイ座標で
一意に求まる。

また、この発明では、左右の目の視線方向を独
立に検出できるため、平面上の注視点でなくても
検出できる。すなわち、空間上の注視点も抽出で
きる。すなわち、左右の視線上の任意の点へのベ
クトルをそれぞれＡ１，Ａ２とすれば、第（17）
式より次の第（18）式が得られる。

A₁＝C1＋t1・（D1−C1） A₂＝C2＋t2・（D2−C2） ここで、 C1、C2：左右の眼球中心のベクトル （D1−C1）、（D2−C2）；左右の視線ベクトル t1、t2：パラメータ（t₁、t₂＞１） …（18） t1、t2をパラメータとして、A1、A2が最も近
くなる点を求めれば、それが注視点である。この
ように、この発明では、注視点と同時に両眼の輻
輳角も検出できる。

次に、眼球中心座標の推計について説明する。
眼球中心の位置は頭部座標系において固定されて
いると考え、前述の説明ではインプツトデータと
した。しかし、実際に眼球中心の座標を正確に与
えることは難しいので、以下の方法で推計する。

今、被験者にワールド座標の既知なＭ個の点L_i
（X_i、Y_i、Z_i）を順次見つめさせ、そのときの瞳
孔のワールド座標D_i（X_Di、Y_Di、Z_Di）および頭部
座標を形成する顔上の３特徴点のワールド座標
P_1i（X_1i、Y_1i、Z_1i）、P_2i（X_2i、Y_2i、Z_2i）、P₃（X_3
i、
Y_3i、Z_3i）を測定する。これらの測定値を用い
て、頭部座標系における眼球中心座標ｅ（X_e、
Y_e、Z_e）を最小二乗法によりその最確値を推計
する。

第６図において、頭部座標系における眼球中心
のベクトルをｅとして、点L_iを見つめているとき
の瞳孔中心、顔上の３特徴点の重心、点L_iへのベ
クトルをそれぞれワールド座標系でD_i、P_Gi、L_i
とする。ベクトルｅをワールド座標系で表示する
とR_i ^-1・ｅであるので、第６図から明らかなよう
に、次の第（19）式が成立する。

L_i＋t_i（D_i−L_i）＝R_i ^-1e＋P_Gi（ｉ＝１〜Ｍ） …（19） t_iはパラメータ（t_i＞１） すなわち、次の第（20）式に示す連立方程式と
なる。

ここでr_11i、r_12i…r_33iは回転マトリクスR_i ^-1の各
要素であり、第(9)式に第（16）式を代入したもの
である。第（18）式からt_iを消去して、x_e、y_e、
z_eについて整理すると、次の第（21）式が得られ
る。

U_1ix_e＋U_2iy_e＋U_3iz_e＋U_0i＝０ V_1ix_e＋V_2iy_e＋V_3iz_e＋V_0i＝０ （ｉ＝１〜Ｎ） …（21） ここで、U_1i、U_2i、U_3i、U_0i、V_1i、V_2i、V_3i、
V_0iは測定データとして得られるものである。し
たがつて、未知数x_e、y_e、z_eの解については、第
（19）式の右辺をそれぞれδ_i、ε_iと置き、誤差の二
乗和Σ（δ_i ²＋ε_i ²が最小になるようにして求めれば
よい。

上述の説明では、較正により求めなければなら
ないパラメータは、頭部座標における眼球中心位
置のみである。したがつて、較正をするために、
被験者に提示する指標の数は少なくて済む。ま
た、較正が簡単であるので、被験者のばらつきに
よる誤差が少なく、精度が高くなる。なお、上述
の説明においては、視線は瞳孔と眼球中心を結ぶ
として説明してきたが、厳密にはずれる場合があ
る。

第７図は瞳孔と中心窩を結ぶ線分上の眼球中心
がない場合を示す図である。第７図を参照して、
瞳孔と中心窩を結ぶ線分上に眼球中心がない場合
には、眼球中心を仮定し、この点から中心窩への
ベクトルを何らかの方法で求めるか、定数ベクト
ルとして、較正法の中で求めてもよい。いずれに
しても、眼球の回転によらず、位置の変化が少な
い眼球中心点を求めることが視点検出に有効に作
用することは明らかであり、上述の問題はこの発
明の改良の中で処理できるものである。また、被
験者が眼鏡を掛けている場合には、眼鏡レンズの
影響を考慮した補正が必要であるが、この場合に
ついても同様であり、この発明の改良により較正
が可能である。

瞳孔と角膜反射像を用いる方法は、目の中の特
徴点だけを用いる方法である。光源の位置を既知
とし、眼球構造を一定とすると、角膜反射像は眼
球中心の位置と瞳孔の位置（眼球の回転に対応す
る）により一意に決まる。したがつて、眼球中心
の位置は眼球構造パラメータを用いて角膜反射像
と瞳孔の位置から求めることができる。視線は眼
球中心と瞳孔の位置から求めることができる。眼
球構造パラメータとは、眼球の半径、角膜の曲率
半径、眼球中心と角膜の曲率中心との間の距離で
ある。これらは予め計測するか、使用時に利用者
にデイスプレイの特定個所を見てもらい、較正す
ることができる。

次に、顔上の特徴点の選び方について説明す
る。デイスプレイに向かつた利用者は表情をあま
り変えないことが多い。したがつて、皮膚の動き
も少ない。また、仮に動いていてもすぐに元に戻
ることが多い。このようなことから、視線検出に
支障のない範囲で動きの少ない部分が存在する。
具体例としては、目頭、鼻の頭、上唇の中間部な
どである。このような点は表情を大きく変えない
限り変化は少ない。また、周辺と色が異なるた
め、画像処理により特徴を抽出しやすい。すなわ
ち、エツジ抽出、２値化処理により特徴点部位を
同定できる。なお、視線検出の精度を上げるため
には、目の周辺を大きく拡大して撮影した方がよ
いため、顔特徴点を目の周辺から選択するのが望
ましい。目のまわりにもこのような点は多い。ま
た、簡単な画像処理により視線を高速に検出した
い場合には、このような点にマーカーを貼つても
よい。

第８図はマーカー付眼鏡を用いた頭部骨格のモ
デル例を示す図である。顔にマーカーを貼るのが
難しい場合には、第８図に示すように、眼鏡１８
１のフレーム枠の周辺３ケ所ずつマーカー１８２
を取付け、眼鏡１８１を装着することにより、頭
部骨格がマーカー１８２でモデル化される。な
お、マーカー１８２の抽出方法については、瞳孔
の抽出と兼ねて後で説明する。なお、第８図に示
した例は顔上の３点でモデル化する場合について
説明したが、さらに多くの点でモデル化してもよ
い。

第９図は第４点でモデル化した図であり、この
例では第１の三角形１８３が特徴点抽出の失敗で
求まらなかつたような場合、第１の三角形１８３
に代えて第２の三角形１８４によつて眼球中心を
求めるものである。実際、人の頭は様々な動きを
するため、各特徴点が常にカメラでとらえられて
いるとは限らない。そこで、実用上は複数の三角
形を用意しておき、随時切換えることにより、絶
間なく視線を検出することができる。

また、顔上において、皮膚の動きの少ない点は
多くは存在しない。このような点は抽出が難しい
場合もある。そこで、顔上の特徴点は４つ以上で
きるだけ多くとらえ、これらの点から変化の少な
い仮想の点を３つ以上再較正し、この点により頭
部骨格をモデル化することが考えられる。

第１０図および第１１図は２つの顔特徴点から
不動の仮想特徴点を求める例を示す図である。目
尻、目頭の部分は、第１０図に示すように目を開
いた場合に比べて、第１１図に示すように目を細
めるとその位置が変化する。しかし、両側の目を
同時に細めると（通常、人はそのようにする）、
２つの目尻特徴点の中心の位置はほとんど変化し
ない。同様のことが、鼻の角、まつげなどについ
ても言える。皮膚は顔面筋肉により動くため、あ
る部分が伸びるとき、必ず縮む部分が存在する。
このように、表情と皮膚の動きをデータベースと
して用意しておくことにより、仮想的に皮膚の動
きの少ない特徴点を得ることができる。このよう
に仮想特徴点を用いることにより、視線検出の精
度はさらに向上する。将来的には、表情と視線を
同時に捉えるのが望ましい。

第１２図はステレオ画像計測法を説明するため
の図である。第１２図を参照して、（X^、Y^、Z^）
はワールド座標系１６１であり、デイスプレイ画
面と重なつているものとする。ミラー１６４はス
テレオ計測系を較正するときにのみ、ワールド座
標系１６１のＺ軸方向の所定の位置にXY平面と
平行に挿入するものとする。（Ｘ、Ｙ、Ｚ）はミ
ラー１６４を用いて得られるワールド座標系１６
１と表面対称な座標系であり、対称座標系１６２
と呼ばれる。（ｘ、ｙ、ｚ）は撮影カメラの座標
系１６３であり、原点ｏはレンズの視点である。
視点ｏから焦点距離ｆのところに撮像面１６５が
ある。

カメラが撮影する対象は、対称座標系１６２の
中の対象物であり、この座標系１６２の座標をワ
ールド座標系（X^、Y^、Z^）に変換する必要があ
る。詳しくは後述するが、この座標変換マトリク
スを上述のごとく導入したミラー１６４を用いる
鏡面対称走査により獲得することができる。ま
た、対称座標系１６２はデイスプレイに相対した
座標系であり、インタフエース型の環境では利用
者がほぼこの座標系ｏあたりにくるものとする。

この発明では、視線インタフエースを利用する
ことが最終目的であり、したがつて、デイスプレ
イ座標系で視線の検出が必要であり、デイスプレ
イ座標系で人物の特徴点を正確に求める必要があ
る。一般に、カメラ座標系１６３で捉えた特徴点
の位置をカメラ座標系１６３とは異なる座標系に
変換して求めるために較正が必要である。較正す
るには、変換しようとする座標系に位置が予めわ
かつている点を用意し、このカメラによつて捉
え、変換パラメータを求める方法がとられる。こ
の発明の目的では、デイスプレイ座標系で測定し
たいため、基本的にはデイスプレイに位置の明確
な点を表示し、これをカメラで捉えて較正すれば
よい。しかし、このようにすると、当然のことな
がらカメラはデイスプレイの方向を向けることに
なり、デイスプレイに相対している利用者を捉え
ることはできない。

そこで、第１２図に示すように、較正時にワー
ルド座標系１６１の前にミラー１６４が設けら
れ、このミラー１６４に写つたデイスプレイ上の
虚像が較正用のデータとして用いられる。この虚
像をカメラで捉え、前述のアルゴリズムを用いる
ことにより、ワールド座標系１６１における空間
の位置が正確に求められる。すなわち、第１２図
において、ワールド座標系１６１の点P^はミラー
１６４で反射し、その鏡像は対称座標系１６２の
点Ｐに現われる。光は第１図に示す矢印のよう
にミラー１６４で反射するが、カメラ座標系１６
３から見ると、矢印のように対称座標系１６２
からの光として計測される。

次に、ミラー１６４は、ワールド座標系１６１
に対して、位置と方向とが予め既知になるように
配置される。このようにすると、ワールド座標系
１６１と対称座標系１６２の変換が容易となる。
たとえば上述のごとく、ワールド座標系１６１が
Ｚ軸に直交したミラー１６４を配置すると、対称
座標系１６２での空間位置座標は、Z^軸方向に符
号反転するだけでワールド座標系１６１に変換す
ることができる。つまり、ワールド座標系１６１
と対称座標系１６２との変換が容易であれば、カ
メラ座標系１６３と対称座標系１６２との交換法
を確立することにより、カメラ座標系１６３とワ
ールド座標系１６１、すなわちデイスプレイ座標
系の変換が可能となる。

したがつて、以下の説明においては、第１２図
において、特徴点Ｐの対称座標系１６２での空間
位置を、カメラで捉えたその特徴点の２次元位置
データを元に求める方法について説明する。

まず、空間の点Ｐを考える。この点Ｐはカメラ
の撮像面座標では（ξ、η）、カメラ座標（Ｘ、
Ｙ、Ｚ）、および対称座標（Ｘ、Ｙ、Ｚ）の関係
について述べる。第１２図から明らかなように、 ｘ ｙ ｚ＝−（ξ／ｆ）・ｚ −（η／ｆ）・ｚ ｚ …（22） ｆはレンズ主点と撮像面までの距離（＝焦点距
離）である。すなわち、撮像面上で像の座標が既
知のとき（計測では既知であるが）、被写体はそ
の方向のみ明らかであり、カメラ座標系１６３に
おける点Ｐの方向ベクトルは、第１２図におい
て、 ｘ→＝oP→＝ｒ→・ｔ ｒ→＝−（ξ／ｆ） −（η／ｆ） １ …（23） （ｔはパラメータ） である。対称座標系１６２でのＰ点の座標をＰ
（Ｘ、Ｙ、Ｚ）とすると、 ベクトルoP→＝Ｘ→＝Ｘ Ｙ Ｚ …（24） であり、カメラ座標系１６３での座標をＰ（ｘ、
ｙ、ｚ）とすると、 ベクトルOp→＝ｘ→＝ｘ ｙ ｚ …（25） 点Ｐのフイルム上の像の座標をp′（ξ、η）と
すると、第（23）式より ｘ→＝ｒ→・ｔ＝Ｒ・（Ｘ−X₀） すなわち、 ｘ ｙ ｚ＝−ξ／ｆ −η／ｆ １・ｔ＝Ｒ・Ｘ−X₀ Ｙ−Y₀ Ｚ−Z₀ …（26） ｔはパラメータ 逆変換は第（23）式および第（24）式より Ｘ→＝R^-1ｘ→＋Ｘ→₀ Ｘ Ｙ Ｚ＝R^-1・−ξ／ｆ −η／ｆ １・ｔ＋X₀ Y₀ Z₀ …（27） 上述の第（27）式において、ξ、η、Ｘ、Ｙ、
Ｚを入力として与え、位置パラメータである
R^-1、ｆ、X₀、Y₀、Z₀を出力として求めること
を考える。すなわち、対称座標系１６２（Ｘ、
Ｙ、Ｚ）において、カメラ位置の傾き、焦点距離
を求める方法について以下に説明する。

対称座標の既知なＮ個の点P_i（X_i、Y_i、Z_i）（ｉ
＝１〜Ｎ）を撮影し、その画像の位置座標（ξ_i、
η_i）（ｉ＝１〜Ｎ）を測定することにより、カメ
ラの位置（X₀、Y₀、Z₀）、カメラの光軸方向のカ
メラの傾きを決定する回転角（α、β、γ）およ
び焦点距離ｆを決定する。

上述の第（26）式を展開すると、次の第（28）
式が得られる。

−ξ_i／ｆ・t_i＝R₁₁（X_i−X₀）R₁₂（Y_i−Y
₀）＋R₁₃（Z_i−Z₀） −η_i／ｆ・t_i＝R₂₁（X_i−X₀）R₂₂（Y_i−Y
₀）＋R₂₃（Z_i−Z₀） t_i＝R₃₁（X_i−X₀）＋R₃₂（Y_i−Y₀）＋R₃₃
（Z_i−Z₀）（ｉ＝１〜Ｎ）…（28） R_ij（ｉ、ｊ＝１〜３）は回転マトリツクスの各
要素であり、次のとおりである。

R₁₁＝cosβ・cosγ R₁₂＝sinα・sinβ・cosγ・cosα・sinγ R₁₃＝−cosα・sinβ・cosγ・sinα・sinγ R₂₁＝−cosβ・sinγ R₂₂＝−sinα・sinβ・sinγ＋cosα・cosγ R₂₃＝cosα・sinβ・sinγ＋sinα・cosγ R₃₁＝sinβ R₃₂＝−sinα・cosβ R₃₃＝−cosα・cosβ …（29） 上述の第（28）式の第３式を第１段目の式およ
び第２段目の式に代入してt_iを消去すると、次の
第（30）式が得られる。

R₁₁＋ξ_i／ｆ・R₃₁）（X_i−X₀）＋（R₁₂＋ξ_i／ｆ・R₃₂
）（Y_i−Y₀）＋（R₁₃＋ξ_i／ｆ・R₃₃）（Z_i−Z₀）＝０ R₂₁＋ξ_i／ｆ・R₃₁）（X_i−X₀）＋（R₂₂＋ξ_i／ｆ・R₃₂
）（Y_i−Y₀）＋（R₂₃＋ξ_i／ｆ・R₃₃）（Z_i−Z₀）＝０ （ｉ＝１〜Ｎ） …（30） ここで、求めるべき未知数は（X₀、Y₀、Z₀）、
（α、β、γ）およびｆの７個である。したがつ
て、Ｎ≧４でなければならない。実際には、以下
の解法に示すように、最小二乗法により最確値を
決定するので、Ｎはある程度大きい方が望まし
い。ここで解法について説明する。測定誤差など
のため、実際には第（30）式の左辺は０になら
ず、誤差σ_i、ε_iを生じる。そこで誤差の２乗和Σ
（σ_i ²＋ε_i ²）を最小とする方法で解を求めることが
できる。

このようにして、予め空間位置が明らかな複数
の点をカメラで撮影することにより、カメラ座
標、カメラの向き、焦点距離などが対称座標系１
６２で求まる。対称座標系１６２は前述のごと
く、容易にワールド座標系１６１に変換できるた
め、結局ワールド座標系１６１に対して測定系の
パラメータをすべて求めることができる。

次に、３次元位置の計測について説明する。

第１３図および第１４図はワールド座標系に対
して、任意に設定された２台のカメラで撮影した
画像によりその３次元位置を求める方法を説明す
るための図である。

第１３図を参照して、ワールド座標系における
２台のカメラ１６５，１６６は、カメラレンズ主
点の座標（X^_0i、Y^_0i、Z^_0i）、光軸方向とカメラ１
６５，１６６の傾きを決める回転角（α_i、β_i、γ_i）
および焦点距離f_i（ｉ＝１〜２）が既知である。
ワールド座標系１６１のＰ（X^、Y^、Z^）を２台の
カメラ１６５，１６６で撮影した画像の座標をそ
れぞれ（ξ₁、ε₁）、（ξ₂、ε₂）とする。画像（ξ_i
、
η_i）からレンズ主点へ向かう方向ベクトルをそれ
ぞれA₁、A₂とすると、 P₁＝A₁ t₁＋X₀₁ P₂＝A₂ t₁＋X₀₂ （t₁、t₂はパラメータ） …（31） A₁、A₂は第（27）式から A₁＝R₁ ^-1−ξ₁／f₁ −η₁／f₁ １A₂＝R₂ ^-1−ξ₂／f₂ −η₂／f₂ １ …（32） である。A₁、A₂、X₀₁、X₀₂は前述の較正により
求まる既知である。したがつて、t₁、t₂が求まれ
ば、P₁、P₂が決まる。誤差がなければ、P₁、P₂
は一致し、第（31）式をP₁＝P₂として解けばよ
い。第（31）式からはt₁、t₂を求めることができ
る。しかし、実際には測定誤差によるP₁、P₂が
一致しないので、最も接近した点が求められる。
このようにして、２枚の画像を用いてワールド座
標系１６１で任意の空間位置が計測できる。

［発明の効果］ 以上のように、この発明によれば、顔画像から
頭部の空間位置と方向とを検出して眼球の回転中
心を推計し、眼球中心を所望の座標系に変換して
眼球中心の空間位置を検出し、瞳孔または黒目を
抽出し、その中心点の空間位置を所望の座標系に
おいて求め、眼球中心の空間位置と眼球特徴点の
空間位置とを結ぶ線分またはこれと所定の傾きを
持つ線分を視線として検出することにより、必要
なパラメータとして近似的に１つの定数ベクトル
でよく、較正が簡単であり、眼球中心と瞳孔の空
間位置を求めることにより、非接触で利用者の頭
部の動きによらず視線の方向を求めることができ
る。しかも、カメラ座標系または最終的に求めた
い座標系で視線および注視点を検出でき、マン・
マシンインタフエースの分野で視線による入力装
置として様々な利用を図ることができる。

【図面の簡単な説明】

第１図はこの発明における視線検出方法の一実
施例を説明するための図である。第２図は眼球の
構造を模式的に示した図である。第３図は原点の
移動と座標軸の回転が伴なう座標変換を説明する
ための図である。第４図は第１図において、顔の
中の特徴点P₁であるワールド座標系の原点を移
動した状態を示す図である。第５図はワールド座
標系を回転した状態を示す図である。第６図は頭
部座標系における眼球中心のベクトルを説明する
ための図である。第７図は瞳孔と中心窩を結ぶ線
分上に眼球中心がない場合を示す図である。第８
図はマーカー付眼鏡を用いた頭部骨格のモデル例
を示す図である。第９図は頭部骨格を４点でモデ
ル化した例を示す図である。第１０図および第１
１は２つの特徴点から不動の仮想特徴点を求める
例を示す図である。第１２図はステレオ画像計測
法を説明するための図ある。第１３図および第１
４図はワールド座標系に対して任意に設定された
２台のカメラで撮影した画像により、その３次元
位置を求める方法を説明するための図である。第
１５図は従来の非接触視線検出装置の一例を示
す。 図において、１６１はワールド座標系、１７０
は平面、１７１は眼球中心点、１８１は眼鏡、１
８２はマーカー、P_Gは中心を示す。

Claims (1)

1. 【特許請求の範囲】 １ 画像撮影装置によつて撮影された顔画像をも
   とに所望の座標系で視線を検出する視線検出方法
   であつて、 前記顔画像から頭部の空間位置と方向とを前記
   所望の座標系において求め、顔座標系をつくる顔
   座標系生成ステツプと、 前記顔座標系生成ステツプで生成された顔座標
   系において眼球の回転中心を推計する眼球中心推
   計ステツプと、 前記顔座標系で表わされた眼球中心を前記所望
   の座標系に変換して眼球中心の空間位置を検出す
   る検出ステツプと、 前記顔画像から瞳孔または黒目を抽出し、その
   中心点の空間位置を前記所望の座標系において求
   める眼球特徴点の空間位置検出ステツプと、 前記眼球中心の空間位置と眼球特徴点の空間位
   置とを結ぶ線分を求めるステツプとを備え、 前記線分またはこれと所定の傾きを持つ線分を
   視線として検出することを特徴とする、視線検出
   方法。 ２ 前記顔座標系生成ステツプは、前記顔画像か
   ら顔上の皮膚の動きの少ない少なくとも３つの特
   徴点を抽出し、抽出した該点の空間位置を前記所
   望の座標系において求め、顔座標系をつくること
   を特徴とする、請求項第１項記載の視線検出方
   法。 ３ さらに、眼鏡フレームの周囲に少なくとも３
   ケ所に特徴抽出が容易なマークが設けられた眼鏡
   を顔の特徴点抽出のために用いることを特徴とす
   る、請求項第２項記載の視線検出方法。