JP4528980B2

JP4528980B2 - 瞳孔検出装置及び瞳孔検出方法

Info

Publication number: JP4528980B2
Application number: JP2006225720A
Authority: JP
Inventors: 嘉伸海老澤
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2005-08-23
Filing date: 2006-08-22
Publication date: 2010-08-25
Anticipated expiration: 2026-08-22
Also published as: JP2007083027A

Description

本発明は、視線検出等の分野に利用できる瞳孔検出装置及び瞳孔検出方法、さらに詳しく言えば、周囲光が強く瞳孔の検出に適さない環境下においても確実に瞳孔の検出を可能にする瞳孔検出装置及び瞳孔検出方法に関する。

顔の特徴点を捉えて、被験者の意図を推定したり、どこを見ているか、どこから見ているかなどの情報の獲得のために、瞳孔の検出が有効な手段として着目され、それ自体またはその応用に関連して種々の研究や発明がなされている（特許文献１〜４，非特許文献１）。瞳孔は、それ自体が小さいことと、基本的にどの方向から見ても円もしくは楕円に見えるだけでなく、黒目と違ってまぶたに隠れにくいため、検出対象として優れている。それを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させる提案があり、頭部の動きにより、カーソルを動かすこともできる。

また最近、瞳孔検出技術を利用して、乗用車，トラックの運転の視線を検出したり、眠気を検知したり、余所見運転を検出したいという要望もある。その際に、直射日光が顔面に当たるような劣悪な状況下においても瞳孔が安定に検出できることが望まれている。
特願２００４−７３９９８特開２００４−２６１５９８特表２００２−５１３１７６特開平１１−５６７８２「多光源による瞳孔検出と追跡（Pupil detection andtracking using multiple light sources ）」，著者Ｃ．Ｈ．モリモト他（C.H. Morimoto, D. Koons,A. Amir, M. Flickner），イメージおよびビジョンのコンピューティング１８（２０００）３３１−３３５（Image and VisionComputing 18 (2000) 331-335）

明瞳孔検出において予想される問題を検討する。瞳孔の検出における光源と瞳孔の関係の一つとして赤眼現象（明瞳孔現象）が知られており、この現象は瞳孔検出に利用されている（特許文献１）。
図１は明瞳孔が観察されないカメラＣ，光源Ｌ，眼球ＥＢの位置関係の一例を示す光路図である。光源Ｌから瞳孔に入射する光束を図中１と２で示したラインで示してある。光源ＬはカメラＣの開口部（レンズの有効径）から外れた位置にある。
被験者の目は屈折力を持っており、今、目の焦点が光源Ｌの位置に一致しているとすると、瞳孔に入射した光束の通る領域の端は１' と２' のラインのように示すことができ、光源の像が網膜上に焦点を結び、網膜上に点のスポットを作る。網膜上では、乱反射をし、いろいろな方向に反射するが、その一部は、瞳孔を通り１'−１と２’−２の経路内を戻る（斜線部）。このとき、網膜上のスポットから発生した光は、光源の位置に焦点を結び、光源Ｌに大きさが無いと仮定すれば、光源位置を通り過ぎて再び広がる。この目から戻ってきた光はカメラの開口部には入射しないため、カメラからは瞳孔は暗く写る。

図２には、目の焦点が光源よりも先に合っている場合（遠視状態）を示している。
この場合、瞳孔に入射した光は、網膜よりも後ろに焦点を結ぶため、網膜上ではピントのずれた大きなスポットとして映る。スポットからの光は網膜を出て目の焦点位置で焦点を結び、１→１’の経路と２→２’の経路の範囲（斜線部）を通る。この経路は、網膜上のスポットが点光源の集まりであると考え、目の焦点位置を考慮すると理解できる。この場合も、瞳孔から戻った光はカメラには入射しない。

逆に、図３が示すように、光源の手前に目の焦点が位置した場合（近視状態）、網膜を通り抜けた光源からの光は、網膜の手前で焦点を結び、網膜上では大きさを持つスポットを作る。スポットからの乱反射光のうち瞳孔を通り抜けた光は、図中斜線部の範囲を通る。この場合も、網膜からの反射光はカメラの開口部に入射しないため、カメラからは瞳孔は暗い部分として映る。

今、図４のように光源をカメラの開口部の近くに配置すると、網膜からの反射光の一部はカメラの開口部に入射するため、瞳孔は明るく写る。しかし、この図から明らかなように、網膜から反射光に半分以上はカメラの開口部に入射しないため、瞳孔を光らせて瞳孔を検出しようとする場合は、非効率的である。

これまでは、瞳孔が大きいとき（一般に最大直径８ｍｍ）であり、瞳孔が小さいとき（一般に最小直径は２ｍｍ）は、図５のような光の経路となる。瞳孔が小さいと、そもそも瞳孔を通り抜ける光量も小さくなり（瞳孔面積と瞳孔輝度は比例する。）、瞳孔輝度は低くなるため、瞳孔が極端に検出しづらくなる。また、単に瞳孔が小さくなるために、画像処理による眼鏡反射の残骸と区別しにくく、誤検出につながる。さらに、実際には光源にも大きさがあり、光源から開口部にはどうしてもある程度の距離が必要となる。そのため、カメラ開口部に戻る光の量は極端に少なくなる。
言い換えると、瞳孔が大きいときは、光源がカメラ開口部から比較的離れていても瞳孔は光りやすいが、瞳孔が小さいときは、カメラの開口部に極力近い、究極的には開口部内に存在しないと明るくなりにくい。図６に示すように、光源をカメラの光軸に一致させると明瞳孔が得られることになるが、撮像の障害となる。

前出の特許文献４では、明瞳孔（ブライトアイ）画像を得るために、カメラ開口部の中央に光源を設置する方法が提案されているが、この場合も、光源自体に大きさがあり、光源の中央だけが明るいような場合は、やはり光源と開口部には実質上、距離があることになり、瞳孔は明るくなりにくい。また、カメラ開口部内に光源を設置する方法の最も大きな問題は、カメラの拡大率を小さくした場合、たとえば、８０ｃｍ先の顔の全体が十分に映る程度の拡大率にカメラレンズを選ぶと、光源自体が黒抜きとして映ってしまい瞳孔検出の妨害となる。

本発明の目的は、被験者の周囲光が強く瞳孔の検出に適さない環境下においても、確実に瞳孔の検出を可能にする瞳孔検出装置及び瞳孔検出方法を提供することにある。

前記目的を達成するために、本発明による請求項１記載の瞳孔検出装置は、カメラ，光源，光路形成手段，および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、前記光源は、前記光を前記カメラの開口部内から照射可能に設けられ、被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源を含み、独立した第１の照明光源と第２の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更して構成され、前記カメラは、前記第１の照明光源による第１の画像データを得る第１の画像データ獲得手段と、前記第２の照明光源による第２の画像データを得る第２の画像データ獲得手段とを含み、前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段である。
また、本発明による請求項２記載の瞳孔検出装置は、カメラ，光源，光路形成手段，および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、前記光源は、前記光を前記カメラの開口部内から照射可能に設けられ、被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源を含み、独立した第１の発光源と第２の発光源をそれぞれの光軸を近接平行に配置しレンズ手段により集光し、さらに前記光路形成手段により近接平行光軸がカメラ手段の光軸に一致するように光路変更して構成され、前記カメラは、前記第１の照明光源による第１の画像データを得る第１の画像データ獲得手段と、前記第２の照明光源による第２の画像データを得る第２の画像データ獲得手段とを含み、前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段である。

本発明による請求項７記載の瞳孔検出方法は、被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、前記光源により、被験者の瞳孔内反射が明瞳孔となる第１の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第１の波長成分と同等の照明効果を呈する第２の波長成分とを、前記カメラの開口部内から照射し、独立した第１の波長成分の光と第２の波長成分の光の光軸を、共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更するステップと、前記カメラにより、前記第１の波長成分による第１の画像データを得るステップと、前記カメラにより、前記第２の波長成分による第２の画像データを得るステップと、前記演算手段により、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出するステップとを備える。
本発明による請求項８記載の瞳孔検出方法は、被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、前記光源により、被験者の瞳孔内反射が明瞳孔となる第１の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第１の波長成分と同等の照明効果を呈する第２の波長成分とを、前記カメラの開口部内から照射し、独立した第１の波長成分の光と第２の波長成分の光をそれぞれの光軸を近接平行に配置して集光し、さらに近接平行光軸がカメラ手段の光軸に一致するように光路変更するステップと、前記カメラにより、前記第１の波長成分による第１の画像データを得るステップと、前記カメラにより、前記第２の波長成分による第２の画像データを得るステップと、前記演算手段により、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出するステップとを備える。

本発明による請求項３記載の瞳孔検出装置は、請求項１又は２記載の瞳孔検出装置において、前記演算手段は前記第１の画像データと前記第２の画像データの差分演算により瞳孔を検出するように構成されている。

本発明による請求項４記載の瞳孔検出装置は、請求項１又は２記載の瞳孔検出装置において、前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されている。

本発明による請求項５記載の瞳孔検出装置は、請求項１又は２記載の瞳孔検出装置において、前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が別々のカメラにより構成されている。

本発明による請求項６記載の瞳孔検出装置は、請求項１〜５記載の瞳孔検出装置において、被験者から一定距離離れ、相互に一定距離離れて配置され、それぞれが瞳孔を検出し、瞳孔の３次元位置を計測するための一組の瞳孔検出装置である。

本発明による請求項１，２記載の瞳孔検出装置及び請求項７，８記載の瞳孔検出方法によれば、確実な瞳孔の検出が可能になる。

本発明による請求項１記載の瞳孔検出装置によれば、前記光源は、独立した第１の照明光源と第２の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更されるから、良好な照明効果が得られる。

本発明による請求項２記載の瞳孔検出装置によれば、より小形の照明光源で良好な照明効果が得られる。

本発明による請求項３記載の瞳孔検出装置によれば、前記演算手段は前記第１の画像データと前記第２の画像データの差分演算により瞳孔像のみを良好に取り出すことができる。

本発明による請求項４記載の瞳孔検出装置によれば、前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されており、装置の小形化が図られる。

本発明による請求項５記載の瞳孔検出装置によれば、前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が別々のカメラにより構成されており確実な瞳孔検出が可能となる。

本発明による請求項６記載の瞳孔検出装置によれば、距離計方式により、瞳孔の３次元位置を計測するための一組の瞳孔検出装置が提供される。

以下図面等を参照して、先ず、本発明の原理を従来の技術と対比しながら説明する。
図７，８は、本発明における明瞳孔検出の原理を説明するための説明図である。
図７に示すようにハーフミラーＭを介して光源の光を目に照射し、網膜の反射光を光源自体に妨害されないようにして、カメラの開口部に入射させる。この例は近視状態の場合を示している。図８の例では、無限遠に目の焦点がある場合を示している。これらの例のように、瞳孔面積が小さいときでも、また、目の焦点がどこに合っていても、網膜反射光はカメラの開口部に入射するようになる。
小さな瞳孔において明瞳孔画像を得るためには、光源をカメラ開口部内に設置するのが望ましいが、暗瞳孔画像を得るためにはカメラ開口部からできるだけ離れたところに設置するほうが効果的である。しかし、一方で、明瞳孔画像を得るための光源と暗瞳孔画像を得るための光源が離れていると、前述のように眼鏡反射光や眼鏡フレーム反射光が両画像間で異なる位置に映るために、画像差分によって除去しにくい。また、顔表面においても両者間で輝度差が生じやすい。さらに、顔と背景の境界では、片方の照明においては明るく、もう片方では影になり暗いなどの違いが生じるため、やはり検出がし難くなる。

したがって、本発明では、光源の位置が同じでも瞳孔の部分だけに輝度差を生じさせるために、異なる波長成分の２種類の光源を用いる。
第１の照明光源は、被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含むものであり、第２の照明光源は、被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈するものである。
なお、前述した特許文献３記載の発明（特表２００２−５１３１７６）で述べられているように、８５０ｎｍと９５０ｎｍの波長では、網膜反射の反射率が異なるため、基本的に８５０ｎｍを中心波長としたＬＥＤと９５０ｎｍを中心波長としたＬＥＤを少なくとも２種類用いる（これらの中心波長は、これらに限定するものではない。９５０ｎｍの代わりに９３０ｎｍや９７０ｎｍなどでもよいし、８５０ｎｍに代わりに８３０ｎｍや８８０ｎｍなどでも良い。およそ９００ｎｍを境に網膜の反射率が大きく変化することを利用する。ただし、８５０ｎｍ未満の中心波長のＬＥＤでは、発光源そのものが光って見えるため、用途によっては望ましくない）。

したがって、上記の明瞳孔と上記の暗瞳孔は、周囲の明るさにより必ずしも瞳孔以外の部分より明るいもしくは暗いという意味ではなく、相対的に明瞳孔が暗瞳孔に比べて明るいということを意味している。

上述の２種類のＬＥＤ発光源を、等価的に同じ位置になるように、しかもできるだけ開口部内に光源が収まるように設置する。そのようにすることにより、カメラ画像内に映る眼鏡反射は、どちらの波長の発光源が点灯しても同様に見える。さらに、９００ｎｍより短い波長の発光源（短波長光源）のほうが９００ｎｍより長い波長の発光源（長波長光源）よりも瞳孔が明るく映る。もちろん、カメラの感度も波長によって感度が異なるため、予め、それぞれの発光源に流す電流量を調整して、瞳孔以外の部分の輝度のバランスを取っておくのが理想である。このようにすることによって、差分画像においては、瞳孔のみが浮き上がり、検出しやすくなる。眼鏡レンズ前面、裏面、もしくは、フレームでの反射光についても同様で、光源の位置が同じと見なせるために、打ち消しあって消去される。

ここで、前述の特許文献３記載の方法との相違点を簡単に説明しておく。前記方法ではカメラの開口部外に光源を並べているため、小さい瞳孔の検出が困難である。本発明では、基本的にカメラの開口部内に光源を並べている（カメラ開口部からはみ出てはいけないという意味ではない）。したがって、小さい瞳孔でも明瞳孔にすることが可能であり、瞳孔が検出できる。また前記方法では、波長の異なる光源は、物理的位置が別々に並べてあるので、差分をしただけでは光源の眼鏡反射が取り除きにくい。本発明では、後述するように、異なる光源を同じ位置に設置するため、差分をすると眼鏡反射が自動的に取り除け、瞳孔が検出しやすい。

前述した特許文献２記載の方法（特開２００４−２６１５９８）も、明瞳孔と暗瞳孔の検出に係るものである。この方法では２つの波長が同じ、もしくは異なる光源のうち一方をカメラの光軸近くに設置し、もう一方を光軸から遠くに設置している。
波長が同じ場合には時分割、波長が異なる場合は波長分離により、２つの画像を作り、それらの差分画像から瞳孔を検出しているが、この場合も、差分をする２つの画像における眼鏡反射の位置が異なるため、眼鏡反射除去が難しい。
これに対して本発明では、２つの波長の光源を基本的に共に開口部内に設置し、しかも差分する２つの画像において互いに眼鏡反射光が打ち消し合うように等価的に２つの波長の光源を同じ位置に設置する。
この手法では、瞳孔の動きが素早い場合において瞳孔中心を正確に検出したい場合などは波長分離で行ない、そうでない場合は時分割を使用しても良い。

（光源の具体例）図９に示すように、２種類のＬ1 用，Ｌ2 用発光源（ＬＥＤ）１，２をできるだけそれぞれの光軸が近接して平行になるように設置し、２種類の光の指向性がほぼ同じになるように１つ弾丸形モールド（集光レンズ）にパッケージングしたものを利用する。これにより、被写体における発光方向から見た光源（モールド）は、どちらの発光源が光っても同様の輝度分布を持つ。

したがって、これらの光源で照明された被験者の他の部分の反射光、例えば被験者の眼鏡の反射は、極めて類似した反射光であるから、これをカメラで撮影した画像中の眼鏡反射などは、画像差分により極めて効率良く取り除かれる。

図９に示したものと同様な特性の光源を、他の光学系を利用しても得ることができる。例えば
イ）凹面反射を利用しても同様な光学特性を得ることができる。
ロ）また、Ｙ分岐光ファイバを用いることもできる。分岐ファイバの分岐の片方から２種類のうちの短波長のＬＥＤの光を入射させ、もう片方から長波長のＬＥＤの光を入射させ、これにより、２種類の波長の光を混合し、集光レンズにてカメラの被写角（画角）にあわせて顔に光を照射させることもできる。
ハ）さらに、図１６のように、２種類の光源Ｌ1 ，Ｌ2 にダイクロイックミラーＭを利用して、例えば長波長光源からの光のほとんどは反射させ、また、短波長光源からの光のほとんどを透過させることによって、効率よく両者の光を目に照射することができる。場合によってハーフミラーＭでも可能である。
その場合、カメラＣのイメージセンサの波長−感度曲線や光源のパワーなどを考慮して、両者のバランスを取るように、ハーフミラーＭの反射対透過比を適当に選べばよい。このようにして合成された光を図１３に示すようにカメラＣの光軸に平行になるようにハーフミラーＭ等で導入する。
（瞳孔検出の第１の実施形態）

図１０は、本発明による瞳孔検出の第１の実施形態の第１の配置例を示す光路図である。
中心波長が８５０ｎｍと９５０ｎｍの発光源を持つ光源Ｌ12によりハーフミラーＭを介して被験者の眼球ＥＢに２波長の近赤外光を照射する。この光源L12の光軸とカメラＣの光軸とがほぼ一致するように、ハーフミラーＭ及び光源L12が配置される。
ただし、先述のように約９００ｎｍを挟んで、短い波長と長い波長の組み合わせであればよく、前述した特定の波長に限らない。
網膜からの反射光をハーフミラーもしくは約９００ｎｍで波長分離するためのダイクロイックミラーＭを介してカメラＣに入射させる。
ここで、ハーフミラーＭを使用する場合は、各カメラＣ1 ，Ｃ2 に発光源とそれぞれ同じ中心波長を持つ帯域通過フィルタＦ1 ，Ｆ2 を配置する。帯域通過フィルタを用いない場合は遮断波長が約９００ｎｍである低域通過フィルタＦと高域通過フィルタＦをカメラの前に配置する。なお中心波長が異なる２つの光をできるだけ分離する。

２台のカメラＣ1，Ｃ2 により得られる画像を差分した後に瞳孔を検出する。このとき、外部光（環境光）をできるだけカットするため、また頭部の動きなどによって移動する瞳孔の動きによる瞳孔画像のブレを極力減らすために、図１１に示すように、２台のビデオカメラのシャッターを１フレームに付き、短時間（例えば、０．１ｍｓ）だけ開き、その間だけ光源を点灯させる方法が有効である。

最も簡易な実現方法の１つとしては、パソコンに多チャンネルの画像入力ボードを挿入し、ビデオカメラにはプログレッシブカメラを使用する。発振器等により周期的な外部トリガー信号を画像入力ボードに入力する。その信号に従って、画像入力ボードからカメラに対して露光信号を出力させる。同じ信号を、２波長光源を点灯させるための信号として使用する。光源の点灯時間を短くすることにより、点灯時の電流量を極端に増やすことができ、シャッタが開いている期間における、外部光による光量に対する光源による光量の比を大きくでき、結果的に外部光（環境光）の影響を大幅に削減できる。

図１３は、本発明による瞳孔検出の第１の実施形態の第２の配置例を示す光路図である。この第２の配置例は、カメラ１台で構成してある。その場合、図１５に示すように、カメラに用いるイメージセンサ上に、画素にフィットするようにストライプ状に異なる中心波長の帯域通過フィルタを覆う。ここでは、縦縞のフィルタを示しているが、横縞でも良いし、あるいは格子状でもよい。どの場合も、近隣の異なる中心波長の帯域通過フィルタに覆われている画素間で画像差分を行い、輝度差の大きい部分として瞳孔を検出する。
なお、ここで帯域通過フィルタの代わりに、約９００ｎｍを遮断波長とする高域通過フィルタと低域通過フィルタに置き換えてもよい。ただし、その場合、環境光の影響を削減するためにカメラ開口部に可視光遮断フィルタあるいは約８００ｎｍ〜約１０００ｎｍを通過させる広域の帯域通過フィルタを取り付けるのが望ましい。

図１７は、本発明による瞳孔検出の第１の実施形態の第３の配置例を示す光路図である。対物レンズ１９、レンズ１８、ミラーＭ_１，Ｍ_２は光路形成手段を形成する。第１のカメラは、短波長（850nm）付近に中心波長を有するバンドパスフィルタＦ_１、レンズ１３、及びイメージセンサＣ_１により構成され、第２のカメラは、長波長（950nm）付近に中心波長を有するバンドパスフィルタＦ_２、レンズ１４、及びイメージセンサＣ_２により構成される。ミラーＭ_１は、ハーフミラー又はダイクロイックミラーであり、２つのカメラの光軸上に配置されることにより、外見上２つのカメラの光軸がほぼ一致することを可能にするものである。レンズ１９の前面には、２つのカメラの共通の開口部が形成されている。また、対物レンズ１９の被験者側には照明光源結合用のハーフミラーＭ_２が設けられている。

光源２１は、複数の発光素子２１ａ〜２１ｄ、分岐ファイバ２３ａ〜２３ｄ、及び結合部２４から構成されている。この発光素子２１ａ〜２１ｄは、２つが長波長用ＬＥＤ、残りの２つが短波長用ＬＥＤであり、それぞれが、分岐ファイバ２３ａ〜２３ｄにより結合部２４に光学的に接続されている。ここで、光源２１を構成する発光素子２１ａ〜２１ｄとしては、一般的には短波長光源のほうが発光パワーが高い傾向にあるので、１つが短波長用で残りの３つが長波長用であってもよい。

４つの発光素子２１ａ〜２１ｄが発光すると、２つの波長成分の光が結合部２４において合成されてハーフミラーＭ_２に向けて入射する。その結果、２つの波長成分の光が、ハーフミラーＭ_２によって、カメラの開口部内で共通の光軸をカメラの光軸にほぼ一致するように保った状態で、被験者の顔に向けて反射される。すなわち、顔の方から見ると合成された光は、カメラの共通光軸を含む開口部内から照射されることになる。これらの照明による明瞳孔像を含む顔の像と、暗瞳孔像を含む顔の像は、ハーフミラーＭ_２、レンズ１９、及びレンズ１８を透過した後にミラーＭ_１により分離される。そして、短波長成分を含む光は、バンドパスフィルタＦ_１を透過して、レンズ１３により短波長用イメージセンサＣ_１上に結像される。一方、ミラーＭ_１により反射分離された長波長成分を含む光は、バンドパスフィルタＦ_２を透過して、レンズ１４により長波長用イメージセンサＣ_２上に結像される。

さらに、何らかの理由により、帯域通過フィルタやダイクロイックミラーを使用したくない場合には、最も簡易な実現法の１つとして、図１２に示すように、１台のパソコンに２台の画像入力ボードを挿入し、両ボードに外部トリガー信号を周期的に入力し、片方の画像入力ボードに遅延を設けることにより２台のカメラの露光期間をずらし、同時に２波長の光源のそれぞれの発光源の発光タイミングをずらす方法が考えられる。もし、露光時間が１ｍｓ未満程度であれば、画像差分を行なうカメラの露光のタイミングのずれは最大で２ｍｓであるので、瞳孔の動きによるぶれはほとんど無視ができ、瞳孔中心なども正確に検出できる。もちろん、上述のように画像入力ボードに遅延を設けずに、２台の画像入力ボードにはじめから時間差を設けた外部トリガー信号を時間的にずらして入力してもよい。なお、画像差分は差分を行なうペアの２画像の両方が取得された時点で行なうこともできるし、遅れて取得されるほうのビデオ信号がパソコンに転送され次第、できるだけ早期に差分をする方法も考えられる。このように、いずれにしても、露光、ビデオ出力共に時間的にずらして（非同期）、画像差分を行なう２画像を取得する。
（瞳孔検出の第２の実施形態）

瞳孔の動きにブレが気にならない用途には、必ずしも２波長を分離する必要はない。
図１３に示すように、２波長ＬＥＤ（Ｌ12）中の２つの波長の発光源をカメラ１台の前においたハーフミラーＭを介して、２波長光源の各波長の発光源を、フレームごとあるいは、例えばNTSC方式（飛び越し走査方式）のカメラであればフィールド毎に交互に点灯させ、目に光を照射し、各発光源照射により得られた時間的に隣り合う画像を差分した後に瞳孔像を画像処理により検出する。
最も簡易な実現方法の１つは、図１１に示した露光信号と、画像入力ボードから出力する発光源選択のための信号とから、図１４に示した回路を用いて、各発光源を交互に点灯させるための露光信号を新たに作ればよい。なお、発光源選択信号は、ビデオの垂直同期信号や画像入力ボードからの露光信号などをＤフリップフロップに入力し、その出力を用いることもできる。（Ｄフリップフロップ出力は、入力信号の立ち上がり、または立ち下がりのタイミングで、ハイレベルとローレベルを交互に繰り返す。）

なお、ここでも、環境光の影響を削減するためにカメラ開口部に可視光遮断フィルタあるいは約８００ｎｍ〜約１０００ｎｍを通過させる広域の帯域通過フィルタを取り付けるのが望ましい。

このように、本発明の瞳孔検出装置は、必ずしも２台のカメラを必要としない。例えば、図１７に示す配置例において、レンズ１９の前面に約８００ｎｍ〜約１０００ｎｍを通過させる広域の帯域通過フィルタ、又は８５０ｎｍ付近と９５０ｎｍ付近とを通過させる帯域通過フィルタを設け、２つのイメージセンサＣ_１，Ｃ_２の代わりに、レンズ１８とレンズ１９との中間位置にＮＴＳＣ方式やＰＡＬ方式のような飛び越し走査（インターレーススキャン）のイメージセンサ（カメラ）を固定してもよいし、ノンインターレーススキャンのイメージセンサ（カメラ）を固定してよい。インターレーススキャンの場合、光源２１ａ〜２１ｄのうちの長波長用光源と短波長用光源とを、イメージセンサの画像信号中の奇数フィールド及び偶数フィールドの発生タイミングに交互に同期して発光させることにより、明瞳孔像及び暗瞳孔像を分離して得ることができ、得られた奇数ラインの画素とその奇数ラインに隣接する偶数ラインの画素とを差分することにより瞳孔を検出する。ノンインターレーススキャンの場合は、光源２１ａ〜２１ｄのうちの長波長用光源と短波長用光源とを、イメージセンサのフレームに同期させて交互に発光させることにより、明瞳孔像及び暗瞳孔像を分離して得ることができ、得られた隣り合う時間に得られたフレーム間の対応する画素どうしを差分することにより瞳孔を検出する。なお、どちらの場合にも、瞳孔検出の精度を上げるためには、このイメージセンサのシャッタースピードを0.1ms〜1ms程度に設定し、そのシャッタータイミングに合わせて光源２１ａ〜２１ｄを発光させることが好適である。
（瞳孔検出と瞳孔の３次元位置計測を行なう第３の実施形態）

被験者の視線を高精度に検出するためには、瞳孔の３次元位置情報は重要である。また、被験者がどこから見ているかがわかるため、瞳孔の３次元位置は、ヒューマンインターフェースの分野で重要な情報源である。
瞳孔の３次元位置計測にはステレオ計測をするのが一般的である。したがって、図１０、図１３、図１７等で示した光学系を２系統以上必要とする。具体的には、このような光学系を有する２系統の瞳孔検出装置を、被験者に対向して一定距離離れて、且つ、相互にも一定距離離れた位置に配置する。そして、それぞれの瞳孔検出装置によって検出された瞳孔の２次元位置に基づいてステレオ計測により瞳孔の３次元位置が計測可能に構成される。

なお、元来、光源自体も不可視のＬＥＤを使用するとし、また、カメラが使用に耐えられる感度を持つ波長領域となると、中心波長にして８５０ｎｍ〜９５０ｎｍの範囲である。このような状況下の中で、２系統以上の各光学系において２波長ずつ使用した上で、２系統以上を光学的に分離するには、かなり狭帯域の帯域通過フィルタが必要であり、光学フィルタによる分離は非常に困難である。したがって、時分割手法を選ぶのが相応しい。ただし、各系統における２つの中心波長の発光源は同時に発光させ、波長分離をしてもよい。
その場合、図１０及び図１７で示した２台のカメラを使用した光学系、もしくは、図１３において図１５に示したような、隣り合う画素に中心波長がそれぞれ850nm及び950nmの帯域通過フィルタを取り付けたイメージセンサを用いたカメラを１台使用した光学系においては、２系統以上の光学系のそれぞれに取り付けられている２波長光源の２種類の中心波長の光源は同時に発光させた上で、系統ごとに時間的に僅かずつずらして発光させ、発光と同時に各光源が取り付けてあるカメラのシャッタを開けばよい。

本発明による瞳孔検出装置によれば、瞳孔の検出が正確にできる。これを利用して、瞳孔の移動量をパソコン画面上のカーソル移動に対応させるヒューマンインターフェイスの開発の分野に利用することができる。また照明環境の極端に異なる所でも瞳孔検出が可能であるから、乗用車，トラックの運転者の視線を検出したり、眠気を検知したり、余所見運転を検出する運転援助の機器開発の産業分野にも利用できる。

明瞳孔が検出され難い理由を説明するための眼球，光源，カメラの位置関係を示す説明図である。遠視状態における図１と同趣の説明図である。近視状態における図１と同趣の説明図である。光源をカメラの開口近くに配置した状態における図１と同趣の説明図である。瞳孔が小さいときの問題を説明するための図１と同趣の説明図である。瞳孔が小さく、かつ光源がカメラの開口内に配置されている場合における問題を説明するための図１と同趣の説明図である。本発明における明瞳孔検出の原理を説明するための説明図である。本発明における明瞳孔検出の原理を説明するためのさらに他の説明図である。本発明による瞳孔検出装置で用いる第１，第２の照明光源の具体例を示す図である。本発明による瞳孔検出装置を示す光路図である。照明光源とカメラの出力タイミングを示すタイムチャートである。照明光源とカメラの出力タイミングを示す他のタイムチャートである。本発明による他の瞳孔検出装置を示す光路図である。光源選択信号と露光期間のタイミング発生回路を示す回路図である。カメラのイメージセンサを示す図である。本発明による瞳孔検出装置で用いる第１，第２の照明光源のさらに他の具体例を示す図である。本発明による他の瞳孔検出装置を示す光路図である。

符号の説明

Ｌ（Ｌ1 ，Ｌ2 ，Ｌ12），２１ａ〜２１ｄ…光源、Ｃ（Ｃ1 ，Ｃ2）…カメラ、ＥＢ…眼球、Ｍ，Ｍ_１，Ｍ_２…（ダイクロイック，ハーフ）ミラー、Ｆ（Ｆ1 ，Ｆ2 ）…フィルタ。

Claims

カメラ，光源，光路形成手段，および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
前記光を前記カメラの開口部内から照射可能に設けられ、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源を含み、
独立した第１の照明光源と第２の照明光源の光軸を、前記光路形成手段により共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更して構成され、
前記カメラは、
前記第１の照明光源による第１の画像データを得る第１の画像データ獲得手段と、
前記第２の照明光源による第２の画像データを得る第２の画像データ獲得手段とを含み、
前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段である瞳孔検出装置。
カメラ，光源，光路形成手段，および演算手段を含み、前記光路形成手段が、被験者の顔面に前記光源からの光を照射し、且つ、前記被験者の瞳孔を含む顔面の像を前記カメラに結像可能に構成され、前記カメラに結像されることにより得られた画像を演算して瞳孔を検出する瞳孔検出装置であって、
前記光源は、
前記光を前記カメラの開口部内から照射可能に設けられ、
被験者の瞳孔内反射が明瞳孔となる第１の波長成分を含む第１の照明光源と、
被験者の瞳孔内反射が暗瞳孔となる第２の波長成分を含み、瞳孔以外については前記第１の照明光源と同等の照明効果を呈する第２の照明光源を含み、
独立した第１の発光源と第２の発光源をそれぞれの光軸を近接平行に配置しレンズ手段により集光し、さらに前記光路形成手段により近接平行光軸がカメラ手段の光軸に一致するように光路変更して構成され、
前記カメラは、
前記第１の照明光源による第１の画像データを得る第１の画像データ獲得手段と、
前記第２の照明光源による第２の画像データを得る第２の画像データ獲得手段とを含み、
前記演算手段は、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出する手段である瞳孔検出装置。
前記演算手段は前記第１の画像データと前記第２の画像データの差分演算により瞳孔を検出するように構成されている請求項１又は２記載の瞳孔検出装置。
前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が単一のカメラの同一のイメージセンサの画素群を分割して構成されている請求項１又は２記載の瞳孔検出装置。
前記カメラ手段は、前記第１の画像データ獲得手段と前記第２の画像データ獲得手段が別々のカメラにより構成されている請求項１又は２記載の瞳孔検出装置。
被験者から一定距離離れ、相互に一定距離離れて配置され、それぞれが瞳孔を検出し、瞳孔の３次元位置を計測するための請求項１〜５記載の一組の瞳孔検出装置。
被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、
前記光源により、被験者の瞳孔内反射が明瞳孔となる第１の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第１の波長成分と同等の照明効果を呈する第２の波長成分とを、前記カメラの開口部内から照射し、独立した第１の波長成分の光と第２の波長成分の光の光軸を、共通の光軸を保つように合成し、さらに前記共通の光軸がカメラ手段の光軸に一致するように光路変更するステップと、
前記カメラにより、前記第１の波長成分による第１の画像データを得るステップと、
前記カメラにより、前記第２の波長成分による第２の画像データを得るステップと、
前記演算手段により、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出するステップと、
を備える瞳孔検出方法。
被験者の顔面に光源から光を照射することによって、前記被験者の瞳孔を含む顔面の像をカメラに結像させた後、前記カメラに結像させることにより得られた画像を、演算手段により演算して瞳孔を検出する瞳孔検出方法であって、
前記光源により、被験者の瞳孔内反射が明瞳孔となる第１の波長成分と、被験者の瞳孔内反射が暗瞳孔となり、瞳孔以外については前記第１の波長成分と同等の照明効果を呈する第２の波長成分とを、前記カメラの開口部内から照射し、独立した第１の波長成分の光と第２の波長成分の光をそれぞれの光軸を近接平行に配置して集光し、さらに近接平行光軸がカメラ手段の光軸に一致するように光路変更するステップと、
前記カメラにより、前記第１の波長成分による第１の画像データを得るステップと、
前記カメラにより、前記第２の波長成分による第２の画像データを得るステップと、
前記演算手段により、前記第１の画像データと前記第２の画像データを演算処理して瞳孔を検出するステップと、
を備える瞳孔検出方法。