JP4839432B2

JP4839432B2 - 瞳孔位置検出によるポインティング装置及び方法

Info

Publication number: JP4839432B2
Application number: JP2003419110A
Authority: JP
Inventors: 嘉伸海老澤
Original assignee: Shizuoka University NUC
Current assignee: Shizuoka University NUC
Priority date: 2003-12-17
Filing date: 2003-12-17
Publication date: 2011-12-21
Anticipated expiration: 2023-12-17
Also published as: JP2005182247A

Description

本発明は、コンピュータにおける入力装置としてのマウスに代替できるポインティング装置に関する。

従来方式と問題点：
これまでに視点(ユーザの視線方向)によるポインティングが種々提案されている(たとえば、Webアドレスの http://www.ericainc.com/ （Human-computer interaction using eye-gaze input.pdf），http://www.eyegaze.com/など参照）。
しかし、視点によって、ポインティングする場合は、表示装置上のポインティングしたい場所へ視点を動かさなければならないが、見るべき位置を探索している間も、カーソルが視点の位置に常に現れるため、カーソルを移動させたい位置にカーソルを移動させにくいという問題がある。また、視点位置にいつもカーソルが提示されることにより、それが視覚刺激となり、見たい対象が見にくいなどの問題がある。

頭部の運動によれば、見ているところとカーソルのでる位置は異なり、しかも、前方の表示装置上の必要なところに視線を向けながらも、周辺視でカーソルを見ながら目的の位置にカーソルを動かすことができる。
従来の頭部の動きによるポインティングシステムの例：
・Eagle eye (非特許文献１及びWebアドレス http://www.cs.bc.edu/~gips/CM/ を参照)
Eagle eyeは、パソコンの横にビデオカメラを設置し、顔の画像を撮影しながら、画像処理により、予め指定する顔の一部をテンプレートマッチングにより追尾し、その動きに応じて、パソコン画面上のカーソルを動かす方式である。追尾対象としては、鼻の先、あごの先、黒眼などをためしている。しかし、テンプレートを更新しても、急減な周囲の明るさの変化などに対応しにくい可能性があり、また、追尾すべき対象が徐々にずれていくなどの問題も発生しやすい。
・Origin Instruments Corporation (Webアドレス http://www.orin.com/access/ を参照)
Origin Instruments の方式では、一種のステレオカメラで、頭に取り付けたマーカの動きを検出して、それに合わせて、カーソルを動かすものである。これの問題点は、マーカをいちいち取り付けなければならないことである。このため一般には使用しにくい。

・顔の額などにシールでできたマーカを取り付け、ビデオカメラの横に設置した赤外光源により顔を照らし、マーカを検出し、頭部の動きによって動くマーカの２次元位置を検出して、パソコン画面上のカーソルを動かす方式がある。これの問題点は、マーカを顔に取り付けなければならない点である。
・磁気センサを利用した方式：これは頭部に磁気センサを取り付ける必要があるので不便である。
・超音波を利用した方式：超音波センサを頭部に取り付ける必要がある。
また、これら先行技術はマウスにおけるクリック相当の操作が行えず、クリック操作のためには別の補助入力装置を用いる必要がある。
"The Camera Mouse：Visual Tracking of Body Features to Provide Computer Access for People With Severe Disabilities", (Margrit Betke, James Gips, and Peter Fleming), IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol.10, No. 1, March 2002

方式の概要：
この発明は、不可視な赤外光源によって顔を照らし、ビデオカメラによって、顔の横幅全体が楽に入る拡大率で撮影し、ビデオカメラによって撮影される画像内の２つもしくは１つの瞳孔を直接検出する方式である。そして頭の動きによって生じる画像内の瞳孔の動きに合わせて、パソコン等のモニター上のカーソルを動かしたり、モニター上に表示されているメニューの選択をしたり、キーボードソフトを利用して文字を入力したり、複数のウインドウを切り替えたりすることができる。また、装置単独でマウスの左右ボタンの押下に相当する信号を発生することができ、他のクリック操作用入力補助装置の必要がない。

瞳孔検出には、カメラの光軸に近いところに設置した光源と遠いところに設置した光源をフィールド毎に交互に点灯させ、瞳孔の明るい画像と暗い画像を得て、画像差分演算を行なう。このことで、瞳孔検出を容易にする。
瞳孔の明るい画像と暗い画像を得る原理は、瞳孔からの反射は、眼球の水晶体から入射した光が網膜により反射して概ね元の光源に返ってくる現象に基づくものであり、この光軸を外れた位置で観察しても、反射光を認めることはできないとの知見に基づくものである。

システム構成：
図１にシステム全体の構成を示す。
カメラ１は、近赤外線に感度を持つ汎用のCCDビデオカメラであり、カメラ１の開口部(光の通る部分)の近くに１つの光源２、そして、カメラの開口部から離れたところにもう一つの光源３を設ける。カメラ１、光源２及び光源３は制御装置４に接続される。制御装置４はモニタ６を有すパーソナルコンピュータ(以下「パソコン」という)５に接続されている。接続インタフェースは、制御装置をＰＣＩスロットに挿入する場合にはＰＣＩバス・インタフェースによるものとし、外部アダプタとする場合にはＵＳＢインタフェースによるものが好ましい。
さらには、パソコンそのものを制御装置として用いることも可能であり、その場合には、光源の照射(点滅)制御部分を分離して外部に設けることも考えられる。
所望により制御装置の制御機能を分割し、ソフトウエアで実行する部分、ハードウエアで実行する部分、パソコン自体で実行する部分、ＰＣＩボードで実行する部分など、適宜機能分散することが可能であることは、当業者であれば理解できよう。

対象者(ユーザ)７に対し、カメラ近傍の光源２と離れた光源３とを交互に発光させて、その瞳孔からの反射画像をカメラ１で撮像する。光源２による画像と、光源３による画像との差分を制御装置４で演算し、得られた瞳孔位置の変化をＵＳＢインタフェースにより、パソコン５に転送する。パソコン５においては、制御装置４からの信号をポインティングデバイスの一種であるマウスと同等であるものと見なして、モニタ６上に表示されたカーソル８の位置を制御する。
また、制御装置４は片目のみを閉じる動作を検出し、左右ボタンの押下に相当する信号を発生する。
ここで制御装置は光源の発光を制御するものとしたが、光源の発光・消灯に同期して画像信号を取り込むことができるものであれば動作上に支障はなく、たとえば商用周波数に同期して点滅する光源と、同じく商用周波数に同期して画像を取り込む制御装置とにより構成することが可能である。

このカメラ１、近傍の光源２、離れた光源３及び制御装置４により構成されるシステムは、通常のパソコン用マウスと同等の機能を有する。したがって、普通のマウスのように、移動の方向やスピード、２つのボタンなどに相当する信号を、全く同じ形式で出力することが好ましい。なお、この瞳孔マウスと普通のマウスは併用ができる。本システムをＵＳＢケーブルなどを介して、ごく普通に、別のパソコンに接続する。したがって、パソコンにとっては、通常のマウスと同等に見えることになる。同時に通常のマウスを同じパソコンに接続すれば、本システムとマウスが併用できる。
ここでは，接続インタフェースをＵＳＢとして例示したが、これに限ることなくＰＳ／２，ＲＳ２３２Ｃやパラレルポートなども利用できるものである。

本システムにより、文字入力を行うためには以下に述べるようにソフトウエア・キーボードを用いるものとする。
パソコンの表示画面には、ソフトウエアにより図２のようなキーボード入力ツールを表示する。希望の文字のところにカーソルを持っていき、クリックをすればその文字が、Word(商標)など一般のアプリケーションソフトに入力される(Webアドレス http://orin.com/access/softype/index.htm を参照)。このキーボード入力ツール以外のところにカーソルを移動させた場合は、ごく普通のマウス操作と同様のことができる。

瞳孔位置検出のシステム構成：
現状では、カメラ１として近赤外線に感度を持つ汎用のCCDビデオカメラを用いる。図１のように、カメラ１の開口部(光の通る部分)の近くに１つの光源２、そして、カメラの開口部から離れたところにもう一つの光源３を設ける。
実際の光源例を２種類、図３に示す。図３(ａ)には、カメラの開口部(レンズ)１０の最近傍領域１２に同心円状に発光ダイオード(ＬＥＤ)１１を配置し、その外周領域１３に同じく同心円状に発光ダイオード１１を配置した例を示している。

図３(ｂ)には、カメラの開口部１０の近傍領域１４に同心円状に発光ダイオード１１を配置し、カメラ開口部１０からやや離隔した位置に円状領域１５を設け発光ダイオード１１を配置した例を示している。これら発光ダイオードの位置は、以下に述べるように、瞳孔からの反射光を得るための照明と、差分演算を行うために必要な顔全体画像を得るための照明であるので、２群の照明光による顔画像に差があることは好ましくなく、また、離れた位置からの照明は瞳孔からの反射光を得るためではないので、適切な位置に配置することが望まれる。

実際に対象者７を撮像した画像を図４に示す。
カメラ１の画像は図４に示すように、基本的に２つの瞳孔がフレームに十分入る大きさに写すものとする。この状態で,カメラの開口に近い光源を光らせると、図４左(a)のように瞳孔が明るく写る（明瞳孔）。一方で,カメラの開口から遠い光源を光らせると、図４中(b)のように瞳孔が暗く写る（暗瞳孔）。ただし、これら２つの画像中に見られる瞳孔中の小さな点は、各光源が角膜表面で反射して映る角膜反射と呼ばれるものである。本方式では、角膜反射は利用しない。

さて、上述の２つの光源をカメラのビデオ信号の奇数、偶数フィールドに同期させて２つの光源を交互に光らせ,明瞳孔と暗瞳孔の画像を交互に得る。それらの画像を差分すると図４右(c)のような画像を得ることができる。この差分画像においては、瞳孔が他の部分（背景）から浮き出るように現れ、比較的簡単に２つの瞳孔を検出できる。

目の開閉情報とマウス信号への対応：
瞳孔移動によるポインティング装置の出力は、通常のマウス信号に対応させるため、マウスの移動量を表す信号、右ボタンの押されているかどうかの情報、左ボタンの押されているかどうかの情報が出力される。
左クリックをしたか、ドラッグをしたかなどの判断は、受け手のパソコンが判断する。なお、受け手のパソコンでは、クリック時間などを調整できるので、本装置では、その点を考慮する必要がない。

基本的に、すばやく左目または右目のウインクをしたときに、それぞれマウスの左クリックまたは右クリックに相当し、左目を閉眼しながら頭部を動かしたとき、ドラッグに相当する。両目を開けながら、頭部を動かしたとき、単にマウスを動かすことに相当する。ただし、注意しなければならないのは、瞬きで両目をつぶった場合である。幸いなことに、２ボタンマウスでは、両方のボタンを押すという動作は必要ないため、両目をつぶったときは瞬きであると判断し、その場合は無視する。

ある程度具体的に表現すると、次のようにまとめられる。
・両目の瞳孔（両瞳孔）が検出されるとき、各瞳孔中心座標の平均座標を計算し、直前のフレームの同座標との変化分に相当する信号を出力。
・左目の瞳孔（左瞳孔）が検出されて、右目の瞳孔（右瞳孔）が検出されないとき、右ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の左瞳孔座標の変化分をカーソル移動に相当する信号として出力。
・右目の瞳孔（右瞳孔）が検出されて、左目の瞳孔（左瞳孔）が検出されないとき、左ボタンが押されたのに相当し、それに対応する信号を出力すると同時に、直前のフレームと現在のフレーム間の右瞳孔座標の変化分をカーソル移動に相当する信号として出力。
・両瞳孔が共に検出されないとき、瞬きが発生したとして、直前のフレームと現在のフレーム間の座標変化信号がゼロであることを示す信号をカーソル移動がゼロであることに相当する信号として出力すると同時に、両ボタンとも押されていないことを示す信号を出力し、両目が現れるのを待つ。

これを図示すると、図５のようになる。図５(ａ)は両瞳孔が検出されているときのカーソルの移動を示している。最初の位置として左瞳孔２０、右瞳孔２２が存在し、顔の移動により左瞳孔２１、右瞳孔２３の位置に移動が検出される。制御装置４において、両瞳孔の初期位置の平均座標を求め、さらに移動後の平均座標を求める。求められた２つの平均座標の差に基づいてカーソル移動信号を発生する。パソコン５はカーソル移動信号に基づき、モニタ上のカーソル２４を新しい位置であるカーソル２５に移動させる。
また、簡略化する場合には両瞳孔の平均座標を求めるのではなく、片方の瞳孔位置検出のみによりカーソル位置を制御してもよい。これは、マウスにおいて右ボタン押下によるドラッグ操作が存在していないため実用上問題が生じないからである。

図５(ｂ)は、一方の瞳孔(左瞳孔)が消滅し、他方の瞳孔(右瞳孔)の移動が検出された場合を示している。左瞳孔２６はこの位置で消滅し、右瞳孔２２は右瞳孔２３に移動したものとして新しい位置が検出される。この場合には、対象者(ユーザ)がカーソルによるドラッグを指示したものと判断し、マウスにおける左ボタンを押下しながらの移動として、制御装置４はカーソル２４の位置からカーソル２５の位置までのドラッグとしての信号を作成する。
ここでは、左瞳孔の消滅がマウスの左ボタン押下に相当し、右瞳孔の消滅がマウスの右ボタンの押下に相当するとしたが、この対応は任意に設定できるものであり、これに限定するものではない。

画像中の２つの瞳孔の検出法と閉眼の検出：
まず輝度情報を利用して瞳孔のおよそのありかを探す。次にその周囲にウインドウを与え、ウインドウ内の輝度ヒストグラムを作る。輝度ヒストグラムには、瞳孔部と背景部を表す２つのピーク(山)が現れる。したがって、適当な方法により、２つのピークの中間の値を閾値とし、２値化する。この閾値決定は自動的に行われる。これから瞳孔部の画素数を計数する。瞳孔画素数は瞳孔面積に対応させて利用する。

さて、もし、閉眼し、画像中に瞳孔がなくなったとき、瞳孔が確かに無くなったと判断するのは困難である。そこで、瞳孔の検出を確実にする意味でも、両眼が開眼しているときに２つの瞳孔を検出したら、カルマンフィルター等の予測モデルを利用して、次のフレームの瞳孔位置を予測し、はじめから予想される瞳孔位置付近にウインドウを与える。そして、そのウインドウ内だけを前述のように自動的に閾値を決定して、瞳孔部を判断して、瞳孔中心を決定する。

ただし、閉眼するとウインドウ内の輝度ヒストグラムが背景の１つのピークしか現れなくなることを利用して閉眼を判断する。もし、片眼だけが閉眼された場合は、閉眼したほうの瞳孔ウインドウだけが解除される。次のフレームでは、前フレームでの開眼しているほうの瞳孔に与えられたウインドウは維持され、その外の画像全体から、瞳孔検出を試みる。そして瞳孔候補として挙げられた位置にウインドウを与え、ウインドウ内の同様に解析して、瞳孔部が存在すると判断された場合は、そこに新たにウインドウが与えられ、閉眼していた目が開眼したと判断される。しかし、瞳孔部が存在しないと判断された場合は、まだ閉眼されているものとし、同様に開眼しているほうの瞳孔ウインドウを維持する。

もし、さらに両目が閉眼した場合には、両方のウインドウが解除される。次のフレームにおいても、画像全体の中から瞳孔候補位置が２つ探される。しかし、それぞれのウインドウの中において、同様の方法により瞳孔が存在の有無を判断する。
２つの瞳孔とも無い（両目が閉じた）と判断されたら、次のフレームにおいて同じ作業を繰り返す。しかし、両目が閉じた場合は単なる瞬きであると判断し、さらに次の両瞳孔が出現するまでの期間は、瞳孔移動はなかったものとする。
片方の瞳孔があると判断された場合は、次のフレームではそちらだけ予測位置にウインドウを与え、もう一つの瞳孔の探索を試みて、無ければ片目が開いたと判断し、あれば両目とも開いたと判断し、次のフレームにおいては両瞳孔にウインドウを与える。

以上のような方法により、２つの瞳孔のそれぞれの有無により、２つの眼の開眼、閉眼を区別し、もし、瞳孔が存在すると判断された場合は、各瞳孔の中心座標を重心法などにより算出する。
以上の処理は、ソフトウエアにより容易に作成可能である。また、ハードウエアとして実現することも可能である。
また、これまでカーソルの移動は瞳孔の移動に比例するかのように述べたが、頭の移動による瞳孔の移動は、特に上下方向においては小さく、瞳孔位置の基準点からのずれを積分することによりカーソル位置を決定する方が好ましい場合も存在するので、このような実施態様を否定するものではない

本装置の用途として、次のようなことが考えられる。
１．首から下が動かない身体障害者が通常のパソコンを操作したり、パソコンを介して介護機器を制御するために利用する。
２．車内でフロントに呈示されたナビゲーションシステムなどをドライバーが前方を見ながら,頭部の回転によって制御できるようにする。
３．通常のパソコン操作などにおいて、キー操作をしながら、マウスカーソルを移動させたり、アクティブウインドウを変更したり、移動する、など、パソコン操作を高速化、効率化させるために利用する。
４．頭部の前後の動きがあまりないとき、画像中の瞳孔の動きから、頭部の左右、上下のおよその動きを検出し、それを利用して、頭部の動きの検出の必要なバーチャルリアリティーなど、特に頭部の動きに合わせてディスプレー上の表示する視覚情報を変化させるために利用する。

システム全体の構成図ソフトウエアによるモニタ上のキーボードの表示例照明光の配置例を表す図瞳孔からの反射像と差分画像を示す画像例瞳孔の移動と消滅に対応するカーソルの移動を示す模式図

符号の説明

１カメラ
２，３光源
４制御装置
５パーソナルコンピュータ
６モニタ
７対象者(ユーザ)
８カーソル
１０カメラの開口部(レンズ)
１１発光ダイオード
１２，１３，１４，１５発光ダイオードが配置される領域
２０〜２３瞳孔
２４，２５カーソル
２６消滅した瞳孔

Claims

対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第１の光源と、
該第１の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第２の光源と、
前記第１及び第２の光源の照射を制御すると共に、前記カメラにより得られる前記第１の光源の照射時の画像と前記第２の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。
対象者の顔面を撮像するカメラと、
該カメラの近傍に配置され近赤外光を照射する第１の光源と、
該第１の光源よりも前記カメラから離隔した位置に配置され近赤外光を照射する第２の光源と、
前記第１及び第２の光源の照射を制御すると共に、前記カメラにより得られる前記第１の光源の照射時の画像と前記第２の光源の照射時の画像との差分を演算して瞳孔の位置を直接検出し、かつ前記カメラにより得られる画像の時系列的な変化から瞳孔の有無を検出して、該瞳孔の位置座標の変化分を直接モニタ上のカーソル移動量に相当する信号として、該瞳孔の有無をカーソル関連のボタン押下信号として外部に出力する制御装置と
からなる瞳孔位置検出によるポインティング装置。
カメラの近傍に配置された第１の光源により対象者の顔面を照射して第１の顔画像を得る段階と、
前記第１の光源よりもカメラから離隔した位置に配置された第２の光源により対象者の顔面を照射して第２の顔画像を得る段階と、
前記第１の顔画像及び前記第２の顔画像の差分を演算して瞳孔の位置を直接検出する段階と、
該瞳孔の位置座標の変化分に直接対応してモニタ上のカーソルの移動量を制御することにより前記モニタ上にカーソルを表示する段階と
からなる瞳孔位置検出によるポインティング方法。