JP4088282B2

JP4088282B2 - コンピュータ入力方法と装置

Info

Publication number: JP4088282B2
Application number: JP2004240649A
Authority: JP
Inventors: 清実中村; 博史高野
Original assignee: Individual
Current assignee: Individual
Priority date: 2004-08-20
Filing date: 2004-08-20
Publication date: 2008-05-21
Anticipated expiration: 2024-08-20
Also published as: JP2006059147A

Description

この発明は、コンピュータ等のディスプレイに表示される画面上の任意の位置をポイントし、さらに処理を実行させるために利用されるポインティングデバイスによるコンピュータ入力方法と装置に関する。

従来、コンピュータ技術やインターネットの発展とともに、コンピュータが一般の家庭でも使われるようになり、それに伴いコンピュータをより快適に使うためのマン・マシン・インターフェースも発達してきた。現在、一般にはコンピュータや通信機等にデータを入力する手段としては、キーボード及びポインティングデバイスが主に用いられている。

ポインティングデバイスは、伝統的な文字入力を基本とするインターフェイスではなく、ボタンやメニューなどのグラフィックスの部品を使って設計されたユーザーインターフェイスであるウインドウシステムなどのＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）に用いられるものである。従って、ポインティングデバイスは、ＧＵＩによる画面上の任意の場所をポイントするために利用される入力手段である。このポインティングデバイスの代表的な機器としてマウスがある。

しかし、マウスの操作は、手足の不自由な人にとっては使い勝手が悪いという問題点があった。このため、従来のマウスの代わりに、８方向のボタンを設けたスイッチボックスにより、ボタン操作でマウスの操作に近い動作をさせるものがある。また、コンピュータ等を使用する使用者の目の動きを利用したコンピュータ入力技術が最近開発されている。

目の動きを検出する方法としては、赤外線を眼球にあて開眼時と閉眼時の赤外線反射量の差によりスイッチをオンオフさせる瞬きスイッチが開発されている。また、角膜反射法と瞳孔画像を組み合わせた視線入力装置などがある。その他には、コンピュータを使用する人の視線を計測するために、眼鏡に頭部の動きを検出するために使用する三角形赤外線反射枠をつけるものもある。

さらに、特許文献１では、コンピュータを使用する使用者の顔をカメラにより撮像し、撮像した画像から目の視線を推測し、目が注視する画面上の視点位置を求めている。そして、画面上に視点を示すカーソルが表示され、画面上に表示されるメニューとの重なりを検出し、重なったメニューの処理を行うことによりコンピュータを操作する方法が提案されている。
特開２００３−１９６０１７号公報特開２００３−１５０９４２号公報特開２００２−１４７６５号公報特開平１１−１１０１２０号公報特開平１０−１４３３１６号公報

上記従来の技術のうち、マウスの代わりにスイッチボックスを用いる方法は、手が不自由な人にとっては、まったく動かせないものである。

また、角膜反射法と瞳孔画像を組み合わせた視線入力装置では、角膜反射点と瞳孔中心の相対的な位置補正が必要なため、高い精度を得ることがむずかしく、誤入力の問題がある。また、眼球へ赤外線を照射するため、長時間使用においては目への問題がある。さらに、ヘッドレストに頭部を固定する煩わしさもある。その他、障害者用コンピュータ操作支援ツールは、個人ごとに操作条件等を別々に用意する必要がある。また、目もしくは頭部に何らの装置を装着する方法では、手足の不自由な人でも、コンピュータの操作が可能になるが、コンピュータを操作する度に、装置を装着するのは煩わしく、装置を装着することによる違和感があるものであった。さらに、長時間使用するとストレスが溜まりやすいという欠点もあった。

特許文献１では、これらの欠点を改善し、目や頭部に何も装着せずに視線方向を決定し、視線方向に位置する入力データを決定するものである。しかし、コンピュータの画面上に、操作に使用する特別なメニュー画面を表示し、そのメニューを視線により選択してコンピュータを操作するものである。この方法では、マウス等のポインティングデバイスによる一般的な操作と、操作方法が異なるため、例えば、一般的なソフトウェアを、マウス等により操作する場合と同じように操作することはできない。このため、ソフトウェアごとに対応したメニュー画面が必要となり、操作性が悪いばかりでなくコストもかかるものであった。

この発明は、上記従来技術の問題を鑑みて成されたもので、手動操作によるマウス等のポインティングデバイスに近い操作性を有し、手足の不自由な人や手による操作ができない場合でも、容易にコンピュータの操作ができるコンピュータ入力方法と装置を提供することを目的とする。

この発明は、動画撮像可能なカメラと、このカメラにより撮像した画像を所定周期で記憶するコンピュータ等の記憶装置と、上記カメラにより撮像した人の顔の目の位置を認識して、目の操作によりコンピュータの入力を行うコンピュータ入力方法において、前記カメラで捕らえた人の顔の画像情報を、人の目の虹彩の大きさの範囲内に入るテンプレートと比較しながらスキャンし、目の虹彩部分と顔の他の部分との画像の濃淡を検知して目の位置を検出し、さらにその目の位置での虹彩面積を求めて、求めた虹彩面積により目の開閉状態を判断し、コンピュータの所定の処理入力とするコンピュータ入力方法である。

前記目の虹彩面積は、その目の位置での所定範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の閾値以上であることにより判断する。前記目の虹彩面積を測定する所定範囲は、目の虹彩が入る程度の縦横の長さを有した矩形の範囲である。そして、前記矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以上であることにより目の虹彩であると認識して目の開状態と判断し、同様に前記の矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以下であることにより目の閉状態と判断し、前記目の虹彩認識により求めた目の開閉状態判断において、任意に設定した一定時間目が閉じていると判断された場合に、コンピュータのポインティングデバイスのクリック動作による所定の処理入力とするものである。

前記コンピュータのポインティングデバイスは、前記目の虹彩であると認識した虹彩面積により、目の開閉状態を判断し、ドラッグ動作の有効若しくは無効を切り替える機能を備え、任意に設定した一定時間目が開状態で所定範囲に停留していると判断された場合に、前記コンピュータのポインティングデバイスのドラッグ動作を有効とし、前記ポインティングデバイスによる保持を可能とし、さらに前記目が一定時間開状態で、所定範囲に停留していると判断された場合に、前記ポインティングデバイスのドラッグ動作を無効としてドロップ動作を行うものである。さらに、前記コンピュータのポインティングデバイスは、前記目の虹彩であると認識した虹彩面積により、目の開閉状態を判断し、スクロール動作の有効若しくは無効を切り替える機能を備え、スクロール動作が無効の時、任意に設定した一定時間以上両目が閉じていると判断された場合に、前記ポインティングデバイスを有効にして、画面スクロール動作可能とし、一定範囲以上目を上下に移動させることにより前記画面を上下方向にスクロール動作させ、スクロール動作が有効の時、前記両目が一定時間以上閉じていると判断された場合には、前記スクロール動作をオフにするものである。

またこの発明は、動画撮像可能なカメラと、このカメラにより撮像した画像を所定周期で記憶する記憶装置と、上記カメラにより撮像した人の顔の目の位置を認識する目位置認識手段とを有したコンピュータ入力装置において、上記目位置認識手段は、上記カメラで捕らえた人の顔の画像情報を、人の目の虹彩の大きさの範囲内に入る大きさであって前記虹彩の幅のテンプレートと比較しながらスキャンし、目の虹彩部分と眉及び顔の他の部分との画像の濃淡を検知して人の目の位置を検出するものであり、さらに、その目の位置で、前記目の虹彩が入る程度の縦横の長さを有するとともに前記テンプレートよりも大きい矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以上であることにより目の虹彩であると認識して目の開状態と判断し、同様にして画像の濃さが所定の閾値以上の箇所の合計が、所定の値以下であることにより目が閉じていると判断するまばたき検出手段と、前記まばたき検出手段により検知された目の閉じた状態が一定時間以上であるか否かによりクリック動作であるか否か判断するクリック判断手段とを設け、前記クリック判断手段による判断により前記コンピュータの所定の処理入力を行うコンピュータ入力装置である。

さらに、前記目の位置での虹彩面積を求めて、求めた虹彩面積を基にしてその虹彩が、任意に設定した一定時間所定範囲内に停留しているか判定することにより目の停留状態を検知する停留検出手段と、前記停留検出手段により検知された目の停留状態を、ドラッグであるか否か判断するドラッグ判断手段とを設け、前記ドラッグ判断手段による判断により前記コンピュータによるドラッグ動作を行うものである。

この発明のコンピュータ入力方法と装置によれば、コンピュータの操作を、従来の手動マウス等のポインティングデバイスによる操作に近い操作性を有し、手足の不自由な人や、手を使えない環境下でも、容易に迅速且つ正確なコンピュータの操作ができるものである。

以下、この発明のコンピュータ入力方法と装置の一実施形態について、図１〜図１９を基にして説明する。この実施形態のコンピュータ入力方法と装置は、コンピュータの操作を行うポインティングデバイスとして、一般的な手動マウスの代りに、目で操作することができるポインティングデバイスを用いるものである。

この実施形態の構成について図１に基づき説明する。この実施形態のコンピュータ入力装置の構成は、コンピュータ２に、ディスプレイ４、キーボード６及びマウス８が接続され、コンピュータ２にはカメラ映像を取り込む図示しない画像入力ボードが装着されている。画像入力ボードは、近赤外高感度ＣＣＤを備え動画撮像可能なカメラ１０と接続される。また、カメラ１０は、ディスプレイ４の上部に、図示しない支持具により据え付られ、カメラ１０のレンズ１２には赤色フィルタ１４が取り付けられている。コンピュータ２のＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）は一般的に普及しているものを利用し得る。目操作によるポインティングデバイスのデバイスドライバには、目を追跡するためのプログラム（以下、アイトレースプログラムという）と、カーソルの表示位置情報を換算するマウスドライバプログラムの２つのプログラムから構成される目操作用プログラムがインストールされている。そのほか、一般的な手動マウス用のデバイスドライバもインストールされている。

ここで、目操作によるポインティングデバイスのプログラムについて説明する。この目操作用プログラムは、市販のプログラミング言語を用いて開発作成したものであり、このプログラムを構成する２つのプログラムのプロセス間通信には、図２に示すように、既存の名前付きパイプ方式を用いている。

次に、目操作によるポインティングデバイス用プログラムについて説明する。まず、アイトレースプログラムについて説明する。

このアイトレースプログラムは、図３のフローチャートに示すように、目の位置検出、追跡、及びまばたき（目を閉じた状態）検出を行うものである。はじめに、このプログラムの目の位置検出方法及び追跡方法を説明する。カメラ１０で取得した顔の濃淡画像を閾値処理により２値化し、２値化画像に対して、図４に示す片目部分テンプレート１６によるテンプレートマッチングを行う。このテンプレートマッチングには、残差逐次検出法を用いている。

残差逐次検出法は、画素数がＬ×Ｌピクセルの画像情報に対してテンプレートデータとの差を逐次求めていくものである。図５に示すように、テンプレートｔ（ｘ，ｙ）と、撮像画像のテンプレート上の部分入力画像ｆ（ｘ，ｙ）とのマッチング評価値Ｅ（ｐ，ｑ）を次式（１）により計算し、所定の閾値を越えた段階で相関はないとして処理を打ち切り、次の位置で同様に計算を行い、マッチング位置を探す方法である。
Ｅ（ｐ，ｑ）＝Σ^M-1 _x=0Σ^M-1 _y=0｜ｆ（ｘ＋ｐ，ｙ＋ｑ）−ｔ（ｘ，ｙ）｜・・・（１）
但し、０≦ｐ≦Ｌ−Ｍ＋１，０≦ｑ≦Ｌ−Ｍ＋１

一般に、図４に示すように成人の目１５の角膜の直径は約１１ｍｍ（縦９．３〜１１ｍｍ、横１０．６〜１２ｍｍ）である。黒目である虹彩１８は角膜下にあり、そのサイズは角膜サイズとほぼ一致することから、この実施形態では、虹彩１８のサイズを直径１１ｍｍと設定した。片目部分テンプレート１６は十字形の直線で構成され、ディスプレイ４の画面上で横幅１１ｍｍ、縦幅６ｍｍで、線幅は１ピクセルである。１ｍｍあたりのピクセル数は、ディスプレイ４上で一定の長さの直線を引き、そのピクセル数を基に計算する。この実施形態では、１ｍｍは４．２ピクセルとなり、１１ｍｍは約４６ピクセル、６ｍｍは約２５ピクセルに相当する。このような十字形のテンプレート１６を用いることにより、目１５の傾きがあっても、円形の虹彩１８には影響せず、虹彩１８との正確なマッチングを得ることができる。

この実施形態では、高速化のため４画素ずつ片目部分テンプレート１６を移動させテンプレートマッチングを行う。片目部分テンプレート１６の横幅のマッチング度は１画素ずつ比べ、縦幅のマッチング度は１画素飛ばしに比較し、横幅の９０％以上、縦幅の４０％以上のマッチング度が同時に満たされた時に目らしいと判定する。

また、片目部分テンプレート１６によるテンプレートマッチングは、画像上のいくつかの目らしい領域を間違えて検出する恐れがある。その間違い対策として、図６に示すように、目１５の周りの特徴をチェック項目として用いた。この実施形態では、虹彩１８の基準径を１１ｍｍとしている。ここでは図６に示すように、テンプレート１６の上下において、眉１９の有無を判断材料とした。例えば、虹彩１８を１１ｍｍとした場合、人の顔の個人差による違いを考慮して、眉１９の位置のチェックポイントａはテンプレート１６の中心から上２５〜５０ｍｍの間、眉１９と目１５との間のチェックポイントｂは同じく１５〜２７ｍｍ、目１５の下のチェックポイントｃは、同じく１５〜２２ｍｍとし、各２値化されたピクセルの値を基に閾値と比較して判別する。これにより目１５の直上では黒い部分が無く、その上方に眉１９による黒部分が検知され、目１５の下方には黒部分がないということを、２値化された画像データから目検知の判断材料とすることができる。さらに、図６の２点鎖線で示すように、顔画像が拡大した場合も、一定の範囲内であれば、眉１９とその下の部分の検知により、目位置を正確に判断することができる。

これらのチェック項目のマッチング度は、目１５の上の部分おいて、眉１９の位置で１０％以上、眉１９と目１５の間の位置で２０％以上、目１５の下の位置では２０％以上で、上記チェック項目のマッチングが得られたとき、目１５の条件適合性が満たされると判定する。そして、目１５であるとする最終判定は、テンプレートマッチングと目１５の回りの特徴チェック項目により判定する。これにより、カメラ１０により取得した顔画像が拡大・縮小した場合も、一定の範囲内であれば、眉１９とその下の部分の検知により目１５の位置を正確に判断することができる。

次に、目１５のまばたき（目を閉じた状態）検出について説明する。この実施形態のまばたき検出方法は、黒目である虹彩１８の面積の変化から、まばたきを検出している。まばたき検出の処理は、図３に示すように、上述のステップで、カメラ１０により取得した濃淡画像から、上述の処理により片目部分のテンプレート１６によるテンプレートマッチングを行って目１５を検出し、その後虹彩１８の面積を測定する。そして、虹彩１８の面積測定結果が閾値以下になった場合、目１５を閉じたときと判定する。

虹彩１８の面積の測定は、図７に示す測定範囲ｓを単位として、目１５の２値画像をスキャンする。そして、虹彩１８と片目部分テンプレート１６の横幅のマッチング度が９０％以上満たしているときに目らしいと判定し、開眼時の虹彩１８の横幅とテンプレート１６の横幅は一致したと考える。また、閉眼時には、まつげ２０によって横方向に長い黒の部分ができるので、面積を多く測定してしまうことを防ぐために、虹彩１８の面積の横方向の測定範囲ｓ１はテンプレート１６の横幅とする。また縦方向の測定範囲ｓ２は、虹彩１８の中に片目部分テンプレートのマッチする点がいくつも存在することから、マッチポイントが虹彩１８の中心からずれることを考慮し、テンプレート１６の中心から上下方向に５０ピクセルの範囲とした。

虹彩面積測定の手順は、目１５の認識後、虹彩１８の面積測定を行う。図８（ａ）に示すように、テンプレート１６の中心位置から上に、図７の縦方向の測定範囲ｓ２内で、ピクセル濃度値が虹彩１８の閾値範囲外になるまで移動し、その移動距離を計算する。次に、下方向にも同様にして距離を計算し、上下の移動距離の和を虹彩１８の縦幅とする。そして、測定範囲ｓ１内でテンプレート１６の左端まで同様の作業を繰り返し、縦幅を合計する。またテンプレート１６の右端までも同様にして、縦幅を合計する。この測定は、閉眼時も同様に行われる。閉眼時は、図８（ｂ）に示すように、横方向に長くまつげ２０による黒い部分が表れる。しかし、横方向の測定範囲ｓ１は、テンプレート１６の横幅であり、虹彩１８の閾値以上の濃い部分は、縦方向にまつげ２０の上下幅となる。従って、開眼時の虹彩１８の面積は、測定範囲ｓ内で、閉眼時のまつげ２０を測定した場合よりも大きい値となる。

これにより、図７の測定範囲ｓ内で濃度が閾値以上の箇所（上記移動距離）の合計が、所定の閾値以上であれば虹彩１８であるとして開眼状態とする。また、この合計が閾値以下であれば、閉眼状態であり、目を閉じた状態であるとする。

次に、アイトレースプログラムの目追跡情報により、マウス機能を実行するマウスドライバプログラムについて説明する。このプログラムは、上述のアイトレースプログラムで検出した目の位置座標をもとにして、画面上のカーソルを制御しマウス機能を果たすものである。

マウスドライバプログラムのカーソルを動かす移動方法には、絶対座標モード及びベクトルモードがある。そのほか、各モード共通の機能としてナビゲーションウインドウ表示、目追跡有効範囲設定及びデスクトップ有効範囲設定等の機能がある。

ここで、各機能について説明する。ナビゲーションウインドウ２１は、例えば図１のディスプレイ４に表示されているように、画面の四隅のいずれかに表示し、表示・非表示が選択可能になっている。ナビゲーションウインドウ２１には、この目操作用プログラムの現在の状態を表示する。表示内容は、顔画像を取り込んだ画像サイズ、カーソル制御の有効・無効、カーソルの移動モード、追跡を行っている目の選択、現在検出している目の位置、カーソルを動かす目の有効範囲等である。また、目追跡有効範囲の設定は、図９に示す目追跡有効範囲設定画面２２を表示し、画面の中にカメラ１０からの取得画像を表示し、その画像に対して目追跡の検出範囲を設定する。検出範囲の最大は、例えば６４０×４８０ドットである。また、カーソルを動かす目の有効範囲の外側へのマウス移動の可否が、選択可能になっている。外側へマウス移動を不可にすると、図１０に示されるデスクトップ範囲外には移動しなくなる。なお、図１０のデスクトップ有効範囲設定画面２４の表示は、図９に示す画面２２のデスクトップ範囲のチェックボックスにチェックを入れてボタンをクリックすることにより可能である。

次に、カーソルの移動方法について説明する。まず、絶対座標モードについて説明する。カメラ１０から入力する画像サイズは決まっており、コンピュータ使用者が顔を動かした場合の目位置は、カメラ画像の一定範囲内に限定される。そこで、図１１に示すように、絶対座標モードは、カメラ画像に対する目位置範囲を矩形で選択し、矩形内の目位置をそのままデスクトップ内のカーソル位置に相対させる方法である。このときの、目位置からデスクトップ範囲のカーソル位置を算出する式は、式（２）、（３）のようになる。
ｃｘ＝（ｘ−ｂｘ）／ｗ×ｗ_d＋ｂｘ_ｄ・・・（２）
ｃｙ＝（ｙ−ｂｙ）／ｈ×ｗ_d＋ｂｙ_ｄ・・・（３）

これに対し、ベクトルモードでは、図１２に示すように、コンピュータ使用者が画面を正視した場合、目位置は一定の位置にある。この位置を中心点に定め、中心から目位置までの方向をマウスカーソルの移動方向に、中心点から目位置までの距離をカーソル移動速度に換算して、制御を行う方法である。

次に、この実施形態の目操作によるポインティングデバイスの機能について説明する。このポインティングデバイスとして機能は、手動マウスの機能を仮想的に装備しており、クリック機能、ダブルクリック機能、ドラッグ機能、スクロール機能がある。

まず、クリック機能及びダブルクリック機能について説明する。クリック及びダブルクリックの判定は、図１３に示すフローチャートで表されるアルゴリズムに従い判定を行っている。このアルゴリズムでは、右利き用に設計されたマウスの第一ボタンの役割を左目の動きに割り当て、右目には第二ボタンの役割を割り当てている。マウスの第一ボタンのクリックに相当する判定は、左目を一定時間閉じることによりクリックしたものと判定する。同様に、マウスの第二ボタンのクリックに相当する判定は、右目を一定時間閉じることによりクリックしたものと判定する。クリックしたと判定すると、例えばナビゲーションウインドウに表示された目位置を示すマーク“＋”は、赤色に変化させて、認識したことを表示する。クリックの判定は、図１３、図１４に示すように目を閉じた時間、即ち上述のまばたき検出処理による虹彩面積により判定している。クリックと判定するのは、カメラ１０による画像（フレーム）から上述のように目を検出して、虹彩面積を測定し、虹彩面積が所定の閾値以下となっている時間を基にして判別する。判別は、虹彩面積が所定の閾値以下となっている時間が、０．５ｓ〜１．０ｓの範囲とする。例えば、図１３のＡの地点では、虹彩１８の面積が閾値以下になってから閾値以上になるまで、つまり、まばたきの時間が０．５秒（ｓ）未満であるので、通常のまばたきと判断する。一方、Ｂの地点では、目を閉じた時間が０．５ｓ以上１．０ｓ以下であるのでクリックと判定する。

ダブルクリックの判定は、上記のクリック動作を２回行うことにより、ダブルクリックと判定するが、１回目のクリックと２回目のクリックとの間が一定時間内であればダブルクリックと判定し、一定時間以上であれば、シングルクリックを２回行ったと判定する。ダブルクリックと判定した際には、例えばナビゲーションウインドウの目位置を示す“＋”マークは黄色になるようにする。ダブルクリックと判定する条件は、図１５に示すように、クリックの判定時間０．５ｓ〜１．０ｓだけ虹彩面積が閾値以下であり、そのクリックと判定した時点から１．５ｓ以内に再びクリックと判定される条件が満たされたときにダブルクリックと判定する。このフローでは、図１５のＡの地点でクリックと判定し、Ｂの地点でもう一度クリックと判定するが、図１３に示すように、クリックによる処理を実行するのは、ダブルクリック条件が満たされるか否かの判別により、シングルクリックかダブルクリックかいずれかの処理が実行される。

次に、ドラッグ機能について説明する。図１６にドラッグ判定のアルゴリズムをフローチャートで示す。開眼状態で目を一定時間、一定の範囲内に停留することにより、ドラッグモードがＯＮとなり、ドラッグが可能と判定する。クリックと混同しないために目を閉じているときに、一定時間、一定範囲に目が停留していても、ドラッグモードをＯＮしたとは判断しない。このときは、例えばナビゲーションウインドウの目位置を示す“＋”マークの色を変えて、ドラッグと認識したことを表示する。図１７にドラッグ判定の目の位置の様子を示す。テンプレートマッチングにより目を検出すると、検出時点で目が停留している位置情報を取得し、その位置を基準点３２とする。その点から、上下左右に一定範囲ｓ内に停留しているか判定する。この場合、一定範囲ｓの大きさは初期設定では、縦横２３ピクセルとしている。また、この範囲ｓ内に目の位置３４が停留していたら、一定時間以上停留しているか否かを判定する。この場合の一定時間の初期設定は、１．０ｓである。そして、図１７（ａ）に示すように、一定範囲ｓに一定時間目の位置３４が停留していると判定できれば、ドラッグモードをＯＮとする。ドラッグ動作を終了してドロップするには、ドラッグモードがＯＮのときに、再度、一定範囲に一定時間停留していると判定できたときにドロップし、ドラッグモードがＯＦＦとなりドラッグが終了する。また、図１７（ｂ）に示すように、一定範囲ｓに一定時間目の位置３４が停留していない場合は、図１６フローチャートの通り、次の目位置の画像（フレーム）取得に戻る。

次に、スクロール機能について説明する。図１８、図１９にスクロール判定のアルゴリズムをフローチャートで示す。このフローチャートに示すように、左右の目について各々虹彩面積が測定され、両目ともに一定時間以上同時に閉じていること判定されると、スクロールモードがＯＮになる。スクロールモードをＯＦＦにするには、ＯＮにしたときと同様に両目を一定時間以上閉じることによりスクロールモードをＯＦＦにする。このときナビゲーションウインドウでは、ベクトルモードと同じ表示状態になり“ＳＣＲＯＬＬ”の文字が表示される。さらに、ナビゲーションウインドウには、スクロール感度を表すインジケータが表示される。スクロールは、上下スクロールのみ可能であり、ナビゲーションウインドウの位置範囲を表す円を中心として、円より上に目を動かすと上にスクロールし、下に動かすと下にスクロールする。

この実施形態のコンピュータ入力方法と装置によれば、目をポインティングデバイスとして使用するため、手足が不自由な人や手を使えない状況でも、この目操作マウスを用いることにより、通常の手動マウスを使用した場合に近いコンピュータの操作が可能となる。また、このコンピュータ入力方法は、コンピュータにインストールされる上記実施形態のプログラムにより動作するものであり、特殊な装置を目や頭などに装着する必要がなく、市販のコンピュータに広く利用することができるものである。さらに、一般の手動マウスを接続状態で使用可能であり、通常はポインティングデバイスとして手動マウスを使用し、手足の不自由な人や手を使えない状況においては、この目操作マウスを使用することができる。このため、コンピュータを兼用して使用可能なため、コンピュータを専用にする必要が無く、経済的である。

なお、この発明のコンピュータ入力方法は上記実施形態に限定されるものではなく、左右どちらの目をマウスの第一ボタンに割り当てるかは、キーボードのキー操作により選択可能である。また、クリック判断及びダブルクリック判断の判定時間は適宜設定可能である。さらに、ドラッグ判断に用いる範囲を表すピクセル数及び停留時間のしきい時間は、適宜設定可能である。また、まばたきによるクリックは目の停留によるクリックに置き換えることが可能である。その他、この発明のコンピュータ入力方法のアルゴリズムは移植可能なため、コンピュータの使用するＯＳは適宜選択可能である。

この発明の一実施形態のコンピュータ入力装置の機器構成を示す概略図である。この実施形態のデータ受け渡しを示す概略図である。この実施形態のまばたき検出を示すフローチャートである。この実施形態の片目部分テンプレートを示す概略図である。この実施形態の残差逐次検出法の画像とテンプレートの関係を示す概略図である。この実施形態の目の周辺領域特徴のチェックポイントの位置を示す概略図である。この実施形態の虹彩の面積の測定範囲を示す概略図である。この実施形態の虹彩の面積測定法を示す概略図である。この実施形態のディスプレイ表示の目追跡の有効範囲設定画面である。この実施形態のディスプレイ表示のデスクトップ有効範囲設定画面である。この実施形態のディスプレイ表示の絶対座標モードの変換条件を示す概念図である。この実施形態のディスプレイ表示のベクトルモードの変換条件を示す概念図である。この実施形態のクリック判定のフローチャートである。この実施形態のクリック判定の判定時間を示す概念説明図である。この実施形態のダブルクリック判定の判定時間を示す概念説明図である。この実施形態のドラッグ判定のフローチャートである。この実施形態のドラッグ判定の目の位置を示す説明図である。この実施形態のスクロール判定のフローチャートである。図１７のスクロール判定のフローチャートの続きのフローチャートである。

符号の説明

２コンピュータ
４ディスプレイ
６キーボード
８マウス
１０カメラ
１２レンズ
１４フィルタ
１５目
１６テンプレート
１８虹彩

Claims

動画撮像可能なカメラと、このカメラにより撮像した画像を所定周期で記憶する記憶装置と、上記カメラにより撮像した人の顔の目の位置を認識して、目の操作によりコンピュータの入力を行うコンピュータ入力方法において、前記カメラで捕らえた人の顔の画像情報を、人の目の虹彩の大きさの範囲内に入る大きさであって前記虹彩の幅のテンプレートと比較しながらスキャンし、目の虹彩部分と眉及び顔の他の部分との画像の濃淡を検知して目の位置を検出し、さらにその目の位置で、目の虹彩が入る程度の縦横の長さを有するとともに前記テンプレートよりも大きい矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以上であることにより目の虹彩であると認識して目の開状態と判断し、同様に前記の矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以下であることにより目の閉状態と判断し、前記目の虹彩認識により求めた目の開閉状態判断において、任意に設定した一定時間目が閉じていると判断された場合に、コンピュータのポインティングデバイスのクリック動作による所定の処理入力とすることを特徴とするコンピュータ入力方法。
前記コンピュータのポインティングデバイスは、前記目の虹彩であると認識した虹彩面積により、目の開閉状態を判断し、ドラッグ動作の有効若しくは無効を切り替える機能を備え、任意に設定した一定時間目が開状態で所定範囲に停留していると判断された場合に、前記コンピュータのポインティングデバイスのドラッグ動作を有効とし、前記ポインティングデバイスによる保持を可能とし、さらに前記目が一定時間開状態で、所定範囲に停留していると判断された場合に、前記ポインティングデバイスのドラッグ動作を無効としてドロップ動作を行うことを特徴とする請求項１記載のコンピュータ入力方法。
前記コンピュータのポインティングデバイスは、前記目の虹彩であると認識した虹彩面積により、目の開閉状態を判断し、スクロール動作の有効若しくは無効を切り替える機能を備え、スクロール動作が無効の時、任意に設定した一定時間以上両目が閉じていると判断された場合に、前記ポインティングデバイスを有効にして、画面スクロール動作可能とし、一定範囲以上目を上下に移動させることにより前記画面を上下方向にスクロール動作させ、スクロール動作が有効の時、前記両目が一定時間以上閉じていると判断された場合には、前記スクロール動作をオフにすることを特徴とする請求項１記載のコンピュータ入力方法。
動画撮像可能なカメラと、このカメラにより撮像した画像を所定周期で記憶する記憶装置と、上記カメラにより撮像した人の顔の目の位置を認識する目位置認識手段とを有したコンピュータ入力装置において、上記目位置認識手段は、上記カメラで捕らえた人の顔の画像情報を、人の目の虹彩の大きさの範囲内に入る大きさであって前記虹彩の幅のテンプレートと比較しながらスキャンし、目の虹彩部分と眉及び顔の他の部分との画像の濃淡を検知して人の目の位置を検出するものであり、さらに、その目の位置で、前記目の虹彩が入る程度の縦横の長さを有するとともに前記テンプレートよりも大きい矩形の範囲で、画像の濃さが所定の閾値以上の箇所の合計が、所定の値以上であることにより目の虹彩であると認識して目の開状態と判断し、同様にして画像の濃さが所定の閾値以上の箇所の合計が、所定の値以下であることにより目が閉じていると判断するまばたき検出手段と、前記まばたき検出手段により検知された目の閉じた状態が一定時間以上であるか否かによりクリック動作であるか否か判断するクリック判断手段とを設け、前記クリック判断手段による判断により前記コンピュータの所定の処理入力を行うことを特徴とするコンピュータ入力装置。
前記目の位置で認識した虹彩が、任意に設定した一定時間所定範囲内に停留しているか判定することにより目の停留状態を検知する停留検出手段と、前記停留検出手段により検知された目の停留状態を、ドラッグ動作を有効にするか無効にするかを判断するドラッグ判断手段とを設け、前記ドラッグ判断手段による判断によりドラッグ動作を有効にされた場合に、前記コンピュータによるドラッグ動作を行うことを特徴とする請求項４記載のコンピュータ入力装置。