JP7560833B2 - 視線入力装置及び視線入力装置用のプログラム - Google Patents

Description

本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにした視線入力装置及び当該視線入力装置用のプログラムに関する。

近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、画面上に仮想的な文字盤上を表示し、当該文字盤上の文字を視線により選択して入力できるようにした視線入力装置が開発されている。

このような視線入力装置として、例えば特許文献１には、複数の文字が配列された仮想的な文字盤が画面上に表示され、視線により所望の文字を選択して入力できるようにしたものが開示されている。この視線入力装置は、カメラ等を用いて画面上のユーザの注視点の位置を検出し、注視点が文字上に留まっている時間（注視時間）をカウントするように構成されている。そしてこの注視時間が所定の閾値に達すると、その文字の入力が決定され、画面上の別ウィンドウに当該文字が表示される。ユーザは、視線により文字を次々入力してメッセージを作成することで、自分の意思を他人に伝えることができる。

特開２０１８－１９５３２３号公報

ところで従来の視線入力装置では、注視時間を計測中に注視点が文字から外れると、当該文字を選択しないものと判断し、それまで計測していた注視時間をリセットする（ゼロにする）ように構成されている。そのため、例えば眼球の回転角に対する注視点の動きが大きく、注視点が定まりにくい画面の端の方にある文字を選択する場合には、注視点が文字から外れることで注視時間が頻繁にリセットされてしまい、文字の入力の決定をなかなか行えないという問題がある。またユーザに重度の眼振の症状がある場合にも、入力したい文字上で注視点が定まらず、文字の入力をなかなか決定できないという問題がある。

本発明はこのような問題に鑑みてなされたものであり、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することを目的とする。

すなわち本発明の一態様に係る視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した１つの前記文字の入力を決定することを特徴とする。

このようなものであれば、複数の文字間を注視点がふらついている間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点の位置が１つの文字上に定まらなくても、ユーザが意識的に視線を向けている１つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面の端の方の文字を選択する場合や、ユーザに重度の眼振の症状がある場合等、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。

前記視線入力装置では、前記入力決定部が、前記注視点が前記文字上に滞在している間、前記注視時間をカウントアップし、前記注視点が前記文字から外れている間、前記注視時間をカウントダウンするように構成されていることが好ましい。
このようにすれば、注視点が文字から外れている間は注視時間をカウントダウンするようにしているので、ユーザが意識的に視線を向けている文字に対する注視時間と、意図せず視線が向いてしまった文字に対する注視時間との差を大きくすることができる。これにより、意図しない文字が誤入力されてしまうことを回避しやすい。

また、ユーザが短い時間で所望の文字の入力を決定できるようにするには、前記注視時間のカウントダウンの速度が前記注視時間のカウントアップの速度よりも低くすることが好ましい。

また文字の入力決定後に、他の文字を意図せず入力決定してしまうことを防止するには、前記入力決定部が、前記文字の入力を決定すると、前記複数の文字のそれぞれに対して計測した前記注視時間をリセットすることが好ましい。

また本発明の効果が顕著に奏される態様としては、前記文字が、前記文字盤内に互いに隣接するように設定された複数の区画内に１つずつ表示されており、前記入力決定部は、前記注視点が前記区画内に位置している場合に当該区画に表示された前記文字に対する注視時間を計測するものが挙げられる。

注視時間の計測を開始した前記複数の文字のそれぞれの上に、入力決定までに必要な残りの注視時間を示すプログレスインジケータを表示することが好ましい。
このようにすれば、ユーザは入力したい文字上により集中して視線を向けやすくなる。

また本発明の効果が顕著に奏される態様としては、前記文字盤は前記画面内に全体が収まるように表示されているものが挙げられる。
すなわち、文字盤の全体を画面内に表示する場合には個々の文字のサイズを小さくせざるを得ないので、ユーザがこれを使用すると入力したい文字から注視点が外れやすくなる。しかしながらこの場合でも、本発明の視線入力装置であれば、最も意識的に視線を向けている文字の注視時間が最も早く貯まっていくので、これを入力決定できる。

また本発明の別の態様の視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置から前記画面上に設定した所定の選択位置に向けて前記文字盤を移動させる文字盤表示制御部と、前記選択位置にある前記文字上に前記注視点が滞在している時間である注視時間を計測し、当該注視時間が閾値に達すると、前記選択位置にある１つの文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視時間の計測中に前記注視点が前記文字から外れた場合に、計測した前記注視時間をリセットすることなく保持することを特徴とする。
このようなものであれば、視線に応じて文字盤を移動させるタイプの視線入力装置において、注視時間の計測中に選択位置上の文字から注視点が外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。

前記文字盤表示制御部が、前記注視時間の計測中に前記注視点が他の前記文字上に移動した場合に、前記注視点と前記選択位置との間の距離が所定値以下であれば、前記文字盤を移動させることなく留めておくことが好ましい。
このようにすれば、選択位置にある文字から注視点が外れても、ある程度の範囲内であれば文字盤を移動させないようにしているので、注視時間を計測中の文字に注視点を戻しやすい。そのため、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。

また前記注視時間の計測中に前記注視点と前記選択位置との間の距離が前記所定値を超えた場合に、計測した前記注視時間を保持した状態で前記文字盤を移動させることが好ましい。
このようにすれば、選択位置にある文字から注視点が意図せず大きく外れてしまい、文字盤が移動した場合であっても、計測中の注視時間をリセットすることなく保持しているので、ユーザの注視点が注視時間を保持している文字に戻ると、注視時間の計測を途中から再開できる。そのため、ユーザはより容易に文字を入力することができる。

また注視時間を計測中の文字とは異なる他の文字が前記選択位置にある状態で、当該他の文字上に前記注視点が所定時間以上滞在する場合に、計測中の前記注視時間をリセットし、当該他の文字に対する注視時間の計測を開始することが好ましい。
このようにすれば、他の文字を意識して注視しない限り、計測中の注視時間がリセットされないようにしているので、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。

このようにした本発明によれば、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することができる。

第１実施形態の視線入力装置の全体構成を模式的に示す図。 第１実施形態の視線入力装置の機器構成を示す構成図。 第１実施形態の視線入力装置の機器構成を示す機能ブロック図。 第１実施形態における視線入力装置の動作を示す画面表示図。 第１実施形態における視線入力装置の動作を示すフローチャート。 第２実施形態における視線入力装置の動作を示す画面表示図。 第２実施形態における視線入力装置の動作を示す画面表示図。 第２実施形態における視線入力装置の動作を示すフローチャート。

本発明の視線入力装置の実施態様について、以下図面を参照して説明する。

＜第１実施形態＞
第１実施形態の視線入力装置１００は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面３１に表示された仮想的な文字盤（キーボードともいう）Ｂ上の文字をユーザの視線により選択して入力できるようにしたものである。

具体的にこの視線入力装置１００は、図１に示すように、ユーザの視線を検出する視線検出手段１と、コンピュータ本体２及びディスプレイ３を一体的に有するノートパソコンＣとを備えている。ディスプレイ３の画面３１には、平仮名等の文字が複数並べて配置された仮想的な文字盤（以下、単に文字盤と記載する）Ｂと、入力された文字が表示されるメッセージパネルＭとが表示されている。ユーザが文字盤Ｂ上の入力したい文字を注視し続けることで文字の入力を決定し、メッセージパネルＭ上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルＭ上にメッセージを表示させ、自らの意思を伝達することができる。

視線検出手段１は、ディスプレイ３の画面３１に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段１は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源（不図示）と、ユーザの眼球を撮像するカメラ（不図示）と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部（不図示）とを備えている。なお、本実施形態の視線検出手段１は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ３の下部に取付けられている。

コンピュータ本体２は、構造的には図２に示すように、ＣＰＵ２０１、メモリ２０２、入出力インターフェース２０３等を備えている。このコンピュータ本体２は、前記メモリ２０２に記憶させた各種のアプリケーションソフトウェア（以下、プログラムと言う）に基づいて、前記ＣＰＵ２０１やその周辺機器が協働することにより、図３に示すように、注視点推定部２１、文字データ格納部２２、文字盤表示制御部２３、入力決定部２４、入力文字表示制御部２５としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。

注視点推定部２１は、視線検出手段１の検出結果に基づいて、画面３１上におけるユーザの注視点の位置を推定するものである。具体的には、視線検出手段１から視線信号を受け付け、当該視線信号に基づいて画面３１上におけるユーザの注視点Ｇの位置を推定する。そして推定した注視点Ｇの位置を示す注視点データを入力決定部２４及び文字盤表示制御部２３に出力する。なお本実施形態では、図１に示すように、推定した注視点Ｇの位置にはポインタを表示するようにしている。

文字データ格納部２２は、前記メモリ２０２の所定領域に設定されたものであり、文字盤Ｂに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。

文字盤表示制御部２３は、文字データ格納部２２を参照して複数の文字が配列された文字盤Ｂを示す文字盤データを作成し、これを入力決定部２４及びディスプレイ３に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。

図１に示すように、この文字盤表示制御部２３は、画面３１内の所定位置に文字盤Ｂの全体を固定して表示させる。この文字盤Ｂには、複数の文字（ここでは清音の平仮名文字）が縦横マトリクス状に等間隔に並ぶように配置されている。より具体的には、文字盤Ｂには、正方形状の文字パネル（特許請求の範囲の「区画」に相当する）Ｐが縦横マトリクス状に等間隔に複数表示されており、各文字パネルＰのそれぞれに文字（平仮名文字）が１つずつ表示されている。ここでは互いに隣り合う文字パネルＰが隙間なく並ぶように表示されている。そして各文字パネルＰにおいて、各文字はその中心位置（重心位置）が各文字パネルＰの中心位置と一致するように表示されている。本実施形態では各文字パネルＰの外枠線は画面３１上に表示されているが、非表示であってもよい。

入力決定部２４は、推定された注視点Ｇの位置に基づいて文字の入力を１文字ずつ決定し、これを入力文字データとして入力文字表示制御部２５に出力するものである。具体的に入力決定部２４は、注視点Ｇが文字上（より具体的には文字パネルＰ上）にくると、当該文字上に注視点Ｇが滞在している時間である注視時間をカウントアップするよう計測する。そして入力決定部２４は、この計測した注視時間が所定の閾値（例えば１秒）に達すると、当該文字の入力を決定する。すなわち入力決定部２４は、ユーザが注視し続けた文字の入力を決定するものである。

入力決定部２４が注視時間を計測すると、当該計測中の文字上（具体的には文字パネルＰ上）には、入力決定までに必要な残りの注視時間（残注視時間ともいう）を示すプログレスインジケータＩが表示される。このプログレスインジケータＩは、残注視時間の長さに応じて、その態様が変化するものである。本実施形態のプログレスインジケータＩは、図１に示すように注視時間が増えるにつれて時計回りにバーが伸びていくようにした、所謂プログレスサークルである。プログレスインジケータＩの態様は、これに限らず、例えば、文字や文字パネルＰの色や大きさを変化させる等、任意のものであってよい。

入力文字表示制御部２５は、メッセージパネルＭを画面３１に表示させると共に、入力決定部２４が選択した文字を、その入力決定順に並べた文字列としてメッセージパネルＭ内に表示させるものである。図１に示すように、メッセージパネルＭ内には、入力決定部２４によって入力決定された文字列が横書きにより例えば中央揃えで表示されるようになっている。なお、表示される文字列は中央揃えに限らず、左揃えや右揃え等でもよい。また、入力決定した文字がメッセージパネルＭの中央に表示されるようにしてもよい。メッセージパネルＭ内において、文字列は横方向に１列に表示されてよく、また選択された文字数が所定値以上になった場合には改行したり、文字の大きさを小さくして表示させてもよい。

しかして第１実施形態の視線入力装置１００では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部２４が、注視点Ｇが複数の文字パネルＰ間をふらついている（あるいは移動している）間、当該複数の文字のそれぞれに対して注視時間を個別に計測して保持し、注視時間が最も早く閾値に達した１つの文字の入力を決定するように構成されている。すなわち入力決定部２４は、注視点Ｇが文字パネルＰ内に入ってくる都度、当該文字に対する注視時間を加算する。そして、注視時間を計測している複数の文字のうち、１つの文字の注視時間の累計が閾値に達すると、当該文字の入力を決定する。

具体的にこの入力決定部２４は、注視点Ｇが文字パネルＰ内に滞在している間、注視時間をカウントアップし、注視点Ｇが文字パネルＰから外れている間、計測した注視時間をカウントダウンするように構成されている。ここでは、注視時間をカウントダウンする速度は、注視時間をカウントアップする速度よりも低くなるように（具体的には約１／３になるように）構成されている。

そして複数の文字に対して注視時間を計測している間、当該複数の文字に対応する各文字パネルＰ内にプログレスインジケータＩが表示される。すなわち、複数の文字パネルＰ間で視線がふらついている間、文字盤Ｂ上には複数のプログレスインジケータＩが表示されている。この実施形態では、注視時間をカウントアップしているプログレスインジケータＩと、注視時間をカウントダウンしているプログレスインジケータＩとで、表示態様を互いに異ならせるようにしている。ここでは、表示するプログレスサークルのバーの色や太さを互いに異ならせるようにしている。なお、注視点Ｇが文字パネルＰ外にあることにより、注視時間がカウントダウンされて０になると、プログレスインジケータＩを非表示にするようにしている。

そして入力決定部２４は、計測した注視時間が閾値に達した文字の入力を決定すると、注視時間を計測中の全ての文字（入力を決定した文字を含む）に対してその注視時間をリセットする（注視時間を０にする）ように構成されている。この場合、表示されていた１つ又は複数のプログレスインジケータＩが同時に非表示にするようにしている。

＜第１実施形態の視線入力装置の動作＞
次に、第１実施形態の視線入力装置１００の動作について、図４及び図５を参照して以下に説明する。ここでは、画面３１には平仮名文字が配列された文字盤Ｂが固定して表示されている。ユーザは、当該文字盤Ｂから文字「き」を視線により選択して入力する。

まずユーザが文字盤Ｂ上に視線を向けると、視線検出手段１によりユーザの視線が検出され、そして注視点推定部２１により画面３１上におけるユーザの注視点Ｇの位置が推定される（ステップＳ１１）。

ユーザが文字「き」に視線を向け、注視点Ｇが「き」の文字パネルＰ内に入ると、文字「き」に対する注視時間の計測が開始する（ステップＳ１２）。注視点Ｇが文字パネルＰ内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図４（ａ）に示すように、文字パネルＰ内のプログレスサークルＩが伸び続ける（ステップＳ１３、Ｓ１４）。

この状態で、図４（ｂ）に示すように、注視点Ｇが「き」の文字パネルＰから外れ、隣接する「い」の文字パネルＰに移動すると、文字「き」に対する注視時間がカウントダウンされ、同時に文字「い」に対する注視時間の計測が開始する（ステップＳ１５）。さらに、図４（ｃ）に示すように、注視点Ｇが「い」の文字パネルＰから外れ、隣接する「う」の文字パネルＰに移動すると、文字「き」と文字「い」に対する注視時間がカウントダウンされ、同時に文字「う」に対する注視時間の計測が開始する。

その後、図４（ｄ）に示すように、注視点Ｇが「き」の文字パネルＰに戻ると、文字「き」に対する注視時間を再びカウントアップする（ステップＳ１３、Ｓ１４）。そして、文字「き」に対する注視時間が所定の閾値（例えば１秒）に達すると、文字「き」の入力が決定され、メッセージパネルＭに文字「き」が表示される（ステップＳ１６、Ｓ１７）。文字の入力が決定されると、図４（ｅ）に示すように、計測していた注視時間が全ての文字に対してリセットされ、「い」、「う」及び「き」の文字パネルＰに表示されていたプログレスサークルＩが非表示になる（ステップＳ１８）。

＜第１実施形態の視線入力装置の効果＞
このように構成された本実施形態の視線入力装置１００によれば、複数の文字パネルＰ間を注視点Ｇが移動している間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点Ｇの位置が定まらなくても、ユーザが意識的に視線を向けている１つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面３１の端の方の文字を選択する場合や、ユーザに眼振の症状がある場合等、入力したい文字上で注視点Ｇが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。

＜第２実施形態＞
次に、本発明の第２実施形態の視線入力装置１００について、第１実施形態との相違点を中心に説明する。第１実施形態の視線入力装置１００と共通する構成については説明を省略する。

第２実施形態の視線入力装置１００は、ユーザの視線に応じて文字盤Ｂが移動する点において、第１実施形態の視線入力装置１００とは態様が異なっている。具体的に第２の実施形態の視線入力装置１００では、ユーザは視線を動かすことにより文字盤Ｂを画面３１内で移動させ、画面３１内の所定位置に設定された選択位置Ｓに所望の文字を合わせることで、当該文字の入力を決定できるようになっている。なお、この実施形態では、選択位置Ｓの座標が画面３１の中心座標と同じになるように設定されている。

この実施形態の文字盤表示制御部２３は、注視点推定部２１から取得した注視点データに基づき、文字盤Ｂを画面３１内で移動させる。具体的には、文字盤表示制御部２３は、注視点Ｇに最も近い文字が選択位置Ｓに向かうように文字盤３１１を移動させる。より具体的には、注視点Ｇが滞在している文字パネルＰの中心位置が選択位置Ｓに向かうように文字盤Ｂを移動させる。そして注視点Ｇが滞在している文字パネルＰの中心が選択位置Ｓに一致すると、文字盤Ｂの移動を停止させる。

例えば、図６（ａ）に示すように、ユーザが文字「つ」に視線を向けると、「つ」の文字パネルＰの中心が選択位置Ｓに向かうように文字盤Ｂが移動する。そしてユーザが文字「つ」を注視し続け、図６（ｂ）に示すように「つ」の文字パネルＰの中心位置が選択位置Ｓに一致すると、文字盤Ｂの移動が停止する。

そして入力決定部２４は、所定の条件を満たした場合に、選択位置Ｓ上に位置する文字の入力を決定する。具体的に入力決定部２４は、選択位置Ｓにある文字上（具体的には文字パネルＰ内）に注視点Ｇがある場合、その滞在時間である注視時間を計測し、当該注視時間が閾値（例えば１秒）に達すると、選択位置Ｓにある文字の入力を決定する。

しかして第２実施形態の視線入力装置１００では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部２４は、注視時間の計測中に選択位置Ｓ上の文字パネルＰから注視点Ｇが外れた場合に、計測した注視時間をリセットすることなく保持するように構成されている。

具体的に入力決定部２４は、注視時間の計測中に選択位置Ｓ上の文字パネルＰから注視点Ｇが外れ、他の文字パネルＰ上に移動した場合に、注視時間のカウントアップを一時停止する。そして注視点Ｇが再び選択位置Ｓ上の文字パネルＰ内に戻ってくると、一時停止していた注視時間のカウントアップを再開させる。

ここで文字盤表示制御部２３は、選択位置Ｓ上の文字に対する注視時間の計測中に、当該文字パネルＰから注視点Ｇが外れても、注視点Ｇと選択位置Ｓとの間の距離が所定値以下であれば、文字盤Ｂを移動させることなく留めておくように構成されている。この所定値とは、例えば、文字パネルＰの１枚分の長さ程度が好ましい。

そして文字盤表示制御部２３は、注視点Ｇと選択位置Ｓとの間の距離が所定値を超えると、注視点Ｇに最も近い文字が選択位置Ｓに向かうように文字盤Ｂを移動させる。この文字盤Ｂを移動させている状態においても、入力決定部２４は、計測していた注視時間をリセットすることなく保持するように構成されている。すなわち、この実施形態では、注視時間の計測中に視線が大きく外れた場合に、計測した注視時間を保持した状態で文字盤Ｂが移動するように構成されている。

そして入力決定部２４は、注視時間を計測している文字とは異なる他の文字が選択位置Ｓにある状態で、当該他の文字上（文字パネルＰ内）に注視点Ｇが所定時間以上滞在する場合に、計測中の注視時間をリセットし、当該他の文字に対する注視時間の計測を開始する。

＜第２実施形態の視線入力装置の動作＞
次に、第２実施形態の視線入力装置１００の動作について、図７及び図８を参照して以下に説明する。ここでは、画面３１には平仮名文字が配列された移動式の文字盤Ｂが表示されている。ユーザは、当該文字盤Ｂから文字「き」を視線により選択して入力する。

まずユーザが文字盤Ｂ上に視線を向けると、視線検出手段１によりユーザの視線が検出され、そして注視点推定部２１により画面３１上におけるユーザの注視点Ｇの位置が推定される（ステップＳ２１）。ユーザが文字「き」に視線を向け、注視点Ｇが「き」の文字パネルＰ内に入ると、「き」の文字パネルＰが選択位置Ｓに向かうように文字盤Ｂが移動する（ステップＳ２２）。

「き」の文字パネルＰが選択位置Ｓにある状態で、ユーザが文字「き」を注視し続けると、文字「き」に対する注視時間の計測が開始する（ステップＳ２３）。注視点Ｇが文字パネルＰ内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図７（ａ）に示すように、文字パネルＰ内のプログレスサークルＩが伸びる（ステップＳ２４、Ｓ２５）。

そして図７（ｂ）に示すように、注視点Ｇが「き」の文字パネルＰから外れると、文字「き」に対する注視時間のカウントが一時停止する（ステップＳ２６）。ここで注視点Ｇと選択位置Ｓとの間の距離が所定値（ここでは、選択位置Ｓから、隣接する文字パネルＰの中心までの距離）以内である場合、文字盤Ｂは移動することなくその位置に固定されている（ステップＳ２７）。一方、注視点Ｇと選択位置Ｓとの間の距離が所定値を超える場合、図７（ｃ）に示すように、文字「き」に対して計測した注視時間を保持したまま、注視点Ｇから選択位置Ｓに向かって文字盤Ｂが移動する（ステップＳ２２）。

ここで、注視点Ｇが再び「き」の文字パネルＰ内に戻ると、図７（ｄ）に示すように、「き」の文字パネルＰが選択位置Ｓまで移動し、文字「き」に対する注視時間のカウントアップを再開する（ステップＳ２４、Ｓ２５）。そして、図７（ｅ）に示すように、文字「き」に対する注視時間が所定の閾値（例えば１秒）に達すると、文字「き」の入力が決定されメッセージパネルＭに文字「き」が表示される（ステップＳ２８、Ｓ２９）。文字の入力が決定されると、計測していた注視時間がリセットされ、「き」の文字パネルＰに表示されていたプログレスサークルＩが非表示になる（ステップＳ３０）。

一方で図７（ｆ）に示すように、「い」の文字パネルＰが選択位置Ｓに完全に移動し、この状態で注視点Ｇが「い」の文字パネルＰ内に滞在すると、文字「き」に対して計測していた注視時間がリセットされ、文字「い」に対する注視時間の計測を開始する（ステップＳ２４、Ｓ２５）。この時、「き」の文字パネルＰに表示されていたプログレスサークルＩが非表示になり、「い」の文字パネルＰ内にプログレスサークルＩが表示される。そして、図７（ｇ）に示すように、文字「い」に対する注視時間が所定の閾値に達すると、文字「い」の入力が決定されメッセージパネルＭに文字「い」が表示される（ステップＳ２８、Ｓ２９）。文字の入力が決定されると、計測していた注視時間がリセットされ、「い」の文字パネルＰに表示されていたプログレスサークルＩが非表示になる（ステップＳ３０）。

＜第２実施形態の視線入力装置の効果＞
このように構成された本実施形態の視線入力装置１００によれば、画面３１上で文字盤Ｂを移動させるタイプのものにおいて、注視時間の計測中に、選択位置Ｓ上の文字パネルＰから注視点Ｇが外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点Ｇが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。

＜その他の変形実施形態＞
なお、本発明は前記実施形態に限られるものではない。

前記第１実施形態の入力決定部２４は、注視時間の計測を開始した後、注視点Ｇが文字パネルＰから外れると、注視時間をカウントダウンするように構成されていたが、これに限らない。他の実施形態では、入力決定部２４は、注視点Ｇが文字パネルＰから外れている間、注視時間をカウントダウンすることなく固定しておき、注視点Ｇが戻ってくるとカウントアップを再開するように構成されてもよい。

前記第１実施形態では、注視時間のカウントダウンの速度が注視時間のカウントアップの速度よりも低くなるように設定されていたがこれに限らない。注視時間のカウントダウンの速度とカウントアップの速度を同程度に設定してもよく、注視時間のカウントダウンの速度がカウントアップの速度よりも高くなるように設定してもよい。

前記第２実施形態では、文字盤Ｂの移動中に計測中の注視時間を保持するように構成していたが、これに限らない。他の実施形態では、文字盤Ｂの移動に合わせて、保持していた注視時間をリセットするようにしてもよい。

前記各実施形態では、文字盤Ｂ内に縦横のマトリクス状に等間隔に並ぶように各文字が表示されていたがこれに限らない。例えば、複数の文字が放射状に配列されたり、一列に並ぶように表示されてもよい。

前記各実施形態での視線検出手段１は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段１はディスプレイ３やコンピュータ本体２と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ３の上部等任意の場所に取り付けられてもよい。

前記各実施形態では、コンピュータ本体２は、メモリ２０２に記憶させたプログラムに基づいて、注視点推定部２１等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体２は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、ＣＰＵ２０１やその周辺機器が協働することにより、注視点推定部２１等としての各機能を実現するようにしてもよい。

前記各実施形おいて、コンピュータ本体２及びディスプレイ３はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ３は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。

また他の実施形態の視線入力装置１００は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。

その他、本発明は前記各実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。

１００・・・視線入力装置
２１ ・・・注視点推定部
２４ ・・・入力決定部
３１ ・・・画面
Ｂ ・・・文字盤
Ｇ ・・・注視点

Claims (7)

1. 画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにした視線入力装置であって、
   前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、
   推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部とを備え、
   前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した１つの前記文字の入力を決定し、
   前記入力決定部が、前記注視点が前記文字上に滞在している間、滞在している前記文字に対する前記注視時間をカウントアップし、前記注視点が前記文字から外れている間当該外れている時間に応じて、外れている前記文字に対する前記注視時間をカウントダウンする視線入力装置。
2. 前記注視時間のカウントダウンの速度が前記注視時間のカウントアップの速度よりも低い請求項１に記載の視線入力装置。
3. 前記入力決定部が、前記文字の入力を決定すると、前記複数の文字のそれぞれに対して計測した前記注視時間をリセットする請求項１又は２記載の視線入力装置。
4. 前記文字が、前記文字盤内に互いに隣接するように設定された複数の区画内に１つずつ表示されており、
   前記入力決定部は、前記注視点が前記区画内に位置している場合に当該区画に表示された前記文字に対する注視時間を計測する請求項１～３のいずれか一項に記載の視線入力装置。
5. 注視時間の計測を開始した前記複数の文字のそれぞれの上に、入力決定までに必要な残りの注視時間を示すプログレスインジケータを表示する請求項１～４のいずれか一項に記載の視線入力装置。
6. 前記文字盤は前記画面内に全体が収まるように表示されている請求項１～５のいずれか一項に記載の視線入力装置。
7. 画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにした視線入力装置用のプログラムであって、
   前記画面上における前記ユーザの注視点の位置を推定する注視点推定部としての機能と、
   推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部としての機能とをコンピュータに発揮させるものであり、
   前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した１つの前記文字の入力を決定し、
   前記入力決定部が、前記注視点が前記文字上に滞在している間、滞在している前記文字に対する前記注視時間をカウントアップし、前記注視点が前記文字から外れている間当該外れている時間に応じて、外れている前記文字に対する前記注視時間をカウントダウンする視線入力装置用のプログラム。