Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7727978B2 - Eye-gaze input device and program for eye-gaze input device - Google Patents
[go: Go Back, main page]

JP7727978B2 - Eye-gaze input device and program for eye-gaze input device - Google Patents

Eye-gaze input device and program for eye-gaze input device

Info

Publication number
JP7727978B2
JP7727978B2 JP2024127598A JP2024127598A JP7727978B2 JP 7727978 B2 JP7727978 B2 JP 7727978B2 JP 2024127598 A JP2024127598 A JP 2024127598A JP 2024127598 A JP2024127598 A JP 2024127598A JP 7727978 B2 JP7727978 B2 JP 7727978B2
Authority
JP
Japan
Prior art keywords
gaze
character
time
input
dial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024127598A
Other languages
Japanese (ja)
Other versions
JP2024150745A (en
Inventor
竹信 宇田
Original Assignee
株式会社オレンジアーチ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オレンジアーチ filed Critical 株式会社オレンジアーチ
Priority to JP2024127598A priority Critical patent/JP7727978B2/en
Publication of JP2024150745A publication Critical patent/JP2024150745A/en
Application granted granted Critical
Publication of JP7727978B2 publication Critical patent/JP7727978B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画面に表示された文字をユーザの視線により選択して入力できるようにした視線入力装置及び当該視線入力装置用のプログラムに関する。 The present invention relates to an eye-gaze input device that allows a user to select and input characters displayed on a screen using their line of sight, and a program for such an eye-gaze input device.

近年、重度の肢体麻痺等により手足や口を満足に動かすことができない患者の意思伝達を支援するツールとして、画面上に仮想的な文字盤上を表示し、当該文字盤上の文字を視線により選択して入力できるようにした視線入力装置が開発されている。 In recent years, eye-gaze input devices have been developed as a tool to assist communication in patients who are unable to move their arms, legs, or mouths adequately due to severe paralysis, etc. By displaying a virtual dial on a screen, patients can select and input characters on the dial by using their gaze.

このような視線入力装置として、例えば特許文献1には、複数の文字が配列された仮想的な文字盤が画面上に表示され、視線により所望の文字を選択して入力できるようにしたものが開示されている。この視線入力装置は、カメラ等を用いて画面上のユーザの注視点の位置を検出し、注視点が文字上に留まっている時間(注視時間)をカウントするように構成されている。そしてこの注視時間が所定の閾値に達すると、その文字の入力が決定され、画面上の別ウィンドウに当該文字が表示される。ユーザは、視線により文字を次々入力してメッセージを作成することで、自分の意思を他人に伝えることができる。 For example, Patent Document 1 discloses an example of such an eye-gaze input device in which a virtual letter board with an array of multiple letters is displayed on a screen, allowing the user to select and input the desired letter by gazing at the screen. This eye-gaze input device is configured to detect the position of the user's gaze point on the screen using a camera or the like, and count the time the gaze point remains on a letter (gaze time). When this gaze time reaches a predetermined threshold, the input of that letter is confirmed, and that letter is displayed in a separate window on the screen. By creating a message by inputting letters one after another with their gaze, users can communicate their intentions to others.

特開2018-195323号公報Japanese Patent Application Laid-Open No. 2018-195323

ところで従来の視線入力装置では、注視時間を計測中に注視点が文字から外れると、当該文字を選択しないものと判断し、それまで計測していた注視時間をリセットする(ゼロにする)ように構成されている。そのため、例えば眼球の回転角に対する注視点の動きが大きく、注視点が定まりにくい画面の端の方にある文字を選択する場合には、注視点が文字から外れることで注視時間が頻繁にリセットされてしまい、文字の入力の決定をなかなか行えないという問題がある。またユーザに重度の眼振の症状がある場合にも、入力したい文字上で注視点が定まらず、文字の入力をなかなか決定できないという問題がある。 However, conventional eye-gaze input devices are configured so that if the gaze point moves away from a character while measuring gaze time, it is determined that the character will not be selected and the gaze time measured up to that point is reset (set to zero). For example, when selecting a character near the edge of the screen where the gaze point moves significantly in relation to the rotation angle of the eyeball and where it is difficult to fix the gaze point, the gaze time is frequently reset as the gaze point moves away from the character, making it difficult to decide to input the character. Another problem is that if a user has severe nystagmus, the gaze point cannot be fixed on the character they want to input, making it difficult to decide to input the character.

本発明はこのような問題に鑑みてなされたものであり、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することを目的とする。 The present invention was made in consideration of these problems, and aims to provide an eye-gaze input device that allows users to easily input characters even when their line of sight is unsteady.

すなわち本発明の一態様に係る視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置に基づいて前記文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視点が複数の前記文字間をふらついている間、前記複数の文字のそれぞれに対して、前記注視点が滞在している時間である注視時間を個別に計測して保持し、前記注視時間が最も早く閾値に達した1つの前記文字の入力を決定することを特徴とする。 In other words, one aspect of the present invention is a gaze input device that allows a user to select and input multiple characters arranged on a virtual character board displayed on a screen using their gaze, and is equipped with a gaze point estimation unit that estimates the position of the user's gaze point on the screen, and an input determination unit that determines the character to input based on the estimated position of the gaze point, and is characterized in that the input determination unit individually measures and stores the gaze time, which is the time the gaze point remains on each of the multiple characters, while the gaze point fluctuates between the multiple characters, and determines to input the single character whose gaze time reaches a threshold earliest.

このようなものであれば、複数の文字間を注視点がふらついている間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点の位置が1つの文字上に定まらなくても、ユーザが意識的に視線を向けている1つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面の端の方の文字を選択する場合や、ユーザに重度の眼振の症状がある場合等、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。 In this way, while the gaze point fluctuates between multiple characters, the gaze time for each character is measured and retained, and the character for which the gaze time reaches a threshold value first is decided to be input. Therefore, even if the gaze point does not settle on a single character, the gaze time for a single character that the user is consciously directing their gaze at accumulates, and this character can be decided to be input. This allows the user to easily input characters even in situations where it is difficult to settle the gaze point on the character they want to input, such as when selecting a character on the edge of the screen or when the user has severe nystagmus.

前記視線入力装置では、前記入力決定部が、前記注視点が前記文字上に滞在している間、前記注視時間をカウントアップし、前記注視点が前記文字から外れている間、前記注視時間をカウントダウンするように構成されていることが好ましい。
このようにすれば、注視点が文字から外れている間は注視時間をカウントダウンするようにしているので、ユーザが意識的に視線を向けている文字に対する注視時間と、意図せず視線が向いてしまった文字に対する注視時間との差を大きくすることができる。これにより、意図しない文字が誤入力されてしまうことを回避しやすい。
In the eye-gaze input device, it is preferable that the input determination unit is configured to count up the gaze time while the gaze point is staying on the character, and to count down the gaze time while the gaze point is away from the character.
In this way, the gaze time is counted down while the gaze point is off the character, so it is possible to increase the difference between the gaze time on the character that the user is intentionally directing their gaze and the gaze time on the character that the user is unintentionally directing their gaze, which makes it easier to avoid erroneously inputting unintended characters.

また、ユーザが短い時間で所望の文字の入力を決定できるようにするには、前記注視時間のカウントダウンの速度が前記注視時間のカウントアップの速度よりも低くすることが好ましい。 Furthermore, to allow the user to quickly decide to input the desired character, it is preferable that the rate at which the gaze time is counted down is slower than the rate at which the gaze time is counted up.

また文字の入力決定後に、他の文字を意図せず入力決定してしまうことを防止するには、前記入力決定部が、前記文字の入力を決定すると、前記複数の文字のそれぞれに対して計測した前記注視時間をリセットすることが好ましい。 Furthermore, to prevent unintentional input of another character after input of a character has been confirmed, it is preferable that the input confirmation unit resets the gaze time measured for each of the plurality of characters when input of the character has been confirmed.

また本発明の効果が顕著に奏される態様としては、前記文字が、前記文字盤内に互いに隣接するように設定された複数の区画内に1つずつ表示されており、前記入力決定部は、前記注視点が前記区画内に位置している場合に当該区画に表示された前記文字に対する注視時間を計測するものが挙げられる。 Another example of a mode in which the effects of the present invention are most pronounced is one in which the characters are displayed individually within a plurality of sections set adjacent to each other on the dial, and the input determination unit measures the gaze time on the character displayed in a section when the gaze point is located within that section.

注視時間の計測を開始した前記複数の文字のそれぞれの上に、入力決定までに必要な残りの注視時間を示すプログレスインジケータを表示することが好ましい。
このようにすれば、ユーザは入力したい文字上により集中して視線を向けやすくなる。
It is preferable that a progress indicator indicating the remaining gaze time required until input is confirmed is displayed above each of the plurality of characters for which measurement of gaze time has started.
This allows the user to more easily focus their gaze on the characters they wish to input.

また本発明の効果が顕著に奏される態様としては、前記文字盤は前記画面内に全体が収まるように表示されているものが挙げられる。
すなわち、文字盤の全体を画面内に表示する場合には個々の文字のサイズを小さくせざるを得ないので、ユーザがこれを使用すると入力したい文字から注視点が外れやすくなる。しかしながらこの場合でも、本発明の視線入力装置であれば、最も意識的に視線を向けている文字の注視時間が最も早く貯まっていくので、これを入力決定できる。
In addition, an embodiment in which the effect of the present invention is particularly pronounced is one in which the dial is displayed so that the entire dial fits within the screen.
In other words, when the entire character dial is displayed on the screen, the size of each character must be reduced, which makes it easier for the user to move their gaze away from the character they want to input. However, even in this case, with the eye-gaze input device of the present invention, the gaze time for the character that the user is most consciously directing their gaze towards accumulates the fastest, so they can decide to input that character.

また本発明の別の態様の視線入力装置は、画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにしたものであって、前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、推定された前記注視点の位置から前記画面上に設定した所定の選択位置に向けて前記文字盤を移動させる文字盤表示制御部と、前記選択位置にある前記文字上に前記注視点が滞在している時間である注視時間を計測し、当該注視時間が閾値に達すると、前記選択位置にある1つの文字の入力を決定する入力決定部とを備え、前記入力決定部が、前記注視時間の計測中に前記注視点が前記文字から外れた場合に、計測した前記注視時間をリセットすることなく保持することを特徴とする。
このようなものであれば、視線に応じて文字盤を移動させるタイプの視線入力装置において、注視時間の計測中に選択位置上の文字から注視点が外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点が定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
Another aspect of the present invention is a gaze input device that allows a user to select and input multiple characters arranged on a virtual dial displayed on a screen using their gaze, and includes a gaze point estimation unit that estimates the position of the user's gaze point on the screen, a dial display control unit that moves the dial from the estimated position of the gaze point toward a predetermined selection position set on the screen, and an input determination unit that measures the gaze time, which is the time the gaze point stays on the character at the selection position, and when the gaze time reaches a threshold, determines to input one character at the selection position, and is characterized in that if the gaze point moves away from the character while measuring the gaze time, the input determination unit retains the measured gaze time without resetting it.
With this type of eye-gaze input device, in which the dial moves according to the line of sight, even if the gaze point moves away from the character on the selected position while measuring the gaze time, the measured gaze time is maintained without being reset, so that the user can easily input characters even in a situation where it is difficult to fix the gaze point on the character to be input.

前記文字盤表示制御部が、前記注視時間の計測中に前記注視点が他の前記文字上に移動した場合に、前記注視点と前記選択位置との間の距離が所定値以下であれば、前記文字盤を移動させることなく留めておくことが好ましい。
このようにすれば、選択位置にある文字から注視点が外れても、ある程度の範囲内であれば文字盤を移動させないようにしているので、注視時間を計測中の文字に注視点を戻しやすい。そのため、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。
When the gaze point moves onto another character while measuring the gaze time, it is preferable that the dial display control unit keep the dial without moving if the distance between the gaze point and the selected position is less than a predetermined value.
In this way, even if the point of gaze moves away from the character at the selected position, the dial will not move within a certain range, making it easier to return the point of gaze to the character for which gaze time is being measured. This makes it easier for users to input characters even in situations where it is difficult to determine the point of gaze.

また前記注視時間の計測中に前記注視点と前記選択位置との間の距離が前記所定値を超えた場合に、計測した前記注視時間を保持した状態で前記文字盤を移動させることが好ましい。
このようにすれば、選択位置にある文字から注視点が意図せず大きく外れてしまい、文字盤が移動した場合であっても、計測中の注視時間をリセットすることなく保持しているので、ユーザの注視点が注視時間を保持している文字に戻ると、注視時間の計測を途中から再開できる。そのため、ユーザはより容易に文字を入力することができる。
Furthermore, if the distance between the gaze point and the selected position exceeds the predetermined value while the gaze time is being measured, it is preferable to move the dial while maintaining the measured gaze time.
In this way, even if the user's gaze point unintentionally moves far away from the character at the selected position and the dial moves, the gaze time being measured is maintained without being reset, so when the user's gaze point returns to the character for which the gaze time is being measured, the measurement of the gaze time can be resumed from where it left off. This makes it easier for the user to input characters.

また注視時間を計測中の文字とは異なる他の文字が前記選択位置にある状態で、当該他の文字上に前記注視点が所定時間以上滞在する場合に、計測中の前記注視時間をリセットし、当該他の文字に対する注視時間の計測を開始することが好ましい。
このようにすれば、他の文字を意識して注視しない限り、計測中の注視時間がリセットされないようにしているので、注視点が定まりにくい状況でもユーザはより容易に文字を入力することができる。
Furthermore, when a character other than the character for which gaze time is being measured is in the selected position and the gaze point remains on the other character for a predetermined period of time or longer, it is preferable to reset the gaze time being measured and start measuring the gaze time on the other character.
In this way, the gaze time being measured will not be reset unless the user consciously gazes at another character, allowing the user to input characters more easily even in situations where it is difficult to determine the gaze point.

このようにした本発明によれば、ユーザの視線が定まりにくくても文字を容易に入力することができる視線入力装置を提供することができる。 This invention provides an eye-gaze input device that allows users to easily input characters even when their line of sight is unsteady.

第1実施形態の視線入力装置の全体構成を模式的に示す図。1 is a diagram schematically illustrating the overall configuration of a gaze input device according to a first embodiment. 第1実施形態の視線入力装置の機器構成を示す構成図。FIG. 1 is a diagram showing the device configuration of a gaze input device according to a first embodiment. 第1実施形態の視線入力装置の機器構成を示す機能ブロック図。FIG. 1 is a functional block diagram showing the device configuration of a gaze input device according to a first embodiment. 第1実施形態における視線入力装置の動作を示す画面表示図。3A to 3C are screen display diagrams illustrating the operation of the eye-gaze input device according to the first embodiment. 第1実施形態における視線入力装置の動作を示すフローチャート。4 is a flowchart showing the operation of the eye-gaze input device according to the first embodiment. 第2実施形態における視線入力装置の動作を示す画面表示図。10A to 10C are diagrams illustrating screen display of the operation of the eye-gaze input device according to the second embodiment. 第2実施形態における視線入力装置の動作を示す画面表示図。10A to 10C are diagrams illustrating screen display of the operation of the eye-gaze input device according to the second embodiment. 第2実施形態における視線入力装置の動作を示すフローチャート。10 is a flowchart showing the operation of the eye-gaze input device according to the second embodiment.

本発明の視線入力装置の実施態様について、以下図面を参照して説明する。 Embodiments of the eye-gaze input device of the present invention will be described below with reference to the drawings.

<第1実施形態>
第1実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものであり、パソコン等の画面31に表示された仮想的な文字盤(キーボードともいう)B上の文字をユーザの視線により選択して入力できるようにしたものである。
First Embodiment
The eye-gaze input device 100 of the first embodiment is intended to assist people who have difficulty moving their limbs or mouths in communicating their intentions, and allows the user to select and input characters on a virtual character board (also called a keyboard) B displayed on a screen 31 of a personal computer or the like by using their line of sight.

具体的にこの視線入力装置100は、図1に示すように、ユーザの視線を検出する視線検出手段1と、コンピュータ本体2及びディスプレイ3を一体的に有するノートパソコンCとを備えている。ディスプレイ3の画面31には、平仮名等の文字が複数並べて配置された仮想的な文字盤(以下、単に文字盤と記載する)Bと、入力された文字が表示されるメッセージパネルMとが表示されている。ユーザが文字盤B上の入力したい文字を注視し続けることで文字の入力を決定し、メッセージパネルM上に表示することができる。このようにして複数の文字を入力することで、メッセージパネルM上にメッセージを表示させ、自らの意思を伝達することができる。 Specifically, as shown in FIG. 1, this eye-gaze input device 100 comprises an eye-gaze detection means 1 that detects the user's gaze, and a notebook computer C that integrally comprises a computer main body 2 and a display 3. The screen 31 of the display 3 displays a virtual character board (hereinafter simply referred to as the character board) B on which multiple characters such as hiragana are arranged, and a message panel M on which input characters are displayed. By continuing to gaze at the character that the user wishes to input on the character board B, the user can confirm the character input and display it on the message panel M. By inputting multiple characters in this way, a message can be displayed on the message panel M, allowing the user to communicate their intentions.

視線検出手段1は、ディスプレイ3の画面31に向けられたユーザの視線の方向等を検出し、その検出結果を視線データとして出力するものである。具体的にこの視線検出手段1は、角膜反射法を利用したものであり、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線の方向等を検出し、視線データとして出力する視線データ出力部(不図示)とを備えている。なお、本実施形態の視線検出手段1は所謂取付けタイプのものであり、前記光源及びカメラがユーザの顔面を向くようにしてディスプレイ3の下部に取付けられている。 The gaze detection means 1 detects the direction of the user's gaze directed toward the screen 31 of the display 3, and outputs the detection result as gaze data. Specifically, the gaze detection means 1 uses the corneal reflex method and includes a light source (not shown) that irradiates the user's eyeball with near-infrared light, a camera (not shown) that captures an image of the user's eyeball, and a gaze data output unit (not shown) that processes the image data output from the camera to detect the gaze direction, etc., and outputs the data as gaze data. Note that the gaze detection means 1 in this embodiment is of the so-called attached type, and is attached to the bottom of the display 3 so that the light source and camera are facing the user's face.

コンピュータ本体2は、構造的には図2に示すように、CPU201、メモリ202、入出力インターフェース203等を備えている。このコンピュータ本体2は、前記メモリ202に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU201やその周辺機器が協働することにより、図3に示すように、注視点推定部21、文字データ格納部22、文字盤表示制御部23、入力決定部24、入力文字表示制御部25としての機能を少なくとも発揮するように構成されている。以下、各部について説明する。 Structurally, as shown in Figure 2, the computer main body 2 comprises a CPU 201, memory 202, input/output interface 203, etc. The computer main body 2 is configured to perform at least the functions of a gaze point estimation unit 21, character data storage unit 22, dial display control unit 23, input determination unit 24, and input character display control unit 25, as shown in Figure 3, by the CPU 201 and its peripheral devices working together based on various application software (hereinafter referred to as programs) stored in the memory 202. Each unit will be described below.

注視点推定部21は、視線検出手段1の検出結果に基づいて、画面31上におけるユーザの注視点の位置を推定するものである。具体的には、視線検出手段1から視線信号を受け付け、当該視線信号に基づいて画面31上におけるユーザの注視点Gの位置を推定する。そして推定した注視点Gの位置を示す注視点データを入力決定部24及び文字盤表示制御部23に出力する。なお本実施形態では、図1に示すように、推定した注視点Gの位置にはポインタを表示するようにしている。 The gaze point estimation unit 21 estimates the position of the user's gaze point on the screen 31 based on the detection result of the gaze detection means 1. Specifically, it receives a gaze signal from the gaze detection means 1 and estimates the position of the user's gaze point G on the screen 31 based on the gaze signal. It then outputs gaze point data indicating the position of the estimated gaze point G to the input determination unit 24 and the dial display control unit 23. In this embodiment, as shown in Figure 1, a pointer is displayed at the position of the estimated gaze point G.

文字データ格納部22は、前記メモリ202の所定領域に設定されたものであり、文字盤Bに表示する各種文字のコード等を示す文字データが格納されている。なお本実施形態で言う「文字」とは、例えば、平仮名、片仮名、漢字、英数字、ローマ字、記号、絵文字、顔文字等である。 The character data storage unit 22 is set in a predetermined area of the memory 202 and stores character data indicating the codes of various characters to be displayed on the dial B. Note that "characters" in this embodiment include, for example, hiragana, katakana, kanji, alphanumeric characters, Roman letters, symbols, emoticons, emoticons, etc.

文字盤表示制御部23は、文字データ格納部22を参照して複数の文字が配列された文字盤Bを示す文字盤データを作成し、これを入力決定部24及びディスプレイ3に出力する。この文字盤データには、文字の表示態様及び画面上での表示位置に関する情報が含まれている。 The dial display control unit 23 references the character data storage unit 22 to create dial data representing a dial B on which multiple characters are arranged, and outputs this to the input determination unit 24 and the display 3. This dial data includes information regarding the display mode of the characters and their display positions on the screen.

図1に示すように、この文字盤表示制御部23は、画面31内の所定位置に文字盤Bの全体を固定して表示させる。この文字盤Bには、複数の文字(ここでは清音の平仮名文字)が縦横マトリクス状に等間隔に並ぶように配置されている。より具体的には、文字盤Bには、正方形状の文字パネル(特許請求の範囲の「区画」に相当する)Pが縦横マトリクス状に等間隔に複数表示されており、各文字パネルPのそれぞれに文字(平仮名文字)が1つずつ表示されている。ここでは互いに隣り合う文字パネルPが隙間なく並ぶように表示されている。そして各文字パネルPにおいて、各文字はその中心位置(重心位置)が各文字パネルPの中心位置と一致するように表示されている。本実施形態では各文字パネルPの外枠線は画面31上に表示されているが、非表示であってもよい。 As shown in FIG. 1, the dial display control unit 23 fixes and displays the entire dial B at a predetermined position within the screen 31. On this dial B, multiple characters (here, clear hiragana characters) are arranged at equal intervals in a vertical and horizontal matrix. More specifically, on the dial B, multiple square character panels (corresponding to "sections" in the claims) P are displayed at equal intervals in a vertical and horizontal matrix, with one character (hiragana character) displayed on each character panel P. Adjacent character panels P are displayed side by side with no gaps between them. Each character is displayed so that its center (center of gravity) coincides with the center of the corresponding character panel P. In this embodiment, the outer border of each character panel P is displayed on the screen 31, but it may be hidden.

入力決定部24は、推定された注視点Gの位置に基づいて文字の入力を1文字ずつ決定し、これを入力文字データとして入力文字表示制御部25に出力するものである。具体的に入力決定部24は、注視点Gが文字上(より具体的には文字パネルP上)にくると、当該文字上に注視点Gが滞在している時間である注視時間をカウントアップするよう計測する。そして入力決定部24は、この計測した注視時間が所定の閾値(例えば1秒)に達すると、当該文字の入力を決定する。すなわち入力決定部24は、ユーザが注視し続けた文字の入力を決定するものである。 The input determination unit 24 determines the input of characters one by one based on the estimated position of the gaze point G and outputs this as input character data to the input character display control unit 25. Specifically, when the gaze point G comes onto a character (more specifically, onto the character panel P), the input determination unit 24 counts up the gaze time, which is the time that the gaze point G remains on the character. Then, when this measured gaze time reaches a predetermined threshold (e.g., 1 second), the input determination unit 24 determines the input of the character. In other words, the input determination unit 24 determines the input of the character that the user has been gazing at.

入力決定部24が注視時間を計測すると、当該計測中の文字上(具体的には文字パネルP上)には、入力決定までに必要な残りの注視時間(残注視時間ともいう)を示すプログレスインジケータIが表示される。このプログレスインジケータIは、残注視時間の長さに応じて、その態様が変化するものである。本実施形態のプログレスインジケータIは、図1に示すように注視時間が増えるにつれて時計回りにバーが伸びていくようにした、所謂プログレスサークルである。プログレスインジケータIの態様は、これに限らず、例えば、文字や文字パネルPの色や大きさを変化させる等、任意のものであってよい。 When the input determination unit 24 measures the gaze time, a progress indicator I indicating the remaining gaze time (also referred to as the remaining gaze time) required until the input is determined is displayed on the character (specifically, on the character panel P) during the measurement. The form of this progress indicator I changes depending on the length of the remaining gaze time. In this embodiment, the progress indicator I is a so-called progress circle, with a bar that extends clockwise as the gaze time increases, as shown in Figure 1. The form of the progress indicator I is not limited to this, and may be any form, such as changing the color or size of the character or character panel P.

入力文字表示制御部25は、メッセージパネルMを画面31に表示させると共に、入力決定部24が選択した文字を、その入力決定順に並べた文字列としてメッセージパネルM内に表示させるものである。図1に示すように、メッセージパネルM内には、入力決定部24によって入力決定された文字列が横書きにより例えば中央揃えで表示されるようになっている。なお、表示される文字列は中央揃えに限らず、左揃えや右揃え等でもよい。また、入力決定した文字がメッセージパネルMの中央に表示されるようにしてもよい。メッセージパネルM内において、文字列は横方向に1列に表示されてよく、また選択された文字数が所定値以上になった場合には改行したり、文字の大きさを小さくして表示させてもよい。 The input character display control unit 25 displays the message panel M on the screen 31, and also displays the characters selected by the input determination unit 24 in the message panel M as a string of characters arranged in the order in which they were determined. As shown in FIG. 1, the character string determined by the input determination unit 24 is displayed horizontally in the message panel M, for example, centered. Note that the displayed character string is not limited to centered alignment, and may be left-justified, right-justified, or the like. The determined character may also be displayed in the center of the message panel M. In the message panel M, the character string may be displayed in a single horizontal line, or if the number of selected characters exceeds a predetermined value, a line break may be started or the characters may be displayed in a smaller size.

しかして第1実施形態の視線入力装置100では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部24が、注視点Gが複数の文字パネルP間をふらついている(あるいは移動している)間、当該複数の文字のそれぞれに対して注視時間を個別に計測して保持し、注視時間が最も早く閾値に達した1つの文字の入力を決定するように構成されている。すなわち入力決定部24は、注視点Gが文字パネルP内に入ってくる都度、当該文字に対する注視時間を加算する。そして、注視時間を計測している複数の文字のうち、1つの文字の注視時間の累計が閾値に達すると、当該文字の入力を決定する。 In the eye-gaze input device 100 of the first embodiment, to enable the user to easily input characters even when their gaze is unstable, the input determination unit 24 is configured to measure and retain the gaze time for each of the multiple characters while the gaze point G is fluctuating (or moving) between the multiple character panels P, and to determine the input of the single character whose gaze time reaches the threshold value first. In other words, each time the gaze point G enters a character panel P, the input determination unit 24 adds up the gaze time for that character. Then, when the cumulative total of the gaze times for one character among the multiple characters for which gaze times are being measured reaches the threshold value, the input of that character is determined.

具体的にこの入力決定部24は、注視点Gが文字パネルP内に滞在している間、注視時間をカウントアップし、注視点Gが文字パネルPから外れている間、計測した注視時間をカウントダウンするように構成されている。ここでは、注視時間をカウントダウンする速度は、注視時間をカウントアップする速度よりも低くなるように(具体的には約1/3になるように)構成されている。 Specifically, the input determination unit 24 is configured to count up the gaze time while the gaze point G remains within the character panel P, and to count down the measured gaze time while the gaze point G is outside the character panel P. Here, the speed at which the gaze time is counted down is configured to be slower (specifically, approximately 1/3) than the speed at which the gaze time is counted up.

そして複数の文字に対して注視時間を計測している間、当該複数の文字に対応する各文字パネルP内にプログレスインジケータIが表示される。すなわち、複数の文字パネルP間で視線がふらついている間、文字盤B上には複数のプログレスインジケータIが表示されている。この実施形態では、注視時間をカウントアップしているプログレスインジケータIと、注視時間をカウントダウンしているプログレスインジケータIとで、表示態様を互いに異ならせるようにしている。ここでは、表示するプログレスサークルのバーの色や太さを互いに異ならせるようにしている。なお、注視点Gが文字パネルP外にあることにより、注視時間がカウントダウンされて0になると、プログレスインジケータIを非表示にするようにしている。 While the gaze time is being measured for multiple characters, a progress indicator I is displayed within each character panel P corresponding to those multiple characters. In other words, while the gaze is wandering between multiple character panels P, multiple progress indicators I are displayed on the dial B. In this embodiment, the display mode of the progress indicator I counting up the gaze time and the progress indicator I counting down the gaze time are made different. Here, the displayed progress circle bars are made different in color and thickness. Note that because the gaze point G is outside the character panel P, the progress indicator I is hidden when the gaze time is counted down to 0.

そして入力決定部24は、計測した注視時間が閾値に達した文字の入力を決定すると、注視時間を計測中の全ての文字(入力を決定した文字を含む)に対してその注視時間をリセットする(注視時間を0にする)ように構成されている。この場合、表示されていた1つ又は複数のプログレスインジケータIが同時に非表示にするようにしている。 The input decision unit 24 is configured to reset (set to 0) the gaze time for all characters for which it is measuring gaze time (including the character for which it has decided to input) when it decides to input a character whose measured gaze time has reached a threshold. In this case, one or more progress indicators I that were displayed are simultaneously hidden.

<第1実施形態の視線入力装置の動作>
次に、第1実施形態の視線入力装置100の動作について、図4及び図5を参照して以下に説明する。ここでは、画面31には平仮名文字が配列された文字盤Bが固定して表示されている。ユーザは、当該文字盤Bから文字「き」を視線により選択して入力する。
<Operation of the eye-gaze input device of the first embodiment>
Next, the operation of the eye-gaze input device 100 of the first embodiment will be described below with reference to Figs. 4 and 5. Here, a character board B on which hiragana characters are arranged is fixedly displayed on the screen 31. The user selects and inputs the character "ki" from the character board B by guiding their gaze.

まずユーザが文字盤B上に視線を向けると、視線検出手段1によりユーザの視線が検出され、そして注視点推定部21により画面31上におけるユーザの注視点Gの位置が推定される(ステップS11)。 First, when the user directs their gaze onto the dial B, the gaze detection means 1 detects the user's gaze, and the gaze point estimation unit 21 estimates the position of the user's gaze point G on the screen 31 (step S11).

ユーザが文字「き」に視線を向け、注視点Gが「き」の文字パネルP内に入ると、文字「き」に対する注視時間の計測が開始する(ステップS12)。注視点Gが文字パネルP内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図4(a)に示すように、文字パネルP内のプログレスサークルIが伸び続ける(ステップS13、S14)。 When the user directs their gaze toward the character "ki" and the gaze point G enters the character panel P of "ki," measurement of the gaze time on the character "ki" begins (step S12). While the gaze point G is within the character panel P, the gaze time on the character "ki" is counted up, and accordingly, as shown in Figure 4(a), the progress circle I within the character panel P continues to grow (steps S13 and S14).

この状態で、図4(b)に示すように、注視点Gが「き」の文字パネルPから外れ、隣接する「い」の文字パネルPに移動すると、文字「き」に対する注視時間がカウントダウンされ、同時に文字「い」に対する注視時間の計測が開始する(ステップS15)。さらに、図4(c)に示すように、注視点Gが「い」の文字パネルPから外れ、隣接する「う」の文字パネルPに移動すると、文字「き」と文字「い」に対する注視時間がカウントダウンされ、同時に文字「う」に対する注視時間の計測が開始する。 In this state, as shown in Figure 4(b), when the gaze point G moves away from the "ki" character panel P and onto the adjacent "i" character panel P, the gaze time for the character "ki" is counted down, and at the same time, measurement of the gaze time for the character "i" begins (step S15). Furthermore, as shown in Figure 4(c), when the gaze point G moves away from the "i" character panel P and onto the adjacent "u" character panel P, the gaze time for the characters "ki" and "i" is counted down, and at the same time, measurement of the gaze time for the character "u" begins.

その後、図4(d)に示すように、注視点Gが「き」の文字パネルPに戻ると、文字「き」に対する注視時間を再びカウントアップする(ステップS13、S14)。そして、文字「き」に対する注視時間が所定の閾値(例えば1秒)に達すると、文字「き」の入力が決定され、メッセージパネルMに文字「き」が表示される(ステップS16、S17)。文字の入力が決定されると、図4(e)に示すように、計測していた注視時間が全ての文字に対してリセットされ、「い」、「う」及び「き」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS18)。 After that, as shown in FIG. 4(d), when the gaze point G returns to the character panel P for "ki," the gaze time for the character "ki" is counted up again (steps S13, S14). Then, when the gaze time for the character "ki" reaches a predetermined threshold (e.g., 1 second), the input of the character "ki" is confirmed, and the character "ki" is displayed on the message panel M (steps S16, S17). Once the character input is confirmed, the measured gaze time for all characters is reset, and the progress circle I displayed on the character panels P for "i," "u," and "ki" is hidden (step S18), as shown in FIG. 4(e).

<第1実施形態の視線入力装置の効果>
このように構成された本実施形態の視線入力装置100によれば、複数の文字パネルP間を注視点Gが移動している間、各文字に対して注視時間を計測して保持し、注視時間が最も早く閾値に達した文字を入力決定するようにしているので、注視点Gの位置が定まらなくても、ユーザが意識的に視線を向けている1つの文字の注視時間がどんどん溜まっていき、この文字の入力を決定することができる。これにより、画面31の端の方の文字を選択する場合や、ユーザに眼振の症状がある場合等、入力したい文字上で注視点Gが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
<Effects of the eye-gaze input device of the first embodiment>
According to the eye-gaze input device 100 of this embodiment configured as described above, while the gaze point G moves among the multiple character panels P, the gaze time for each character is measured and stored, and the character for which the gaze time reaches a threshold value first is determined as input. Therefore, even if the position of the gaze point G is not fixed, the gaze time for a single character that the user is consciously directing their gaze at accumulates, and the input of this character can be determined. This allows the user to easily input characters even in situations where it is difficult to determine the gaze point G on the character they want to input, such as when selecting a character near the edge of the screen 31 or when the user has symptoms of nystagmus.

<第2実施形態>
次に、本発明の第2実施形態の視線入力装置100について、第1実施形態との相違点を中心に説明する。第1実施形態の視線入力装置100と共通する構成については説明を省略する。
Second Embodiment
Next, the eye-gaze input device 100 according to the second embodiment of the present invention will be described, focusing on the differences from the first embodiment. Description of the configuration common to the eye-gaze input device 100 according to the first embodiment will be omitted.

第2実施形態の視線入力装置100は、ユーザの視線に応じて文字盤Bが移動する点において、第1実施形態の視線入力装置100とは態様が異なっている。具体的に第2の実施形態の視線入力装置100では、ユーザは視線を動かすことにより文字盤Bを画面31内で移動させ、画面31内の所定位置に設定された選択位置Sに所望の文字を合わせることで、当該文字の入力を決定できるようになっている。なお、この実施形態では、選択位置Sの座標が画面31の中心座標と同じになるように設定されている。 The eye-gaze input device 100 of the second embodiment differs from the eye-gaze input device 100 of the first embodiment in that the character board B moves in accordance with the user's line of sight. Specifically, with the eye-gaze input device 100 of the second embodiment, the user can move the character board B within the screen 31 by moving their line of sight, and can confirm the input of the desired character by aligning the desired character with a selection position S set at a predetermined position within the screen 31. Note that in this embodiment, the coordinates of the selection position S are set to be the same as the center coordinates of the screen 31.

この実施形態の文字盤表示制御部23は、注視点推定部21から取得した注視点データに基づき、文字盤Bを画面31内で移動させる。具体的には、文字盤表示制御部23は、注視点Gに最も近い文字が選択位置Sに向かうように文字盤311を移動させる。より具体的には、注視点Gが滞在している文字パネルPの中心位置が選択位置Sに向かうように文字盤Bを移動させる。そして注視点Gが滞在している文字パネルPの中心が選択位置Sに一致すると、文字盤Bの移動を停止させる。 In this embodiment, the dial display control unit 23 moves the dial B within the screen 31 based on the gaze point data acquired from the gaze point estimation unit 21. Specifically, the dial display control unit 23 moves the dial 311 so that the character closest to the gaze point G faces the selection position S. More specifically, the dial B is moved so that the center position of the character panel P where the gaze point G is located faces the selection position S. Then, when the center of the character panel P where the gaze point G is located coincides with the selection position S, the movement of the dial B is stopped.

例えば、図6(a)に示すように、ユーザが文字「つ」に視線を向けると、「つ」の文字パネルPの中心が選択位置Sに向かうように文字盤Bが移動する。そしてユーザが文字「つ」を注視し続け、図6(b)に示すように「つ」の文字パネルPの中心位置が選択位置Sに一致すると、文字盤Bの移動が停止する。 For example, as shown in Figure 6(a), when the user directs their gaze at the character "tsu", the character board B moves so that the center of the character panel P for "tsu" faces the selected position S. Then, if the user continues to gaze at the character "tsu", and the center position of the character panel P for "tsu" coincides with the selected position S, as shown in Figure 6(b), the movement of the character board B stops.

そして入力決定部24は、所定の条件を満たした場合に、選択位置S上に位置する文字の入力を決定する。具体的に入力決定部24は、選択位置Sにある文字上(具体的には文字パネルP内)に注視点Gがある場合、その滞在時間である注視時間を計測し、当該注視時間が閾値(例えば1秒)に達すると、選択位置Sにある文字の入力を決定する。 Then, when a predetermined condition is satisfied, the input determination unit 24 determines to input the character located at the selection position S. Specifically, when the gaze point G is on the character located at the selection position S (specifically, within the character panel P), the input determination unit 24 measures the gaze time, which is the duration of the gaze, and when the gaze time reaches a threshold value (for example, 1 second), determines to input the character located at the selection position S.

しかして第2実施形態の視線入力装置100では、ユーザの視線が不安定な状態でも容易に文字を入力できるようにすべく、入力決定部24は、注視時間の計測中に選択位置S上の文字パネルPから注視点Gが外れた場合に、計測した注視時間をリセットすることなく保持するように構成されている。 In the eye-gaze input device 100 of the second embodiment, in order to enable the user to easily input characters even when their gaze is unstable, the input determination unit 24 is configured to retain the measured gaze time without resetting it if the gaze point G moves away from the character panel P on the selection position S while measuring the gaze time.

具体的に入力決定部24は、注視時間の計測中に選択位置S上の文字パネルPから注視点Gが外れ、他の文字パネルP上に移動した場合に、注視時間のカウントアップを一時停止する。そして注視点Gが再び選択位置S上の文字パネルP内に戻ってくると、一時停止していた注視時間のカウントアップを再開させる。 Specifically, when the gaze point G moves away from the character panel P on the selection position S and onto another character panel P while measuring the gaze time, the input determination unit 24 temporarily suspends the counting up of the gaze time. Then, when the gaze point G returns to the character panel P on the selection position S, the input determination unit 24 resumes the paused counting up of the gaze time.

ここで文字盤表示制御部23は、選択位置S上の文字に対する注視時間の計測中に、当該文字パネルPから注視点Gが外れても、注視点Gと選択位置Sとの間の距離が所定値以下であれば、文字盤Bを移動させることなく留めておくように構成されている。この所定値とは、例えば、文字パネルPの1枚分の長さ程度が好ましい。 Here, the dial display control unit 23 is configured to keep the dial B stationary without moving it, even if the gaze point G moves away from the character panel P while measuring the gaze time on the character at the selection position S, as long as the distance between the gaze point G and the selection position S is equal to or less than a predetermined value. This predetermined value is preferably, for example, about the length of one character panel P.

そして文字盤表示制御部23は、注視点Gと選択位置Sとの間の距離が所定値を超えると、注視点Gに最も近い文字が選択位置Sに向かうように文字盤Bを移動させる。この文字盤Bを移動させている状態においても、入力決定部24は、計測していた注視時間をリセットすることなく保持するように構成されている。すなわち、この実施形態では、注視時間の計測中に視線が大きく外れた場合に、計測した注視時間を保持した状態で文字盤Bが移動するように構成されている。 Then, when the distance between the gaze point G and the selection position S exceeds a predetermined value, the dial display control unit 23 moves the dial B so that the character closest to the gaze point G faces the selection position S. Even while the dial B is being moved, the input determination unit 24 is configured to maintain the measured gaze time without resetting it. In other words, in this embodiment, if the line of sight shifts significantly while measuring the gaze time, the dial B is configured to move while maintaining the measured gaze time.

そして入力決定部24は、注視時間を計測している文字とは異なる他の文字が選択位置Sにある状態で、当該他の文字上(文字パネルP内)に注視点Gが所定時間以上滞在する場合に、計測中の注視時間をリセットし、当該他の文字に対する注視時間の計測を開始する。 Then, when a character other than the character for which the gaze time is being measured is in the selected position S and the gaze point G remains on that character (within the character panel P) for a predetermined period of time or more, the input determination unit 24 resets the gaze time being measured and starts measuring the gaze time on that character.

<第2実施形態の視線入力装置の動作>
次に、第2実施形態の視線入力装置100の動作について、図7及び図8を参照して以下に説明する。ここでは、画面31には平仮名文字が配列された移動式の文字盤Bが表示されている。ユーザは、当該文字盤Bから文字「き」を視線により選択して入力する。
<Operation of the eye-gaze input device according to the second embodiment>
Next, the operation of the eye-gaze input device 100 of the second embodiment will be described below with reference to Figs. 7 and 8. Here, a movable character board B on which hiragana characters are arranged is displayed on the screen 31. The user selects and inputs the character "ki" from the character board B by guiding their gaze.

まずユーザが文字盤B上に視線を向けると、視線検出手段1によりユーザの視線が検出され、そして注視点推定部21により画面31上におけるユーザの注視点Gの位置が推定される(ステップS21)。ユーザが文字「き」に視線を向け、注視点Gが「き」の文字パネルP内に入ると、「き」の文字パネルPが選択位置Sに向かうように文字盤Bが移動する(ステップS22)。 First, when the user directs their gaze onto the dial B, the gaze detection means 1 detects the user's gaze, and the gaze point estimation unit 21 estimates the position of the user's gaze point G on the screen 31 (step S21). When the user directs their gaze towards the character "ki" and the gaze point G enters the character panel P for "ki," the dial B moves so that the character panel P for "ki" faces the selection position S (step S22).

「き」の文字パネルPが選択位置Sにある状態で、ユーザが文字「き」を注視し続けると、文字「き」に対する注視時間の計測が開始する(ステップS23)。注視点Gが文字パネルP内にある間、文字「き」に対する注視時間がカウントアップされ、これに伴い図7(a)に示すように、文字パネルP内のプログレスサークルIが伸びる(ステップS24、S25)。 When the character panel P for "ki" is in the selected position S and the user continues to gaze at the character "ki," measurement of the gaze time for the character "ki" begins (step S23). While the gaze point G is within the character panel P, the gaze time for the character "ki" is counted up, and accordingly, the progress circle I within the character panel P extends, as shown in Figure 7(a) (steps S24, S25).

そして図7(b)に示すように、注視点Gが「き」の文字パネルPから外れると、文字「き」に対する注視時間のカウントが一時停止する(ステップS26)。ここで注視点Gと選択位置Sとの間の距離が所定値(ここでは、選択位置Sから、隣接する文字パネルPの中心までの距離)以内である場合、文字盤Bは移動することなくその位置に固定されている(ステップS27)。一方、注視点Gと選択位置Sとの間の距離が所定値を超える場合、図7(c)に示すように、文字「き」に対して計測した注視時間を保持したまま、注視点Gから選択位置Sに向かって文字盤Bが移動する(ステップS22)。 As shown in Figure 7(b), when the gaze point G moves away from the character panel P of "ki", the counting of the gaze time on the character "ki" is temporarily stopped (step S26). If the distance between the gaze point G and the selection position S is within a predetermined value (here, the distance from the selection position S to the center of the adjacent character panel P), the character board B remains fixed in that position without moving (step S27). On the other hand, if the distance between the gaze point G and the selection position S exceeds the predetermined value, the character board B moves from the gaze point G toward the selection position S while maintaining the gaze time measured on the character "ki", as shown in Figure 7(c) (step S22).

ここで、注視点Gが再び「き」の文字パネルP内に戻ると、図7(d)に示すように、「き」の文字パネルPが選択位置Sまで移動し、文字「き」に対する注視時間のカウントアップを再開する(ステップS24、S25)。そして、図7(e)に示すように、文字「き」に対する注視時間が所定の閾値(例えば1秒)に達すると、文字「き」の入力が決定されメッセージパネルMに文字「き」が表示される(ステップS28、S29)。文字の入力が決定されると、計測していた注視時間がリセットされ、「き」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS30)。 When the gaze point G returns to the character panel P for "ki," as shown in FIG. 7(d), the character panel P for "ki" moves to the selection position S, and counting up the gaze time for the character "ki" resumes (steps S24, S25). Then, as shown in FIG. 7(e), when the gaze time for the character "ki" reaches a predetermined threshold (e.g., 1 second), the input of the character "ki" is confirmed and the character "ki" is displayed on the message panel M (steps S28, S29). When the character input is confirmed, the measured gaze time is reset, and the progress circle I displayed on the character panel P for "ki" is hidden (step S30).

一方で図7(f)に示すように、「い」の文字パネルPが選択位置Sに完全に移動し、この状態で注視点Gが「い」の文字パネルP内に滞在すると、文字「き」に対して計測していた注視時間がリセットされ、文字「い」に対する注視時間の計測を開始する(ステップS24、S25)。この時、「き」の文字パネルPに表示されていたプログレスサークルIが非表示になり、「い」の文字パネルP内にプログレスサークルIが表示される。そして、図7(g)に示すように、文字「い」に対する注視時間が所定の閾値に達すると、文字「い」の入力が決定されメッセージパネルMに文字「い」が表示される(ステップS28、S29)。文字の入力が決定されると、計測していた注視時間がリセットされ、「い」の文字パネルPに表示されていたプログレスサークルIが非表示になる(ステップS30)。 On the other hand, as shown in FIG. 7(f), when the character panel P for "i" moves completely to the selected position S and the gaze point G remains within the character panel P for "i" in this state, the gaze time measured for the character "ki" is reset, and measurement of the gaze time for the character "i" begins (steps S24, S25). At this time, the progress circle I displayed on the character panel P for "ki" becomes hidden, and the progress circle I is displayed within the character panel P for "i". Then, as shown in FIG. 7(g), when the gaze time for the character "i" reaches a predetermined threshold, the input of the character "i" is confirmed, and the character "i" is displayed on the message panel M (steps S28, S29). When the character input is confirmed, the measured gaze time is reset, and the progress circle I displayed on the character panel P for "i" becomes hidden (step S30).

<第2実施形態の視線入力装置の効果>
このように構成された本実施形態の視線入力装置100によれば、画面31上で文字盤Bを移動させるタイプのものにおいて、注視時間の計測中に、選択位置S上の文字パネルPから注視点Gが外れても、計測した注視時間をリセットすることなく保持するようにしているので、入力したい文字上で注視点Gが定まりにくい状況であっても、ユーザは容易に文字を入力することができる。
<Effects of the eye-gaze input device of the second embodiment>
According to the eye-gaze input device 100 of this embodiment configured as described above, in the type in which the dial B is moved on the screen 31, even if the gaze point G moves away from the character panel P on the selection position S while measuring the gaze time, the measured gaze time is maintained without being reset, so that the user can easily input characters even in situations where it is difficult to determine the gaze point G on the character they want to input.

<その他の変形実施形態>
なお、本発明は前記実施形態に限られるものではない。
<Other Modified Embodiments>
The present invention is not limited to the above-described embodiment.

前記第1実施形態の入力決定部24は、注視時間の計測を開始した後、注視点Gが文字パネルPから外れると、注視時間をカウントダウンするように構成されていたが、これに限らない。他の実施形態では、入力決定部24は、注視点Gが文字パネルPから外れている間、注視時間をカウントダウンすることなく固定しておき、注視点Gが戻ってくるとカウントアップを再開するように構成されてもよい。 In the first embodiment, the input determination unit 24 was configured to count down the gaze time when the gaze point G moves away from the character panel P after starting to measure the gaze time, but this is not limited to this. In other embodiments, the input determination unit 24 may be configured to keep the gaze time fixed without counting down while the gaze point G moves away from the character panel P, and to resume counting up when the gaze point G returns.

前記第1実施形態では、注視時間のカウントダウンの速度が注視時間のカウントアップの速度よりも低くなるように設定されていたがこれに限らない。注視時間のカウントダウンの速度とカウントアップの速度を同程度に設定してもよく、注視時間のカウントダウンの速度がカウントアップの速度よりも高くなるように設定してもよい。 In the first embodiment, the gaze time countdown speed was set to be slower than the gaze time countup speed, but this is not limited to this. The gaze time countdown speed and the countup speed may be set to be approximately the same, or the gaze time countdown speed may be set to be faster than the countup speed.

前記第2実施形態では、文字盤Bの移動中に計測中の注視時間を保持するように構成していたが、これに限らない。他の実施形態では、文字盤Bの移動に合わせて、保持していた注視時間をリセットするようにしてもよい。 In the second embodiment, the gaze time being measured is maintained while dial B is moving, but this is not limited to this. In other embodiments, the maintained gaze time may be reset in accordance with the movement of dial B.

前記各実施形態では、文字盤B内に縦横のマトリクス状に等間隔に並ぶように各文字が表示されていたがこれに限らない。例えば、複数の文字が放射状に配列されたり、一列に並ぶように表示されてもよい。 In the above embodiments, the characters are displayed on the dial B in a matrix pattern with equal spacing between them, but this is not limited to this. For example, multiple characters may be arranged radially or in a single line.

前記各実施形態での視線検出手段1は取付けタイプのものであったが、これに限定されない。他の実施形態では、視線検出手段1はディスプレイ3やコンピュータ本体2と一体型であってもよいし、ユーザの身体に取付けられるウェアラブル型のものであってもよい。またディスプレイ3の上部等任意の場所に取り付けられてもよい。 In the above embodiments, the gaze detection means 1 was of an attached type, but this is not limited to this. In other embodiments, the gaze detection means 1 may be integrated with the display 3 or the computer main body 2, or may be a wearable type that is attached to the user's body. It may also be attached to any location, such as the top of the display 3.

前記各実施形態では、コンピュータ本体2は、メモリ202に記憶させたプログラムに基づいて、注視点推定部21等としての各機能を実現していたがこれに限定されない。他の実施形態では、コンピュータ本体2は、インターネット等のネットワークを介してクラウドにアクセスし、当該クラウド上に保存されたプログラムに基づいて、CPU201やその周辺機器が協働することにより、注視点推定部21等としての各機能を実現するようにしてもよい。 In the above embodiments, the computer main body 2 realizes the functions of the gaze point estimation unit 21, etc. based on a program stored in the memory 202, but this is not limited to this. In other embodiments, the computer main body 2 may access a cloud via a network such as the Internet, and realize the functions of the gaze point estimation unit 21, etc. by the CPU 201 and its peripheral devices working together based on a program stored on the cloud.

前記各実施形おいて、コンピュータ本体2及びディスプレイ3はノートパソコンに一体的に備えられていたが、これに限定されない。他の実施形態ではこれらは別体であってもよい。またディスプレイ3は、プロジェクターと投影スクリーンにより構成されていてもよい。またノートパソコンに限らず、スマートホンやタブレット等の形態型端末であってもよく、ヘッドマウントディスプレイ等のウェアラブル端末であってもよい。 In each of the above embodiments, the computer main body 2 and the display 3 are integrally provided in a laptop computer, but this is not limited to this. In other embodiments, they may be separate. The display 3 may also be composed of a projector and projection screen. Furthermore, the device is not limited to a laptop computer; it may also be a mobile device such as a smartphone or tablet, or a wearable device such as a head-mounted display.

また他の実施形態の視線入力装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援する用途に限らず、健常者の視線による文字入力を支援する用途で用いられてもよい。 In addition, the eye-gaze input device 100 in other embodiments may be used not only to assist people who have difficulty moving their limbs or mouths in communicating their intentions, but also to assist able-bodied people in entering text using their gaze.

その他、本発明は前記各実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。 It goes without saying that the present invention is not limited to the above-described embodiments, and various modifications are possible without departing from the spirit of the invention.

100・・・視線入力装置
21 ・・・注視点推定部
24 ・・・入力決定部
31 ・・・画面
B ・・・文字盤
G ・・・注視点
100: Eye-gaze input device 21: Gaze point estimation unit 24: Input determination unit 31: Screen B: Dial G: Gaze point

Claims (5)

画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにした視線入力装置であって、
前記画面上における前記ユーザの注視点の位置を推定する注視点推定部と、
推定された前記注視点の位置から前記画面上に設定した所定の選択位置に向けて前記文字盤を移動させる文字盤表示制御部と、
前記選択位置にある前記文字上に前記注視点が滞在している時間である注視時間を計測し、当該注視時間が閾値に達すると、前記選択位置にある1つの文字の入力を決定する入力決定部とを備え、
前記入力決定部が、前記注視時間の計測中に前記注視点が前記文字から外れた場合に、計測した前記注視時間をリセットすることなく保持する視線入力装置。
A gaze input device that allows a user to select and input a plurality of characters arranged on a virtual dial displayed on a screen by using the user's gaze,
a gaze point estimation unit that estimates the position of the gaze point of the user on the screen;
a dial display control unit that moves the dial from the estimated position of the gaze point toward a predetermined selection position set on the screen;
an input determination unit that measures a gaze time, which is a time during which the gaze point stays on the character at the selected position, and determines to input one character at the selected position when the gaze time reaches a threshold value;
The eye-gaze input device, wherein the input determination unit holds the measured gaze time without resetting it when the gaze point moves away from the character during measurement of the gaze time.
前記文字盤表示制御部が、前記注視時間の計測中に前記注視点が他の前記文字上に移動した場合に、前記注視点と前記選択位置との間の距離が所定値以下であれば、前記文字盤を移動させることなく留めておく請求項1に記載の視線入力装置。 The eye-gaze input device of claim 1, wherein the dial display control unit keeps the dial stationary without moving if the gaze point moves onto another character while measuring the gaze time and the distance between the gaze point and the selected position is equal to or less than a predetermined value. 前記注視時間の計測中に前記注視点と前記選択位置との間の距離が前記所定値を超えた場合に、計測した前記注視時間を保持した状態で前記文字盤を移動させる請求項2に記載の視線入力装置。 The eye-gaze input device of claim 2, wherein if the distance between the gaze point and the selected position exceeds the predetermined value while measuring the gaze time, the dial is moved while maintaining the measured gaze time. 注視時間を計測中の文字とは異なる他の文字が前記選択位置にある状態で、当該他の文字上に前記注視点が所定時間以上滞在する場合に、計測中の前記注視時間をリセットし、当該他の文字に対する注視時間の計測を開始する請求項1~3のいずれか一項に記載の視線入力装置。 The eye-gaze input device of any one of claims 1 to 3 resets the gaze time being measured and starts measuring the gaze time on a character other than the character for which gaze time is being measured, when the gaze point remains on the other character for a predetermined period of time or longer while the other character is in the selected position. 画面に表示された仮想的な文字盤に配列された複数の文字をユーザの視線により選択して入力できるようにした視線入力装置用のプログラムであって、
前記画面上における前記ユーザの注視点の位置を推定する注視点推定部としての機能と、
推定された前記注視点の位置から前記画面上に設定した所定の選択位置に向けて前記文字盤を移動させる文字盤表示制御部としての機能と、
前記選択位置にある前記文字上に前記注視点が滞在している時間である注視時間を計測し、当該注視時間が閾値に達すると、前記選択位置にある1つの文字の入力を決定する入力決定部としての機能とをコンピュータに発揮させるものであり、
前記入力決定部が、前記注視時間の計測中に前記注視点が前記文字から外れた場合に、計測した前記注視時間をリセットすることなく保持する視線入力装置用のプログラム。
A program for an eye-gaze input device that allows a user to select and input a plurality of characters arranged on a virtual dial displayed on a screen by using the user's gaze,
a function as a gaze point estimation unit that estimates the position of the gaze point of the user on the screen;
a function as a dial display control unit that moves the dial from the estimated position of the gaze point toward a predetermined selection position set on the screen;
a gaze time, which is the time that the gaze point stays on the character at the selected position, is measured, and when the gaze time reaches a threshold, the computer is caused to perform a function as an input determination unit that determines the input of one character at the selected position;
A program for an eye-gaze input device, wherein the input determination unit holds the measured gaze time without resetting it if the gaze point moves away from the character while measuring the gaze time.
JP2024127598A 2021-03-12 2024-08-02 Eye-gaze input device and program for eye-gaze input device Active JP7727978B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024127598A JP7727978B2 (en) 2021-03-12 2024-08-02 Eye-gaze input device and program for eye-gaze input device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021040703A JP7560833B2 (en) 2021-03-12 2021-03-12 Eye-gaze input device and program for eye-gaze input device
JP2024127598A JP7727978B2 (en) 2021-03-12 2024-08-02 Eye-gaze input device and program for eye-gaze input device

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021040703A Division JP7560833B2 (en) 2021-03-12 2021-03-12 Eye-gaze input device and program for eye-gaze input device

Publications (2)

Publication Number Publication Date
JP2024150745A JP2024150745A (en) 2024-10-23
JP7727978B2 true JP7727978B2 (en) 2025-08-22

Family

ID=83398939

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021040703A Active JP7560833B2 (en) 2021-03-12 2021-03-12 Eye-gaze input device and program for eye-gaze input device
JP2024127598A Active JP7727978B2 (en) 2021-03-12 2024-08-02 Eye-gaze input device and program for eye-gaze input device

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2021040703A Active JP7560833B2 (en) 2021-03-12 2021-03-12 Eye-gaze input device and program for eye-gaze input device

Country Status (1)

Country Link
JP (2) JP7560833B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024057674A (en) * 2022-10-13 2024-04-25 学校法人光産業創成大学院大学 Eye-gaze input device and program for eye-gaze input device
WO2025197481A1 (en) * 2024-03-18 2025-09-25 パナソニックIpマネジメント株式会社 Information processing method, information processing device, and program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150103000A1 (en) 2012-06-28 2015-04-16 Microsoft Corporation Eye-typing term recognition
WO2017069176A1 (en) 2015-10-19 2017-04-27 株式会社オリィ研究所 Line-of-sight input device, line-of-sight input method, and line-of-sight input program
JP2018084875A (en) 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1173274A (en) * 1997-08-27 1999-03-16 Canon Inc Eye-gaze input communication device, method and storage medium
JP6200023B1 (en) 2016-03-28 2017-09-20 株式会社バンダイナムコエンターテインメント Simulation control apparatus and simulation control program

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150103000A1 (en) 2012-06-28 2015-04-16 Microsoft Corporation Eye-typing term recognition
WO2017069176A1 (en) 2015-10-19 2017-04-27 株式会社オリィ研究所 Line-of-sight input device, line-of-sight input method, and line-of-sight input program
JP2018084875A (en) 2016-11-21 2018-05-31 株式会社コナミデジタルエンタテインメント Terminal device and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊藤 和幸,注視点の仮想拡大表示による視線入力補助方法,日本バーチャルリアリティ学会論文誌,日本,日本バーチャルリアリティ学会,2001年09月30日,第6巻第3号,第185~191第,ISSN 1344-011X

Also Published As

Publication number Publication date
JP7560833B2 (en) 2024-10-03
JP2022140063A (en) 2022-09-26
JP2024150745A (en) 2024-10-23

Similar Documents

Publication Publication Date Title
JP7727978B2 (en) Eye-gaze input device and program for eye-gaze input device
US6886137B2 (en) Eye gaze control of dynamic information presentation
US20220413605A1 (en) Optical system providing accurate eye-tracking and related method
US9946338B2 (en) Information processing to vary screen display based on a gaze point of the user
KR101919009B1 (en) Method for controlling using eye action and device thereof
US10620748B2 (en) Method and device for providing a touch-based user interface
JP2014142882A (en) Line of sight input device
CN102609085A (en) Information processing apparatus, method, and storage medium storing program
KR20140061315A (en) Ergonomic motion detection for receiving character input to electronic devices
WO2021208965A1 (en) Text input method, mobile device, head-mounted display device, and storage medium
WO2013059647A1 (en) Reducing visual crowding, increasing attention and improving visual span
US20180074583A1 (en) Input device using gaze tracking
CN103869958B (en) Electronic device control method and electronic device
JP6456003B2 (en) Gaze control device and method, and medical device
JP2006350705A (en) Information providing device, method, and program
US20220129069A1 (en) Information processing apparatus, information processing method, and program
US10416870B2 (en) Display control device and non-transitory computer-readable storage medium having program recorded thereon
Sarcar et al. Eyeboard++ an enhanced eye gaze-based text entry system in Hindi
JP7842405B2 (en) Eye-tracking device and program for eye-tracking device
EP2849029A1 (en) Information processing apparatus and information processing method using gaze tracking
JP7644478B2 (en) Character input device, character input system, character input method, and character input program
JP2024057674A (en) Eye-gaze input device and program for eye-gaze input device
JP6715483B2 (en) Symbol selection device and program for symbol selection device
JP7334946B2 (en) keyboard control program, keyboard and keyboard control system
JP2021122403A (en) Objective presentation device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240806

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20250425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250513

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250722

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250801

R150 Certificate of patent or registration of utility model

Ref document number: 7727978

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150