Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6712813B2 - Symbol selection device and program for symbol selection device - Google Patents
[go: Go Back, main page]

JP6712813B2 - Symbol selection device and program for symbol selection device - Google Patents

Symbol selection device and program for symbol selection device Download PDF

Info

Publication number
JP6712813B2
JP6712813B2 JP2018033733A JP2018033733A JP6712813B2 JP 6712813 B2 JP6712813 B2 JP 6712813B2 JP 2018033733 A JP2018033733 A JP 2018033733A JP 2018033733 A JP2018033733 A JP 2018033733A JP 6712813 B2 JP6712813 B2 JP 6712813B2
Authority
JP
Japan
Prior art keywords
symbol
screen
symbols
displayed
display window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018033733A
Other languages
Japanese (ja)
Other versions
JP2019149032A (en
Inventor
功 本山
功 本山
竹信 宇田
竹信 宇田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Graduate School for the Creation of New Photonics Industries
Original Assignee
Graduate School for the Creation of New Photonics Industries
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Graduate School for the Creation of New Photonics Industries filed Critical Graduate School for the Creation of New Photonics Industries
Priority to JP2018033733A priority Critical patent/JP6712813B2/en
Publication of JP2019149032A publication Critical patent/JP2019149032A/en
Application granted granted Critical
Publication of JP6712813B2 publication Critical patent/JP6712813B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、画面上に表示された文字、記号等のシンボル(以下、単に「シンボル」と記載することがある)をユーザの視線により選択できるようにしたシンボル選択装置及び当該シンボル選択装置用のプログラムに関する。 The present invention relates to a symbol selection device and a symbol selection device capable of selecting a symbol such as a character or a symbol (hereinafter, simply referred to as a “symbol”) displayed on a screen from the user's line of sight. Regarding the program.

近年、重度の肢体麻痺等により眼球以外を動かすことが困難な患者の意思伝達を支援するツールとして、画面上に表示されたシンボルを視線により選択できるようにしたシンボル選択装置が開発されている。 In recent years, a symbol selection device capable of selecting a symbol displayed on the screen by a line of sight has been developed as a tool for supporting communication of a patient who has difficulty moving other than the eyeball due to severe limb paralysis or the like.

このようなシンボル選択装置として、例えば特許文献1には、カメラを用いてユーザの視線を検出し、検出された視線に応じて画面上のカーソルを移動させて、画面上に表示されたシンボルを選択できるようにしたものが開示されている。このシンボル選択装置では、検出された視線に基づいて画面上におけるユーザの視点位置が推定され、この推定された視点位置にカーソルが表示される。ユーザは、視線を動かすことで画面上のカーソルをシンボルまで移動させ、例えば瞬き等をすることで、そのシンボルを選択することができる。そして選択されたシンボルは、画面上のシンボル列表示ウィンドウに表示され、これによりユーザは自分の意思を他人に伝えることができるようになっている。 As such a symbol selection device, for example, in Patent Document 1, a user's line of sight is detected by using a camera, a cursor on the screen is moved according to the detected line of sight, and a symbol displayed on the screen is displayed. A selection that can be selected is disclosed. In this symbol selection device, the viewpoint position of the user on the screen is estimated based on the detected line of sight, and the cursor is displayed at this estimated viewpoint position. The user can select the symbol by moving the cursor on the screen to the symbol by moving the line of sight and, for example, blinking. Then, the selected symbol is displayed in the symbol column display window on the screen, which allows the user to convey his or her intention to another person.

特開2000−020196号公報Japanese Patent Laid-Open No. 2000-020196

しかしながら、上述したようなカメラ等を用いてユーザの視線を検出する種のシンボル選択装置では、シンボル列表示ウィンドウが、画面の端等、選択する複数のシンボルとは離れた位置に固定して表示されている。そのためユーザは、選択したシンボルが誤りなく選択されているかを確認するためには、画面上の複数のシンボルとシンボル列表示ウィンドウとの間で視線を何度も往復させなければならない。すると、シンボル列を確認するために視線を移動している間に、画面上に表示されたシンボルを誤って選択してしまうことがある。 However, in the symbol selection device of the type that detects the line of sight of the user using the camera or the like as described above, the symbol column display window is fixed and displayed at a position apart from the plurality of symbols to be selected, such as the edge of the screen. Has been done. Therefore, in order to confirm that the selected symbol is correctly selected, the user has to repeatedly make a line of sight between the symbols on the screen and the symbol row display window. Then, the symbol displayed on the screen may be erroneously selected while moving the line of sight to confirm the symbol string.

本発明はこのような問題に鑑みてなされたものであり、選択された文字や記号等のシンボル列を簡単に確認することができ、シンボルの誤選択を低減することができるシンボル選択装置を提供することを目的とする。 The present invention has been made in view of such a problem, and provides a symbol selection device capable of easily confirming a symbol string of selected characters, symbols, etc. and reducing erroneous symbol selection. The purpose is to do.

すなわち本発明に係るシンボル選択装置は、画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたものであって、前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部と、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部とを備え、前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定することを特徴とする。 That is, the symbol selection device according to the present invention allows a plurality of symbols such as characters and symbols displayed on the screen to be selected by the user's line of sight, and the line of sight of the user directed to the screen can be changed. The line-of-sight detection means for detecting, a symbol selection part for selecting one symbol from a plurality of symbols displayed on the screen based on the detection result of the line-of-sight detection part, and the symbol selection part. A fixed symbol display control unit for displaying on the screen a symbol column display window for displaying symbols arranged in a selected order, the fixed symbol display control unit changing the display position of the symbol column display window to the symbol It is characterized in that it is set at a position adjacent to one symbol selected by the selection unit.

このようなものであれば、シンボル選択部によって選択されている1つのシンボルと隣り合う位置にシンボル列表示ウィンドウが表示されるので、ユーザは、選択したいシンボルを見て選択した後、視線を大きく移動させることなく、シンボル列表示ウィンドウに表示されているシンボル列を確認することができる。すなわち、ユーザは選択されたシンボル列を確認するために、画面上に表示されている他の複数のシンボルの上を通るように視線を移動させる必要がないので、シンボルの誤選択を低減することができる。また、選択されているシンボルとシンボル列表示ウィンドウとの間で視線を大きく移動させる必要がないので、ユーザは選択されたシンボル列を簡単に確認することができる。 In such a case, the symbol row display window is displayed at a position adjacent to one symbol selected by the symbol selection unit, so that the user looks at the symbol to be selected and then makes a large line of sight. You can check the symbol string displayed in the symbol string display window without moving it. That is, the user does not have to move his or her line of sight to pass over the other symbols displayed on the screen in order to confirm the selected symbol sequence, so that the erroneous selection of symbols can be reduced. You can Further, since it is not necessary to move the line of sight greatly between the selected symbol and the symbol array display window, the user can easily confirm the selected symbol array.

前記シンボル選択装置は、前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部と、前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、画面上に表示されている複数のシンボルのうち所望の1つのシンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、をさらに備え、前記選択位置が前記画面上の所定位置に固定されており、前記シンボル選択部が前記選択位置にある1つのシンボルを選択するものであることが好ましい。
このようなものであれば、選択位置が画面上の所定位置に固定されているので、シンボル選択部により選択されるシンボルは常に画面上の同じ位置(すなわち選択位置)で選択される。これにより、シンボル列表示ウィンドウも、常に画面上の同じ位置(すなわち選択位置近傍)に表示されるので、ユーザはシンボル列表示ウィンドウ内のシンボル列を簡単に確認することができる。
The symbol selecting device estimates a viewpoint position of the user on the screen based on a detection result of the line-of-sight detecting means, and an estimated viewpoint which is a viewpoint position estimated by the viewpoint position estimating portion. A selection symbol display control unit for moving a desired one symbol among a plurality of symbols displayed on the screen to a preset selection position on the screen based on the position; It is preferable that the position is fixed to a predetermined position on the screen, and the symbol selection unit selects one symbol at the selected position.
In such a case, since the selection position is fixed at a predetermined position on the screen, the symbols selected by the symbol selection unit are always selected at the same position on the screen (that is, the selection position). As a result, the symbol array display window is always displayed at the same position on the screen (that is, near the selected position), so that the user can easily check the symbol array in the symbol array display window.

前記確定シンボル表示制御部は、前記シンボル選択部によって選択されているシンボルに隣り合う複数のシンボルのそれぞれの、少なくとも一部が見えるように前記シンボル列表示ウィンドウを表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウが表示されている間も、ユーザは画面上に表示されている全てのシンボルを確認することができるので、次に選択するシンボルをより簡単に探すことができる。
It is preferable that the fixed symbol display control unit displays the symbol column display window so that at least a part of each of a plurality of symbols adjacent to the symbol selected by the symbol selection unit can be seen.
If this is the case, the user can check all the symbols displayed on the screen while the symbol column display window is displayed, so it is easier to find the symbol to select next. be able to.

前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウを透過表示することが好ましい。
このようなものであれば、シンボル列表示ウィンドウと重なっている画面上のシンボルを、透かして確認することができるので、ユーザは画面上に表示されている全てのシンボルを確認することができる。これにより、次に選択するシンボルをより簡単に探すことができる。
It is preferable that the confirmed symbol display control unit transparently displays the symbol column display window.
With such a configuration, the symbols on the screen overlapping the symbol array display window can be checked through the watermark, so that the user can check all the symbols displayed on the screen. This makes it easier to find the next symbol to select.

前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウ内においてシンボル列を横書きで表示し、かつ前記シンボル選択部によって選択されている1つのシンボルの中心の横方向の座標位置を中央とする中央揃えで表示することが好ましい。
シンボルを見る際には、ユーザはシンボルの中心辺りを見ることが多い。このようなものであれば、ユーザが実際に見ているシンボルの中心の少し上(又は少し下)に、選択されたシンボル列が中央揃えで表示されるので、ユーザは、実際に見ているシンボルから視線を少し上(又は少し下)にずらすだけで、シンボル列の全体を確認することができる。すなわち、シンボル列を確認するための視線の移動距離をより短くできるので、シンボルの誤選択をより低減できる。
The fixed symbol display control unit displays the symbol columns horizontally in the symbol column display window, and performs centering with the horizontal coordinate position of the center of one symbol selected by the symbol selection unit as the center. Is preferably displayed.
When viewing a symbol, the user often looks around the center of the symbol. If this is the case, the selected symbol string will be centered and slightly above (or slightly below) the center of the symbol that the user is actually looking at, so the user is actually looking at it. The entire symbol sequence can be confirmed by slightly shifting the line of sight from (or slightly below) the symbol. That is, since the moving distance of the line of sight for confirming the symbol array can be further shortened, erroneous symbol selection can be further reduced.

前記確定シンボル表示制御部が、選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するとともに、又は選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するのに代えて、該選択された複数のシンボルの組み合わせに対応するメッセージを前記シンボル列表示ウィンドウ内に表示することが好ましい。
このようなものであれば、文字等のシンボルを一文字ずつ選択してメッセージを作成する場合に比べて、早くメッセージを作成することができる。
The fixed symbol display control unit displays the plurality of selected symbols in the symbol column display window, or instead of displaying the plurality of selected symbols in the symbol column display window, the selection It is preferable to display a message corresponding to the combination of the plurality of generated symbols in the symbol column display window.
With such a configuration, it is possible to create a message faster than when a message is created by selecting symbols such as characters one by one.

前記選択シンボル表示制御部が、前記シンボル選択部が1つのシンボルを選択すると、当該選択された1つのシンボルに関連付けられた1つ又は複数のシンボルを前記画面上に新たに表示することが好ましい。
このようなものであれば、1つのシンボルを選択すると、当該シンボルに関連付けられたシンボルが画面上に表示されるので、ユーザは、次に選択したいシンボルを簡単に見つけることができる。
When the symbol selection unit selects one symbol, it is preferable that the selected symbol display control unit newly displays one or a plurality of symbols associated with the selected one symbol on the screen.
In such a case, when one symbol is selected, the symbol associated with the symbol is displayed on the screen, so that the user can easily find the symbol to be selected next.

本発明に係るシンボル選択装置用のプログラムは、画面に向けられたユーザの視線を検出する視線検出手段を備え、前記画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置に適用されるものであって、前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部としての機能と、前記シンボル選択部によって選択されたシンボルを選択された順に並べて表示するシンボル列表示ウィンドウを前記画面上に表示するとともに、前記シンボル列表示ウィンドウの表示位置を前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定する確定シンボル表示制御部としての機能と、をコンピュータに発揮させることを特徴とする。
このようなシンボル選択装置用プログラムであれば、上述したシンボル選択装置により得られる作用効果と同様の効果を奏し得る。
A program for a symbol selection device according to the present invention includes a line-of-sight detection unit that detects a line of sight of a user directed to a screen, and selects a plurality of symbols such as characters and symbols displayed on the screen by the line of sight of the user. As a symbol selection unit, which is applied to a symbol selection device configured as described above, and which selects one symbol from a plurality of symbols displayed on the screen based on the detection result of the line-of-sight detection means. And a symbol column display window for displaying the symbols selected by the symbol selection unit side by side in the selected order, and the display position of the symbol column display window is selected by the symbol selection unit. The computer is caused to exhibit the function as the fixed symbol display control unit which is set at a position adjacent to one symbol that is present.
With such a program for the symbol selection device, the same effects as the effects obtained by the symbol selection device described above can be obtained.

このようにした本発明によれば、選択された文字や記号等のシンボル列を簡単に確認することができ、誤選択を低減することができるシンボル選択装置を提供することができる。 According to the present invention thus configured, it is possible to provide a symbol selection device capable of easily confirming a symbol string of selected characters, symbols, etc. and reducing erroneous selection.

本実施形態のシンボル選択装置の全体構成を模式的に示す図。The figure which shows typically the whole structure of the symbol selection apparatus of this embodiment. 同実施形態のシンボル選択装置の機器構成を示す構成図。The block diagram which shows the apparatus structure of the symbol selection apparatus of the same embodiment. 同実施形態のシンボル選択装置の機器構成を示す機能ブロック図。The functional block diagram which shows the apparatus structure of the symbol selection apparatus of the same embodiment. 同実施形態における画面の表示態様の一例を示す画面例示図。FIG. 6 is a screen exemplifying diagram showing an example of a display mode of a screen in the same embodiment. 同実施形態におけるシンボル選択装置の動作フローチャート。3 is an operation flowchart of the symbol selection device in the same embodiment. 他の実施形態における画面の表示態様の一例を示す画面例示図。The screen illustration figure which shows an example of the display mode of the screen in other embodiment.

以下に本発明の一実施形態に係るシンボル選択装置について、図面を参照して説明する。 A symbol selection device according to an embodiment of the present invention will be described below with reference to the drawings.

本実施形態のシンボル選択装置100は、肢体や口を動かすことが困難な人等の意思伝達を支援するためのものである。
具体的にこのシンボル選択装置100は、図1に示すように、ディスプレイ2及びコンピュータ本体3を有するノートパソコン1と、ユーザの視線を検出する視線検出手段4とを備えている。ディスプレイ2の画面21には、文字や記号等のシンボルが並べて配置されたシンボルパネル211が表示され、ユーザは、視線を動かすことによりこのシンボルパネル211を移動させて、シンボルパネル211内の所望の1つのシンボルを、画面21上に固定された所定の選択位置に合わすことで選択できるようになっている。
なお本実施形態では、選択位置の座標が画面21の中心座標と同じになるように設定されている。
The symbol selection device 100 of the present embodiment is for supporting communication of a person or the like who has difficulty moving a limb or a mouth.
Specifically, as shown in FIG. 1, the symbol selection device 100 includes a notebook computer 1 having a display 2 and a computer main body 3, and a line-of-sight detection unit 4 for detecting the line of sight of the user. On the screen 21 of the display 2, a symbol panel 211 in which symbols such as characters and symbols are arranged side by side is displayed, and the user moves the symbol panel 211 by moving his or her line of sight to obtain a desired symbol in the symbol panel 211. One symbol can be selected by aligning it with a predetermined selection position fixed on the screen 21.
In this embodiment, the coordinates of the selected position are set to be the same as the center coordinates of the screen 21.

視線検出手段4は、ディスプレイ2の画面21に向けられたユーザの視線を検出し、その検出結果を視線信号として出力するものである。
具体的には、ユーザの眼球に近赤外線を照射する光源(不図示)と、ユーザの眼球を撮像するカメラ(不図示)と、当該カメラから出力される撮像データを処理して視線を検出し、視線信号として出力する視線信号出力部(不図示)とを備えたものである。
なお本実施形態の視線検出手段4は、所謂取付けタイプのものであり、前記光源およびカメラがユーザ側を向くようにしてディスプレイ2の下部に取付けられている。
The line-of-sight detection unit 4 detects the line of sight of the user directed to the screen 21 of the display 2 and outputs the detection result as a line-of-sight signal.
Specifically, a light source (not shown) that irradiates the user's eyeball with near-infrared rays, a camera (not shown) that images the user's eyeball, and the imaging data output from the camera are processed to detect the line of sight. And a line-of-sight signal output unit (not shown) for outputting as a line-of-sight signal.
The line-of-sight detecting means 4 of this embodiment is of a so-called mounting type, and is attached to the lower part of the display 2 so that the light source and the camera face the user side.

ディスプレイ2は、コンピュータ本体3から送信されてくる画像データが示す画像をその画面21上に表示するものである。 The display 2 displays an image represented by the image data transmitted from the computer main body 3 on its screen 21.

コンピュータ本体3は、構造的には、図2に示すように、CPU301、メモリ302、入出力インターフェース303等を備えている。このコンピュータ本体3は、前記メモリ302に記憶させた各種のアプリケーションソフトウェア(以下、プログラムと言う)に基づいて、前記CPU301やその周辺機器が協働することにより、図3に示すように、視点位置推定部31、シンボル関連データ格納部32、選択シンボル表示制御部33、シンボル選択部34、確定シンボル表示制御部35等としての機能を実現するように構成されている。 As shown in FIG. 2, the computer body 3 structurally includes a CPU 301, a memory 302, an input/output interface 303, and the like. The computer main body 3 cooperates with the CPU 301 and its peripheral devices based on various application software (hereinafter, referred to as a program) stored in the memory 302, so that the viewpoint position as shown in FIG. The estimating unit 31, the symbol-related data storage unit 32, the selected symbol display control unit 33, the symbol selection unit 34, the confirmed symbol display control unit 35, and the like are configured to realize the functions.

次に、各部について説明する。 Next, each part will be described.

視点位置推定部31は、視線検出手段4の検出結果に基づいて、画面21上におけるユーザの視点位置を推定するものである。具体的には、視線検出手段4から視線信号を受け付け、当該視線信号に基づいて、画面21上におけるユーザの視点位置を推定し、この推定した視点位置である推定視点位置Leの座標を示す推定視点位置データを出力する。 The viewpoint position estimation unit 31 estimates the viewpoint position of the user on the screen 21 based on the detection result of the line-of-sight detection unit 4. Specifically, the line-of-sight signal is received from the line-of-sight detecting unit 4, the viewpoint position of the user on the screen 21 is estimated based on the line-of-sight signal, and the estimation indicating the coordinates of the estimated viewpoint position Le, which is the estimated viewpoint position, is performed. Outputs viewpoint position data.

シンボル関連データ格納部32は、前記メモリ302の所定領域に設定されたものであり、文字や記号等の各種シンボルのコード等を示すシンボル関連データを格納している。
なお本実施形態で言う「文字」とは、例えば、平仮名、カタカナ、漢字、数字、アルファベット等である。「記号」とは、マーク、絵文字、顔文字等の意味を付された図形等である。
The symbol-related data storage unit 32 is set in a predetermined area of the memory 302, and stores symbol-related data indicating codes of various symbols such as characters and symbols.
The "characters" referred to in the present embodiment are, for example, hiragana, katakana, kanji, numbers, alphabets and the like. The “symbol” is a figure or the like having a meaning such as a mark, pictogram, or emoticon.

選択シンボル表示制御部33は、シンボル関連データ及び推定視点位置データを取得し、それらに基づいて画像データを生成し、ディスプレイ2に出力するものである。より機能的に説明すると、複数のシンボル(ここでは、平仮名)が並べて配置されたシンボルパネル211を画面21上に表示させるとともに、推定視点位置Leに基づいて、このシンボルパネル211を画面21上で移動させるものである。
ここでは、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル211に配置されている。より具体的には、シンボルパネル211は、縦横に並べられた正方形状のマス目によって区切られている。各マス目は、各シンボルの表示領域を規定するものである。そして、各マス目内には、マス目の中心とシンボルの中心位置とが一致するように、一つのシンボルが表示されている。
The selected symbol display control unit 33 acquires the symbol-related data and the estimated viewpoint position data, generates image data based on them, and outputs the image data to the display 2. To describe it more functionally, the symbol panel 211 in which a plurality of symbols (here, hiragana) are arranged side by side is displayed on the screen 21, and the symbol panel 211 is displayed on the screen 21 based on the estimated viewpoint position Le. It is something to move.
Here, a plurality of symbols are arranged on the symbol panel 211 so as to be arranged at equal intervals in a vertical and horizontal matrix. More specifically, the symbol panel 211 is partitioned by square cells arranged vertically and horizontally. Each square defines the display area of each symbol. Then, in each square, one symbol is displayed so that the center of the square and the center position of the symbol coincide with each other.

なお、この選択シンボル表示制御部33は、使用時においてユーザが実際に見ているシンボルと、推定視点位置Leに最も近いシンボルとが、ユーザの違いに関わらず同じになる程度に、シンボルパネル211内で隣り合うシンボルを互いに離間させて表示するようにしている。すなわち、眼球の形状や、シンボルを見る際の癖や、推定視点位置Leの精度等によらず、どのようなユーザが例えばシンボルパネル211に表示された文字「ぬ」を見ても、推定視点位置Leに最も近いシンボルが文字「ぬ」になる程度に、隣り合うシンボルを互いに離間するように表示するようになっている。そのため、本実施形態のシンボルパネル211は画面21の大きさよりも大きくなっており、後述するようにシンボルパネル211をスクロールさせることにより、全てのシンボルを選択できるようにしている。 Note that the selected symbol display control unit 33 uses the symbol panel 211 so that the symbol actually seen by the user at the time of use and the symbol closest to the estimated viewpoint position Le are the same regardless of the user. The adjacent symbols are separated from each other and displayed. That is, regardless of the shape of the eyeball, the habit of seeing the symbol, the accuracy of the estimated viewpoint position Le, and the like, no matter what user sees the character “Nu” displayed on the symbol panel 211, the estimated viewpoint is The adjacent symbols are displayed so as to be separated from each other so that the symbol closest to the position Le becomes the character "nu". Therefore, the symbol panel 211 of this embodiment is larger than the size of the screen 21, and all symbols can be selected by scrolling the symbol panel 211 as described later.

本実施形態の選択シンボル表示制御部33は、推定視点位置Leの座標と、予め画面21上に設定された選択位置Lsの座標とを参照して、これらの間の距離dを計測し、この距離dに応じてシンボルパネル211を多段階で移動させるように構成されている。 The selected symbol display control unit 33 of the present embodiment refers to the coordinates of the estimated viewpoint position Le and the coordinates of the selected position Ls preset on the screen 21, measures the distance d between them, and It is configured to move the symbol panel 211 in multiple stages according to the distance d.

具体的には、図4(a)に示すように、推定視点位置Leと選択位置Lsとの間の距離dが、予め設定した所定値Dを超えている場合には、推定視点位置Leから選択位置Lsに向かう方向(矢印で示す方向)に沿ってシンボルパネル211を移動させる。シンボルパネル211を移動させる速度は、当該距離dが大きいほど、大きくなるようにしている。
なお、ここでは、シンボルパネル211を移動させる際には、推定視点位置Leから選択位置Lsに向かう方向に沿ってスクロールさせるように構成している。すなわち、シンボルパネルを移動させるとともに、画面21の端から新たなシンボルを表示させるように構成されている。
Specifically, as shown in FIG. 4A, when the distance d between the estimated viewpoint position Le and the selected position Ls exceeds a preset predetermined value D, from the estimated viewpoint position Le. The symbol panel 211 is moved along the direction toward the selected position Ls (the direction indicated by the arrow). The speed at which the symbol panel 211 is moved is set to increase as the distance d increases.
In addition, here, when the symbol panel 211 is moved, the symbol panel 211 is configured to be scrolled along the direction from the estimated viewpoint position Le toward the selection position Ls. That is, the symbol panel is moved and a new symbol is displayed from the edge of the screen 21.

一方で、図4(b)に示すように、推定視点位置Leと選択位置Lsとの間の距離dが前記した所定値D以下である場合には、推定視点位置Leに最も近いシンボルを選択位置Lsに引き込むようにシンボルパネル211を移動させ、当該シンボルの中心位置の座標を選択位置Lsの座標に合わせるように構成されている。すなわち、推定視点位置Leが入っているマス目の中心位置を、選択位置Lsの座標に合わせるように構成されている。
距離dが所定値D以下であって、かつ推定視点位置Leに最も近いシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合には、シンボルパネル211を移動させない。
On the other hand, as shown in FIG. 4B, when the distance d between the estimated viewpoint position Le and the selected position Ls is the predetermined value D or less, the symbol closest to the estimated viewpoint position Le is selected. The symbol panel 211 is moved so as to be drawn into the position Ls, and the coordinates of the center position of the symbol are adjusted to the coordinates of the selected position Ls. That is, the center position of the grid containing the estimated viewpoint position Le is configured to match the coordinates of the selected position Ls.
If the distance d is less than or equal to the predetermined value D and the coordinates of the center position of the symbol closest to the estimated viewpoint position Le and the coordinates of the selected position Ls match, the symbol panel 211 is not moved.

この選択シンボル表示制御部33はまた、上記した機能に加えて、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致する場合に、当該シンボルが入っているマス目の四隅を囲むようにカーソル212を画面21上に表示させるとともに、当該シンボルを示すシンボルデータを出力するように構成されている。このカーソル212は、中心位置の座標と選択位置Lsの座標とが一致していることを示すカーソルである。 In addition to the function described above, the selected symbol display control unit 33 also surrounds the four corners of the square containing the symbol when the coordinates of the central position of the symbol and the coordinates of the selected position Ls match. The cursor 212 is displayed on the screen 21 and symbol data indicating the symbol is output. The cursor 212 is a cursor indicating that the coordinates of the center position and the coordinates of the selection position Ls match.

シンボル選択部34は、選択位置Lsにある1つのシンボルを選択するものである。具体的には、シンボルデータ及び推定視点位置データを取得し、これらに基づいて、シンボルデータが示すシンボルをユーザが選択したいシンボルとして確定し、当該シンボルを示す確定シンボルデータを出力するものである。
ここでは、シンボル選択部34は、あるシンボルの中心位置の座標と、選択位置Lsの座標とが一致している場合に、前記距離dが所定値D以下になっている時間tを計測するように構成されている。そして、この時間tが予め設定した所定時間Tを超えた場合に、確定シンボルデータを出力するように構成されている。
The symbol selection unit 34 selects one symbol at the selection position Ls. Specifically, the symbol data and the estimated viewpoint position data are acquired, based on these, the symbol indicated by the symbol data is decided as the symbol that the user wants to select, and the decided symbol data indicating the symbol is output.
Here, the symbol selection unit 34 measures the time t during which the distance d is equal to or less than the predetermined value D when the coordinates of the center position of a certain symbol and the coordinates of the selection position Ls match. Is configured. Then, when the time t exceeds a preset predetermined time T, the fixed symbol data is output.

確定シンボル表示制御部35は、シンボル選択部34が選択したシンボルを選択された順に並べて表示するシンボル列表示ウィンドウ22を画面21上に表示するものである。また、確定シンボルデータを受けて、シンボル選択部34により選択されたシンボルをシンボル列表示ウィンドウ22内に表示するものである。 The confirmed symbol display control unit 35 displays the symbol column display window 22 on the screen 21 in which the symbols selected by the symbol selection unit 34 are arranged and displayed in the selected order. Further, the fixed symbol data is received, and the symbols selected by the symbol selection unit 34 are displayed in the symbol array display window 22.

確定シンボル表示制御部35は、シンボル列表示ウィンドウ22をシンボルパネル211上に重ねて透過表示するように構成されている。これにより、ユーザは、シンボル列表示ウィンドウ22と重なっているシンボルパネル211上のシンボルを、透かして確認することができる。シンボル列表示ウィンドウ22の透過度は、適宜変更できるように構成されている。 The confirmed symbol display control unit 35 is configured to display the symbol column display window 22 on the symbol panel 211 in a transparent manner. As a result, the user can check the symbols on the symbol panel 211 overlapping with the symbol row display window 22 by watermarking. The transparency of the symbol array display window 22 is configured to be changed appropriately.

シンボル列表示ウィンドウ22は、画面21上の所定位置に固定され、常に表示されるよう構成されており、ユーザはそれまでに確定したシンボル列をいつでも確認できるようになっている。
なお、図4及び図6では、図の簡略化のため、シンボル列表示ウィンドウ22は透過表示されていない。
The symbol array display window 22 is fixed at a predetermined position on the screen 21 and is configured to be displayed at all times, so that the user can always confirm the symbol array that has been confirmed by then.
4 and 6, the symbol string display window 22 is not transparently displayed for simplification of the drawings.

この確定シンボル表示制御部35は、シンボル列表示ウィンドウ22を表示する位置を、シンボル選択部34に選択されているシンボルと隣り合う位置に設定するように構成されている。 The confirmed symbol display control unit 35 is configured to set the position where the symbol column display window 22 is displayed to a position adjacent to the symbol selected by the symbol selection unit 34.

図4(c)に示すように、このシンボル列表示ウィンドウ22は横長の矩形状のものであり、シンボル選択部34により選択されているシンボル(ここでは、文字「ぬ」)の直上に、当該シンボルが入っているマス目に沿って表示される。すなわち、シンボル列表示ウィンドウ22の下辺は、シンボル選択部34により選択されているシンボルが入るマス目の上端と略同一の高さになるように表示され、選択されているシンボルと重なり合わないようになっている。また、シンボル列表示ウィンドウ22は、画面21上に固定して表示されており、カーソル212が表示されている際に、カーソル212に沿うように表示される。 As shown in FIG. 4C, the symbol row display window 22 has a horizontally long rectangular shape, and the symbol row display window 22 is directly above the symbol (here, the character “nu”) selected by the symbol selection unit 34. It is displayed along the square that contains the symbol. That is, the lower side of the symbol array display window 22 is displayed so as to be substantially at the same height as the upper end of the square in which the symbol selected by the symbol selection unit 34 enters, so that it does not overlap with the selected symbol. It has become. The symbol array display window 22 is fixedly displayed on the screen 21, and is displayed along the cursor 212 when the cursor 212 is displayed.

シンボル列表示ウィンドウ22の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されており、シンボル選択部34に選択されているシンボルと隣り合うシンボル(ここでは、文字「に」)の一部が見えるようにしている。 The vertical length of the symbol row display window 22 is configured to be half or less of the vertical length of each square, and the symbol adjacent to the symbol selected by the symbol selection unit 34 (here: Then, part of the character "ni") is visible.

シンボル列表示ウィンドウ22内には、シンボル選択部34によって選択されたシンボル列が横書きで表示されるようになっている。そして、選択位置Lsの横方向の座標位置を中央位置として中央揃えになるようにシンボル列表示ウィンドウ22内に表示されるようにしている。
シンボル列表示ウィンドウ内22において、シンボル列は横方向に1列に表示されてよく、また選択されたシンボルの数が所定値以上になった場合には改行するようにしてもよい。
In the symbol array display window 22, the symbol array selected by the symbol selection unit 34 is horizontally displayed. Then, the horizontal position of the selected position Ls is set as the central position, and the selected position Ls is displayed in the symbol array display window 22 so as to be centered.
In the symbol row display window 22, the symbol rows may be displayed in one row in the horizontal direction, and a line feed may be performed when the number of selected symbols exceeds a predetermined value.

シンボル列表示ウィンドウ22の横方向の長さは、シンボル列表示ウィンドウ22内に横方向に表示されているシンボルの数に応じて変更するように構成されている。具体的には、シンボル列表示ウィンドウ22内で横方向に表示されているシンボルの数が少ないほど、シンボル列表示ウィンドウ22の横方向の長さが小さくなるように構成されている。
なお、シンボル列表示ウィンドウ22内に表示されるシンボルのサイズは、シンボルパネル211内に表示されるシンボルのサイズよりも小さくなるようにしている。
The horizontal length of the symbol row display window 22 is configured to be changed according to the number of symbols displayed in the symbol row display window 22 in the horizontal direction. Specifically, the smaller the number of symbols displayed in the symbol row display window 22 in the horizontal direction, the smaller the horizontal length of the symbol row display window 22.
The size of the symbols displayed in the symbol column display window 22 is smaller than the size of the symbols displayed in the symbol panel 211.

次に、このような構成のシンボル選択装置100の動作について、図4、図5を参照しつつ以下に説明する。ここでは、ユーザが、画面21上に表示されたシンボルパネル211から文字「ぬ」を選択する動作について例示する。なお、図4(a)〜(c)には、推定視点位置Le、選択位置Ls、選択位置Lsから距離Dの範囲、シンボルパネル211が移動する方向が示されているが、これらは説明の都合上示されたものであり、実際には画面21上に表示されない。 Next, the operation of the symbol selection device 100 having such a configuration will be described below with reference to FIGS. 4 and 5. Here, an operation in which the user selects the character “nu” from the symbol panel 211 displayed on the screen 21 will be exemplified. 4A to 4C show the estimated viewpoint position Le, the selected position Ls, the range of the distance D from the selected position Ls, and the direction in which the symbol panel 211 moves, but these are not described. It is shown for convenience and is not actually displayed on the screen 21.

選択シンボル表示制御部33が、図4(a)に示すように、複数の文字が並べられたシンボルパネル211をディスプレイ2の画面21上に表示する(ステップS1)。ユーザは、シンボルパネル211に表示された文字「ぬ」を見る。 As shown in FIG. 4A, the selected symbol display control unit 33 displays the symbol panel 211 in which a plurality of characters are arranged on the screen 21 of the display 2 (step S1). The user looks at the character “nu” displayed on the symbol panel 211.

視線検出手段4が、ユーザの視線を検出し、これを視線信号として出力する(ステップS2)。視点位置推定部31は、視線検出手段4からの視線信号を受け取ると、この視線信号に基づいて、画面21上におけるユーザの視点位置を推定する(ステップS3)。ここでは、ユーザは実際には文字「ぬ」の中心を見ているが、推定された推定視点位置Leは、図4(a)に示すように、文字「ぬ」の中心からやや右下である。 The line-of-sight detection unit 4 detects the line of sight of the user and outputs this as a line-of-sight signal (step S2). Upon receiving the line-of-sight signal from the line-of-sight detection unit 4, the viewpoint position estimation unit 31 estimates the position of the user's viewpoint on the screen 21 based on the line-of-sight signal (step S3). Here, the user actually looks at the center of the character "nu", but the estimated estimated viewpoint position Le is slightly lower right from the center of the character "nu" as shown in FIG. is there.

推定視点位置Leと選択位置Ls間の距離dが予め設定された所定値Dを超えているので、選択シンボル表示制御部33は、図4(a)に示すように、推定視点位置Leから選択位置Lsに向かう方向に沿って、シンボルパネル211を移動させる(ステップS4、S5)。この時ユーザは、移動する文字「ぬ」を追うように視線を移動させる。すると、これに合わせて推定視点位置Leも移動する。すなわち、シンボルパネル211上の文字「ぬ」が選択位置Lsに近づくにつれて、推定視点位置Leも選択位置Lsに近づくようになる。 Since the distance d between the estimated viewpoint position Le and the selected position Ls exceeds a preset predetermined value D, the selected symbol display control unit 33 selects from the estimated viewpoint position Le as shown in FIG. The symbol panel 211 is moved along the direction toward the position Ls (steps S4 and S5). At this time, the user moves his or her line of sight to follow the moving character "nu." Then, the estimated viewpoint position Le also moves accordingly. That is, as the character "nu" on the symbol panel 211 approaches the selection position Ls, the estimated viewpoint position Le also approaches the selection position Ls.

そして、ユーザが、移動する文字「ぬ」を追うように見続けると、次第に、推定視点位置Leと選択位置Ls間の距離dが所定値D以下になる。すると、図4(b)に示すように、選択シンボル表示制御部33は、推定視点位置Leに最も近い文字「ぬ」を選択位置Lsに引き込むように移動させて、文字「ぬ」の中心位置を選択位置Lsに合わせ、カーソル212を表示する(ステップS4、S6)。 Then, when the user continues to follow the moving character "nu", the distance d between the estimated viewpoint position Le and the selected position Ls gradually becomes equal to or less than the predetermined value D. Then, as shown in FIG. 4B, the selected symbol display control unit 33 moves the character "nu" closest to the estimated viewpoint position Le so as to be drawn into the selected position Ls, and moves to the central position of the character "nu". Is aligned with the selected position Ls and the cursor 212 is displayed (steps S4 and S6).

文字「ぬ」の中心位置が選択位置Lsにある状態で、ユーザが文字「ぬ」を所定時間T秒以上見ると、シンボル選択部34が、文字「ぬ」をユーザが選択したい文字として確定し、確定シンボルデータを出力する(ステップS7)。すると、確定シンボル表示制御部35が、選択位置Lsにある文字「ぬ」の直上に表示されているシンボル列表示ウィンドウ22内に文字「ぬ」を表示する(ステップS8)。 When the user sees the character "nu" for a predetermined time T seconds or longer while the center position of the character "nu" is at the selection position Ls, the symbol selection unit 34 determines the character "nu" as the character the user wants to select. , And outputs the confirmed symbol data (step S7). Then, the confirmed symbol display control unit 35 displays the character "nu" in the symbol column display window 22 displayed immediately above the character "nu" at the selected position Ls (step S8).

このように構成された本実施形態のシンボル選択装置100では、シンボル選択部34によって選択されている1つのシンボルと隣り合う位置にシンボル列表示ウィンドウ22が表示されるので、ユーザは、選択したいシンボルを見て選択した後、視線を大きく移動させることなく、シンボル列表示ウィンドウ22に表示されているシンボル列を確認することができる。すなわち、ユーザは選択されたシンボル列を確認するために、画面21上に表示されている他の複数のシンボルの上を通るように視線を移動させる必要がないので、シンボルの誤選択を低減することができる。また、選択されているシンボルとシンボル列表示ウィンドウ22との間で視線を大きく移動させる必要がないので、ユーザは選択されたシンボル列を簡単に確認することができる。 In the symbol selection device 100 of the present embodiment configured as described above, the symbol column display window 22 is displayed at a position adjacent to one symbol selected by the symbol selection unit 34, so that the user can select the symbol to be selected. After selecting and selecting, the symbol array displayed in the symbol array display window 22 can be confirmed without moving the line of sight greatly. That is, since the user does not have to move his or her line of sight to pass over a plurality of other symbols displayed on the screen 21 in order to confirm the selected symbol sequence, erroneous selection of symbols is reduced. be able to. Further, since it is not necessary to move the line of sight greatly between the selected symbol and the symbol array display window 22, the user can easily confirm the selected symbol array.

また、選択位置Lsが画面21上の中央位置に固定されているので、シンボル選択部34により選択されるシンボルは常に画面21上の同じ位置(すなわち選択位置Ls)で選択される。これにより、シンボル列表示ウィンドウ22も、常に画面21上の同じ位置(すなわち選択位置Ls近傍)に表示されるので、ユーザはシンボル列表示ウィンドウ22内のシンボル列を簡単に確認することができる。 Further, since the selection position Ls is fixed to the central position on the screen 21, the symbol selected by the symbol selection unit 34 is always selected at the same position on the screen 21 (that is, the selection position Ls). As a result, the symbol array display window 22 is always displayed at the same position on the screen 21 (that is, in the vicinity of the selected position Ls), so that the user can easily check the symbol array in the symbol array display window 22.

また、確定シンボル表示制御部35が、シンボル選択部34によって選択されているシンボルと隣り合うシンボルのそれぞれの、少なくとも一部が見えるようにシンボル列表示ウィンドウ22を表示するので、シンボル列表示ウィンドウ22が表示されている間も、ユーザは画面21上に表示されている全てのシンボルを確認することができる。そのため、ユーザは次に選択するシンボルをより簡単に探すことができる。 Further, the confirmed symbol display control unit 35 displays the symbol column display window 22 so that at least a part of each of the symbols adjacent to the symbol selected by the symbol selection unit 34 can be seen. While is displayed, the user can check all the symbols displayed on the screen 21. Therefore, the user can more easily find the symbol to be selected next.

また、シンボル列表示ウィンドウ22がシンボルパネル211上に透過表示されるので、ユーザはシンボルパネル221上に表示されている全てのシンボルを確認することができる。これにより、次に選択するシンボルをより簡単に探すことができる。 Further, since the symbol array display window 22 is transparently displayed on the symbol panel 211, the user can check all the symbols displayed on the symbol panel 221. This makes it easier to find the next symbol to select.

さらに、確定シンボル表示制御部35が、シンボル列表示ウィンドウ22内において、選択されたシンボル列を横書き表示し、かつこのシンボル列を、選択されているシンボルの中心の横方向の座標位置を中央位置とする中央揃えで表示するので、ユーザは、実際に見ているシンボルから視線を少し上にずらすだけで、より簡単にシンボル列の全体を確認することができる。 Further, the confirmed symbol display control unit 35 horizontally displays the selected symbol array in the symbol array display window 22 and sets the symbol array to the central coordinate position in the horizontal direction of the center of the selected symbol. Since it is displayed in the center alignment, the user can check the entire symbol sequence more easily by slightly shifting the line of sight from the symbol that is actually seen.

なお、本発明は前記実施形態に限られるものではない。 The present invention is not limited to the above embodiment.

前記実施形態では、推定視点位置推定部31によって推定された推定視点位置Leに基づいて、画面21上に表示されたシンボルパネル211を移動させて、所望のシンボルの中心位置を選択位置Lsに合わせて選択するように構成されていたが、これに限定されない。
他の実施形態では、推定視点位置推定部31によって推定された推定視点位置Leに矢印等のポインタを表示し、視線を動かすことで当該ポインタをシンボルの中心位置に合わせることで、シンボルを選択するように構成してもよい。またこの形態では、シンボル列表示ウィンドウ22は、推定視点位置Le(すなわち画面上に表示されているポインタ)の移動とともに画面21上を移動するものであってもよい。具体的には、推定視点位置Leに最も近いシンボルに隣り合う位置に、シンボル列表示ウィンドウ22が表示されてもよい。
In the above-described embodiment, the symbol panel 211 displayed on the screen 21 is moved based on the estimated viewpoint position Le estimated by the estimated viewpoint position estimation unit 31 to adjust the center position of the desired symbol to the selected position Ls. However, the present invention is not limited to this.
In another embodiment, a symbol is selected by displaying a pointer such as an arrow at the estimated viewpoint position Le estimated by the estimated viewpoint position estimation unit 31 and adjusting the pointer to the center position of the symbol by moving the line of sight. It may be configured as follows. Further, in this embodiment, the symbol array display window 22 may move on the screen 21 as the estimated viewpoint position Le (that is, the pointer displayed on the screen) moves. Specifically, the symbol row display window 22 may be displayed at a position adjacent to the symbol closest to the estimated viewpoint position Le.

前実施形態において、選択位置Lsの座標は画面21の中心座標と同じになるように設定されていたが、これに限らず、画面21の中心座標以外の座標に設定されてもよい。 Although the coordinates of the selected position Ls are set to be the same as the center coordinates of the screen 21 in the previous embodiment, the present invention is not limited to this, and may be set to a coordinate other than the center coordinates of the screen 21.

前記実施形態では、複数のシンボルが、縦横のマトリクス状に等間隔に並ぶようにシンボルパネル211に配置されていたがこれに限らない。例えば、放射状に並ぶようにシンボルパネル211に配置されてもよい。また、各シンボル間の間隔は等間隔でなくてもよい。 In the above-described embodiment, the plurality of symbols are arranged on the symbol panel 211 so as to be arranged at equal intervals in a vertical and horizontal matrix, but the present invention is not limited to this. For example, they may be arranged on the symbol panel 211 so as to be arranged radially. Further, the intervals between the symbols do not have to be equal.

他の実施形態では、選択シンボル表示制御部33はさらに、シンボルパネル211上のシンボルが記号である場合に、シンボル選択部34が選択位置Lsにあるシンボルを選択すると、当該選択した1つのシンボルに予め関連付けられた1つ又は複数のシンボルを、画面21上に新たに表示するように構成されてもよい。
具体的には、図6(b)に示すように、シンボル選択部34が選択位置Lsにあるシンボル(ここでは“温泉”を意味する記号)を選択すると、当該シンボルの横に、当該シンボルに関連付けられた複数のシンボル(ここでは、各種の交通手段を意味する記号)が配置された関連シンボルパネル213が表示されるように構成されてよい。
そして、推定視点位置Leに基づいて、上述したシンボルパネル211を移動させるのと同じ要領で、当該関連シンボルパネル213を画面21上で移動させて、所望のシンボルを選択できるように構成されてよい。
In another embodiment, when the symbol on the symbol panel 211 is a symbol and the symbol selection unit 34 selects the symbol at the selection position Ls, the selected symbol display control unit 33 further changes the selected symbol to one selected symbol. It may be configured to newly display one or a plurality of previously associated symbols on the screen 21.
Specifically, as shown in FIG. 6B, when the symbol selection unit 34 selects a symbol at the selection position Ls (here, a symbol meaning “hot spring”), the symbol is displayed next to the symbol. The related symbol panel 213 in which a plurality of associated symbols (here, symbols indicating various transportation means) are arranged may be displayed.
Then, based on the estimated viewpoint position Le, the related symbol panel 213 may be moved on the screen 21 in the same manner as the above-described symbol panel 211 is moved so that a desired symbol can be selected. ..

他の実施形態では、選択シンボル表示制御部33は、選択された複数のシンボルをシンボル列表示ウィンドウ22内に表示するとともに、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ22に表示するように構成されてもよい。
具体的には、図6(c)に示すように、シンボル選択部34によって、“温泉”を意味する記号が選択された後、さらに“バス”を意味する記号が選択された場合に、シンボル列表示ウィンドウ22内に、これらの2つの記号の後に、「温泉にバスで行きたい」というメッセージを表示するように構成されてよい。
In another embodiment, the selected symbol display control unit 33 displays the selected symbols in the symbol array display window 22 and displays a message corresponding to a combination of these symbols in the symbol array display window 22. It may be configured as follows.
Specifically, as shown in FIG. 6C, when the symbol selecting unit 34 selects a symbol that means “hot spring” and then a symbol that means “bus”, It may be arranged to display in the row display window 22 after these two symbols the message "I want to go to the hot spring by bus".

また別の実施形態では、選択シンボル表示制御部33は、選択された複数のシンボルをシンボル列表示ウィンドウ22内に表示するのに代えて、これらのシンボルの組み合わせに対応するメッセージをシンボル列表示ウィンドウ22に表示するように構成されてもよい。 In another embodiment, the selected symbol display control unit 33 displays a message corresponding to a combination of these symbols in the symbol column display window instead of displaying the selected symbols in the symbol column display window 22. 22 may be configured to be displayed.

前記実施形態では、シンボル選択部34に選択されているシンボルの直上にシンボル列表示ウィンドウ22を表示するようにしていたが、これに限らず、シンボル選択部34に選択されているシンボルの直下に表示するようにしてもよい。すなわち、シンボル列表示ウィンドウ22の上辺は、シンボル選択部34に選択されているシンボルが入っているマス目の下端と略同一の高さになるように表示されてよい。
また、シンボル列表示ウィンドウ22内に表示されるシンボルは、中央揃えに限らず、左揃え又は右揃えであってもよい。
In the above-described embodiment, the symbol column display window 22 is displayed directly above the symbols selected by the symbol selection unit 34, but the present invention is not limited to this, and the symbol column display window 22 may be displayed immediately below the symbols selected by the symbol selection unit 34. It may be displayed. That is, the upper side of the symbol row display window 22 may be displayed so as to be substantially the same height as the lower end of the square in which the symbol selected by the symbol selection unit 34 is contained.
Further, the symbols displayed in the symbol row display window 22 are not limited to the center alignment, and may be left alignment or right alignment.

別の実施形態では、シンボル列表示ウィンドウ22を、シンボル選択部34に選択されているシンボルと隣り合うように、当該シンボルの右又は左に表示させてもよい。この場合には、シンボル列表示ウィンドウ22は縦長の矩形状のシンボル列表示ウィンドウ22であってよく、シンボルが縦書きで表示されるように構成してよい。またこの場合には、シンボル列表示ウィンドウ22内に表示されるシンボル列は、シンボル選択部34に選択されているシンボルの中心の縦方向の座標位置を中央位置とする中央揃えになるように表示されるように構成されていてよい。
またシンボル列表示ウィンドウ22内に表示されるシンボル列は、中央揃えに限らず、上揃え又は下揃えであってもよい。
In another embodiment, the symbol column display window 22 may be displayed to the right or left of the symbol selected by the symbol selection unit 34 so as to be adjacent to the symbol. In this case, the symbol row display window 22 may be a vertically long rectangular symbol row display window 22, and the symbols may be displayed vertically. Further, in this case, the symbol array displayed in the symbol array display window 22 is displayed so as to be centered with the vertical coordinate position of the center of the symbol selected in the symbol selection unit 34 as the central position. May be configured to be.
Further, the symbol columns displayed in the symbol column display window 22 are not limited to the center alignment, and may be top alignment or bottom alignment.

前記実施形態では、シンボル列表示ウィンドウ22の縦方向の長さは、各マス目の縦方向の長さの半分以下になるように構成されていたがこれに限定されない。 In the above-described embodiment, the vertical length of the symbol array display window 22 is configured to be half the vertical length of each square or less, but the present invention is not limited to this.

前記実施形態では、シンボルパネル211は画面21よりも大きいものであったがこれに限定されず、画面21よりも小さいものであってもよい。すなわち、シンボルパネル211に表示される全てのシンボルが、画面21内に一度に表示されるものであってもよい。 In the above-described embodiment, the symbol panel 211 is larger than the screen 21, but the present invention is not limited to this and may be smaller than the screen 21. That is, all the symbols displayed on the symbol panel 211 may be displayed on the screen 21 at once.

前記実施形態では、シンボルパネル211には正方形状のマス目が表示されていたが、これに限定されない。当該マス目は非表示であってもよい。 Although square cells are displayed on the symbol panel 211 in the above embodiment, the present invention is not limited to this. The grid may be hidden.

前記実施形態では、シンボル選択部34は、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合に、ユーザが当該シンボルを所定時間T以上見ることにより、確定シンボルデータを出力するように構成されていたが、これに限定されない。
他の実施形態では、シンボル選択部34は、あるシンボルの中心位置の座標と選択位置Lsの座標とが一致している場合に、ユーザが瞬きをすることにより確定シンボルデータを出力するように構成されていてもよい。
In the above-described embodiment, when the coordinates of the center position of a symbol and the coordinates of the selection position Ls match, the symbol selection unit 34 allows the user to view the symbol for a predetermined time T or more, thereby determining the fixed symbol data. It was configured to output, but is not limited to this.
In another embodiment, the symbol selection unit 34 is configured to output fixed symbol data by blinking by the user when the coordinates of the center position of a symbol and the coordinates of the selection position Ls match. It may have been done.

前記実施形態での視線検出手段4は、所謂取付けタイプのものであったがこれに限定されず、眼鏡型などウェアラブル型のものであってもよい。 The line-of-sight detecting means 4 in the above-described embodiment is a so-called attachment type, but is not limited to this, and may be a wearable type such as a pair of glasses.

前記実施形おいて、ディスプレイ2及びコンピュータ本体3は、ノートパソコン1に一体的に備えられていたが、これに限定されない。デスクトップパソコンに一体的に備わっていてもよいし、ディスプレイ2とコンピュータ本体3とが異なる機器に備わっていてもよい。またディスプレイ2は、プロジェクターと投影スクリーンにより構成されていてもよい。 In the embodiment, the display 2 and the computer main body 3 are integrally provided in the notebook computer 1, but the present invention is not limited to this. The desktop personal computer may be provided integrally, or the display 2 and the computer main body 3 may be provided in different devices. The display 2 may be composed of a projector and a projection screen.

その他、本発明は前記実施形態に限られず、その趣旨を逸脱しない範囲で種々の変形が可能であるのは言うまでもない。 Besides, it goes without saying that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention.

100・・・シンボル選択装置
21 ・・・画面
211・・・シンボルパネル
22 ・・・シンボル列表示ウィンドウ
31 ・・・視点位置推定部
33 ・・・選択シンボル表示制御部
34 ・・・シンボル選択部
35 ・・・確定シンボル表示制御部
4 ・・・視線検出手段
Ls ・・・選択位置
Le ・・・推定視点位置
100... Symbol selection device 21... Screen 211... Symbol panel 22... Symbol row display window 31... Viewpoint position estimation unit 33... Selected symbol display control unit 34... Symbol selection unit 35... Confirmed symbol display control unit 4... Line-of-sight detection means Ls... Selection position Le... Estimated viewpoint position

Claims (7)

画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置であって、
前記画面に向けられた前記ユーザの視線を検出する視線検出手段と、
前記視線検出手段の検出結果に基づいて、前記画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部と、
前記シンボル選択部によって選択されたシンボルを選択された順に横書きで並べて表示するシンボル列表示ウィンドウを、前記画面上に表示する確定シンボル表示制御部と
を備え、
前記確定シンボル表示制御部が、
前記シンボル列表示ウィンドウの表示位置を、前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定し、かつ
前記シンボル列表示ウィンドウ内において、前記選択されている1つのシンボルの横方向における座標位置を中央とする中央揃えでシンボル列を表示することを特徴とするシンボル選択装置。
A symbol selection device capable of selecting a plurality of symbols such as characters and symbols displayed on a screen from the user's line of sight,
A line-of-sight detection means for detecting the line of sight of the user directed to the screen,
A symbol selection unit that selects one symbol from a plurality of symbols displayed on the screen based on the detection result of the line-of-sight detection unit;
A symbol column display window that displays the symbols selected by the symbol selection unit side by side in the order of selection, and a defined symbol display control unit that displays on the screen,
The confirmed symbol display control unit,
A display position of the symbol row display window is set to a position adjacent to one symbol selected by the symbol selection unit , and
In the symbol array display window, the symbol array is displayed with the center aligned with the coordinate position in the lateral direction of the selected one symbol as the center .
前記視線検出手段の検出結果に基づいて、前記画面上における前記ユーザの視点位置を推定する視点位置推定部と、
前記視点位置推定部により推定された視点位置である推定視点位置に基づいて、画面上に表示されている複数のシンボルのうち所望の1つのシンボルを、前記画面上に予め設定された選択位置に移動させる選択シンボル表示制御部と、
をさらに備え、
前記選択位置が、前記画面上の所定位置に固定されており、
前記シンボル選択部が、前記選択位置にある1つのシンボルを選択するものである、請求項1記載のシンボル選択装置。
A viewpoint position estimation unit that estimates the viewpoint position of the user on the screen based on the detection result of the line-of-sight detection means,
Based on the estimated viewpoint position which is the viewpoint position estimated by the viewpoint position estimating unit, a desired one symbol of a plurality of symbols displayed on the screen is set to a selected position preset on the screen. A selection symbol display control unit to be moved,
Further equipped with,
The selected position is fixed to a predetermined position on the screen,
The symbol selection device according to claim 1, wherein the symbol selection unit selects one symbol at the selection position.
前記確定シンボル表示制御部が、前記シンボル選択部によって選択されているシンボルに隣り合う複数のシンボルのそれぞれの、少なくとも一部が見えるように前記シンボル列表示ウィンドウを表示する、請求項1又は2記載のシンボル選択装置。 The fixed symbol display control unit displays the symbol column display window so that at least a part of each of a plurality of symbols adjacent to the symbol selected by the symbol selection unit can be seen. Symbol selection device. 前記確定シンボル表示制御部が、前記シンボル列表示ウィンドウを透過表示する、請求項1〜3のいずれか記載のシンボル選択装置。 The symbol selection device according to claim 1, wherein the confirmed symbol display control unit transparently displays the symbol column display window. 前記確定シンボル表示制御部が、選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するとともに、又は選択された複数のシンボルを前記シンボル列表示ウィンドウ内に表示するのに代えて、該選択された複数のシンボルの組み合わせに対応するメッセージを前記シンボル列表示ウィンドウ内に表示する、請求項1〜のいずれか記載のシンボル選択装置。 The fixed symbol display control unit displays the plurality of selected symbols in the symbol column display window, or instead of displaying the plurality of selected symbols in the symbol column display window, the selection and a plurality of messages corresponding to a combination of symbols displayed on the symbol columns displayed in the window, the symbol selection device according to any one of claims 1-4. 前記選択シンボル表示制御部が、前記シンボル選択部が1つのシンボルを選択すると、当該選択された1つのシンボルに関連付けられた1つ又は複数のシンボルを前記画面上に新たに表示する、請求項1〜のいずれか記載のシンボル選択装置。 The selected symbol display control unit, when the symbol selection unit selects one symbol, newly displays one or a plurality of symbols associated with the selected one symbol on the screen. 5. The symbol selection device according to any one of 5 to 6 . 画面に向けられたユーザの視線を検出する視線検出手段を備え、前記画面上に表示された文字、記号等の複数のシンボルをユーザの視線により選択できるようにしたシンボル選択装置に適用されるプログラムであって、
前記視線検出手段の検出結果に基づいて、画面上に表示されている複数のシンボルのうちから1つのシンボルを選択するシンボル選択部としての機能と、
前記シンボル選択部によって選択されたシンボルを選択された順に横書きで並べて表示するシンボル列表示ウィンドウを前記画面上に表示するとともに、前記シンボル列表示ウィンドウの表示位置を前記シンボル選択部によって選択されている1つのシンボルと隣り合う位置に設定し、かつ前記シンボル列表示ウィンドウ内において、前記選択されている1つのシンボルの横方向における座標位置を中央とする中央揃えでシンボル列を表示する確定シンボル表示制御部としての機能と、
をコンピュータに発揮させることを特徴とするシンボル選択装置用のプログラム。
A program that is applied to a symbol selection device that includes a line-of-sight detection unit that detects the line of sight of the user who is directed to the screen, and that allows a plurality of symbols such as characters and symbols displayed on the screen to be selected by the line of sight of the user And
A function as a symbol selection unit that selects one symbol from a plurality of symbols displayed on the screen based on the detection result of the line-of-sight detection means;
A symbol column display window that displays the symbols selected by the symbol selection unit side by side in the selected order is displayed on the screen, and the display position of the symbol column display window is selected by the symbol selection unit. A fixed symbol display control that sets a position adjacent to one symbol and displays the symbol column in the symbol column display window with center alignment centered on the coordinate position of the selected one symbol in the horizontal direction. Function as a department,
A program for a symbol selection device, which causes a computer to exercise the following.
JP2018033733A 2018-02-27 2018-02-27 Symbol selection device and program for symbol selection device Active JP6712813B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018033733A JP6712813B2 (en) 2018-02-27 2018-02-27 Symbol selection device and program for symbol selection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018033733A JP6712813B2 (en) 2018-02-27 2018-02-27 Symbol selection device and program for symbol selection device

Publications (2)

Publication Number Publication Date
JP2019149032A JP2019149032A (en) 2019-09-05
JP6712813B2 true JP6712813B2 (en) 2020-06-24

Family

ID=67850626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018033733A Active JP6712813B2 (en) 2018-02-27 2018-02-27 Symbol selection device and program for symbol selection device

Country Status (1)

Country Link
JP (1) JP6712813B2 (en)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000020196A (en) * 1998-07-01 2000-01-21 Shimadzu Corp Eye-gaze input device
JP2000221873A (en) * 1999-01-28 2000-08-11 Mitsubishi Electric Corp Communication support device
CN108139813A (en) * 2015-10-19 2018-06-08 鸥利研究所股份有限公司 Sight input unit, sight input method and sight input program

Also Published As

Publication number Publication date
JP2019149032A (en) 2019-09-05

Similar Documents

Publication Publication Date Title
JP6957993B2 (en) Information processing programs, information processing devices, and information processing methods that estimate the level of confidence in the user's answer.
US10642348B2 (en) Display device and image display method
US20140359528A1 (en) Method and apparatus of controlling an interface based on touch operations
US9311000B2 (en) Method for displaying keypad for smart devices
JP2014142882A (en) Line of sight input device
JP2006345529A (en) Method and system of red-eye correction using user-adjustable threshold
JP6805524B2 (en) Input device, input program, and input method
CN111831112A (en) A system and method for text input based on eye movement and finger micro gestures
CN103914228B (en) A kind of operating method of mobile terminal and its touch-screen
CN105278807A (en) Gui device
JP6715483B2 (en) Symbol selection device and program for symbol selection device
JP6712813B2 (en) Symbol selection device and program for symbol selection device
US10303359B2 (en) Character input device and information processing device
Tula et al. Dynamic context switching for gaze based interaction
JP2022140063A (en) Line-of-sight input device and program for line-of-sight input device
US10057315B2 (en) Communication support system, information processing apparatus, control method, and storage medium that display an output image obtained by superposing a reference image over a captured image
JP6402498B2 (en) Display terminal device, program, and display method
US10394448B2 (en) Direction-based text input method, system, and computer-readable recording medium using the same
CN107967091B (en) Human-computer interaction method and computing equipment for human-computer interaction
US10846825B2 (en) Display control apparatus, information processing apparatus, display control method, program for display control, and recording medium
WO2015090092A1 (en) Method and device for generating individualized input panel
KR102325684B1 (en) Eye tracking input apparatus thar is attached to head and input method using this
JP2012104070A (en) Information apparatus, information providing method, program and computer readable recording medium
US20200293118A1 (en) Character input device, character input method, and character input program
JP2017107511A (en) Information processing system, information processing method, and information processing program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190515

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20190516

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191112

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191112

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20191204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200512

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200519

R150 Certificate of patent or registration of utility model

Ref document number: 6712813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250