JP6774975B2 - 眼球回転検出装置、電子機器及びシステム - Google Patents
眼球回転検出装置、電子機器及びシステム Download PDFInfo
- Publication number
- JP6774975B2 JP6774975B2 JP2018051471A JP2018051471A JP6774975B2 JP 6774975 B2 JP6774975 B2 JP 6774975B2 JP 2018051471 A JP2018051471 A JP 2018051471A JP 2018051471 A JP2018051471 A JP 2018051471A JP 6774975 B2 JP6774975 B2 JP 6774975B2
- Authority
- JP
- Japan
- Prior art keywords
- electrode
- eyeball
- signal
- eye
- rotation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Measuring devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor or mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/297—Bioelectric electrodes therefor specially adapted for particular uses for electrooculography [EOG]: for electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/30—Input circuits therefor
- A61B5/307—Input circuits therefor specially adapted for particular uses
- A61B5/315—Input circuits therefor specially adapted for particular uses for electrooculography [EOG]; for electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0209—Special features of electrodes classified in A61B5/24, A61B5/25, A61B5/283, A61B5/291, A61B5/296, A61B5/053
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
- G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Ophthalmology & Optometry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Physiology (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
- Eyeglasses (AREA)
Description
図1、図2、図3を参照して、実施形態に係る眼球回転検出装置の構成の一例を説明する。眼球回転検出装置の形態は種々あるが、ここでは、アイウェアの形態の眼球回転検出装置の例を示す。アイウェアとしては、ゴーグル、メガネ(サングラスはメガネと等価である)等があるが、ここではメガネ型眼球回転検出装置を説明する。図1はメガネ型眼球回転検出装置の一例を正面から見た図、図2はメガネ型眼球回転検出装置の一例を後ろ上方から見た図である。図3はメガネ型眼球回転検出装置の一例をかけたユーザを右前方から見た図である。
メガネは右フレーム12と、左フレーム14と、両フレーム12、14を繋ぐブリッジ26とを含む。この明細書で右、左はメガネを装着するユーザから見た右、左である。正面から見た図1では逆になっており、図1の右側のフレームが左フレーム14である。眼電位検出だけの装置であれば、右フレーム12と左フレーム14にはレンズやガラスを嵌め込まなくてもよいが、ユーザがメガネを常用する場合は、常用するメガネの代わりにユーザに合った度数のレンズが右フレーム12、左フレーム14に嵌め込まれてもよい。ユーザがメガネを常用しない場合は、単なるガラスが右フレーム12、左フレーム14に嵌め込まれてもよい。眼電位検出だけの装置ではなく、眼電位から視線移動又は輻輳角変化を検出し、その検出結果を応用する製品、例えばAR表示が可能なメガネ型ウェアラブル装置を構成する場合は、右フレーム12、左フレーム14の少なくとも一部にAR表示用の液晶パネルあるいは有機ELパネルが嵌め込まれてもよい。
図2に示すように、一方のテンプル、例えば右テンプル18のフレーム12に近い部分に眼電位の検出のための処理部30が内蔵あるいは外付けされている。他方のテンプル、例えば左テンプル20のフレーム12に近い部分に処理部30のためのバッテリ34が内蔵あるいは外付けされている。処理部30は単に眼電位検出だけではなく、AR表示が可能なメガネ型ウェアラブル装置においては、表示制御も行ってもよい。処理部30はメガネに内蔵するのではなく、メガネの外部に設け、無線又はワイヤでメガネと処理部30とを接続してもよい。その場合、バッテリ34は処理部30に内蔵してメガネの外部に設けることができる。また、処理部30の機能を2つに分けて、電極からの信号をセンスする第1処理部のみメガネに設け、センス信号から眼電位を検出したり、検出結果に応じて制御する第2処理部をメガネの外部に設けてもよい。スマートフォン等の携帯端末を第2処理部として使用することができる。第2処理部はメガネに直接接続される携帯端末等に限らず、ネットワークを介して接続されるサーバ等も含む。
図5、図6、図7は中性電極46の配置の変形例を示す。上記の説明では、左右別個のノーズパッド22、24が設けられているが、図5の変形例では、左右一体型の逆V字若しくは逆U字型のノーズパッド52が設けられる。ノーズパッド52の開いた両脇の右内側に右ノーズパッド電極42が設けられ、左内側に左ノーズパッド電極44が設けられ、V字若しくはU字の頂点部分の内側に中性電極46が設けられる。これにより、額パッド26を設けることなく、額に接する中性電極46を設けることができる。
図8〜図12を参照して、視線方向が正面方向を向いている状態から右眼球及び左眼球を左右回転した場合のA/Dコンバータ62から出力されるEOG信号ADC Ch0、A/Dコンバータ64から出力されるEOG信号ADC Ch1、A/Dコンバータ66から出力されるEOG信号ADC Ch2の波形の変化の一例を示す。
しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。
しかし、現実的にはノーズパッド電極とテンプル電極を結ぶ平面が左右の眼球の中央部から僅かにずれるので、これらのずれ量に従って僅かな変化が現れる。
図15は第2実施形態に係るメガネ型眼電位検出装置100の一例を正面から見た図である。第1実施形態の検出装置と異なるのは、右フレーム12、左フレーム14の少なくとも一部にAR表示用のディスプレイ(例えば、有機ELパネル又は液晶パネル)102、104が嵌め込まれている点である。AR画像を3D表示しない場合は、右フレーム12、左フレーム14の一方にはディスプレイ102又は104が嵌め込まれていなくてもよい。ここでは、AR画像は3D表示されるとする。EOG電極の配置は第1実施形態と同じである。AR表示可能なメガネ型眼電位検出装置100の応用例は種々あるが、第2実施形態としては、手術支援システムを例に説明する。手術を執刀する医師や手術に関係するスタッフがメガネ型眼電位検出装置100をかける。
支援画像の表示位置(左右画像の輻輳角)を調整すると、眼精疲労が生じる可能性をさらに低くすることができる。
輻輳検出の他の応用例としては、作業手順の確認がある。図20はメガネ型眼電位検出装置を含む作業確認システムの電気的な構成の一例を示すブロック図である。作業確認にはAR表示は必須ではないが、確認結果を作業者に直ぐに伝えるためにAR表示を利用してもよい。処理部30は図16に示した第2実施形態と同じである。制御装置120の代わりに、図4に示す第1実施形態と同様に、スマートフォン等の携帯端末84を用いてもよい。制御装置120は視線移動判別部148、視線移動パターンメモリ142を含む。視線移動判別部148は眼動検出部75で検出された眼球回転の変化パターンから視線移動(視線方向右移動、視線方向左移動、視線方向交差(輻輳)を判別し、視線移動パターンを視線移動パターンメモリ142に格納する。視線移動パターンメモリ142のデータはネットワーク86を介してサーバ88にアップロードされる。
眼電図では、輻輳角の具体的な角度は得られず、輻輳状態となる眼球の回転方向だけが得られる。そのため、上記の実施形態では輻輳が検出され、応用例では、輻輳角自体には関わらず、輻輳の検出か否かの二値的な状態に基づいて制御が行われている。しかし、距離が既知の複数の目標物が存在する場合には、複数の目標物を見て、複数の距離に対する眼電図を定期的に測定することにより、既知の複数の距離に対する眼電位の値を求めることができ、3つ以上の輻輳状態を識別することがでる。例えば、遠方の目標物を見ている時はAR表示はオフで、中距離の目標物を見ている時は第1のAR画像を表示させ、近距離の目標物を見ている時は第2のAR画像を表示させてもよい。
上述した実施形態によれば、右眼球の左右回転と左眼球の左右回転を独立して検出することができるので、左右眼球の視線方向の交差である輻輳を検出することができる。輻輳は無意識には発生ぜず、被検者の意識的な眼球回転により発生する。そのため、輻輳の検出に応じた制御を行うことにより、被検者の意図に応じたハンズフリー制御を行うことができる。例えば、AR表示を行うメガネ型ウェアラブル端末において、寄り目とすることによりAR画像を表示開始させ、遠方の目標物を見ることによりAR画像を表示終了させることができる。
Claims (20)
- 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極を具備する眼球回転検出装置であって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の右に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出する第1検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出する第2検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出する第3検出器と、
前記第1眼電位、前記第2眼電位及び前記第3眼電位に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出する第4検出器と、をさらに具備する眼球回転検出装置。 - 前記第1検出器は、前記第1眼電位を示す信号を出力する第1アナログ/デジタルコンバータを具備し、前記第1アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第2検出器は、前記第2眼電位を示す信号を出力する第2アナログ/デジタルコンバータを具備し、前記第2アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第3検出器は、前記第3眼電位を示す信号を出力する第3アナログ/デジタルコンバータを具備し、前記第3アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項1記載の眼球回転検出装置。 - 前記第4検出器は、
前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項1記載の眼球回転検出装置。 - 前記第4検出器は、
前記第1眼電位の波形が変化し、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化し、前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形の中の1つの波形の変化が、前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形の中の他の2つの波形の変化と逆相である場合、前記右眼球の右回転と前記左眼球の右回転又は前記右眼球の左回転と前記左眼球の左回転を検出する請求項1記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの右ノーズパッドに取り付けられ、
前記第4電極は前記メガネの左ノーズパッドに取り付けられ、
前記第5電極は前記メガネのブリッジに取り付けられる請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの一体型ノーズパッドの右部分に取り付けられ、
前記第4電極は前記一体型ノーズパッドの左部分に取り付けられ、
前記第5電極は前記一体型ノーズパッドの中央部分に取り付けられる請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記第1電極はメガネの右テンプルに取り付けられ、
前記第2電極は前記メガネの左テンプルに取り付けられ、
前記第3電極は前記メガネの右ノーズパッドに取り付けられ、
前記第4電極は前記メガネの左ノーズパッドに取り付けられ、
前記第5電極は前記右ノーズパッドに取り付けられる第1サブ電極と前記左ノーズパッドに取り付けられる第2サブ電極とを具備し、
前記第1サブ電極と前記第2サブ電極は電気的に短絡されている請求項1乃至請求項4のいずれか一項記載の眼球回転検出装置。 - 前記第1眼電位の波形、前記第2眼電位の波形及び前記第3眼電位の波形に基づいて前記右眼球の上下回転と前記左眼球の上下回転を検出する第5検出器をさらに具備する請求項4乃至請求項7のいずれか一項記載の眼球回転検出装置。
- 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極と、
ディスプレイと、
を具備する電子機器であって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の右に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出する第1検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出する第2検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出する第3検出器と、
前記第1眼電位、前記第2眼電位及び前記第3眼電位に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出する第4検出器と、をさらに具備し、
前記ディスプレイは前記第4検出器が前記右眼球と前記左眼球が互いに反対向きに左右回転することを検出すると、表示が変化する電子機器。 - 前記第1検出器は、前記第1眼電位を示す信号を出力する第1アナログ/デジタルコンバータを具備し、前記第1アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第2検出器は、前記第2眼電位を示す信号を出力する第2アナログ/デジタルコンバータを具備し、前記第2アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第3検出器は、前記第3眼電位を示す信号を出力する第3アナログ/デジタルコンバータを具備し、前記第3アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項9記載の電子機器。 - 前記第4検出器は、
前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項9記載の電子機器。 - 頭部に接触可能な第1電極、第2電極、第3電極、第4電極及び第5電極と、ディスプレイと、を具備する電子機器と、
前記ディスプレイを制御するコントローラと、
を具備するシステムであって、
前記第1電極は右眼球の右に設けられ、
前記第2電極は左眼球の左に設けられ、
前記第3電極は右眼球の左に設けられ、
前記第4電極は左眼球の右に設けられ、
前記頭部の正面図、平面図及び側面図の少なくとも1つにおいて、前記第1電極と前記第3電極とを結ぶ線が前記右眼球を通過し、前記第2電極と前記第4電極とを結ぶ線が前記左眼球を通過し、
前記第5電極と前記第1電極との距離と前記第5電極と前記第2電極との距離が等しく、
前記第5電極と前記第3電極との距離と前記第5電極と前記第4電極との距離が等しく、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第2電極からの信号との差分に基づいて第1眼電位を検出する第1検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第1電極からの信号と前記第3電極からの信号との差分に基づいて第2眼電位を検出する第2検出器と、
前記第5電極からの信号のレベルを基準レベルとして前記第2電極からの信号と前記第4電極からの信号との差分に基づいて第3眼電位を検出する第3検出器と、
前記第1眼電位、前記第2眼電位及び前記第3眼電位に基づいて前記右眼球の左右回転と前記左眼球の左右回転を検出する第4検出器と、をさらに具備し、
前記コントローラは前記第4検出器が前記右眼球と前記左眼球が互いに反対向きに左右方向で回転することを検出すると、前記ディスプレイの表示を変化させるシステム。 - 前記第1検出器は、前記第1眼電位を示す信号を出力する第1信号のレベルを検出する第1アナログ/デジタルコンバータを具備し、前記第1アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第2検出器は、前記第2眼電位を示す信号を出力する第2アナログ/デジタルコンバータを具備し、前記第2アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルであり、
前記第3検出器は、前記第3眼電位を示す信号を出力する第3アナログ/デジタルコンバータを具備し、前記第3アナログ/デジタルコンバータの検出可能電圧範囲の中点電圧は前記第5電極からの信号のレベルである請求項12記載のシステム。 - 前記第4検出器は、
前記第1眼電位の波形が変化せず、前記第2眼電位の波形が変化し、前記第3眼電位の波形が変化した場合、前記右眼球の右回転と前記左眼球の左回転又は前記右眼球の左回転と前記左眼球の右回転を検出する請求項12記載のシステム。 - 前記コントローラは、前記第4検出器が前記右眼球の左回転と前記左眼球の右回転を検出すると、画像を前記ディスプレイに表示開始する請求項12記載のシステム。
- 前記コントローラは、前記第4検出器が前記右眼球の右回転と前記左眼球の左回転を検出すると、前記画像の表示を停止する請求項15記載のシステム。
- 前記コントローラは、前記第4検出器が前記右眼球の左回転と前記左眼球の右回転を検出すると、前記右眼球と前記左眼球の輻輳角に応じた輻輳角の3次元画像を前記ディスプレイに表示する請求項12記載のシステム。
- 前記コントローラは、
前記右眼球と前記左眼球の輻輳角の経時変化を示すデータを記憶する記憶手段と、
前記記憶手段に記憶されたデータと、前記右眼球と前記左眼球の輻輳角の標準変化を示すデータとを比較する手段と、
を具備する請求項15記載のシステム。 - 前記コントローラは、前記右眼球と前記左眼球の輻輳角が大きくなると、画像表示を開始し、前記輻輳角が小さくなると、前記画像表示を停止する請求項15記載のシステム。
- 前記コントローラは、前記右眼球と前記左眼球の輻輳角が小さくなると、画像表示を開始し、前記輻輳角が大きくなると、前記画像表示を停止する請求項15記載のシステム。
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018051471A JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
| US16/004,851 US10466781B2 (en) | 2018-03-19 | 2018-06-11 | Eye movement detecting device, electronic device and system |
| US16/568,340 US11054900B2 (en) | 2018-03-19 | 2019-09-12 | Eye movement detecting device, electronic device and system |
| US16/568,333 US20200004334A1 (en) | 2018-03-19 | 2019-09-12 | Eye movement detecting device, electronic device and system |
| US17/375,097 US11481028B2 (en) | 2018-03-19 | 2021-07-14 | Eye movement detecting device, electronic device and system |
| US17/940,058 US11886635B2 (en) | 2018-03-19 | 2022-09-08 | Eye movement detecting device, electronic device and system |
| US18/523,275 US12554321B2 (en) | 2018-03-19 | 2023-11-29 | Eye movement detecting device, electronic device and system |
| US19/222,612 US20250291414A1 (en) | 2018-03-19 | 2025-05-29 | Eye movement detecting device, electronic device and system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018051471A JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020166949A Division JP2021009719A (ja) | 2020-10-01 | 2020-10-01 | 電子機器及び表示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019162251A JP2019162251A (ja) | 2019-09-26 |
| JP6774975B2 true JP6774975B2 (ja) | 2020-10-28 |
Family
ID=67904042
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018051471A Active JP6774975B2 (ja) | 2018-03-19 | 2018-03-19 | 眼球回転検出装置、電子機器及びシステム |
Country Status (2)
| Country | Link |
|---|---|
| US (7) | US10466781B2 (ja) |
| JP (1) | JP6774975B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2025028167A (ja) * | 2020-10-01 | 2025-02-28 | 株式会社東芝 | ウェアラブル機器、システム及び表示方法 |
| US12554321B2 (en) | 2018-03-19 | 2026-02-17 | Kabushiki Kaisha Toshiba | Eye movement detecting device, electronic device and system |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021150971A1 (en) * | 2020-01-22 | 2021-07-29 | Dolby Laboratories Licensing Corporation | Electrooculogram measurement and eye-tracking |
| US12299340B2 (en) * | 2020-04-17 | 2025-05-13 | Apple Inc. | Multi-device continuity for use with extended reality systems |
| CN114967183B (zh) * | 2021-02-26 | 2023-09-01 | 华为技术有限公司 | 眼镜及可穿戴系统 |
| CN112965252B (zh) * | 2021-03-16 | 2023-03-31 | 歌尔股份有限公司 | Ar显示模组和ar眼镜 |
| JPWO2022201736A1 (ja) * | 2021-03-25 | 2022-09-29 | ||
| TW202247813A (zh) | 2021-04-08 | 2022-12-16 | 日商半導體能源研究所股份有限公司 | 電子裝置 |
| JP7593214B2 (ja) * | 2021-04-22 | 2024-12-03 | トヨタ自動車株式会社 | 眠気判定装置及び眠気判定方法 |
| WO2023110993A1 (de) | 2021-12-15 | 2023-06-22 | Volkswagen Aktiengesellschaft | Erstellen einer arbeitsanleitung |
| CN118556200A (zh) * | 2022-01-26 | 2024-08-27 | 苹果公司 | 使用高效图像捕获和聚散度以及瞳孔间距历史的眼睛跟踪 |
| DE102022104256A1 (de) * | 2022-02-23 | 2023-08-24 | Drägerwerk AG & Co. KGaA | Verfahren sowie Steuereinheit zur Koordination der von unterschiedlichen Medizingeräten abgegebenen akustischen Signale |
| TWI840005B (zh) * | 2022-08-10 | 2024-04-21 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置 |
| JP2024035526A (ja) * | 2022-09-02 | 2024-03-14 | キヤノン株式会社 | 情報処理装置 |
| DE102024100940A1 (de) * | 2024-01-12 | 2025-07-17 | Karl Storz Se & Co. Kg | Medizinisches System, tragbare Anzeigen, Verfahren zum Betrieb eines medizinischen Systems und/oder einer tragbaren Anzeige und Verfahren |
Family Cites Families (58)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5360971A (en) * | 1992-03-31 | 1994-11-01 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
| JPH0749744A (ja) | 1993-08-04 | 1995-02-21 | Pioneer Electron Corp | 頭部搭載型表示入力装置 |
| JPH09271043A (ja) * | 1996-03-29 | 1997-10-14 | Olympus Optical Co Ltd | 立体映像ディスプレイ装置 |
| JPH09274144A (ja) * | 1996-04-02 | 1997-10-21 | Canon Inc | 画像表示装置 |
| JP3717653B2 (ja) * | 1998-01-20 | 2005-11-16 | 株式会社リコー | 頭部搭載型画像表示装置 |
| JP2000259336A (ja) | 1999-03-11 | 2000-09-22 | Funai Electric Co Ltd | 視点位置検出装置及びディスプレイ用ポインティング装置 |
| CN1236397C (zh) * | 2000-05-16 | 2006-01-11 | 瑞士电信流动电话公司 | 生物计量的识别及鉴权方法和相应的终端设备 |
| US20020057228A1 (en) * | 2000-11-14 | 2002-05-16 | Sina Fateh | Wearable display having ergonomically positioned microdisplay |
| JP4500992B2 (ja) | 2004-01-14 | 2010-07-14 | 国立大学法人静岡大学 | 三次元視点計測装置 |
| JP5451083B2 (ja) | 2009-01-13 | 2014-03-26 | 株式会社フルヤ金属 | 白金ブラック粉末及び白金ブラックのコロイド並びにそれらの製造方法 |
| JP5490664B2 (ja) | 2009-11-18 | 2014-05-14 | パナソニック株式会社 | 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね |
| JP5613025B2 (ja) | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| US10180572B2 (en) * | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
| US9298985B2 (en) * | 2011-05-16 | 2016-03-29 | Wesley W. O. Krueger | Physiological biosensor system and method for controlling a vehicle or powered equipment |
| JP5499985B2 (ja) | 2010-08-09 | 2014-05-21 | ソニー株式会社 | 表示装置組立体 |
| KR20120064557A (ko) | 2010-12-09 | 2012-06-19 | 한국전자통신연구원 | 증강형 3차원 입체 영상 제시를 위한 혼합현실 디스플레이 플랫폼 및 운영 방법 |
| US9213405B2 (en) * | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| JP5790187B2 (ja) * | 2011-06-16 | 2015-10-07 | ソニー株式会社 | 表示装置 |
| CN103380625A (zh) * | 2011-06-16 | 2013-10-30 | 松下电器产业株式会社 | 头戴式显示器及其位置偏差调整方法 |
| AU2011204946C1 (en) * | 2011-07-22 | 2012-07-26 | Microsoft Technology Licensing, Llc | Automatic text scrolling on a head-mounted display |
| US20130083007A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Changing experience using personal a/v system |
| JP2013215356A (ja) * | 2012-04-06 | 2013-10-24 | Panasonic Corp | 眼疲労計測装置およびその方法 |
| JP5765740B2 (ja) | 2012-05-21 | 2015-08-19 | 国立大学法人東京工業大学 | 注意位置推定装置 |
| JP5661067B2 (ja) | 2012-05-29 | 2015-01-28 | 株式会社ジェイアイエヌ | アイウエア |
| JP5334145B1 (ja) * | 2012-06-29 | 2013-11-06 | トーヨーカネツソリューションズ株式会社 | 物品のピッキング作業の支援システム |
| WO2014016987A1 (ja) * | 2012-07-27 | 2014-01-30 | Necソフト株式会社 | 3次元ユーザインタフェース装置及び3次元操作方法 |
| JP2015019679A (ja) | 2013-07-16 | 2015-02-02 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
| WO2015034560A1 (en) * | 2013-09-03 | 2015-03-12 | Tobii Technology Ab | Portable eye tracking device |
| US10451874B2 (en) * | 2013-09-25 | 2019-10-22 | Seiko Epson Corporation | Image display device, method of controlling image display device, computer program, and image display system |
| US10405786B2 (en) * | 2013-10-09 | 2019-09-10 | Nedim T. SAHIN | Systems, environment and methods for evaluation and management of autism spectrum disorder using a wearable data collection device |
| JP6608137B2 (ja) * | 2014-01-03 | 2019-11-20 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | ディスプレイ上の両眼転導検出 |
| JP6252849B2 (ja) * | 2014-02-07 | 2017-12-27 | ソニー株式会社 | 撮像装置および方法 |
| WO2015145395A1 (en) | 2014-03-28 | 2015-10-01 | Alma Mater Studiorum - Universita' Di Bologna | Augmented reality glasses for medical applications and corresponding augmented reality system |
| US10297082B2 (en) | 2014-10-07 | 2019-05-21 | Microsoft Technology Licensing, Llc | Driving a projector to generate a shared spatial augmented reality experience |
| US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
| GB2532954A (en) | 2014-12-02 | 2016-06-08 | Ibm | Display control system for an augmented reality display system |
| BR112017018874A2 (pt) | 2015-03-01 | 2018-04-17 | Aris Md Inc | método de facilitamento de um procedimento em relação a um domínio morfológico, sistema, e, meio legível por máquina não transitório |
| CN107533634A (zh) | 2015-03-23 | 2018-01-02 | 控制辐射系统有限公司 | 眼睛跟踪系统 |
| US10162412B2 (en) * | 2015-03-27 | 2018-12-25 | Seiko Epson Corporation | Display, control method of display, and program |
| JP2016189120A (ja) | 2015-03-30 | 2016-11-04 | ソニー株式会社 | 情報処理装置、情報処理システム、及び頭部装着ディスプレイ |
| JP2016212177A (ja) * | 2015-05-01 | 2016-12-15 | セイコーエプソン株式会社 | 透過型表示装置 |
| WO2017022302A1 (ja) | 2015-08-03 | 2017-02-09 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP6407824B2 (ja) | 2015-09-01 | 2018-10-17 | 株式会社東芝 | メガネ型ウエアラブル端末およびこの端末を用いる方法 |
| JP6690155B2 (ja) | 2015-09-03 | 2020-04-28 | リコーイメージング株式会社 | カム装置及びレンズ鏡筒 |
| JP6426589B2 (ja) * | 2015-11-27 | 2018-11-21 | 株式会社東芝 | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム |
| US9921618B2 (en) | 2015-12-24 | 2018-03-20 | Intel Corporation | Cooling solution for a dock |
| US10772561B2 (en) * | 2016-04-01 | 2020-09-15 | Thomas Alan Donaldson | Sensors to determine neuronal activity of an organism to facilitate a human-machine interface |
| JP2017189498A (ja) | 2016-04-15 | 2017-10-19 | ミラマ サービス インク | 医療用ヘッドマウントディスプレイ、医療用ヘッドマウントディスプレイのプログラムおよび医療用ヘッドマウントディスプレイの制御方法 |
| JP2017204094A (ja) * | 2016-05-10 | 2017-11-16 | 富士通株式会社 | 視線特定プログラム、視線特定装置、及び視線特定方法 |
| JP6625930B2 (ja) * | 2016-05-16 | 2019-12-25 | 株式会社東芝 | 眼電位検出電極付き制帽、眼電位検出電極付きヘッドウエア、および眼電位検出を利用したアラート方法 |
| WO2018012207A1 (ja) | 2016-07-12 | 2018-01-18 | 富士フイルム株式会社 | 画像表示システム、並びにヘッドマウントディスプレイの制御装置とその作動方法および作動プログラム |
| AU2017301435B2 (en) | 2016-07-25 | 2022-07-14 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
| JP2018042004A (ja) | 2016-09-05 | 2018-03-15 | セイコーエプソン株式会社 | 表示装置、頭部装着型表示装置、及び、表示装置の制御方法 |
| JP2018041011A (ja) | 2016-09-09 | 2018-03-15 | 日本精機株式会社 | 表示装置 |
| JP6871104B2 (ja) | 2017-07-31 | 2021-05-12 | 株式会社東芝 | 帽子及びヘッドウェア |
| JP2019066562A (ja) | 2017-09-28 | 2019-04-25 | 日本精機株式会社 | 表示装置、表示制御方法、及びプログラム |
| JP6774975B2 (ja) | 2018-03-19 | 2020-10-28 | 株式会社東芝 | 眼球回転検出装置、電子機器及びシステム |
| JP2021009719A (ja) | 2020-10-01 | 2021-01-28 | 株式会社東芝 | 電子機器及び表示方法 |
-
2018
- 2018-03-19 JP JP2018051471A patent/JP6774975B2/ja active Active
- 2018-06-11 US US16/004,851 patent/US10466781B2/en active Active
-
2019
- 2019-09-12 US US16/568,333 patent/US20200004334A1/en not_active Abandoned
- 2019-09-12 US US16/568,340 patent/US11054900B2/en active Active
-
2021
- 2021-07-14 US US17/375,097 patent/US11481028B2/en active Active
-
2022
- 2022-09-08 US US17/940,058 patent/US11886635B2/en active Active
-
2023
- 2023-11-29 US US18/523,275 patent/US12554321B2/en active Active
-
2025
- 2025-05-29 US US19/222,612 patent/US20250291414A1/en active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12554321B2 (en) | 2018-03-19 | 2026-02-17 | Kabushiki Kaisha Toshiba | Eye movement detecting device, electronic device and system |
| JP2025028167A (ja) * | 2020-10-01 | 2025-02-28 | 株式会社東芝 | ウェアラブル機器、システム及び表示方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US10466781B2 (en) | 2019-11-05 |
| US11481028B2 (en) | 2022-10-25 |
| US20200004335A1 (en) | 2020-01-02 |
| US20230004221A1 (en) | 2023-01-05 |
| US20250291414A1 (en) | 2025-09-18 |
| JP2019162251A (ja) | 2019-09-26 |
| US20240094814A1 (en) | 2024-03-21 |
| US20210342001A1 (en) | 2021-11-04 |
| US11054900B2 (en) | 2021-07-06 |
| US11886635B2 (en) | 2024-01-30 |
| US12554321B2 (en) | 2026-02-17 |
| US20200004334A1 (en) | 2020-01-02 |
| US20190286226A1 (en) | 2019-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6774975B2 (ja) | 眼球回転検出装置、電子機器及びシステム | |
| JP7607087B2 (ja) | 電子機器及び表示方法 | |
| US10231614B2 (en) | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance | |
| US9788714B2 (en) | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance | |
| US9370302B2 (en) | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment | |
| Cognolato et al. | Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances | |
| Iskander et al. | A review on ocular biomechanic models for assessing visual fatigue in virtual reality | |
| JP6426589B2 (ja) | 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム | |
| US8449116B2 (en) | Electro-oculography estimating device, electro-oculography calculating method, eye-gaze tracking device, wearable camera, head-mounted display, and electronic eyeglasses | |
| ES2932157T3 (es) | Determinación de un error de refracción de un ojo | |
| JP2014124308A (ja) | 眼電位生成装置、眼電位生成方法およびビューワー | |
| US8845099B2 (en) | System and method for real time monitoring and dynamic treatment of oculomotor conditions | |
| KR20140072524A (ko) | 운전자 시각피로도 측정장치 | |
| Dunn | Required accuracy of gaze tracking for varifocal displays | |
| JP6342440B2 (ja) | 眼球運動検出装置、眼球運動検出方法、およびアイウエア | |
| JP2017049781A (ja) | メガネ型ウェアラブル装置及びその制御方法及び情報管理サーバー | |
| US11270451B2 (en) | Motion parallax in object recognition | |
| EP4120051B1 (en) | Opto-electronic device and method for providing visual orientation | |
| Wright et al. | Head stabilization shows visual and inertial dependence during passive stimulation: implications for virtual rehabilitation | |
| WO2020240052A1 (es) | Sistema de medición de parámetros clínicos de la función visual | |
| Kyung et al. | Versatile wearable computer for drivers | |
| JPWO2017122533A1 (ja) | 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180604 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200908 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201005 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6774975 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |