JP7291841B2

JP7291841B2 - マルチモーダル眼追跡

Info

Publication number: JP7291841B2
Application number: JP2022184779A
Authority: JP
Inventors: ジョセフセルカーエドウィン; ヨーイヴァン
Original assignee: Magic Leap Inc
Current assignee: Magic Leap Inc
Priority date: 2017-04-14
Filing date: 2022-11-18
Publication date: 2023-06-15
Anticipated expiration: 2038-04-13
Also published as: EP3610359B1; US11294462B2; JP2023014151A; JP2022132349A; JP7455905B2; US20180299953A1; KR102781167B1; JP7211966B2; KR102627452B1; KR20190138852A; CN110520824A; WO2018191731A1; EP3610359A1; US20220179488A1; IL269861A; US20210333872A1; CA3058669A1; JP2020517012A; KR20240014589A; EP3610359A4

Description

（関連出願の相互参照）
本願は、２０１７年４月１４日に出願された米国特許出願第６２／４８５，８２０号の３５Ｕ．Ｓ．Ｃ． § １１９（ｅ）のもとでの利益を主張するものであり、該米国特許出願の内容は、あらゆる目的のためにその全体が参照により本明細書中に援用される。

本開示の実施例は、ヒトの眼を追跡するため、より具体的には、ヒトの眼の位置、移動、および／または挙動を決定および／または特性評価するためのシステムおよび方法に関する。

一般的に言えば、眼追跡システムは、ユーザの眼の位置および／または移動に対応する、１つ以上の信号を生成する。（本開示の全体を通して、「位置」は、眼の位置および／または配向を含むと理解されるべきであり、「移動」は、移動および／または回転を含むと理解されるべきである。）これらの信号は、種々のコンピュータシステムへの入力として使用され、ゲーム、ナビゲーション、スポーツ訓練、通信、および医学研究と同程度に多様な用途で、またはユーザが見ている場所を把握することが有益である他の状況で、使用を見出し得る。特に、眼追跡システムは、ユーザの眼移動の知識が仮想環境への没頭感を増進し得る、いくつかの「拡張現実」（ＡＲ）システムによって採用される等の３Ｄ仮想環境内の使用を見出し得る。いくつかの実施例では、眼追跡システムは、装着者の眼に向かって配向されるセンサを伴う頭部搭載型デバイス等のモバイル装置を伴う。

眼追跡システムが、動的または予測不可能な条件（変動する気象および照明条件等）下でさえも、眼の位置および移動を正確に反映することが望ましい。さらに、殆どのコンピュータシステムと同様に、例えば、モバイルシステム内のバッテリ寿命を保存するために、眼追跡システムによって消費される電力を削減することが望ましい。これらの目標は、常に、両立できるわけではなく、例えば、高解像度光学走査は、正確な眼追跡結果を生成し得るが、高電力消費量を犠牲にする。低いリフレッシュレートにおいてセンサデータを更新することは、電力を節約し得るが、高周波数眼移動を正確に捕捉することができない場合がある。本開示は、光学センサおよび電気眼球電圧センサ等のセンサを組み合わせ、眼追跡システムの正確度および／または電力消費を増進するためのマルチモーダルシステムおよび方法を対象とする。本開示はさらに、そのようなセンサを使用し、眼の挙動を特性評価するためのシステムおよび方法を対象とし、その情報は、眼追跡正確度および／または電力消費をさらに増進するために使用され得る。

本開示の実施例は、ヒトの眼を追跡するためのシステムおよび方法を説明する。本開示の実施例によると、光学センサおよび電気眼球電圧センサ等のセンサは、正確度および電力消費を向上させることによって等、眼追跡を増進するように組み合わせられることができる。例えば、眼の第１の位置（例えば、絶対位置）を示す第１のデータは、第１の時間間隔において第１のセンサから受信されてもよい。眼のデルタ位置を示す第２のデータは、第２の時間間隔において第２のセンサから受信されてもよい。眼の第２の位置（例えば、絶対位置）は、第１の位置およびデルタ位置を使用して、決定されてもよい。センサはさらに、眼の種々の挙動を特性評価するために（例えば、機械学習技法とともに）使用されることができ、その情報は、眼追跡をさらに増進するために使用されることができる。
本明細書は、例えば、以下の項目も提供する。
（項目１）
方法であって、
第１の時間間隔において、眼の第１の位置を示すデータを出力するように構成される第１のセンサから、第１のデータを受信するステップと、
第２の時間間隔において、前記眼のデルタ位置を示すデータを出力するように構成される第２のセンサから、第２のデータを受信するステップと、
前記第１のデータに基づいて、前記眼の第１の位置を決定するステップと、
前記第２のデータに基づいて、前記眼のデルタ位置を決定するステップと、
前記眼の第１の位置および前記眼のデルタ位置を使用して、前記眼の第２の位置を決定するステップと、
前記眼の第２の位置を決定することに応答して、前記眼の第２の位置を示す出力信号を生成するステップと
を含む、方法。
（項目２）
前記第１のセンサは、光学センサを備える、項目１に記載の方法。
（項目３）
前記第２のセンサは、電気眼球図記録センサを備える、項目１に記載の方法。
（項目４）
前記第１の時間間隔は、前記第２の時間間隔を上回る、項目１に記載の方法。
（項目５）
前記第１のセンサは、前記第１の時間間隔中に低電力モードで動作する、項目１に記載の方法。
（項目６）
前記第２のセンサは、前記第２の時間間隔中に低電力モードで動作する、項目１に記載の方法。
（項目７）
前記眼の第２の位置を使用して、第１の眼移動挙動を決定するステップをさらに含む、項目１に記載の方法。
（項目８）
前記第１の眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目７に記載の方法。
（項目９）
前記第１の眼移動挙動を決定することに応答して、
前記第１のセンサからデータを受信する第３の時間間隔を決定するステップと、
前記第２のセンサからデータを受信する第４の時間間隔を決定するステップと
をさらに含む、項目７に記載の方法。
（項目１０）
前記第１の眼移動挙動を決定するステップは、
前記第１の眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目７に記載の方法。
（項目１１）
第３のセンサから第３のデータを受信するステップをさらに含み、前記第１の眼移動挙動は、前記第３のデータを使用して決定される、項目７に記載の方法。
（項目１２）
前記第３のセンサは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備える、項目１１に記載の方法。
（項目１３）
前記第３のセンサは、ＧＰＳセンサを備える、項目１１に記載の方法。
（項目１４）
前記第３のセンサは、周囲光センサを備える、項目１１に記載の方法。
（項目１５）
前記第１の眼移動挙動は、ニューラルネットワークを使用して決定される、項目１１に記載の方法。
（項目１６）
前記第１のデータ、前記第２のデータ、前記第３のデータ、前記眼の第２の位置、または前記第１の眼移動挙動を備える、情報を使用して、ニューラルネットワークを訓練するステップをさらに含む、項目１１に記載の方法。
（項目１７）
前記ニューラルネットワークを使用して、第２の眼移動挙動を決定するステップをさらに含む、項目１６に記載の方法。
（項目１８）
前記第１のセンサおよび前記第２のセンサは、ディスプレイを備える頭部搭載型デバイスに取り付けられる、項目１に記載の方法。
（項目１９）
前記眼の第２の位置を決定することに応答して、
前記眼の第２の位置に対応する前記ディスプレイの領域を決定するステップであって、前記領域は、第１の表示状態に等しい表示状態を有する、ステップと、
前記領域の表示状態を前記第１の表示状態から第２の表示状態に変化させるステップと
をさらに含む、項目１８に記載の方法。
（項目２０）
方法であって、
第１の時間間隔において、頭部搭載型ディスプレイを備える拡張現実システムのユーザと関連付けられるセンサから、第１のデータを受信するステップであって、前記第１のデータは、前記ユーザの眼の位置を示す、ステップと、
前記第１のデータおよび前記拡張現実システムの属性に基づいて、前記眼と関連付けられる眼移動挙動を決定するステップと、
前記眼と関連付けられる眼移動挙動を決定することに応答して、前記センサからデータを受信する第２の時間間隔を決定するステップと
を含む、方法。
（項目２１）
前記眼移動挙動を決定するステップは、
前記眼移動挙動の可能性に対応する信頼スコアを生成するステップと、
前記信頼スコアを閾値と比較するステップと、
前記信頼スコアが前記閾値を超えることを決定するステップと
を含む、項目２０に記載の方法。
（項目２２）
前記拡張現実システムは、ソフトウェアアプリケーションを実行するように構成され、前記拡張現実システムの属性は、前記ソフトウェアアプリケーションの状態を示す、項目２０に記載の方法。
（項目２３）
前記センサは、前記第２の時間間隔中に低電力モードで動作する、項目２０に記載の方法。
（項目２４）
前記眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備える、項目２０に記載の方法。
（項目２５）
前記拡張現実システムは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備え、前記拡張現実システムの属性は、前記加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットの出力を備える、項目２０に記載の方法。
（項目２６）
前記拡張現実システムは、ＧＰＳセンサを備え、前記拡張現実システムの属性は、前記ＧＰＳセンサの出力を備える、項目２０に記載の方法。
（項目２７）
前記拡張現実システムは、周囲光センサを備え、前記拡張現実システムの属性は、前記周囲光センサの出力を備える、項目２０に記載の方法。
（項目２８）
前記眼移動挙動は、ニューラルネットワークを使用して決定される、項目２０に記載の方法。
（項目２９）
前記センサは、光学センサを備える、項目２０に記載の方法。
（項目３０）
前記センサは、電気眼球図記録センサを備える、項目２０に記載の方法。
（項目３１）
ウェアラブルコンピューティングシステムであって、
ユーザの頭部を中心として装着されるように構成されるフレームと、
感知回路であって、前記感知回路は、前記フレームに取り付けられる少なくとも１つの電極を備え、前記感知回路は、前記ユーザの眼の電位を測定するように構成される、感知回路と、
光学センサであって、前記光学センサは、前記フレームに取り付けられ、光学センサパラメータに従って前記ユーザの眼の画像を検出するように構成される、光学センサと、
前記感知回路および前記光学センサに動作可能に結合されるプロセッサであって、前記プロセッサは、
前記感知回路から、第１のデータを取得することであって、前記第１のデータは、前記ユーザの眼の電位を示す、ことと、
前記第１のデータに基づいて、前記光学センサパラメータを調節することと
を行うように構成される、プロセッサと
を備える、ウェアラブルコンピューティングシステム。
（項目３２）
前記光学センサパラメータは、前記光学センサが前記眼の画像を検出するレートを決定する、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３３）
前記光学センサパラメータは、前記光学センサの電力消費モードを決定する、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３４）
前記プロセッサはさらに、前記第１のデータに基づいて、前記光学センサを選択的にアクティブ化および非アクティブ化するように構成される、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３５）
前記プロセッサはさらに、前記光学センサによって検出される画像に基づいて、前記眼の位置を決定するように構成される、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３６）
前記プロセッサはさらに、前記第１のデータに基づいて、前記眼の移動を検出するように構成される、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３７）
前記プロセッサはさらに、前記検出された移動に基づいて、前記光学センサパラメータを調節するように構成される、項目３６に記載のウェアラブルコンピューティングシステム。
（項目３８）
前記プロセッサはさらに、前記眼が複数の所定の眼移動挙動のうちの眼移動挙動に関与するかどうかを決定するように構成され、前記決定は、少なくとも前記第１のデータに基づく、項目３１に記載のウェアラブルコンピューティングシステム。
（項目３９）
前記プロセッサはさらに、前記決定に基づいて、前記光学センサパラメータを調節するように構成される、項目３８に記載のウェアラブルコンピューティングシステム。
（項目４０）
前記感知回路は、感知回路パラメータに従って、前記ユーザの眼の電位を測定するように構成され、前記プロセッサはさらに、前記光学センサによって出力される前記眼の画像に基づいて、前記感知回路パラメータを調節するように構成される、項目３１に記載のウェアラブルコンピューティングシステム。
（項目４１）
前記感知回路パラメータは、前記感知回路が、前記眼の電位を示すデータを前記プロセッサに出力するレートを決定する、項目４０に記載のウェアラブルコンピューティングシステム。
（項目４２）
前記感知回路は、２つの電極と、前記２つの電極の間の電位差を測定するように構成される少なくとも１つの電気コンポーネントとを備える、項目３１に記載のウェアラブルコンピューティングシステム。

図１は、ヒトの眼の断面を図示する。

図２Ａは、本開示の実施例による、眼移動を検出するように構成される電極の実施例を図示する。

図２Ｂは、本開示の実施例による、例示的頭部搭載型デバイスを図示する。

図３Ａおよび３Ｂは、本開示の実施例による、複数のセンサを使用し、眼の位置および／または移動に対応する信号を出力する、例示的眼追跡システムを図示する。図３Ａおよび３Ｂは、本開示の実施例による、複数のセンサを使用し、眼の位置および／または移動に対応する信号を出力する、例示的眼追跡システムを図示する。

図４は、本開示の実施例による、任意の携帯用または非携帯用デバイス内で具現化され得る、システムアーキテクチャの実施例を図示する。

以下の実施例の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随する図面が参照される。他の実施例も使用され得、構造変更が、開示される実施例の範囲から逸脱することなく行われ得ることを理解されたい。

眼追跡システムは、我々の最も不安定で敏活な身体部分のうちの１つから正確なデータを確実に導出するという課題に取り組まなければならない。さらに、そのようなシステムは、控えめに、予測不可能な正面条件で、扱いにくい物理的環境内で、かつ最小限の電力消費を伴って、そうする任務を負い得る。本開示の実施例は、下記に説明されるように、光学センサおよび電気眼球電圧センサ等のセンサを組み合わせ、これらの課題に対処するためのマルチモーダルシステムおよび方法を対象とする。

眼科

図１は、ヒトの眼（１００）の断面図であり、角膜（１０２）、虹彩（１０４）、水晶体（１０６）、強膜（１０８）、脈絡膜層（１１０）、黄斑（１１２）、網膜（１１４）、および脳への視神経（１１６）を含むように描写される。光は、角膜（１０２）において眼（１００）の前部に入射する。虹彩（１０４）は、網膜（１１４）上に入る光の量を調整し、水晶体（１０６）は、遠近調節し、網膜（１１４）において画像を合焦してもよい。ひいては、網膜（１１４）は、視覚刺激を、視神経（１１６）を介して視覚皮質に伝送される電気信号（例えば、受容体電位）に変換する。黄斑（１１２）は、中程度の詳細を見るために利用される、網膜（１１４）の中心である。黄斑（１１２）の中心には、細かい詳細を見るために利用され、網膜（１１４）の任意の他の部分よりも多くの光受容体（視覚度あたり約１２０の錐体）を含有する、比較的に小さい窩である。眼（１００）は、６自由度を提供するように、二対の直接筋肉および一対の斜紋筋（図示せず）によって回転されてもよい。視神経（１１６）は、眼の筋肉によって囲繞される。

ヒト視覚系は、網膜上に入射する光に応答して神経学的信号を生成する光受容体を含む、眼に結合される筋肉の活動を介して、環境を能動的に走査するように構成される。眼は、これらの筋肉を使用して、多くの異なる移動を行うことが可能である。これらは、少なくとも、わずかな移動（例えば、振戦）、より速い追跡移動（例えば、円滑追跡）、および非常に速い移動（例えば、衝動性、弾道）を含む。いくつかの移動が、自律的かつ大部分は不随意であり得る一方で、他のものは、随意であり得る。本明細書で議論されるように、眼移動は、少なくとも、水平軸、水平を中心として地球とともに回転する（最初は）垂直軸、および注視角に沿った捻転軸を中心とした眼の回転を指し得る。

いくつかの眼移動は、衝動性眼移動として表され得る。衝動性運動は、凝視点を急激に変化させる、眼の高速共同弾道移動である。衝動性運動は、１秒あたり最大９００度の速度における眼の移動を伴い得る。概して、衝動性眼移動は、着目オブジェクトを視野の中に運ぶ。例えば、本を読むとき、眼は、数回、律動性の衝動性移動を行って停止し、各凝視点の間で非常に迅速に移動する。別の実施例では、車両の運転手は、衝動性眼移動を行い、道路上の他の車、交通標識、車の内部等を見るであろう。眼を迅速に移動させることは、オブジェクトの異なる部分が窩によって結像されることを可能にする。衝動性眼移動は、随意であり、視機性または前庭性移動に応答して等、視覚刺激および／または矯正に応答して、反射として実行され得る。例えば、反射性の衝動性運動は、外部刺激によって、または凝視刺激の消滅によって誘起され得る。反衝動性運動は、視覚刺激から離れるように眼を自発的に移動させ得る。走査衝動性運動は、随意であり、視覚環境の異なる部分の調査を可能にし得る。記憶衝動性運動は、覚えた点に向かって眼を移動させ得る。予測衝動性運動は、着目オブジェクトの移動を予想し得る。衝動性運動はまた、睡眠の高速眼移動段階中に起こり得る。

いくつかの眼移動は、１秒あたり約１度～１秒あたり約１００度の範囲内で移動する着目視覚オブジェクトをゆっくりと追跡し、オブジェクトの画像を網膜上で安定して保つ、共同眼移動である、円滑追跡移動として表され得る。円滑追跡移動は、概して、随意的制御下にない。

いくつかの眼移動は、眼が網膜上に着目オブジェクトの画像を保持する、眼の静止状態である、凝視として表され得る。凝視は、約１００ミリ秒～約１，０００ミリ秒持続し得る。

いくつかの眼移動は、眼振として表され得る。眼振は、低速段階および高速段階を交互に繰り返すことを含む、不随意眼移動の形態である。眼振眼移動は、視機性または前庭性として表され得る。視機性眼振は、静止視覚受容体および高速で移動する着目オブジェクトを指す。視機性眼振は、眼運動の特徴的な鋸歯パターンを有し得、これは、追跡運動が後に続く、眼が移動視野の一部を凝視する低速段階と、眼が視野の新しい部分を凝視する高速段階（すなわち、帰還衝動性跳躍）とを含む。前庭性眼振は、頭部の運動に応答して起こり、内耳の三半規管を刺激し得る。三半規管からの感覚情報は、頭部移動の反対方向に移動するように眼に指図し、したがって、網膜上で着目オブジェクトの画像を近似的に維持し得る。

いくつかの眼移動は、前庭動眼として表され得る。前庭動眼移動は、眼の移動と併せた頭部および／または身体（例えば、頸部）の移動を指す。前庭動眼移動は、例えば、視覚の周囲のオブジェクトを視認するとき、または視野を横断して急速に移動するオブジェクトを追跡するときに、頭部および頸部のより大きい筋肉が大規模または高速移動を補助することを可能にすることによって、眼の緊張を緩和し得る。例えば、殆どの人々は、その眼の注視が、特定の着目オブジェクトに合焦するために、中心から約２０度を上回って外れて移動する必要があるときに、その頭部を移動させることを好む。頭部移動はまた、ヒト視覚系が頭部運動視差からの深度合図から利益を得ることを可能にし、これは、視野内のオブジェクトの相対深度を識別することに役立ち得る。頭部および眼運動は、頭部回転中に網膜に対して画像情報を安定させる、前庭動眼反射を使用して協調される。

眼は、上記に説明される眼移動のタイプ等の種々のタイプの眼移動の組み合わせに関与し得る。下記の開示の目的のために、眼の挙動は、１つ以上の眼移動（または１つ以上の眼移動のパターン）であり、前庭動眼移動の場合等に頭部移動を含み得る。人物の眼が関与する眼の挙動は、いくつかの外部因子、例えば、人物が関与する活動（例えば、読書、運転）、人物の場所および周囲（例えば、静かな図書館の中、交通渋滞の中）、および環境因子（例えば、周囲照明条件、温度）による影響を受ける。これらの外部因子の知識は、ヒトの眼の挙動を予測することに役立ち得る。例えば、人物が本を読んでいるという知識は、人物の眼が衝動性移動に関与することを示唆し得る。逆に、人物の眼の挙動の知識は、種々の外部因子を示唆し得る。例えば、人物の眼が衝動性移動に関与するという知識は、人物が本を読んでいることを示唆し得る。

眼追跡

いくつかの技術が、ユーザの眼の位置に関する測定を取得するために存在する。

いくつかのそのような技術は、カメラ等の光学センサを含む。例えば、光は、眼から反射され、眼の位置および移動を検出するように光学センサによって感知され得る。他のそのような技術は、ヒトの眼の２つの場所の間に存在し得る、電位を測定することを伴い得る。例えば、図１を参照すると、眼（１００）の角膜（１０２）は、網膜（１１４）に対して電気的に正であり、角膜（１０２）における陽極および網膜（１１４）における陰極を伴う固定双極子として表され得る、定常電位場を形成する。眼が回転すると、静電双極子が、それとともに回転する。本角膜網膜電位は、典型的には、０．４ｍＶ～１．０ｍＶの範囲を有し、光刺激から独立している。

電気眼球図記録は、電気眼球図記録（ＥＯＧ）センサを使用して、眼の２つの場所（例えば、角膜およびブルッフ膜）の間の電位を検出するための技法である。感知回路は、１つ以上の電極と、いくつかの実施例では、電極間の電位差を測定するように構成される、１つ以上の電気コンポーネントとを備えることができる。感知回路は、電位の差を記録するように、頭部および／または顔面上に設置されることができる。図２Ａは、例示的感知回路内の例示的電極構成を図示する。眼の電位の振幅は、概して、μＶ／度範囲内であり、例えば、約５μＶ／度～約２０μＶ／度に及んでもよい。電極電位変化の兆候は、眼移動の方向（例えば、左、右、上、下）を示し得る。眼の相対位置は、測定された電位から推測されてもよい。顔の筋肉は、活動しているとき、顔の表面上の電位に影響を及ぼし得る。顔面上の電極対を横断して見られる電圧は、眼の筋肉運動および顔の特徴に対応する顔の筋肉運動（例えば、瞬き、ウインク、または顔にしわを寄せること）の畳み込みとして表され得る。例えば、瞬きは、電気眼球図上で観察されるような特徴的な信号パターンおよび持続時間を有する。安静時の平均瞬目率は、約１００ミリ秒～約４００ミリ秒の平均持続時間を伴って、１分あたり約１２～１９回の瞬きで変動し得る。眼の電位はさらに、例えば、情動状態を含む、ユーザの心理状態への洞察を提供し得る。（本開示の実施例では、電位を検出することが参照されるが、いくつかの実施例では、他の好適な電気的性質（例えば、静電容量、インダクタンス、抵抗、インピーダンス）が、眼追跡の目的のために、電位の代わりに、またはそれに加えて、検出されてもよい。）

マルチモーダル眼追跡システム

ＥＯＧセンサおよび光学センサはそれぞれ、他方と比べてある利点を持ち得る。例えば、ＥＯＧセンサは、概して、光学センサよりも電力効率的である。さらに、ＥＯＧセンサは、光学センサほど目立たなくあり得、ユーザの視覚を侵害しない場合があり、眼鏡およびコンタクトレンズ等の矯正用レンズにより適合し得る。電極を使用する信号測定は、高い時間分解能を有し、連続的信号を可能にし得る。ＥＯＧセンサは、光学センサと異なり、概して、明るい光または暗闇による影響を受けず、制御された照明がない場合に動作することができる。さらに、光学追跡装置と異なり、眼移動は、眼が閉じられているとき、または眼が（例えば、瞼、睫毛等によって）視覚的に覆い隠される他の状況でさえも、追跡されてもよい。加えて、電位を表す出力を生じる、ＥＯＧセンサは、比較的に大きい画像データを出力し得る、光学センサほど帯域幅集約的ではない場合がある。また、光学センサデータよりもＥＯＧデータを処理することが、高速かつ計算効率的であり得る。しかしながら、そのような光学センサデータ（例えば、２Ｄ画像）はまた、増進した解像度および／または正確度を伴う眼追跡を提供してもよい。すなわち、眼の位置は、ＥＯＧセンサを使用する（すなわち、電位から眼の位置を推測することによって）よりも光学センサを使用して（すなわち、画像データから眼の位置を抽出することによって）、確実に測定されてもよい。同様に、ＥＯＧセンサと比較して、光学センサは、較正値からの限定された逸脱から利益を享受し得る。

光学眼追跡およびＥＯＧ眼追跡の相対利点を考慮すると、眼追跡システムが、光学センサおよびＥＯＧセンサ等の複数のタイプのセンサを組み込むことが有益であり得る。下記でさらに詳細に説明されるように、そのようなマルチモーダル眼追跡アプローチは、例えば、比較的に大量の電力を日常的に消費し、および／または計算集約的動作を日常的に実施し得る、眼追跡機能性を伴うシステムにおいて、特に有益であり得る。そのようなシステムは、拡張現実システム、仮想現実システム、および同等物を含むことができる。

図２Ｂは、マルチモーダル眼追跡システムを含む、例示的頭部搭載型デバイス２００を示す。より具体的には、図２Ｂの実施例では、例示的頭部搭載型デバイス２００は、（例えば、ＥＯＧ感知機能性を提供するために）装着者の頭部および／または顔に接触するように構成される電極、および／または装着者の眼の一方または両方を監視するように構成される少なくとも１つの光学センサを備える、感知回路を含む。例示的デバイス２００は、拡張現実システムで採用されてもよく、例えば、拡張現実表示を装着者に提示するように構成されるディスプレイを組み込んでもよい。電気眼球図記録（ＥＯＧ）、光学眼追跡、および拡張現実機能性を提供するためのシステムおよび技法に関する付加的詳細は、米国特許出願第１５／０７２，２９０号（その全体として参照することによって本明細書に組み込まれる）の中で提供される。

いくつかの実施例では、例示的頭部搭載型デバイス２００の感知回路の電極のうちの少なくともいくつかは、図２Ａに図示される例示的電極構成に従って配列されてもよい。図２Ａの実施例では、第１の一対の電極（２１０および２１２）は、眼の水平軸移動を検出するように構成され、第２の一対の電極（２２０および２２２）は、皮膚に接触し、眼の垂直移動を検出するように構成される。示される実施例では、電極２１０および２１２は、それぞれ、左眼の内眼角および外眼角を中心として皮膚に接触するように構成され、電極２２０および２２２は、それぞれ、左眼の上方および下方の皮膚に接触するように構成される。電極は、干渉を低減させるように、実用的であるように眼の近傍に設置されてもよい。例示的デバイス２００では、電極２１０および２１２は、上記で説明されるように、水平眼移動を検出するために、それぞれ、右眼および左眼の外眼角を中心として装着者の顔に接触するように構成されて示される。例示的デバイス２００では、上記で説明されるように、垂直眼移動を検出するために、電極２２０は、右眉毛の上方で装着者の顔に接触するように構成されて示され、電極２２２は、右瞼の下方で装着者の顔に接触するように構成されて示される。再度、図２Ａを参照すると、いくつかの実施例では、電極２１０および２１２および２２０および２２２は、電極によって生成される信号を増幅するように、それぞれ、差動増幅器２３２および２３４に結合される。いくつかの実施例では、例示的デバイス２００または例示的デバイス２００に動作可能に結合される別のデバイスは、差動増幅器２３２および２３４、および／または図２Ｂに描写される電極のうちの２つ以上のものに関連して生成される信号を調整するための他の回路を含み得るということになる。

加えて、感知回路は、基準電位を提供するための接地電極を含むことができる。眼移動に応答して、存在するとしても、その電位がわずかに変化する、頭部または顔の領域上に接地電極を位置付けることが望ましくあり得る。例えば、例示的デバイス２００では、電極２４０は、装着者の頭部の後部に接触するように構成される接地電極を表す。いくつかの実施例では、接地電極２４０または別の接地電極は、耳たぶ、額、または耳たぶまたは額に隣接する１つ以上の解剖学的領域を含む、頭部または顔の領域に接触するように構成されてもよい。例示的デバイス２００では、第３および第４の電極２５０および２５２は、鼻梁および／または眼の内眼角に接触するように構成されて示される。電極２５０および２５２からのＥＯＧデータは、電極２１０、２１２、２２０、および／または２２２によって提供されるデータを補完してもよく、これは、これらの電極からのデータの処理を単純化し得、データ冗長性を提供し得、および／またはシステムのロバスト性を向上させ得る。付加的電極もまた、類似利益を提供するように組み込まれてもよい。電極は、湿潤電極および／または乾燥電極であってもよい。いくつかの実施例では、電極は、銀・塩化銀から作製され、および／または金めっきされてもよい。いくつかの実施例では、共通モード拒否前置増幅器の組み込み等の遮蔽および／または雑音消去技法が、電磁干渉を低減させるために使用されてもよい。

図２Ｂに示される例示的デバイス２００等のいくつかの実施例では、光学センサ（例えば、図２Ｂの光学センサ２６０）は、拡張現実システムで使用され得るような頭部搭載型デバイスに搭載されてもよい。これは、光学センサが眼に対して比較的に固定されるという利点を提供し得、これは、センサを較正する必要性を最小限にし、光学センサの出力を分析するプロセスを単純化し得る。いくつかの実施例では、光学センサは、眼を照明し、光学センササンプルを横断して制御された一貫した照明を提供するように、光源（例えば、図２Ｂの光源２７０）を伴ってもよい。いくつかの実施例では、頭部搭載型デバイスは、ディスプレイを含んでもよく、それを介して、例えば、拡張現実コンテンツが、ユーザに提示され得る。図３Ａ－３Ｂを参照して下記でさらに詳細に説明されるように、例示的デバイス２００のもの等の光学およびＥＯＧセンサを含む、マルチモーダル眼追跡システムでは、光学およびＥＯＧセンサが、システムの全体的な電力効率および／または計算効率を向上させるために、光学およびＥＯＧセンサの上記の相対利点を活用する様式で、利用されてもよい。

図３Ａおよび３Ｂは、本開示の実施例による、複数のセンサを使用し、眼１００の位置および／または移動に対応する信号３９０を出力する、例示的マルチモーダル眼追跡システム３００を図示する。いくつかの実施例では、マルチモーダル眼追跡システム３００は、眼１００に関連するデータを出力するように構成されるセンサ（例えば、ＥＯＧセンサおよび／または光学センサ）とともに、図２Ｂに示される例示的デバイス２００等の頭部搭載型デバイスを含んでもよい、またはその一部として含まれてもよい。いくつかの実施例では、そのような頭部搭載型デバイスは、下記に説明されるような追跡眼１００に関連する１つ以上の機能を果たすように構成される、１つ以上のプロセッサとともに動作するように構成されてもよい。いくつかの実施例では、そのようなプロセッサは、頭部搭載型デバイス自体の中に位置してもよい。いくつかの実施例では、そのようなプロセッサは、ベルトパック等の頭部搭載型デバイスから分離しているウェアラブルユニットの中、またはユーザによって担持されるユニットの中に位置してもよい。いくつかの実施例では、そのようなプロセッサは、ユーザによって装着または担持されていないデバイスの中等のユーザの外部に位置してもよい。いくつかの実施例では、マルチモーダル眼追跡システム３００は、拡張現実システムに組み込まれてもよく、拡張現実コンテンツをユーザに提示するように構成されるディスプレイを含んでもよい。

例示的システム３００では、電力および計算リソースの効率は、眼１００のセンサ測定が行われるレートを制御することによって、実現されることができる。一般的に言えば、センサ測定レートを増加させることは、より多くの電力を消費することを犠牲にして、眼追跡の正確度を向上させることができ、逆に、センサ測定レートを減少させることは、より少ない電力を使用することができるが、眼追跡正確度を侵害し得る。センサ測定レートが正確度と電力消費との間のトレードオフに影響を及ぼす程度は、システム動作中に変化し得る。例示的システム３００等のいくつかの実施例では、センサ測定レートは、連続的に計算され、正確度と電力消費と間の所望のトレードオフを維持するように、システム動作中にリアルタイムで調節されてもよい。例えば、例示的システム３００は、そのような計算および調節を実施し得る、眼データ分析器３４０を含む。例示的マルチモーダル眼追跡システム３００は、光学センサおよびＥＯＧセンサを含む。しかしながら、いくつかの実施例では、他のセンサが、使用されてもよい。さらに、いくつかの実施例では、２つを上回るセンサが、使用されてもよい。例えば、加速度計が、下記に説明されるように、頭部移動を検出するために、光学センサおよびＥＯＧセンサと併せて使用され得る。下記の実施例は、付加的センサに適応するように拡張されることができる。

図３Ａは、図３Ａおよび３Ｂの例示的システム３００の高レベル概観を示す。実施例では、光学センサループ３１０ＡおよびＥＯＧセンサループ３１０Ｂは、眼１００から個別のセンサデータを取得し、それぞれ、光学信号３２０ＡおよびＥＯＧ信号３２０Ｂを出力する。光学信号３２０ＡおよびＥＯＧ信号３２０Ｂは、信号３２０Ａおよび３２０Ｂから決定される眼の位置に基づいて、出力信号３９０を出力する、眼信号プロセッサ３３０によって入力として使用される。例示的システム３００等の本開示のいくつかの実施例では、眼データ分析器３４０は、信号プロセッサ３３０から眼の位置データを入力し、そのデータを使用して、光学センサループ３１０ＡおよびＥＯＧセンサループ３１０Ｂの動作に影響を及ぼすパラメータを決定する。例示的システム３００等の本開示のいくつかの実施例では、眼データ分析器３４０は、付加的センサデータ３５０を受信し、そのデータを使用して、光学センサループ３１０ＡおよびＥＯＧセンサループ３１０Ｂの動作に影響を及ぼすパラメータを決定する。例えば、付加的センサデータ３５０は、加速度計（ユーザの頭部の移動を感知するように構成されるもの等）、ＧＰＳセンサ、または別のデバイスからのデータであり得る。付加的センサデータ３５０を生成し得るデバイスの実施例が、下記でさらに説明される。例示的システム３００等の本開示のいくつかの実施例では、眼データ分析器３４０は、予測データ３６０を受信し、そのデータを使用して、光学センサループ３１０ＡおよびＥＯＧセンサループ３１０Ｂの動作に影響を及ぼすパラメータを決定する。例えば、予測データ３６０は、眼データ分析器３４０が１つ以上の入力信号に対応する眼の挙動を決定することに役立つように構成される、ニューラルネットワークの出力であり得る。

眼信号プロセッサ３３０および／または眼データ分析器３４０によって実施され得るプロセス等の例示的システム３００に関して本明細書に説明されるプロセスのうちの１つ以上のものは、任意の好適な論理回路を使用して、コンピュータシステムで実装されてもよい。好適な論理回路は、ソフトウェアプログラムで実装される命令を実行するときに、そのようなプロセスを実施する、１つ以上のコンピュータプロセッサ（例えば、ＣＰＵ、ＧＰＵ等）を含んでもよい。加えて、そのようなプロセスはまた、プロセスを提供する論理設計を実装する、プログラマブル論理（例えば、ＰＬＤ、ＦＰＧＡ等）またはカスタマイズされた論理（例えば、ＡＳＩＣ等）等のハードウェア論理回路で実装される、対応する論理設計を介して、実装されることもできる。さらに、そのようなプロセスは、ソフトウェアおよびハードウェア論理回路を起動する、両方の１つ以上のプロセッサを組み合わせる実装を介して、提供されることができる。いくつかの実施例では、眼信号プロセッサ３３０および／または眼データ分析器３４０等の例示的システム３００のコンポーネントは、眼信号プロセッサ３３０の機能を果たすように構成されるコンピュータプロセッサ等の専用ハードウェアユニットに対応し得る。いくつかの実施例では、例示的システム３００のコンポーネントは、１つ以上のハードウェアユニットを横断して実装される論理ユニットに対応し得る。いくつかの実施例では、コンピュータプロセッサ等の単一のハードウェアユニットは、眼信号プロセッサ３３０および眼データ分析器３４０等の例示的システム３００の複数のコンポーネントに関して本明細書に説明される機能の全てを果たしてもよい。いくつかの実施例では、複数のハードウェアユニット（複数のコンピュータプロセッサ等）は、眼信号プロセッサ３３０等の例示的システム３００の単一のコンポーネントに関して本明細書に説明される機能を集合的に果たしてもよい。本開示は、いかなる具体的実装にも限定されない。

図３Ｂは、より詳細に図３Ａの例示的システム３００を示す。示される実施例では、光学センサループ３１０Ａは、光学センサが眼１００から更新された測定（３１８Ａ）を取得するときを制御する、論理を含む。上記で説明されるように、光学センサ測定を取得することが、電力集約的動作であり得るため、そのような更新が実施されるレートを限定することによって、電力を節約することが望ましくあり得る。実施例では、光学センサループ３１０Ａにおいて、光学センサ測定が取得されるレートは、少なくとも部分的に間隔値ｉｎｔ_ｏｐｔによって制御されてもよい（３１２Ａ）。いくつかの実施例では、ｉｎｔ_ｏｐｔの値は、例えば、具体的時間値において、または光学センサループ３１０Ａの具体的反復数において、固定されてもよい。いくつかの実施例では、ｉｎｔ_ｏｐｔの値は、例えば、関数ｆ_ｏｐｔに従って変動し得る。下記でより詳細に説明されるように、関数ｆ_ｏｐｔは、光学センサ測定を更新するレートを調節することが好ましくあり得る時間および程度を識別する、パラメータｘおよびｙ等の種々のパラメータを反映し得る。ｉｎｔ_ｏｐｔが時間値である、いくつかの実施例では、ｉｎｔ_ｏｐｔは、ｉｎｔ_ｏｐｔが、光学センサ測定が更新されるべきとなるまで残っている時間を表すように、時間がシステム動作中に経過するにつれて減少することができる（図３Ｂに示されていない）。実施例の段階３１４Ａでは、光学センサループ３１０Ａは、ｉｎｔ_ｏｐｔの現在の値を読み取り、値を使用して、光学センサ測定が更新されるべきであるかどうかを決定してもよい。例えば、ｉｎｔ_ｏｐｔが閾値（例えば、０）である、またはそれを下回る場合、光学センサループ３１０Ａは、３１４Ａにおいて、更新された光学センサ測定が取得されるべきであることを決定してもよく（３１８Ａ）、閾値を上回る値にｉｎｔ_ｏｐｔをリセットしてもよい。その一方で、ｉｎｔ_ｏｐｔが閾値を上回る場合、光学センサループ３１０Ａは、３１４Ａにおいて、続けて光学センサ測定を取得しない場合があり、代わりに、ｉｎｔ_ｏｐｔが閾値に到達することを待機してもよい。いくつかの実施例では、ｉｎｔ_ｏｐｔが閾値を上回る場合、光学センサループ３１０Ａは、光学センサ測定を取得する代わりに、ｉｎｔ_ｏｐｔが閾値に到達する、またはそれを下回るまで、低電力モードになってもよい（３１６Ａ）。低電力モードは、光学センサに関するプロセッサスレッドを一時停止させること等の電力節約挙動に関与してもよい。いくつかの実施例では、光学センサ測定が、ｉｎｔ_ｏｐｔの状態にかかわらず、イベント（例えば、ユーザ入力）の発生に応じて取得されてもよい。そのような光学センサ測定は、いったんｉｎｔ_ｏｐｔが閾値に到達すると取得される任意の光学センサ測定の代わりに、またはそれに加えて、取得されてもよい。光学センサ測定が取得される光学センサループ３１０Ａの反復では、その測定は、光学信号３２０Ａとして出力される。

図３Ｂに示される例示的システム３００では、ＥＯＧセンサループ３１０Ｂは、ＥＯＧセンサが眼１００から更新された測定（３１８Ｂ）を取得するときを制御する、論理を含む。示される実施例では、ＥＯＧセンサループ３１０Ｂは、光学センサループ３１０Ａに大部分が類似し得る。上記で説明されるように、光学センサ測定が取得されるレートは、電力消費を低減させるように、光学センサループ３１０Ａによって意図的に限定されてもよい。光学センサ測定が取得されない周期中に、光学測定の代わりに、比較的に電力効率的なＥＯＧセンサ測定を取得することが望ましくあり得る。加えて、いくつかの実施例は、例えば、測定が、瞼等の遮蔽するオブジェクトによって、または極端な照明条件によって侵害され、ＥＯＧセンサ測定を更新するレートを調節することによって補償される場合に、光学センサに関連する測定問題を検出してもよい。実施例では、光学センサループ３１０Ａに類似するＥＯＧセンサループ３１０Ｂでは、ＥＯＧセンサ測定が取得されるレートは、少なくとも部分的に間隔値ｉｎｔ_ｅｏｇによって制御されてもよい（３１２Ｂ）。いくつかの実施例では、ｉｎｔ_ｅｏｇの値は、例えば、具体的時間値において、またはＥＯＧセンサループ３１０Ｂの具体的反復数において、固定されてもよい。いくつかの実施例では、ｉｎｔ_ｅｏｇの値は、例えば、関数ｆ_ｅｏｇに従って変動し得る。下記でより詳細に説明されるように、関数ｆ_ｅｏｇは、ＥＯＧセンサ測定を更新するレートを調節することが好ましくあり得る時間および程度を識別する、パラメータｘおよびｙ等の種々のパラメータを反映し得る。ｉｎｔ_ｅｏｇが時間値である、いくつかの実施例では、ｉｎｔ_ｅｏｇは、ｉｎｔ_ｅｏｇが、ＥＯＧセンサ測定が更新されるべきとなるまで残っている時間を表すように、時間がシステム動作中に経過するにつれて減少することができる（図３Ｂに示されていない）。実施例の段階３１４Ｂでは、ＥＯＧセンサループ３１０Ｂは、ｉｎｔ_ｅｏｇの現在の値を読み取り、値を使用して、ＥＯＧセンサ測定が更新されるべきであるかどうかを決定してもよい。例えば、ｉｎｔ_ｅｏｇが閾値（例えば、０）である、またはそれを下回る場合、ＥＯＧセンサループ３１０Ｂは、３１４Ｂにおいて、更新されたＥＯＧセンサ測定が取得されるべきであることを決定してもよく（３１８Ｂ）、閾値を上回る値にｉｎｔ_ｅｏｇをリセットしてもよい。その一方で、ｉｎｔ_ｅｏｇが閾値を上回る場合、ＥＯＧセンサループ３１０Ｂは、３１４Ｂにおいて、続けてＥＯＧセンサ測定を取得しない場合があり、代わりに、ｉｎｔ_ｅｏｇが閾値に到達することを待機してもよい。いくつかの実施例では、ｉｎｔ_ｅｏｇが閾値を上回る場合、光学センサループ３１０Ｂは、ＥＯＧセンサ測定を取得する代わりに、ｉｎｔ_ｅｏｇが閾値に到達する、またはそれを下回るまで、低電力モードになってもよい（３１６Ｂ）。低電力モードは、ＥＯＧセンサに関するプロセッサスレッドを一時停止させること等の電力節約挙動に関与してもよい。いくつかの実施例では、ＥＯＧセンサ測定が、ｉｎｔ_ｅｏｇの状態にかかわらず、イベント（例えば、ユーザ入力）の発生に応じて取得されてもよい。そのようなＥＯＧセンサ測定は、いったんｉｎｔ_ｅｏｇが閾値に到達すると取得される任意のＥＯＧセンサ測定の代わりに、またはそれに加えて、取得されてもよい。ＥＯＧセンサ測定が取得されるＥＯＧセンサループ３１０Ｂの反復では、その測定は、ＥＯＧ信号３２０Ｂとして出力される。

いくつかの実施例では、ｉｎｔ_ｅｏｇの最大値は、ＥＯＧセンサ測定が光学センサ測定よりも頻繁に更新され得ることを反映して、ｉｎｔ_ｏｐｔの最大値未満であり得る。例えば、含まれるＥＯＧセンサほど電力効率的ではない光学センサを含む、例示的システムでは、ＥＯＧセンサをより頻繁に更新し、光学センサをあまりに頻繁に更新しないことは、例示的システムの全体的電力消費を最適化することに役立ち得る。いくつかの実施例では、ｉｎｔ_ｅｏｇおよび／またはｆ_ｅｏｇは、ＥＯＧセンサが約５００Ｈｚの周波数において更新されるように、構成されてもよく、ｉｎｔ_ｏｐｔおよび／またはｆ_ｏｐｔは、光学センサが約６０Ｈｚの周波数において更新されるように、構成されてもよい。いくつかの実施例では、ｉｎｔ_ｅｏｇおよびｉｎｔ_ｏｐｔ信号間の他の関係も、望ましくあり得る。例えば、光学センサおよびＥＯＧセンサが同時に更新されないように、ｉｎｔ_ｅｏｇおよびｉｎｔ_ｏｐｔ信号間の位相オフセットを維持することは、（例えば、レース条件に起因する）予測不可能なシークエンシングを回避する、眼信号プロセッサ３３０のスループットを向上させる、または負荷分散を助長するために有益であり得る。

いくつかの実施例では、ＥＯＧセンサ測定および／または光学センサ測定を取得することは、閾値に到達するタイマ（例えば、ｉｎｔ_ｅｏｇまたはｉｎｔ_ｏｐｔの周期を伴うタイマ）に加えて、またはその代わりに、イベントの発生によって、誘起されることができる。そのようなイベントは、ユーザの眼の状態の変化を示し得る、ＥＯＧセンサまたは光学センサ測定値の十分に大きい変化の検出であってもよい。一実施例として、眼追跡カメラ等の光学センサは、低電力モードになり（例えば、図３Ｂに関して３１６Ａ）、（例えば、段階３１８Ｂにおいて）ＥＯＧセンサの出力が十分に大量に変化するまで低電力モードに留まってもよい。そのような変化の検出に応じて、光学センサは、低電力モードを終了してもよく、測定値が、光学センサから読み取られてもよい（例えば、画像が捕捉されてもよい）。これは、ＥＯＧセンサの十分に大きい変化が検出されないときに、光学センサが低電力モードに留まることを可能にすることによって、電力消費を最適化してもよく、これは、眼の更新された光学センサ測定の低減された必要性が存在し得る状況である、静止したままであるユーザの眼の位置に対応し得る。電力節約は、そのような状況中に光学センサ測定の限定された必要性があるため、例えば、ユーザが眠っている間に、または（例えば、テレビ画面を鑑賞しながら）眼が具体的な点を凝視している間に、眼が長期の時間周期にわたって大部分が静止したままであると予期される状況で、特に顕著であり得る。

さらなる電力節約は、ＥＯＧセンサ出力が、眼の位置が静止したままであることを示すときに、光学センサの出力に画像処理を実施すること等の前述の計算上高価な動作によって実現されることができる。例えば、ＥＯＧセンサの出力が一定のままである場合、これは、眼が静止しており、その眼の画像の画像処理が前の画像処理と比べて新しい情報をおそらく生じさせないであろうことを示す。故に、眼追跡カメラ等の画像処理を光学センサの出力に適用するように構成される例示的システムでは、本システムは、（例えば、段階３１８Ｂにおいて）ＥＯＧセンサの出力が十分に大量に変化したという決定に応答して、画像処理を実施するように構成されてもよい。いくつかの実施例では、眼追跡カメラを含むシステムは、画像を捕捉し、ＥＯＧセンサの出力が十分に大量に変化したという決定に応答して、その画像に画像処理を実施するように（例えば、眼の注視を決定するように）構成されることができる。

図３Ｂに示される例示的システム３００では、光学信号３２０ＡおよびＥＯＧ信号３２０Ｂは、眼信号プロセッサ３３０に入力される。眼信号プロセッサはまた、信号３２０Ａおよび３２０Ｂの基礎にあるセンサ測定が取得された時間に対応する、時間値（図３Ｂに示されていない）を入力してもよい。示される実施例では、眼信号プロセッサ３３０の役割は、信号３２０Ａおよび３２０Ｂに基づいて、更新された眼の位置を決定することである。

例示的システム３００等のいくつかの実施例では、光学信号３２０Ａ（結像デバイスに対する眼１００の位置を表す）は、眼１００の基本位置、すなわち、眼１００の前の位置から独立している眼１００の現在の位置に対応する。眼信号プロセッサ３３０は、段階３３２において、光学信号３２０Ａから眼１００の基本位置を決定してもよい。例えば、眼信号プロセッサ３３０は、例えば、光学信号３２０Ａを種々のシステムパラメータ（光学センサの設置、環境条件、および／またはユーザの眼の外観に関するパラメータ等）に関連付けることによって、光学信号３２０Ａの値と眼１００の位置との間の相関を識別し、その相関に基づいて、眼１００の位置を決定してもよい。光学センサが、例えば、異物（例えば、瞼または睫毛）による遮蔽または問題のある照明条件に起因する、誤った測定の影響下にあるため、眼信号プロセッサ３３０は、誤った光学測定を補正するための論理を含んでもよい。例えば、眼信号プロセッサ３３０は、隣接する測定と一貫性がない、異常値測定を拒否してもよい。信号プロセッサ３３０はまた、下記に説明されるように、眼データ分析器３４０の出力を利用し、ＥＯＧ信号から基本の眼の位置をより正確に決定してもよい。

同様に、いくつかの実施例では、ＥＯＧ信号３２０Ｂ（眼の筋肉を動かすことによって生成される電気信号を表す）は、眼１００の位置のデルタ、すなわち、眼１００の位置が眼１００の以前の位置以降に変化した程度に対応する。眼信号プロセッサ３３０は、段階３３４において、ＥＯＧ信号３２０Ｂから眼１００の位置デルタを決定してもよい。例えば、眼信号プロセッサ３３０は、ＥＯＧ信号および眼の筋活動の間の既知の相関を使用し、ＥＯＧ信号３２０Ｂの値に対応する筋肉運動を表すマトリクスを決定してもよい。眼信号プロセッサ３３０は、次いで、ＥＯＧ信号３２０Ｂの連続値（個々の眼移動をそれぞれ表す）に対応するマトリクスを累積し、これらの連続値によって表される眼１００の正味の位置デルタを決定してもよい。（移動差から正味の変位を取得するため等の）アキュムレータシステムが逸脱を受け得るため、眼信号プロセッサ３３０は、例えば、段階３３２において算出される基本位置の段階的変化に対して位置デルタの段階的変化を比較し、偏差をキャンセルすることによって、逸脱を補正するための論理を含んでもよい。加えて、ＥＯＧセンサ測定がクロストーク等の電子雑音および／または干渉を受け得るため、信号プロセッサ３３０は、そのような雑音および／または干渉を補正するための機構（クロストークキャンセレーションフィルタ等）を含んでもよい。信号プロセッサ３３０はまた、下記に説明されるように、眼データ分析器３４０の出力を利用し、ＥＯＧ信号から眼の位置デルタをより正確に決定してもよい。

いくつかの実施例では、眼信号プロセッサ３３０は、次いで、基本位置（上記で説明されるように、光学信号３２０Ａから段階３３２において決定される）およびデルタ位置（上記で説明されるように、ＥＯＧ信号３２０Ｂから段階３３４において決定される）の合計として眼の位置を計算してもよい（３３６）。本計算の出力は、上記で説明されるような種々の用途で使用され得る、眼の位置を表す出力信号３９０を生成してもよい。

頭部搭載型ディスプレイ等のディスプレイを含む、いくつかの実施例では、眼の位置は、ディスプレイが、ユーザの視線内にある、または別様にユーザに視認可能である、ディスプレイの領域上に情報を提示することを可能にするために、使用されてもよい。例えば、頭部搭載型ディスプレイが、ユーザの眼から既知の距離においてユーザの頭部に固定されてもよい。眼の位置は、ユーザが現在見ているディスプレイの領域を識別するために、眼からディスプレイまでの既知の距離と併せて使用されることができる。その領域の表示状態は、次いで、ユーザが、自分の現在の眼の位置に基づいて、表示状態の変化に即時に気付く可能性が高いという知識の上、変更されてもよい。例えば、重要なメッセージが、ユーザの視線の中で直接表示され得る。ディスプレイが仮想現実または拡張現実システムの中等で３Ｄ環境を表す、実施例では、仮想オブジェクトは、ユーザが現在見ている３Ｄ環境内の精密な場所に出現し、ユーザの没頭感または制御を増進し得る。

同様に、眼の位置は、ユーザが現在見ていないディスプレイの領域を識別するために、眼からディスプレイまでの既知の距離と併せて使用されることができる。その領域の表示状態は、次いで、ユーザが、自分の現在の眼の位置に基づいて、表示状態の変化に即時に気付きそうにないという知識の上、変更されてもよい。ディスプレイが仮想現実または拡張現実システムの中等で３Ｄ環境を表す、実施例では、仮想オブジェクトが、目立たないように環境に進入する、またはそこから退出すること、またはユーザが気付くことなく仮想オブジェクトの状態（例えば、オブジェクトをレンダリングするために使用されるアセットの分解能等）を変化させることが、望ましくあり得る。そのような挙動は、３Ｄ環境へのユーザの没頭感を増進させ得る。これは、ユーザが見ていないディスプレイの領域を識別し、その領域中の表示状態を変化させることによって、遂行されることができる。

いくつかの実施例は、例示的システム３００の動作を精緻化および向上させるための図３Ｂに示される眼データ分析器３４０等の眼データ分析器を含んでもよい。例示的システム３００では、眼信号プロセッサ３３０からの眼の位置データ（段階３３２において決定される基本位置データおよび／または段階３３４において決定されるデルタ位置データ）が、眼データプロセッサ３４０に入力されてもよく、これは、眼データプロセッサによって収集および記録されてもよい。例示的システム３００等のいくつかの実施例では、付加的センサデータ３５０および／または予測データ３６０もまた、眼データプロセッサ３４０に入力される。段階３４２では、眼データプロセッサ３４０は、眼信号プロセッサ３３０から眼の位置データ、いくつかの実施例では、付加的センサデータ３５０および／または予測データ３６０を分析し、経時的に眼１００の移動および挙動のパターンおよび特性を識別してもよい。そのようなパターンおよび特性は、例示的システム３００がより効果的に動作し得る方法を明らかにし得る。

いくつかの実施例では、眼信号プロセッサ３３０および／または眼データ分析器３４０は、眼の挙動の発生の確実性ではなく確率を決定してもよい。これらの確率は、統計的方法を使用して決定されてもよい。いくつかの実施例では、眼信号プロセッサ３３０および／または眼データ分析器３４０は、種々の入力の状態（例えば、眼の位置測定）を考慮して、システムの出力（例えば、眼の挙動のタイプ）を予測する統計的モデルを生成および／または適用してもよい。いくつかの実施例では、眼信号プロセッサ３３０および／または眼データ分析器３４０は、確率に影響する１つ以上の因子の重みまたは影響を識別または調節することによって、その確率を決定してもよい。例えば、眼信号プロセッサ３３０および／または眼データ分析器３４０は、いくつかの可能性として考えられる眼の挙動のうち、１つの特定の眼の挙動が、（その挙動が必ずしも起こらない場合があっても）種々の重みを付けられた因子の現在の値を考慮して、起こる可能性が最も高いことを決定してもよい。同様に、眼信号プロセッサ３３０および／または眼データ分析器３４０は、確実に将来の挙動を決定することができなくても、種々の重みを付けられた因子に基づいて、そのような将来の挙動の予測を行ってもよい。これは、多くの場合、眼が特定の挙動に関与することを確実に結論付けることは困難または不可能であり、さらに、将来の眼の挙動を予測することは困難または不可能であることを反映している。しかしながら、眼の挙動の発生の絶対確実性は、多くの用途にとって必要ではない場合があり、利点（例えば、電力効率および計算効率）は、ある眼の挙動の相対可能性の決定によって、または将来の眼の挙動の可能性に関する知識に基づく推測によって、伝えられてもよい。

統計的方法が、眼の挙動の発生の確率を決定するために採用されてもよい。例えば、信頼スコアが、特定の挙動が起こる可能性に割り当てられてもよい。信頼スコアは、閾値と比較されてもよく、信頼スコアが閾値を超えると決定することに応じて、眼信号プロセッサ３３０および／または眼データ分析器３４０は、信頼スコアと関連付けられる挙動が十分な確率で起こる可能性が高いことを決定してもよい。他の統計的方法もまた、採用されてもよい。

眼の挙動を識別することの一実施例として、段階３４２では、眼データ分析器３４０は、眼信号プロセッサ３３０からの眼の位置データから、眼１００が静止焦点標的を凝視していることを決定してもよい。例えば、眼データプロセッサは、静止標的を凝視する眼に特徴的な条件である、眼がわずかな高周波数移動のみを実行していることを示すデータに基づいて、そのような決定を行ってもよい。眼１００の位置は、そのように凝視している間に、そうであるとしても、殆ど変化しないことが予期されることができる。そのような条件下で、各新しい測定は、有意な新しい位置情報を殆ど提供しないことが予期され得るため、（例えば、ｉｎｔ_ｏｐｔおよび／またはｉｎｔ_ｅｏｇを増加させること等によって）光学および／またはＥＯＧセンサが新しい測定を取得するレートを減少させることが容認可能であり得る。眼信号プロセッサ３３０はまた、眼の位置のその算出を調節し、眼１００が凝視に関与している間に、信号３２０Ａおよび３２０Ｂが位置の有意な変化を提示しそうにないことを反映し、より優れた眼追跡正確度を潜在的にもたらし得る。

実施例として、段階３４２において、眼信号プロセッサ３３０からの眼の位置データは、眼１００が衝動性挙動に関与することを示唆する条件である、眼１００の移動が方向を急速に変化させていることを示し得る。眼が衝動性挙動に関与するとき、眼の位置を表す信号は、大量の高周波数情報を含有し得る。そのような衝動性挙動を識別することに応答して、眼データプロセッサ３４０は、眼の位置信号の高周波数情報がエイリアシングを伴わずに正確に捕捉されることができるように、（ｉｎｔ_ｅｏｇを減少させること等によって）ＥＯＧセンサが更新されるレートを増加させてもよい。

いくつかの実施例では、眼データプロセッサ３４０は、光学センサおよびＥＯＧセンサ以外のセンサから等の付加的センサデータ３５０を利用し、別様に可能であり得るよりも効果的に眼の挙動を識別してもよい。いくつかの実施例では、機械学習技法が、眼の挙動の識別を向上させるために採用されてもよい。一実施例として、ニューラルネットワークが、付加的センサデータ３５０に基づいて、個々のユーザの眼の挙動を識別するように、そのユーザと関連付けられる付加的センサデータ３５０を使用して訓練され得る。別の実施例として、一般化されたニューラルネットワークが、個々のユーザに関してではなくユーザ群と関連付けられる付加的センサデータ３５０を使用して訓練され得る。そのようなニューラルネットワークは、出力信号３９０等の例示的システム３００からのデータを使用して、再帰的に訓練されてもよい。別の実施例として、一般的アルゴリズムが、付加的センサデータ３５０を含む入力データと眼の挙動との間の関係を識別するために、使用されてもよい。深層学習技法を含む、サポートベクターマシン、ベイジアンネットワーク、規則ベースのシステム、および学習分類子システム等の他の機械学習技法も、同様に採用されることができる。いくつかの実施例では、これらの技法は、眼データプロセッサ３４０内で実装される。いくつかの実施例では、これらの技法は、例示的システム３００の他のコンポーネントで実装される。いくつかの実施例では、これらの技法は、少なくとも部分的に、例示的システム３００の外部のシステムで実装される。例えば、遠隔サーバは、データの大型セットでニューラルネットワークを訓練し、コンピュータネットワークを介して、そのニューラルネットワークのパラメータまたは出力を例示的システム３００に通信してもよい。

付加的センサデータ３５０を利用することの一実施例として、付加的センサデータ３５０は、頭部移動を検出するように構成される加速度計からのデータを含んでもよい。加速度計は、慣性フレームに対する加速度計の加速度に対応する値を出力し、したがって、加速度計がヒトの頭部に添着される場合、加速度計の出力は、頭部の加速度に対応し得る。そのような加速度計からの高い出力値は、例えば、人物が高速移動するオブジェクトを観察している、またはその頸部を伸ばして視覚の周囲におけるオブジェクトを視認しているため、有意な頭部移動があることを示し得る。逆に、加速度計からの低い出力値は、例えば、本を読んでいる間に、頭部が比較的に動かないことを示し得る。加速度計データが、有意な頭部移動があることを示す場合、眼データプロセッサ３４０は、上記で説明されるように、眼１００が、眼が頭部または頸部の筋肉と併せて移動する場合等の前庭動眼移動に関与することを結論付け得る。前庭動眼移動が比較的に小さい規模の眼移動と関連付けられる得るため（例えば、頭部移動が大きな眼移動を不必要にするため）、眼データプロセッサ３４０は、（ｉｎｔ_ｏｐｔを増加させ、それに応じて、光学センサによって消費される電力を削減すること等によって）光学センサが更新されるレートを減少させ、眼の基本位置が、突然の大きな偏移を受けると予期されない場合があることを反映し得る。逆に、付加的センサデータ３５０が、有意な頭部移動がないことを示す加速度計データを含む場合、眼データプロセッサは、眼１００が別様に行うであろうよりも（最小限の頭部移動を伴って本を読んでいる間等に）衝動性移動に関与する可能性が高いことを結論付け得る。機械学習技法を利用する実施例では、そのような技法は、加速度計データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、加速度計データの具体的パターン（例えば、単純な調和運動に対応する正弦波出力）をこれらのパターンに相関する特定の眼の挙動と関連付けるように、訓練され得る。さらに、いくつかの実施例では、ジャイロスコープ、電気コンパス、磁力計、慣性測定ユニット、または他のデバイスが、加速度計の代わりに、またはそれに加えて、使用されてもよい。

他のタイプの付加的センサデータ３５０もまた、有益な効果に使用されてもよい。いくつかの実施例では、付加的センサデータ３５０は、周囲光センサからのデータを含んでもよい。眼データプロセッサ３４０は、本データを使用して、ある光条件と関連付けられる眼の挙動を識別する、または眼信号プロセッサ３３０が照明条件の変化を補正することに役立ってもよい。例えば、眼１００の瞳孔が、光レベルの増加への暴露に応答して収縮し得るため、光レベルの増加を示す付加的センサデータ３５０は、瞳孔サイズの収縮が予期されるものであることを示し得、応答して、光学センサは、より小さい瞳孔との併用のために再較正する準備をしてもよい。異なる眼追跡アルゴリズムもまた、より小さい瞳孔サイズに適応するために眼信号プロセッサ３３０によって採用されてもよい。別の実施例として、付加的センサデータ３５０は、暗すぎて光学センサが適切に稼動できないことを示す、周囲光データを含んでもよい。眼データプロセッサ３４０は、本情報を使用し、そのような条件下で（例えば、ｉｎｔ_ｏｐｔを増加させることによって）光学センサを更新することを減速または停止してもよい。いくつかの実施例では、付加的センサデータ３５０は、光学センサ等のセンサからも決定され得る情報を提供してもよい。そのような実施例では、効率が、別様にカメラまたは他のあまり効率的ではないセンサによって実施されるであろう作業を実施するように、周囲光センサ等の比較的に電力効率的なセンサを使用することによって、獲得されてもよい。機械学習技法を利用する実施例では、そのような技法が、周囲光センサ等のセンサと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、周囲光の変化を、これらの変化に相関する瞳孔拡大および収縮等の特定の眼の挙動と関連付けるように訓練され得る。

いくつかの実施例では、付加的センサデータ３５０は、ＧＰＳセンサから等の時間および／または場所データを含んでもよい。眼データプロセッサ３４０は、本データを使用し、具体的時間および場所と関連付けられる眼の挙動を識別してもよい。一実施例として、付加的センサデータ３５０は、ユーザが静止し、夜間に建物の内側にいて、したがって、別様よりも読書および衝動性眼移動に関与する可能性が高くあり得ることを示す、場所データを含んでもよい。別の実施例として、付加的センサデータ３５０は、日常的な挙動（例えば、６：００～７：００の毎日の通勤等）を識別するため、かつその挙動に基づいて眼移動を予測するために、眼データプロセッサ３４０によって使用され得る、時間データを含んでもよい。別の実施例として、付加的センサデータ３５０は、ユーザが車両を運転しており、ユーザの眼が別様よりも衝動性移動に関与する可能性が高いことを示す、場所データを含んでもよい。機械学習技法を利用する実施例では、そのような技法が、時間および／または場所データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、時刻を、特定の時間に相関する特定の眼の挙動と関連付けるように訓練され得る。

いくつかの実施例では，眼データプロセッサ３４０は、（ＧＰＳセンサから等の）地理座標を具体的な建物、事業、または目印に相関させる、商業用地理データ等の地理データによって補助されてもよい。例えば、付加的センサデータ３５０は、ユーザがジムにいて、したがって、別様よりも運動、したがって、前庭動眼移動に関与する可能性が高くあり得ることを示すために地図データと併せて使用され得る、場所データを含んでもよい。同様に、付加的センサデータ３５０は、ユーザが映画館にいて、ユーザの眼が数時間の周期にわたって（映画のスクリーンを鑑賞している間等に）凝視挙動に関与する可能性が高くあり得ることを示すために地理データと併せて使用され得る、場所データを含んでもよい。機械学習技法を利用する実施例では、そのような技法が、地図データと眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、ユーザの場所を、その場所で起こる傾向がある特定の眼の挙動と関連付けるように訓練され得る。

いくつかの実施例では、付加的センサデータ３５０は、病状と関連付けられる眼の挙動に関連し得る、その病状に関連するデータを含んでもよい。例えば、付加的センサデータ３５０が、ユーザが、眼追跡システムにおいて異常に大量の雑音をもたらし得る症状である、弱視（ａｍｂｌｙｏｐｉａまたはｌａｚｙｅｙｅ）を有することを示す場合、眼データプロセッサ３４０は、本情報を使用し、高い雑音レベルを予測および低減させてもよい。加えて、眼データプロセッサは、ユーザの眼が病状の結果として正常な移動に関与しない場合があるという事実に適応するように、光学センサおよび／またはＥＯＧセンサの更新レートを調節してもよい。機械学習技法を利用する実施例では、そのような技法が、医療情報と眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、ある病状を、これらの病状に付随する特定の眼の挙動と関連付けるように訓練され得る。

いくつかの実施例では、付加的センサデータ３５０は、コンピュータシステムのユーザの使用に関連するデータを含んでもよく、特に、眼追跡システムが（例えば、入力をそのコンピュータシステムに提供するように）コンピュータシステムと統合する実施例では、コンピュータシステムは、ユーザが、ある挙動を示し得る具体的ソフトウェアを使用していることを示し得る。例えば、付加的センサデータ３５０は、ユーザがテキストを読むために電子書籍リーダプログラムを使用していることを示し得、眼データプロセッサ３４０は、本情報を使用し、ユーザが読書と関連付けられる衝動性移動に関与することを予測してもよい。別の実施例として、付加的センサデータ３５０は、オブジェクトがユーザのディスプレイ上で出現する場所を示す、データを含んでもよい。ユーザは、そのようなオブジェクトを見ることが予期され得るため、眼データプロセッサ３４０は、本情報を使用し、ユーザの眼が合焦する可能性が高いものを予測してもよい。例えば、そのような情報は、眼１００がオブジェクト追跡挙動に関与するであろうことを予測するために使用されることができ、追跡されたオブジェクトの表示座標は、付加的センサデータ３５０によって示される。機械学習技法を利用する実施例では、そのような技法が、コンピュータシステム使用と眼の挙動との間の関連性を識別するために採用され得る。例えば、ニューラルネットワークが、あるコンピュータ使用条件（特定のソフトウェアアプリケーションの動作等）を、これらの使用条件に付随する特定の眼の挙動と関連付けるように訓練され得る。

いくつかの実施例では、眼データプロセッサ３４０は、（眼信号プロセッサ３３０から等の）眼の位置データおよび／または付加的センサデータ３５０と組み合わせて予測データ３６０を使用し、眼の挙動をより正確に識別または予測してもよい。予測データ３６０は、入力データ（眼の位置データ等）をある出力された眼の挙動（例えば、衝動性移動）の可能性に相関させる情報を含んでもよい。種々の機械学習技法が、予測データ３６０を生成するために採用されてもよい。いくつかの実施例では、ニューラルネットワークが、眼の挙動を個々のユーザからの眼の位置データと相関させる予測データ３６０を生成するように、既知の眼の位置データおよびそのユーザからの眼の挙動を使用して訓練され得る。いくつかの実施例では、一般化されたニューラルネットワークが、個々のユーザに関してではなくユーザ群との併用のために訓練され得る。いくつかの実施例では、教師なし学習技法から生成される予測データ３６０は、入力データと眼の挙動との間の関係を識別するために使用されてもよく、これは、眼データプロセッサ３４０の正確度を向上させ得、例示的システム３００を大きく多様なユーザ群にとってより有用にし得る。いくつかの実施例では、深層学習技法から生成される予測データ３６０は、特に、入力データについて殆ど先験的に把握されていない場合に、入力データと眼の挙動との間の関係を識別するために使用されてもよい。いくつかの実施例では、一般的アルゴリズムが、付加的センサデータ３５０を含む入力データと眼の挙動との間の関係を識別するために使用されてもよい。サポートベクターマシン、ベイジアンネットワーク、規則ベースのシステム、および学習分類子システム等の他の機械学習技法も、同様に、採用されることができる。

いくつかの実施例では、予測データ３６０は、外部源によって例示的システム３００に通信されてもよい。例えば、ニューラルネットワークが、遠隔サーバ上で訓練され得、そのニューラルネットワークのパラメータまたは出力は、予測データ３６０として例示的システム３００に通信される。そのような構成は、機械学習技法の局所適用が計算的に法外であり得る、多数のユーザから等の眼データの大型セットを利用する実施例において特に有益であり得る。しかしながら、機械学習技法の「簡易」実装を伴うもの等のいくつかの実施例では、予測データは、例示的システム３００にローカルで生成されてもよい。

図３Ｂに示されるもの等のいくつかの実施例では、眼データプロセッサ３４０が、段階３４２において、眼１００の挙動を特性評価した後、眼データプロセッサ３４０は、段階３４４において、１つ以上の光学センサパラメータおよび／または感知回路パラメータを決定してもよい。光学センサパラメータまたは感知回路パラメータは、光学センサループ３１８ＡおよびＥＯＧセンサループ３１８Ｂがそれらの個別のループを更新するレートを定義する、間隔パラメータを含むことができる。例えば、眼データプロセッサ３４０が、（例えば、光学センサによって出力される眼の画像によって検出されるような）現在の眼の挙動に基づいて、電力消費が光学センサ更新レートを低減させることによって安全に低減され得ることを決定する場合、眼データプロセッサ３４０は、ｉｎｔ_ｏｐｔの値を直接または間接的に増加させ、上記で説明されるように光学センサ更新の間の時間を増加させることができる（したがって、光学センサ更新レートを低減させる）。眼データプロセッサ３４０は、同様に、ｉｎｔ_ｅｏｇの値を調節させ、上記で説明されるように、ＥＯＧセンサ更新の間の時間を調節してもよい。いくつかの実施例では、眼データプロセッサ３４０は、眼の挙動に関する決定に基づいて、光学信号３２０Ａおよび／またはＥＯＧ信号３２０Ｂから雑音をフィルタ処理するためのパラメータ等の他のシステムパラメータを調節してもよい。いくつかの実施例では、眼データプロセッサ３４０は、眼の挙動に関する決定に基づいて、光学センサをプライミングすること、または光学センサまたはＥＯＧセンサを較正すること等の他の動作を実施してもよい。

図３Ｂに示される例示的システム３００では、ｉｎｔ_ｏｐｔおよびｉｎｔ_ｅｏｇは、それぞれ、関数ｆ_ｏｐｔおよびｆ_ｅｏｇの出力として設定されてもよく、その関数は、段階３４６において眼データプロセッサ３４０から１つ以上のパラメータ（例えば、ｘ、ｙ）を受信し得る。例えば、そのようなパラメータは、高レベルの眼の挙動、眼移動の周波数成分、および眼移動の他の側面のカテゴリに対応し得る。そのようなパラメータはまた、現在のバッテリ寿命（低いときに、あまり頻繁ではないセンサ測定を要求し得る）等の眼移動に直接関連しない情報に対応し得る。そのような例示的システムでは、ｆ_ｏｐｔおよびｆ_ｅｏｇは、眼データプロセッサ３４０がｆ_ｏｐｔおよびｆ_ｅｏｇのパラメータを介してセンサ更新レートを継続的に調節し、眼追跡正確度と電力消費との間の最適なトレードオフを維持することを可能にするように構成されてもよい。

図４は、上記の実施例のうちのいずれかまたは全てを実装するために使用され得る、例示的システム４００を図示する。例示的システム４００は、携帯用デバイス（ウェアラブルデバイスを含む）または非携帯用デバイス、例えば、通信デバイス（例えば、携帯電話、スマートフォン）、マルチメディアデバイス（例えば、ＭＰ３プレーヤ、ＴＶ、ラジオ）、携帯用またはハンドヘルドコンピュータ（例えば、タブレット、ノートブック、ラップトップ）、デスクトップコンピュータ、一体型デスクトップ、周辺デバイス、頭部搭載型デバイス（例えば、統合ディスプレイを含み得る）、またはこれらのタイプのデバイスのうちの２つ以上のものの組み合わせを含む例示的システム４００を含むように適合可能な任意の他のシステムまたはデバイスの中に含まれてもよい。上記の実施例は、無線ネットワークを介して通信する２つ以上のコンピュータ等の２つ以上の物理的に別個のデバイスで具現化されてもよい。上記の実施例は、データを、頭部搭載型ディスプレイへ、および／またはそこから通信する、ベルトパック等の２つ以上の物理的に異なるデバイスで具現化されてもよい。例示的システム４００は、１つ以上のコンピュータ可読媒体４０１と、処理システム４０４と、Ｉ／Ｏサブシステム４０６と、無線通信回路（例えば、ＲＦ回路）４０８と、オーディオデバイス（例えば、スピーカ、マイクロホン）４１０と、センサ４１１とを含む。これらのコンポーネントは、１つ以上の通信バスまたは信号ライン４０３によって結合され得る。

図４に示されるアーキテクチャは、例示的システム４００の１つの例示的アーキテクチャにすぎず、例示的システム４００は、示されるものよりも多いまたは少ないコンポーネント、またはコンポーネントの異なる構成を有してもよい。図４に示される種々のコンポーネントは、１つ以上のデジタル信号プロセッサ（ＤＳＰ）および／または特定用途向け集積回路（ＡＳＩＣ）を含む、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されてもよい。

図４の例示的システム４００を参照すると、無線通信回路４０８は、１つ以上の他のデバイスへの無線（例えば、ＲＦ）リンクまたはネットワークを経由して情報を送信および受信するために使用されることができ、本機能を果たすための回路を含むことができる。無線通信回路４０８およびオーディオデバイス４１０は、周辺機器インターフェース４１６を介して処理システム４０４に結合されることができる。周辺機器インターフェース４１６は、周辺機器（例えば、無線通信回路４０８、オーディオデバイス４１０、およびセンサ４１１）と処理システム４０４との間の通信を確立および維持するための種々の既知のコンポーネントを含むことができる。オーディオデバイス４１０は、周辺機器インターフェース４１６から受信される音声信号を処理し、ユーザが他のユーザとリアルタイムで通信することを可能にするための回路を含むことができる。オーディオデバイス４１０は、例えば、１つ以上のスピーカおよび／または１つ以上のマイクロホンを含んでもよい。いくつかの実施例では、オーディオデバイス４１０は、ヘッドホンジャック（図示せず）を含むことができる。

センサ４１１は、限定されないが、１つ以上の発光ダイオード（ＬＥＤ）または他の光エミッタ、１つ以上のフォトダイオードまたは他の光センサ、１つ以上の光熱センサ、磁力計、加速度計、ジャイロスコープ、気圧計、コンパス、近接性センサ、カメラ、周囲光センサ、温度計、ＧＰＳセンサ、電気眼球図記録（ＥＯＧ）センサ、および残存バッテリ寿命、電力消費量、プロセッサ速度、ＣＰＵ負荷、および同等物を感知し得る種々のシステムセンサを含む、種々のセンサを含むことができる。頭部搭載型デバイス（ディスプレイを含み得る）を伴うこと等の実施例では、１つ以上のセンサは、ユーザの眼移動を追跡すること、またはその眼の画像に基づいてユーザを識別すること等のユーザの眼に関連する機能性に関連して採用されてもよい。

周辺機器インターフェース４１６は、システム４００の入力および出力周辺機器を、１つ以上のプロセッサ４１８および１つ以上のコンピュータ可読媒体４０１に結合することができる。１つ以上のプロセッサ４１８は、コントローラ４２０を介して１つ以上のコンピュータ可読媒体４０１と通信することができる。コンピュータ可読媒体４０１は、１つ以上のプロセッサ４１８によって使用するためのコードおよび／またはデータを記憶し得る、任意のデバイスまたは媒体（信号を除外する）であり得る。いくつかの実施例では、コンピュータ可読媒体４０１は、非一過性のコンピュータ可読記憶媒体であり得る。コンピュータ可読媒体４０１は、限定ではないが、キャッシュ、メインメモリ、および二次メモリを含む、メモリ階層を含むことができる。メモリ階層は、ＲＡＭ（例えば、ＳＲＡＭ、ＤＲＡＭ、ＤＤＲＡＭ）、ＲＯＭ、ＦＬＡＳＨ、磁気および／または光学記憶デバイス、例えばディスクドライブ、磁気テープ、ＣＤ（コンパクトディスク）、およびＤＶＤ（デジタルビデオディスク）等の任意の組み合わせを使用して、実装されることができる。コンピュータ可読媒体４０１はまた、（信号を除外し、信号が変調される搬送波を除外するが）コンピュータ命令またはデータを示す情報伝達信号を搬送するための伝送媒体を含んでもよい。例えば、伝送媒体は、限定ではないが、インターネット（ワールドワイドウェブを含む）、イントラネット、ローカエルエリアネットワーク（ＬＡＮ）、ワイドローカルエリアネットワーク（ＷＬＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、および同等物を含む、通信ネットワークを含んでもよい。

１つ以上のプロセッサ４１８は、コンピュータ可読媒体４０１の中に記憶された種々のソフトウェアコンポーネントを起動し、例示的システム４００のための種々の機能を果たすことができる。いくつかの実施例では、ソフトウェアコンポーネントは、オペレーティングシステム４２２と、通信モジュール（または命令のセット）４２４と、Ｉ／Ｏ処理モジュール（または命令のセット）４２６と、グラフィックスモジュール（または命令のセット）４２８と、１つ以上のアプリケーション（または命令のセット）４３０とを含むことができる。これらのモジュールおよび上記のアプリケーションはそれぞれ、上記に説明される１つ以上の機能および本願に説明される方法（例えば、コンピュータ実装方法および本明細書に説明される他の情報処理方法）を実施するための命令のセットに対応することができる。これらのモジュール（すなわち、命令のセット）は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はなく、したがって、これらのモジュールの種々のサブセットは、種々の実施例では、組み合わせられる、または別様に再配列されてもよい。いくつかの実施例では、コンピュータ可読媒体４０１は、上記で識別されるモジュールおよびデータ構造のサブセットを記憶してもよい。さらに、コンピュータ可読媒体４０１は、上記に説明されていない付加的モジュールおよびデータ構造を記憶してもよい。

オペレーティングシステム４２２は、一般的システムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御および管理するための種々のプロシージャ、命令のセット、ソフトウェアコンポーネント、および／またはドライバを含んでもよく、種々のハードウェアとソフトウェアコンポーネントとの間の通信を促進する。

通信モジュール４２４は、１つ以上の外部ポート４３６を経由して、または無線通信回路４０８を介して、他のデバイスとの通信を促進することができ、無線通信回路４０８および／または外部ポート４３６から受信されるデータを取り扱うための種々のソフトウェアコンポーネントを含むことができる。

グラフィックスモジュール４２８は、１つ以上のディスプレイ表面上でグラフィカルオブジェクトをレンダリング、動画化、および表示するための種々の既知のソフトウェアコンポーネントを含むことができる。ディスプレイ表面は、２Ｄまたは３Ｄディスプレイを含んでもよい。ディスプレイ表面は、例示的システム４００の１つ以上のコンポーネントに直接または間接的に結合されてもよい。タッチ感知ディスプレイ（例えば、タッチスクリーン）を伴う実施例では、グラフィックスモジュール４２８は、タッチ感知ディスプレイ上でオブジェクトをレンダリング、表示、および動画化するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール４２８は、遠隔ディスプレイをレンダリングするためのコンポーネントを含むことができる。カメラを組み込むもの等のいくつかの実施例では、グラフィックスモジュール４２８は、レンダリングされたグラフィックオブジェクトとカメラデータ（頭部搭載型カメラから捕捉されるもの等）または写真データ（衛星によって捕捉された画像等）を合成することによって形成される画像を作成および／または表示するためのコンポーネントを含むことができる。いくつかの実施例では、グラフィックスモジュール４２８は、画像を頭部搭載型ディスプレイデバイスにレンダリングするためのコンポーネントを含むことができる。いくつかの実施例では、画像は、仮想コンテンツの要素のビュー（例えば、３次元仮想環境内のオブジェクト）および／または物理的世界のビュー（例えば、ユーザの物理的周辺を示すカメラ入力）を含んでもよい。いくつかの実施例では、ディスプレイは、仮想コンテンツおよび物理的世界のビューの合成画像を提示してもよい。いくつかの実施例では、物理的世界のビューは、レンダリングされた画像であってもよく、いくつかの実施例では、物理的世界のビューは、カメラからの画像であってもよい。

１つ以上のアプリケーション４３０は、限定ではないが、ブラウザ、アドレス帳、連絡先リスト、Ｅメール、インスタントメッセージ、文書処理、キーボードエミュレーション、ウィジェット、ＪＡＶＡ（登録商標）対応アプリケーション、暗号化、デジタル著作権管理、音声認識、音声複製、場所決定能力（全地球測位システム（ＧＰＳ）によって提供されるもの等）、音楽プレーヤ等を含む、例示的システム４００上にインストールされた任意のアプリケーションを含むことができる。

Ｉ／Ｏサブシステム４０６は、種々の機能を制御する、または果たすための１つ以上のＩ／Ｏデバイス４１４に結合されることができる。眼追跡または虹彩認識機能性を含む実施例等の眼データの処理を伴う実施例では、Ｉ／Ｏサブシステム４０６は、眼関連入力および出力専用の１つ以上のＩ／Ｏデバイス４１２に結合されてもよい。１つ以上の眼Ｉ／Ｏデバイス４１２は、眼入力（例えば、眼追跡のためのセンサ）またはユーザジェスチャ入力（例えば、光学センサ）を処理するための種々のコンポーネントを含み得る、眼Ｉ／Ｏデバイスコントローラ４３２を介して、処理システム４０４と通信してもよい。１つ以上の他のＩ／Ｏコントローラ４３４は、電気信号を他のＩ／Ｏデバイス４１４に送信し、そこから受信することができる。そのようなＩ／Ｏデバイス４１４は、物理的ボタン、ダイヤル、スライダスイッチ、スティック、キーボード、タッチパネル、付加的ディスプレイ画面、またはそれらの任意の組み合わせを含んでもよい。

Ｉ／Ｏ処理モジュール４２６は、限定されないが、眼Ｉ／Ｏデバイスコントローラ４３２を介して眼Ｉ／Ｏデバイス４１２から、またはＩ／Ｏコントローラ４３４を介して他のＩ／Ｏデバイス４１４から受信される、入力を受信および処理することを含む、１つ以上の眼Ｉ／Ｏデバイス４１２および／または１つ以上の他のＩ／Ｏデバイス４１４と関連付けられる種々のタスクを実施するための種々のソフトウェアコンポーネントを含むことができる。いくつかの実施例では、Ｉ／Ｏデバイス４１４および／またはＩ／Ｏ処理モジュール４２６は、触知または非触知手段によって提供され得る、ジェスチャ入力と関連付けられる種々のタスクを実施してもよい。いくつかの実施例では、ジェスチャ入力は、例えば、ユーザの眼、腕、手、および／または指の移動を検出するためのカメラまたは別のセンサによって提供されてもよい。いくつかの実施例では、１つ以上のＩ／Ｏデバイス４１４および／またはＩ／Ｏ処理モジュール４２６は、ユーザが相互作用することを所望するディスプレイ上のオブジェクト、例えば、ユーザが指し示しているＧＵＩ要素を識別するように構成されてもよい。いくつかの実施例では、１つ以上の眼Ｉ／Ｏデバイス４１２および／またはＩ／Ｏ処理モジュール４２６は、ユーザが見ているオブジェクトまたはディスプレイ上の領域を識別すること等の眼追跡タスクを実施するように（光学またはＥＯＧセンサの助けを借りて等）構成されてもよい。いくつかの実施例では、デバイス（ハードウェア「ビーコン」等）が、２Ｄまたは３Ｄ環境に対するユーザの手の場所を識別すること等の１つ以上のＩ／Ｏデバイス４１４および／またはＩ／Ｏ処理モジュール４２６のジェスチャ関連タスクを補助するように、ユーザによって装着または保持されてもよい。いくつかの実施例では、１つ以上の眼Ｉ／Ｏデバイス４１２および／またはＩ／Ｏ処理モジュール４２６は、ユーザの眼に関するカメラセンサからのデータ等のセンサ入力に基づいて、ユーザを識別するように構成されてもよい。

いくつかの実施例では、グラフィックスモジュール４２８は、グラフィカルユーザインターフェース（ＧＵＩ）内で視覚出力をユーザに表示することができる。視覚出力は、テキスト、グラフィック、ビデオ、およびそれらの任意の組み合わせを含んでもよい。視覚出力の一部または全ては、ユーザインターフェースオブジェクトに対応してもよい。いくつかの実施例では、１つ以上のＩ／Ｏデバイス４１２および／または４１４および／またはコントローラ４３２および／または４３４は（媒体４０１内の任意の関連付けられるモジュールおよび／または命令のセットとともに）、ジェスチャおよび／または眼移動を検出および追跡することができ、検出されたジェスチャおよび／または眼移動を、１つ以上のユーザインターフェースオブジェクト等のグラフィカルオブジェクトとの相互作用に変換することができる。１つ以上の眼Ｉ／Ｏデバイス４１２および／または眼Ｉ／Ｏデバイスコントローラ４３２が、ユーザの眼移動を追跡するように構成される、実施例では、ユーザは、グラフィカルオブジェクトを見ることによって、それらと直接相互作用することができる。

フィードバックが、表示されているものおよび／または例示的システム４００の１つまたは複数の状態に基づいて、１つ以上の眼Ｉ／Ｏデバイス４１２または１つ以上の他のＩ／Ｏデバイス４１４によって等、提供されてもよい。フィードバックは、光学的に（例えば、光信号または表示された画像）、機械的に（例えば、触知フィードバック、タッチフィードバック、力フィードバック、または同等物）、電気的に（例えば、電気刺激）、嗅覚、音響的に（例えば、ビープ音または同等物）、または同等物、またはそれらの任意の組み合わせで、かつ可変または非可変様式で、伝送されてもよい。

例示的システム４００はまた、種々のハードウェアコンポーネントに給電するための電力システム４４４を含むことができ、電力管理システム、１つ以上の電源、再充電システム、停電検出回路、電力コンバータまたはインバータ、電力状態インジケータ、および典型的には携帯用デバイスにおける電力の生成、管理、および分配と関連付けられる任意の他のコンポーネントを含んでもよい。

いくつかの実施例では、周辺機器インターフェース４１６、１つ以上のプロセッサ４１８、およびコントローラ４２０は、処理システム４０４等の単一のチップ上に実装されてもよい。いくつかの他の実施例では、それらは、別個のチップ上に実装されてもよい。

いくつかの実施例では、方法が開示される。本方法は、第１の時間間隔において、眼の第１の位置を示すデータを出力するように構成される第１のセンサから、第１のデータを受信するステップと、第２の時間間隔において、眼のデルタ位置を示すデータを出力するように構成される第２のセンサから、第２のデータを受信するステップと、第１のデータに基づいて、眼の第１の位置を決定するステップと、第２のデータに基づいて、眼のデルタ位置を決定するステップと、眼の第１の位置および眼のデルタ位置を使用して、眼の第２の位置を決定するステップと、眼の第２の位置を決定することに応答して、眼の第２の位置を示す出力信号を生成するステップとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１のセンサは、光学センサを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第２のセンサは、電気眼球図記録センサを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１の時間間隔は、第２の時間間隔を上回り得る。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１のセンサは、第１の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第２のセンサは、第２の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、眼の第２の位置を使用して、第１の眼移動挙動を決定するステップを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１の眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、第１の眼移動挙動を決定することに応答して、第１のセンサからデータを受信する第３の時間間隔を決定するステップと、第２のセンサからデータを受信する第４の時間間隔を決定するステップとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１の眼移動挙動を決定するステップは、第１の眼移動挙動の可能性に対応する信頼スコアを生成するステップと、信頼スコアを閾値と比較するステップと、信頼スコアが閾値を超えることを決定するステップとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、第３のセンサから第３のデータを受信するステップを含んでもよく、第１の眼移動挙動は、第３のデータを使用して決定されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第３のセンサは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第３のセンサは、ＧＰＳセンサを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第３のセンサは、周囲光センサを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１の眼移動挙動は、ニューラルネットワークを使用して決定されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、第１のデータ、第２のデータ、第３のデータ、眼の第２の位置、または第１の眼移動挙動を備える、情報を使用して、ニューラルネットワークを訓練するステップを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、ニューラルネットワークを使用して、第２の眼移動挙動を決定するステップを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、第１のセンサおよび第２のセンサは、ディスプレイを備える、頭部搭載型デバイスに取り付けられてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、本方法はさらに、眼の第２の位置を決定することに応答して、眼の第２の位置に対応するディスプレイの領域であって、第１の表示状態に等しい表示状態を有する、領域を決定するステップと、領域の表示状態を第１の表示状態から第２の表示状態に変化させるステップとを含んでもよい。

いくつかの実施例では、方法が開示される。本方法は、第１の時間間隔において、頭部搭載型ディスプレイを備える拡張現実システムのユーザと関連付けられるセンサから、第１のデータであって、ユーザの眼の位置を示す、第１のデータを受信するステップと、第１のデータおよび拡張現実システムの属性に基づいて、眼と関連付けられる眼移動挙動を決定するステップと、眼と関連付けられる眼移動挙動を決定することに応答して、センサからデータを受信する第２の時間間隔を決定するステップとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、眼移動挙動を決定するステップは、眼移動挙動の可能性に対応する信頼スコアを生成するステップと、信頼スコアを閾値と比較するステップと、信頼スコアが閾値を超えることを決定するステップとを含んでもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、拡張現実システムは、ソフトウェアアプリケーションを実行するように構成されてもよく、拡張現実システムの属性は、ソフトウェアアプリケーションの状態を示してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、センサは、第２の時間間隔中に低電力モードで動作してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、眼移動挙動は、衝動性移動、円滑追跡、凝視、眼振、または前庭動眼移動を備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、拡張現実システムは、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットを備えてもよく、拡張現実システムの属性は、加速度計、ジャイロスコープ、電子コンパス、磁力計、または慣性測定ユニットの出力を備える。上記の実施例のうちの１つ以上のものに加えて、または代替として、拡張現実システムは、ＧＰＳセンサを備えてもよく、拡張現実システムの属性は、ＧＰＳセンサの出力を備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、拡張現実システムは、周囲光センサを備えてもよく、拡張現実システムの属性は、周囲光センサの出力を備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、眼移動挙動は、ニューラルネットワークを使用して決定されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、センサは、光学センサを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、センサは、電気眼球図記録センサを備えてもよい。

いくつかの実施例では、ウェアラブルコンピューティングシステムが開示される。ウェアラブルコンピューティングシステムは、ユーザの頭部を中心として装着されるように構成される、フレームと、フレームに取り付けられる少なくとも１つの電極を備える、感知回路であって、ユーザの眼の電位を測定するように構成される、感知回路と、フレームに取り付けられ、光学センサパラメータに従ってユーザの眼の画像を検出するように構成される、光学センサと、感知回路および光学センサに動作可能に結合される、プロセッサであって、感知回路から、第１のデータであって、ユーザの眼の電位を示す、第１のデータを取得し、第１のデータに基づいて、光学センサパラメータを調節するように構成される、プロセッサとを備えてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、光学センサパラメータは、光学センサが眼の画像を検出するレートを決定してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、光学センサパラメータは、光学センサの電力消費モードを決定してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、第１のデータに基づいて、光学センサを選択的にアクティブ化および非アクティブ化するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、光学センサによって検出される画像に基づいて、眼の位置を決定するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、第１のデータに基づいて、眼の移動を検出するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、検出された移動に基づいて、光学センサパラメータを調節するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、眼が複数の所定の眼移動挙動のうちの眼移動挙動に関与するかどうかを決定するように構成されてもよく、決定は、少なくとも第１のデータに基づく。上記の実施例のうちの１つ以上のものに加えて、または代替として、プロセッサはさらに、決定に基づいて、光学センサパラメータを調節するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、感知回路は、感知回路パラメータに従って、ユーザの眼の電位を測定するように構成されてもよく、プロセッサはさらに、光学センサによって出力される眼の画像に基づいて、感知回路パラメータを調節するように構成されてもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、感知回路パラメータは、感知回路が、眼の電位を示すデータをプロセッサに出力するものである、レートを決定してもよい。上記の実施例のうちの１つ以上のものに加えて、または代替として、感知回路は、２つの電極と、２つの電極の間の電位差を測定するように構成される、少なくとも１つの電気コンポーネントとを備えてもよい。

本開示は、その実施例を参照して特に示され、説明されているが、形態および詳細の種々の変更が、本開示の範囲から逸脱することなく行われ得ることが、当業者によって理解されるであろう。

Claims

方法であって、
眼の第１の位置を示す第１のデータを受信することであって、前記第１のデータは、第１のセンサから第１のレートで受信される、ことと、
前記眼の第２の位置を示す第２のデータを受信することであって、前記第２のデータは、前記第１のセンサから前記第１のレートで受信される、ことと、
前記眼の前記第１の位置と前記眼の前記第２の位置との間の前記眼のデルタ位置を示す前記眼の変位を決定することと、
前記第１のデータと前記第２のデータとに基づいて、前記眼の前記変位が閾値を超えるかどうかを決定することと、
前記眼の前記変位が前記閾値を超えるという決定に従って、
前記第１のセンサと異なる第２のセンサを介して、前記眼の画像を捕捉することと、
前記捕捉された画像に基づいて、前記眼の注視を決定することと
を行うことと、
前記眼の前記変位が前記閾値を超えないという決定に従って、
前記第２のセンサを介して前記眼の前記画像を捕捉することを差し控えることと、
前記捕捉された画像に基づいて前記眼の前記注視を決定することを差し控えることと
を行うことと、
前記眼の前記注視および前記眼の前記変位の合計を示す出力信号を生成することと
を含む、方法。
前記第１のセンサは、電気眼球図記録センサを備える、請求項１に記載の方法。
前記第２のセンサは、光学センサを備える、請求項１に記載の方法。
前記第２のセンサは、前記第１のレートでの前記第１のデータの受信と同時に、低電力モードで動作する、請求項１に記載の方法。
前記第２のセンサを介して前記眼の前記画像を捕捉することは、複数の画像のうちの画像を捕捉することを含み、前記複数の画像は、前記第２のセンサを介して、第２のレートで検出される、請求項１に記載の方法。
光学センサパラメータに基づいて、前記第１のレートが前記第２のレートに対して増加させられるかどうかを決定することと、
前記第１のレートが前記第２のレートに対して増加させられるという決定に従って、前記第２のレートに対して前記第１のレートを増加させるように、システムパラメータを調節することと、
前記第１のレートが前記第２のレートに対して増加させられないという決定に従って、前記システムパラメータを調節することを差し控えることと
をさらに含む、請求項５に記載の方法。
前記第１のレートが前記第２のレートに対して増加させられるという決定は、前記第２のセンサの電力消費を低減させるインジケーションを受信することを含む、請求項６に記載の方法。
前記注視に基づいて、第１の眼移動挙動を決定することをさらに含む、請求項１に記載の方法。
前記第１の眼移動挙動を決定することは、
前記第１の眼移動挙動の可能性に対応する信頼スコアを生成することと、
前記信頼スコアを閾値と比較することと、
前記信頼スコアが前記閾値を超えると決定することと
を含む、請求項８に記載の方法。
前記第１のセンサおよび前記第２のセンサは、シースルーディスプレイを備える頭部搭載型デバイスと関連付けられており、
前記方法は、
前記注視の標的に対応する前記ディスプレイの領域を決定することであって、前記領域は、第１の表示状態に等しい表示状態を有する、ことと、
前記領域の前記表示状態を前記第１の表示状態から第２の表示状態に変化させることと
をさらに含む、請求項１に記載の方法。
システムであって、
頭部搭載型デバイスであって、
シースルーディスプレイと、
眼データを検出するように構成される第１のセンサと、
画像データを検出するように構成される第２のセンサと
を備える、頭部搭載型デバイスと、
前記第１のセンサおよび前記第２のセンサに動作可能に結合される１つ以上のプロセッサと
を備え、
前記１つ以上のプロセッサは、
前記第１のセンサを介して第１のレートで、眼の第１の位置を示す第１のデータを受信することと、
前記第１のセンサを介して前記第１のレートで、前記眼の第２の位置を示す第２のデータを受信することと、
前記眼の前記第１の位置と前記眼の前記第２の位置との間の前記眼のデルタ位置を示す前記眼の変位を決定することと、
前記第１のデータと前記第２のデータとに基づいて、前記眼の前記変位が閾値を超えるかどうかを決定することと、
前記眼の前記変位が前記閾値を超えるという決定に従って、
前記第２のセンサを介して、前記眼の画像を捕捉することと、
前記捕捉された画像に基づいて、前記眼の注視を決定することと
を行うことと、
前記眼の前記変位が前記閾値を超えないという決定に従って、
前記第２のセンサを介して前記眼の前記画像を捕捉することを差し控えることと、
前記捕捉された画像に基づいて前記眼の前記注視を決定することを差し控えることと
を行うことと、
前記眼の前記注視および前記眼の前記変位の合計を示す出力信号を生成することと
を含む方法を実施するように構成される、システム。
前記第１のセンサは、電気眼球図記録センサを備え、前記第２のセンサは、光学センサを備える、請求項１１に記載のシステム。
前記第２のセンサを介して前記眼の前記画像を捕捉することは、複数の画像のうちの画像を捕捉することを含み、前記複数の画像は、前記第２のセンサを介して、第２のレートで検出される、請求項１１に記載のシステム。
前記方法は、
光学センサパラメータに基づいて、前記第１のレートが前記第２のレートに対して増加させられるかどうかを決定することと、
前記第１のレートが前記第２のレートに対して増加させられるという決定に従って、前記第２のレートに対して前記第１のレートを増加させるように、システムパラメータを調節することと、
前記第１のレートが前記第２のレートに対して増加させられないという決定に従って、前記システムパラメータを調節することを差し控えることと
をさらに含む、請求項１３に記載のシステム。
前記方法は、
前記注視の標的に対応する前記シースルーディスプレイの領域を決定することであって、前記領域は、第１の表示状態に等しい表示状態を有する、ことと、
前記領域の前記表示状態を前記第１の表示状態から第２の表示状態に変化させることと
をさらに含む、請求項１１に記載のシステム。
命令を記憶している非一過性のコンピュータ可読媒体であって、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、方法を実行させ、前記方法は、
眼の第１の位置を示す第１のデータを受信することであって、前記第１のデータは、第１のセンサから第１のレートで受信される、ことと、
前記眼の第２の位置を示す第２のデータを受信することであって、前記第２のデータは、前記第１のセンサから前記第１のレートで受信される、ことと、
前記眼の前記第１の位置と前記眼の前記第２の位置との間の前記眼のデルタ位置を示す前記眼の変位を決定することと、
前記第１のデータと前記第２のデータとに基づいて、前記眼の前記変位が閾値を超えるかどうかを決定することと、
前記眼の前記変位が前記閾値を超えるという決定に従って、
前記第１のセンサと異なる第２のセンサを介して、前記眼の画像を捕捉することと、
前記捕捉された画像に基づいて、前記眼の注視を決定することと
を行うことと、
前記眼の前記変位が前記閾値を超えないという決定に従って、
前記第２のセンサを介して前記眼の前記画像を捕捉することを差し控えることと、
前記捕捉された画像に基づいて前記眼の前記注視を決定することを差し控えることと
を行うことと、
前記眼の前記注視および前記眼の前記変位の合計を示す出力信号を生成することと
を含む、非一過性のコンピュータ可読媒体。
前記第１のセンサは、電気眼球図記録センサを備え、前記第２のセンサは、光学センサを備える、請求項１６に記載の非一過性のコンピュータ可読媒体。
前記第２のセンサを介して前記眼の前記画像を捕捉することは、複数の画像のうちの画像を捕捉することを含み、前記複数の画像は、前記第２のセンサを介して、第２のレートで検出される、請求項１６に記載の非一過性のコンピュータ可読媒体。
前記方法は、
光学センサパラメータに基づいて、前記第１のレートが前記第２のレートに対して増加させられるかどうかを決定することと、
前記第１のレートが前記第２のレートに対して増加させられるという決定に従って、前記第２のレートに対して前記第１のレートを増加させるように、システムパラメータを調節することと、
前記第１のレートが前記第２のレートに対して増加させられないという決定に従って、前記システムパラメータを調節することを差し控えることと
をさらに含む、請求項１８に記載の非一過性のコンピュータ可読媒体。
前記第１のセンサおよび前記第２のセンサは、シースルーディスプレイを備える頭部搭載型デバイスと関連付けられており、
前記方法は、
前記注視の標的に対応する前記シースルーディスプレイの領域を決定することであって、前記領域は、第１の表示状態に等しい表示状態を有する、ことと、
前記領域の前記表示状態を前記第１の表示状態から第２の表示状態に変化させることと
をさらに含む、請求項１６に記載の非一過性のコンピュータ可読媒体。