JP6348176B2 - 適応イベント認識 - Google Patents

Description

ユーザ・インタフェース・システムにおいて、ユーザによって体験される、ユーザ入力と該入力へのシステムの応答との間のレイテンシを最小化することは、より自然で楽しいユーザ体験を生み出す。拡張現実システムでは、例えば、このようなレイテンシの減少は、より高品質でより現実的な拡張現実体験を提供する。拡張現実システムの中には、１つ以上のセンサがユーザ入力を受け取り、システム応答をトリガするものもある。このようなユーザ入力を監視するために、システムは、入力に対してセンサを定期的にポーリングさせることができる。

ポーリング周波数に対応するレイテンシのサンプリングは、ユーザが知覚するレイテンシの重大なソースとなり得る。
加えて、ポータブルで且つ他の電池駆動デバイスに関し、電力および対応する電池寿命を節約することがまた、重要なポイントとなり得る。常に高いセンサ・サンプリング・レートを利用することがサンプリング・レイテンシを減少させることになる一方で、このことはまた、より多くの電力を望ましくなく消費し電池寿命を縮める。他方、低いサンプリング・レートを利用することは、電力の使用を減らして電池寿命を増やすことができるものの、このような低いサンプリング・レートはまた、レイテンシを増加させる。

選択されたターゲット・イベントを認識するためのシステムおよび方法に関する様々な実施形態が本明細書に開示される。例えば、開示される１つの実施形態は、複数のセンサを備えた表示デバイスにおいて、選択されたセンサを、より高い潜在レイテンシに対応する第１ポーリング・レートで動作させる方法を提供する。選択されたセンサから初期ユーザ関連情報が受け取られる。本方法は、初期ユーザ関連情報が複数のプレ・イベントの内１つに整合するかどうかを判定するステップを含み、各プレ・イベントは、プレ・イベントにおける１つ以上の異なるパターンに対応し、各パターンは見込まれる異なるターゲット・イベントに導く。

初期ユーザ関連情報が複数のプレ・イベントの内１つに整合する場合に、本方法は、選択されたセンサを、第１ポーリング・レートよりも早く、且つより高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第２ポーリング・レートで動作させるステップを含む。後続のユーザ関連情報を、選択されたセンサから受け取る。後続のユーザ関連情報が見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、当該選択されたターゲット・イベントに関連付けられるフィードバックが、表示デバイスを通じてユーザに供給される。

本摘要は、発明の詳細な説明で更に後述する簡略化された形態で、概念の選択を導くために設けられる。本摘要は特許請求する主題における鍵となる特徴点または必須の特徴点を特定するのを意図するのではなく、また、特許請求する主題の範囲を限定するために用いることを意図するのでもない。更にまた、特許請求する主題は、本開示の如何なる部分で注記される任意のまたは全ての不利な点を解決する実施態様に限定するのではない。

図１は、本開示の実施形態による適応イベント認識システムの概略図である。 図２は、本開示の実施形態による例示のヘッド・マウント・ディスプレイ・デバイスを示す。 図３は、手の動きの形態でプレ・イベントが選択されたターゲット・イベントに導くことの概略図である。 図４は、本開示の実施形態により、検知される図３のプレ・イベント、および制御されているセンサ・ポーリング・レートの模式図である。 図５は、見込まれる異なるターゲット・イベントに導くプレ・イベントの複数のパターンの模式図である。 図６Ａは、本開示の実施形態により、選択されたターゲット・イベントを認識するための方法についてのフローチャートである。 図６Ｂは、本開示の実施形態により、選択されたターゲット・イベントを認識するための方法についてのフローチャートである。 図７は、コンピューティング・デバイスの実施形態における簡略化した模式図である。

図１は、適応イベント認識システム１０の一実施形態の模式図を示す。適応イベント認識システム１０は、コンピューティング・デバイス２２の大容量ストレージ１８に格納される適応イベント認識プログラム１４を含む。適応イベント認識プログラム１４は、メモリ２６にロードすることができ、以下により詳細に説明する１つ以上の方法およびプロセスを実行するために、コンピューティング・デバイス２２のプロセッサ３０によって実行することができる。コンピューティング・デバイス２２は更に、該コンピューティング・デバイスのコンポーネントに電力を供給するために、電池のような電源３２を含むことができる。

適応イベント認識システム１０は、複合現実環境４４を構築するために、ヘッド・マウント・ディスプレイ（ＨＭＤ）デバイス４２のような表示デバイスを通じて表示する仮想環境３８を生成できる複合現実表示プログラム３４を含む。複合現実環境は、物理環境４８内で表示される仮想環境３８を含む。以下により詳細に説明するように、ユーザ関連情報５２は、ＨＭＤ装置４２を通じて物理環境４８から受け取ることができる。

コンピューティング・デバイス２２は、デスクトップ・コンピュータや、スマートフォン、ラップトップ、ノートブックまたはタブレット・コンピュータのようなモバイル・コンピュータや、家庭娯楽用コンピュータや、双方向テレビジョンや、ゲーム・システムや、他の好適な種別のコンピュータの形態を採ることができる。コンピューティング・デバイス２２のコンポーネントおよび計算態様に関する付加的な詳細は、図７を参照して、以下により詳細に説明される。

コンピューティング・デバイス２２は、有線接続を用いてＨＭＤデバイス４２と動作可能に接続することができ、または、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、または他の如何なる無線通信プロトコルをも通じて無線接続を採用することができる。例えば、コンピューティング・デバイス２２は、ネットワーク１６に通信可能に結合することができる。ネットワーク１６は、ローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、有線ネットワーク、無線ネットワーク、パーソナル・エリア・ネットワーク、またはこれらの組み合わせの形態としてもよく、またインターネットを含んでもよい。

コンピューティング・デバイス２２はまた、ネットワーク１６を通じて１つ以上の他のコンピューティング・デバイスと通信することもできる。加えて、図１に示される例は、コンピューティング・デバイス２２を、ＨＭＤデバイス４２とは別個のコンポーネントとして示す。他の例では、コンピューティング・デバイス２２は、ＨＭＤデバイス４２に統合してもよいことが認められよう。

これより図２も参照して、透過型ディスプレイ５４を有する一組のウェアラブル・グラスの形態のＨＭＤデバイスを示す。他の例では、ＨＭＤデバイス２００は、透過型、半透過型または非透過型のディスプレイがビューアの片目または両目の前で支持される他の好適な形態としてもよいことが認められよう。図１に示されるＨＭＤデバイス４２は、以下により詳細に説明するＨＭＤデバイス２０００の形態、または他の如何なる好適なＨＭＤデバイスの形態としてもよいことが認められよう。加えて、様々な形態のファクタを有する、数多くの他の種別および構成の表示デバイスもまた、本開示の範囲内に用いることができる。当該表示デバイスは、スマートフォン、タブレット・コンピュータ、および他の好適な表示デバイスを含むことができる。

図１および図２を参照する。ＨＭＤ４２は表示システム５６および透過型ディスプレイ５４を含み、ホログラフィック・オブジェクトのような画像がユーザ４６の両目に届けられることになるのを可能にする。透過型ディスプレイ５４は、該透過型ディスプレイを通じて物理環境をビューしているユーザ４６に対し、物理環境４８の外観を視覚的に増大させるように構成することができる。例えば、複合現実環境を構築するために、透過型ディスプレイ５４を通じて提示されるグラフィック・コンテンツ（例えば、色および明るさをそれぞれ有する１つ以上の各画素）によって、物理環境４８の外観を増大させることができる。

透過型ディスプレイ５４はまた、ユーザが、物理環境４８において、現実世界の物理オブジェクトを１つ以上の部分的に透過画素を通じてビューするのを可能にするように構成することもできる。１つ以上の部分的に透過画素は、仮想オブジェクト表現を表示している。図２に示されるように、一例では、透過型ディスプレイ５４は、レンズ２０４（例えば、シースルーの有機発光ダイオード（ＯＬＥＤ; Organic Light-Emitting Diode）ディスプレイ）内に位置する画像生成エレメントを含むことができる。他の例として、透過型ディスプレイ５４は、レンズ２０４の端部に光変調器を含むことができる。当該例では、レンズ２０４は、光変調器からユーザの両目に光を届けるための光ガイドとして供することができる。当該光ガイドは、ユーザがビューしている物理環境４８内に位置する３Ｄホログラフィー画像をユーザが知覚する一方でまた、物理環境の物理オブジェクトをユーザがビューするのを可能にする。このようにして、複合現実環境４４を構築する。

ＨＭＤデバイス４２はまた、様々なセンサおよび関連のシステムを含むことができる。例えば、ＨＭＤデバイス４２は、少なくとも１つの内向き正面センサ２０８を利用するアイ・トラッキング・システム６０を含むことができる。内向き正面センサ２０８は画像センサを含むことができ、ユーザの目からアイ・トラッキング・データの形態で画像データを取得するように構成される。ユーザが当該情報を取得および使用することに同意した場合は、アイ・トラッキング・システム６０は、当該情報を使用して、ユーザの目の位置および／または動きを追跡することができる。

一例では、アイ・トラッキング・システム６０は、ユーザの各目における凝視の方向を検出するように構成される凝視検出サブシステムを含む。凝視検出サブシステムは、如何なる好適な手法でもユーザの両目の各々における凝視方向を決定するように構成することができる。例えば、凝視検出サブシステムは、１つ以上の光ソース（例えば赤外線の光ソース）を備えることができ、光の輝きにより、ユーザの各目の角膜から反射させるように構成される。１つ以上の画像センサは、ユーザの両目の画像をキャプチャするように構成することができる。幾らかの例では、アイ・トラッキング・システム６０を、ユーザ関連情報５２を提供するためのユーザ入力デバイスとして採用することもある。その結果、ユーザの両目の動きを通じて、ユーザはＨＭＤデバイスと相互作用することができる。

ＨＭＤデバイス４２はまた、物理環境４８から、ユーザ関連情報のような物理環境データを受け取るセンサ・システムを含むこともできる。例えば、ＨＭＤシステムは、光センサのような、少なくとも１つの外向き正面センサ２１２を利用する光センサ・システム６２を含むことができ、物理環境４８からの画像データをキャプチャすることができる。外向き正面センサ２１２は、ジャスチャ・ベースの入力、またはユーザ４６即ち人により遂行される他の動きのような、その視野内の動き、または視野内の物理オブジェクトを検出することができる。外向きの正面センサ２１２はまた、物理環境４８および該環境内の物理オブジェクトからの2次元画像情報および深度情報をキャプチャすることができる。例えば、外向きの正面センサ２１２は、深度カメラ、可視光カメラ、赤外線カメラ、および／または位置トラッキング・カメラを含むことができる。

ＨＭＤデバイス４２は、１つ以上の深度カメラを通じて深度感知を含むことができる。一例では、各深度カメラは、立体的視覚システムの左右の両カメラを含むことができる。これら深度カメラの１つ以上からの時間分解画像は、相互に登録することができ、および／または可視スペクトル・カメラのような他の光センサからの画像に登録することができる。また、深度分解映像を供するように結合することができる。

他の例では、構造化した深度カメラは、構造化した赤外線照明を投射するように構成されることができ、また、照明が投射されるシーンから反射される照明を画像化することができる。シーンの深度マップを、様々な領域の画像化した風景における隣接特徴間の間隔に基づいて構成することができる。更に他の実施例では、深度カメラは、パルス化された赤外線照明をシーンに投射して、シーンから反射される照明を検出するように構成されるtime-of-flight深度カメラの形態を採ることができる。他の如何なる好適な深度カメラもが本開示の範囲内で使用できることが認められよう。

外向き正面カメラ・センサ２１２は、ユーザ４６が置かれた物理環境４８の画像をキャプチャすることができる。一例では、複合現実表示プログラム３４は、ユーザ４６を取り囲んでいる物理環境４８をモデル化する仮想環境３８を生成するために、当該入力を使用する３Ｄモデリング・システムを含むことができる。

ＨＭＤデバイス４２は、位置データをキャプチャするために、１つ以上の動きセンサ２２０を利用する位置センサ・システム６６を含むこともできる。これにより、ＨＭＤデバイスの動き検出、位置トラッキング、および／または方向感知を可能にする。例えば、位置センサ・システム６６は、ユーザの頭部の向き、速度、および／または加速度を決定するために利用することができる。位置センサ・システム６６は、ユーザ頭部における頭部姿勢方向を決定するために利用することもできる。一例では、位置センサ・システム６６は、６軸または６自由度の位置センサ・システムとして構成される慣性測定ユニットを含むことができる。当該例の位置センサ・システムは、例えば、３つの加速度計および３つのジャイロスコープを含むことができ、３本の直交軸線に沿う３次元空間内のＨＭＤデバイス４２の位置（例えば、ｘ，ｙ，ｚ）の変化や、３本の直交軸線の周りのＨＭＤデバイスの方き（例えば、ロール、ピッチ、ヨー）の変化を指標する、即ち測定することができる。

位置センサ・システム６６はまた、他の好適な位置決め技術（例えばＧＰＳ、または他のグローバル・ナビゲーション・システム）をサポートすることもできる。更に、特定の例の位置センサ・システムについて説明してきたが、他の好適な位置センサ・システムを用いてもよいことも認められよう。幾らかの例では、動きセンサ２２０はまた、ユーザ関連情報５２を提供するためのユーザ入力デバイスとして採用することもあり、その結果、ユーザは、首や頭部のジェスチャ、または体のジェスチャさえをも通じて、ＨＭＤデバイスと相互作用することができる。

ＨＭＤデバイス４２はまた、１つ以上の生体センサを利用する生体センサ・システム２３２も含むことができ、ユーザの生体データをキャプチャすることができる。例えば、生体センサ・システム７０は、ユーザの生体データを測定または決定するのに利用することができる。ユーザの生体データは、例えば、心拍数、瞳孔反応、ヘモグロビン飽和、皮膚導電率、呼吸、汗、および脳波活動を含む。

ＨＭＤデバイス４２はまた、１つ以上のマイクロフォン２２４を含むマイクロフォン・システム７２も含むことができ、音響データをキャプチャする。他の例では、音響は、ＨＭＤデバイス４２上の１つ以上のスピーカ２２８を通じて、ユーザに提示することができる。第１ＨＭＤデバイス４２はまた、電力をＨＭＤデバイスの様々なコンポーネントに供給する電池７４または他の好適なポータブル電源を含むこともできる。

ＨＭＤデバイス４２はまた、論理サブシステムおよびストレージ・サブシステムを有するプロセッサ２３６を含むことができ、以下に、図７を参照してより詳述するように、ＨＭＤデバイスの様々なセンサおよびシステムと通信する。一例では、ストレージ・サブシステムは、論理サブシステムによって実行可能な命令を含むことができ、センサから信号入力を受け取って、（未処理または処理済みの形態で）コンピューティング・デバイス２２に当該入力を転送すると共に、透過型ディスプレイ５４を通じてユーザに画像を提示することができる。

ＨＭＤデバイス４２および関連のセンサ、並びに上述の図１および図２に示された他のコンポーネントは例示のものとして設けたことが認められよう。これら例示は、如何なる手法で限定することを意図するものではなく、如何なる他の好適なセンサ、コンポーネント、および／またはセンサとコンポーネントの組み合わせを利用することができる。つまり、ＨＭＤデバイス４２は、本開示の範囲を逸脱することなく、付加的および／または代替のセンサ、カメラ、マイクロフォン、入力デバイス、出力デバイス等を含むことができることが理解されるべきである。更に、ＨＭＤデバイス４２、およびその様々なセンサやサブ・コンポーネントの物理構成は、本開示の範囲を逸脱することなく、様々な異なる形態を採ることができる。

加えて、以下により詳細に説明するように、様々なセンサ・システムおよび関連のコンポーネントが、ユーザ４６によって提供されるユーザ関連情報をモニタするために、様々なポーリング・レート、即ちポーリング周波数で動作されることができることが認められよう。以下により詳細に説明するように、１つ以上のセンサのポーリング・レートは、ユーザ関連情報５２がプレ・イベントに整合するかの判定に応じて、制御することができる。

図３から図５を参照して、これより、適応イベント認識システム１０の例示のユース・ケースおよび実施形態の説明を行う。以降の例では、手の動きおよび対応するジェスチャの形態のユーザ関連情報５２は、光センサ・システム６２によって受け取られる。他の例では、適応イベント認識システム１０によって他の多くの形態でユーザ関連情報５２を受け取り、またこれを利用することができ、以下により詳細に説明するようにセンサ動作を制御できることが認められよう。当該他の形態のユーザ関連情報５２は、これに限定されないが、ユーザの他の動きデータ、アイ・トラッキング・データ、位置データ、生体データおよび音響データを含む。

図３は、手の動きの形態のプレ・イベントが、ターゲット・ジェスチャを含んだ、選択されたターゲット・イベントに導くことの概略図である。図３に示される例では、ＨＭＤデバイス４２の光センサ・システム６２における１つ以上の光センサが、手のジェスチャを実行するユーザの手３０４の画像データをキャプチャすることができる。当該例では、人指し指３０８および親指３１２はピンチ・ジェスチャを行い、ユーザは、人指し指および親指が開いた、通常はＵ字型のポーズ３１６を形成することで開始する。当該ポーズ３１６から、ユーザは、人指し指３０８と親指３１２が接触してピンチ・ポーズ３３０を行うまで、人指し指と親指の間の隙間を近づける。

一例では、以下により詳細に説明するように、ピンチ・ポーズ３３０に導くまで人差し指３０８および親指３１２を共に導くことによりユーザがピンチ・ジェスチャを完了したことを検知すると、適合イベント識別システム１０は、ＨＭＤデバイス４２を通じてユーザ４６にフィードバック７８を供給することができる。フィードバック７８は、例えば、ＨＭＤデバイス４２を通じて起動しているプログラムに関するコマンドの実行を含むことができる。例えば、図３に示されるピンチ・ジェスチャは、物理環境４８の写真をキャプチャするように、写真撮影アプリケーションによって使用されてもよい。当該例では、フィードバック７８はまた、写真がキャプチャされたことのユーザへの指標を含んでもよく、ＨＭＤデバイス４２を通じて、例えば、シャッター・リリース音、フラッシュ・アイコン等を供給する。

他の例では、フィードバック７８は、ＨＭＤデバイス４２を通じてユーザに表示されるエレメントを選択、コピー、またはペーストするような、ユーザ入力のコンテキストで使用される如何なる他のコマンドをも含むことができる。他の例では、コマンドはＨＭＤデバイス４２や他の電子デバイスの動作可能な態様を制御できる。先の例は単に例示に過ぎず、フィードバック７８は如何なるコマンド、アクション、通知、または、ターゲット・ジェスチャのような選択されたターゲット・イベントに関連付けられる他のイベントを含むことができ、そしてユーザに供給される。

上記のように、現実的で信用可能なユーザ体験を提供するために、ターゲット・ジェスチャのようなユーザ入力と関連のフィードバックとの間の如何なるレイテンシも最小化されるのが望ましい。しかしながら、レイテンシの最小化は、高いポーリング・レートでセンサを継続的に動作させることを含むことがある。高いポーリング・レートはより多くの電力を使用し、より多くの計算負荷を負わせ、これらに対応して電池寿命を縮める。有利なことに、以下により詳細に説明するように、適応イベント認識システム１０はレイテンシを減らすことができ、その間、電力使用や計算負荷も最小化する。これにより、電池寿命の強化を可能とする。

図４および図５も参照する。一例では、適応イベント認識プログラム１４は、光センサ・システム６２から画像データを含むユーザ関連情報を受け取るように構成することができる。画像データは、ユーザの手３４０が図３に示されるポーズを含む様々なポーズをしていることを示す。図３および図４に示されるように、ある時点に対応する開始状態４０２から、適応イベント認識プログラム１４は、最も高い(highest)潜在レイテンシに対応するデフォルト(default)のポーリング・レートで、光センサ・システム６２から選択されたセンサを動作させるように構成することができる。デフォルトのポーリング・レートは、例えば、０．５Ｈｚ，１．０Ｈｚ，５．０Ｈｚ、または他の如何なる好適な周波数ともすることができる。当該デフォルトのポーリング・レートはまた、選択されたセンサの最も低い(lowest)電力消費状態に対応することもできる。

デフォルトのポーリング・レートで動作している選択されたセンサは、ユーザの手３０４の画像データのようなユーザ関連情報５２を受け取ることができ、当該情報を適応イベント認識プログラム１４に提供することができる。適応イベント認識プログラム１４は次いで、当該情報が複数のプレ・イベント（ＰＥ）の内１つに整合するかを判定することができる。これより図５に示される例を参照する。開始状態４０２から、適応イベント認識プログラム１４は、ユーザ関連情報５２がＰＥ５０６，ＰＥ５１０，ＰＥ５１４，ＰＥ５１８に整合するかを判定することができる。図５に示されように、各プレ・イベントＰＥ５０６，ＰＥ５１０，ＰＥ５１４，ＰＥ５１８は、プレ・イベントにおける１つ以上の異なるパターンに対応し、各パターンは見込まれる異なるターゲット・イベントに導く。例えば、ＰＥ５１０は、５２２，５２６，５３０で示される異なる３つのパターンに対応し、異なるＴＥ５３４，ＴＥ５３８，ＴＥ５４２にそれぞれ導く。

検出される後続のプレ・イベントの各々について、見込まれるターゲット・イベントは減ることが認められよう。加えて、ユーザが見込まれる特定のターゲット・イベントを実行中である可能性が増加する。したがって、以下により詳細に説明するように、各プレ・イベントが検出され、且つ所与のパターンにおける現在の位置がターゲット・イベントに近づくように進むにつれて、選択されたセンサのポーリング・レートが増加して、レイテンシを減らす。更に、後続のプレ・イベントが検出されるまで、選択されたセンサのポーリング・レートは、比較的より低いレートで維持することができる。これにより、電力を節約し電池寿命を強化することができる。

一例では、図３の参照をすると、適応イベント認識プログラム１４は、全般的にＵ字型のポーズ３１６をするユーザの手３０４の画像データを受け取ることができる。適応イベント認識プログラム１４は、全般的にＵ字型のポーズ３１６が図５のＰＥ５１０に整合するかを判定する。ＰＥ５１０は、パターン５２２，５２６，５３０のメンバである。

したがって、適応イベント認識プログラム１４は、検出(Detect)１の状態に進むことができる。ここでは、選択されたセンサのポーリング・レートが増加し、開始状態４０２でのデフォルトのポーリング・レートよりも早い(Faster)Ｆ１ポーリング・レートで動作することができる。例えば、デフォルトのポーリング・レートが１．０Ｈｚである場合に、より早いＦ１ポーリング・レートは１０Ｈｚとすることができる。検出１の状態４０６での増加した、より早いＦ１ポーリング・レートはまた、開始状態４０２での電力使用と比較して、より高い(Higher)Ｐ１として示されるように、選択されたセンサによる電力使用増加に対応する。検出１の状態４０６でのより早いＦ１ポーリング・レートはまた、減少(Reduced)Ｌ１として示されるように、減った潜在レイテンシに対応する。減少Ｌ１は、開始状態４０２の最も高い潜在レイテンシ未満である。

本開示の目的では、所与のポーリング・レートで動作しているセンサの潜在レイテンシは、プレ・イベントまたはターゲット・イベントのようなイベントの発生とセンサによるイベントの発生の検出との間の最大潜在時間期間として定義される。例えば、センサのポーリング・レートが１Ｈｚである場合に、当該ポーリング・レートに関連付けられる潜在レイテンシが大凡０．９９秒とすることができる。換言すれば、大凡０．９９秒は、プレ・イベントまたはターゲット・イベントのようなイベントの発生とセンサによるイベントの発生の検出との間の最大潜在経過時間ということになる。したがって、センサのポーリング・レートの増加に対応して、当該センサの潜在レイテンシが減る。幾らかの例では、イベントの発生とセンサによるイベント発生の検出との間の実際のレイテンシが、動作している当該センサの潜在レイテンシ未満となる場合もあることがまた認められよう。

検出１状態４０６から、適応イベント認識プログラム１４は、修正されたＵ字型のポーズ３２０をしているユーザの手３０４の画像データを受け取ることができる。ここでは、人さし指３０８および親指３１２が直前のポーズ３１６において相互により近づいている。適応イベント認識プログラム１４は、修正されたＵ字型のポーズ３２０が図５のＰＥ５５０に整合することを判定することができる。ＰＥ５５０は、パターン５２２，５２６のメンバである。つまり、見込まれるターゲット・イベントは、ＴＥ５３４およびＴＥ５３８に減っている。

したがって、適応イベント認識プログラム１４は、検出２の状態４１０に進むことができる。ここでは、選択されたセンサのポーリング・レートが増え、検出１の状態４０６でのより早いＦ１ポーリング・レートよりも更に早い、より早い(Faster)Ｆ２ポーリング・レートで動作することができる。例えば、より早いF１ポーリング・レートが１０Ｈｚである場合に、当該より早いＦ２ポーリング・レートは６０Ｈｚとすることができる。検出２の状態４１０で増加したより早いＦ２ポーリング・レートはまた、検出１の状態４０６でのより高いＰ１電力使用と比較して、より高い(Higher)Ｐ２として示されるように、選択されたセンサによる電力使用増加に対応する。検出２の状態４１０でのより早いＦ２ポーリング・レートはまた、減少(Reduced)Ｌ２として示されるように、減った潜在レイテンシに対応する。減少Ｌ２は、検出１の状態４０６の減少Ｌ１の潜在レイテンシ未満である。

検出２の状態４１０から、適応イベント認識プログラム１４は、略ピンチ・ポーズ３２４をしているユーザの手３０４の画像データを受け取ることができる。ここでは、人さし指３０８および親指３１２が、修正されたＵ字型のポーズ３２０と比較して、大凡２ｍｍといったように、より短い距離だけ離れている。適応イベント認識プログラム１４は、略ピンチ・ポーズ３２４が図５のＰＥ５５４に整合するのを判定することができる。ＰＥ５５０は、パターン５２２のメンバである。つまり、見込まれるターゲット・イベントは、今や単一のターゲット・イベントＴＥ５３４に減っている。

したがって、適応イベント認識プログラム１４は、検出３の状態４１４に進むことができる。ここでは、選択されたセンサのポーリング・レートが増加し、検出２の状態４１０でのより早いＦ２ポーリング・レートよりも更に早い、より早い(Faster)Ｆ３ポーリング・レートで動作することができる。例えば、より早いＦ２ポーリング・レートが６０Ｈｚである場合に、当該より早いポーリング・レートＦ３は１２０Ｈｚとすることができる。検出３の状態４１４での増加した、より早いＦ３ポーリング・レートはまた、検出２の状態４１０でのより高いＰ２電力使用と比較して、より高い(Higher)Ｐ３として示されるように、選択されたセンサによる電力使用増加に対応する。検出３の状態４１０でのより早いＦ３ポーリング・レートはまた、減少(Reduced)Ｌ３として示されるように、更に、減った潜在レイテンシに対応する。減少Ｌ２は、検出２の状態４１０での減少Ｌ２の潜在レイテンシ未満である。

検出３の状態４１４から、適応イベント認識プログラム１４は、ピンチ・ポーズ３３０をしているユーザの手３０４の画像データを受け取ることができる。ここでは、人さし指３０８および親指３１２が、ターゲット・イベント５３４の発生状態４１８によって示されるように、接触している。適応イベント認識プログラム１４は、ピンチ・ポーズ３３０が図５での選択されたターゲット・イベントＴＥ５３４に整合するのを判定することができる。適応イベント認識プログラム１４は、次いで、ＨＭＤデバイス４２を通じて選択されたターゲット・イベントＴＥ５３４に関連付けられたフィードバックをユーザに供給することができる。

図４および図５を参照する。幾らかの例では、適応イベント認識プログラム１４は、プレ・イベントに対応するユーザ関連情報５２が所定の時間フレーム内で受け取られない場合に、選択されたセンサのポーリング・レートを減らすように構成できることもある。例えば、検出１の状態が開始されるときに、適応イベント認識プログラム１４はタイマを始動することができる。見込みがある次のプレ・イベントＰＥ５５０およびＰＥ５５２の１つに対応するユーザ関連情報５２が所定の時間フレーム内で受け取られない場合に、適応イベント認識プログラム１４は、タイム・アウト条件を生じさせ、より遅いデフォルトのポーリング・レート、且つ最も低い電力使用に対応する開始状態４０２に復帰させることができる。

同様のタイム・アウト条件が検出２および／または検出３の状態に対して使用することができる。有利なことに、この手法では、見込まれる次のプレ・イベントを受ける確率が所定の時間フレームに対応する所定の閾値未満となるときに、電力消費を減らすことができる。一例では、タイム・アウト条件についての所定の時間フレームは、検出１の状態に対しては３秒、検出２の状態に対しては２秒、そして検出３の状態に対しては１．０秒とすることができる。如何なる好適な所定の時間フレームおよび所定の確率閾値もが使用できることが認められよう。

有利なことに、プレ・イベントが検出されるまで、センサをより低いレートのポーリング・レートに維持することにより、適応イベント認識システム１０は、センサによる電力使用を、センサ信号の帯域幅消費と同様に最小化することができる。例えば、ＰＥ５５４が検出されるまで、最も高い、より早い(Faster)Ｆ３のポーリング・レートでセンサを動作させるのを待機することによって、最も高い、より高い(Higher)Ｐ３電力使用の状態は、選択されたターゲット・イベントが発生する確率が所定の閾値を超えるまで、回避されることができる。

加えて、適応イベント認識システム１０は、付加的なプレ・イベントが検出されるにつれ、選択されるセンサのポーリング・レートを順次に増加させる。この手法では、図３に示されるように、プレ・イベントの発生および検出の間の対応する潜在レイテンシが順次減る。更にまた、ＰＥ５５４の検出に応じて、最も早い、より早い(Faster)Ｆ３のポーリング・レートでセンサが動作することによって、適応イベント認識システム１０はまた、選択されたターゲット・イベントＴＥ５３４の発生および検出されるイベントの間の潜在レイテンシを最小化する。

他の例では、選択されたターゲット・イベント５３４を検出するのよりも前に、適応イベント認識プログラム１４は、１つ以上のターゲット・イベントに関連付けられるフィードバックの少なくとも一部を事前フェッチすることができる。例えば、図５のＰＥ５５０に対応する検出２の状態４１０では、見込まれる２つのパターン５２２，５２６、および見込まれる２つのターゲット・イベントＴＥ５３４，５３８をそれぞれ維持している。この例では、検出２の状態４１０では、適応イベント認識プログラム１４は、ＴＥ５３４およびＴＥ５３８の両方に関連付けられるフィードバック７８の一部を事前フェッチすることができる。一例では、ＴＥ５３４およびＴＥ５３８に関連付けられるフィードバック７８の５０％を事前フェッチすることができる。フィードバックの如何なる好適な部分も事前フェッチすることができることが認められよう。幾らかの例では、フィードバックの１００％を事前フェッチすることもある。

例えば、ＴＥ５３４がカメラ・アプリケーションのシャッター・リリース・コマンドに対応する場合に、適応イベント認識プログラム１４は、当該コマンドに関連付けられるデータの５０％、およびＨＭＤデバイス４２を通じてユーザに供給されることになる画像データの５０％を事前フェッチして、画像がキャプチャされたのを示すことができる。同様に、ＴＥ５３８がカメラ・アプリケーションのズーム・コマンドに対応する場合に、適応イベント認識プログラム１４は、ズーム・コマンドに関連付けられるデータの５０％、およびＨＭＤデバイスを通じてユーザに供給されることになる画像データの５０％を事前フェッチして、カメラがズームしているのを示すことができる。

他の例では、適応イベント認識プログラム１４は、１つ以上のターゲット・イベントに関連付けられるフィードバック７８の少なくとも一部を、タイムライン３０２に沿って１つ以上のターゲット・イベントに時間的に先行する他の時点において、事前フェッチすることができる。例えば、適応イベント認識プログラム１４は、図５のＰＥ５５４に対応する検出３の状態４１４において、または図５のＰＥ５１０に対応する検出１の状態４０６において、フィードバックの少なくとも一部を事前フェッチすることができる。

他の例では、ユーザ関連情報５２が、選択されたターゲット・イベントではない、予測プレ・イベントに整合する場合に、適応イベント認識プログラム１４は、選択されたターゲット・イベントが発生することになる推定実行時間を決定するように構成することができる。例えば、検出２の状態４１０から、適応イベント認識プログラム１４は、ＰＥ５５４に整合するユーザ関連情報５２を受け取ることができる。ＰＥ５５４は、ターゲット・イベントＴＥ５３４が後続して発生するという所定の可能性に対応する、予測プレ・イベントとすることができる。

図３を参照する。ユーザ関連情報５２が、予測プレ・イベント５５４に整合した後に、適応イベント認識プログラム１４は、ターゲット・イベント５３４が発生することになるターゲット・イベント５３４の推定実行時間(Target Event 534 Estimated Execution Time)を決定することができる。一例では、ターゲット・イベント５３４の推定実行時間は、図３の３４０に示されるように、ＰＥ５５４の検出とターゲット・イベント５３４の発生の間の所定の推定時間ギャップでアクセスことにより決定することができる。図３に示されるように、推定時間ギャップ３４０をプレ・イベント５５４が検出された実際の時間に加えることによって、ターゲット・イベント５３４の推定実行時間を決定することができる。

ターゲット・イベント５３４の推定実行時間を用いて、適応イベント認識プログラム１４は、当該ターゲット・イベント５３４の推定実行時間に、または当該ターゲット・イベント５３４の推定実行時間よりも前に、選択されたターゲット・イベントに関連付けられるフィードバック７８をユーザに供給することができる。一例では、フィードバック７８は、ターゲット・イベントＴＥ５３４が発生する実際の時間に緊密に対応するターゲット・イベント５３４の推定実行時間に供給されることができる。有利なことに、このような手法で、ユーザは、効果的にゼロまたは恐らく無視してよい、知覚されるレイテンシを体験することになる。

別の例では、フィードバック７８は、所定の時間間隔で、ターゲット・イベント５３４の推定実行時間よりも前に供給されることができる。有利なことに、この例では、ユーザは知覚されるマイナス(negative)のレイテンシを体験することができる。ここでは、フィードバック７８はターゲット・イベントＴＥ５３４が完了しないうちに、ユーザによって知覚される。幾らかの例では、このことは、ＨＭＤデバイス４２および適応イベント認識システム１０のリアル・タイムの相互作用という強化された体験をユーザに提供できることもある。幾らかの例では、ターゲット・イベント５３４の推定実行時間よりも前にフィードバックを供給することはまた、処理、並びに／または、ＨＭＤデバイス４２を通じてユーザにフィードバックを供給するのに関連付けられる他のシステムの遅延およびレイテンシをオフセットするのに使用できることもある。この手法では、ユーザによって知覚されるフィードバック７８に関連付けられるレイテンシを最小化することができる。

上述した例では、如何なる好適なセンサのポーリング・レートや増加したポーリング・レートでの時間進行をも使用することができる。同様に、如何なる好適なポーズ、ジェスチャ、または他の手の動きもが、プレ・イベントおよびターゲット・イベントとして指定されることもできる。

上述のように、様々な他のセンサ・システムが様々な他の形態のユーザ関連情報５２を検出でき、ＨＭＤデバイス４２は当該情報を適応イベント認識プログラム１４に提供できることも認められよう。当該情報は、他のプレ・イベント、パターン、および当該情報に関する、関連のターゲット・イベントと相関させることができる。

また、図５のプレ・イベントおよびパターンが、実験による学習、ユーザ学習、または如何なる他の好適な方法を通じて、経験的に決定できることも認められよう。プレ・イベントの発生およびターゲット・イベントの実行の間の推定時間ギャップが、同様に、実験による学習、ユーザ学習、または如何なる他の好適な方法を通じて決定することができる。選択されたターゲット・イベントが予測される場合に、最後から２番目のプレ・イベントに後続して発生する、選択されたターゲット・イベントの確率の閾値を用いて、予測誤差の出現を減少させることができる。幾らかの例では、プレ・イベント、ターゲット・イベント、パターン、および推定時間ギャップをコンピューティング・デバイス２２の大規模ストレージ１８またはネットワーク１６を通じてアクセスされる遠隔ソースに格納できることもある。

図６Ａおよび図６Ｂは、本開示の実施形態による、選択されたターゲット・イベントを認識するための方法６００についてのフローチャートを示す。方法６００の以下の説明は、上述し、図１および図２に示される適応イベント認識システム１０のソフトウェアおよびハードウェア・コンポーネントに関して提供される。他の好適なハードウェアおよびソフトウェア・コンポーネントを使用する他のコンテキストにおいて、方法６００を実行することもできることが認められよう。

図６Ａを参照すると、６０４において、本方法６００は、複数のセンサを備える表示デバイスにおいて、当該複数のセンサの内選択されたセンサを、より高い潜在レイテンシに対応する第１ポーリング・レートで動作させるステップを含む。６０８では、複数の入力センサは、画像センサ、位置センサ、マイクロフォン、アイ・トラッキング・センサ、および生体センサから選択することができる。６１２において、表示デバイスは、ヘッドマウント型の表示デバイスである。
６１６において、本方法６００は、初期ユーザ関連情報を、選択されたセンサから受け取るステップを含む。６２０において、初期ユーザ関連情報が所定の時間フレーム内で受け取られない場合に、本方法６００は、選択されたセンサを、第１ポーリング・レートよりも遅いタイム・アウト・ポーリング・レートで制御するステップを含むことができる。６２４において、本方法６００は、初期ユーザ関連情報が複数のプレ・イベントの内１つに整合するかを判定するステップを含むことができる。各プレ・イベントが１つ以上の異なるパターンのプレ・イベントに対応し、各パターンが、見込まれる異なるターゲット・イベントに導く。６２８において、各パターンは、異なる一連のプレ・イベントを含むことができる。

６３２において、初期ユーザ関連情報が複数のプレ・イベントの内１つに整合する場合に、本方法６００は、選択されたセンサを、第１ポーリング・レートよりも早く、且つより高い潜在レイテンシ未満であるより低い潜在レイテンシに対応する第２ポーリング・レートで動作させるステップを含むことができる。６３６において、初期ユーザ関連情報を受け取った後に、本方法６００は、選択されたターゲット・イベントに関連付けられるフィードバックの少なくとも一部を事前フェッチするステップを含むことができる。

これより図６Bを参照する。初期ユーザ関連情報を受け取った後で、後続のユーザ関連情報を受け取る前に、６４０において、本方法６００は、中間ユーザ関連情報を、選択されたセンサから受け取るステップを含むことができる。６４４において、本方法６００は、中間ユーザ関連情報が、複数のプレ・イベントのサブセットからのプレ・イベントに整合するかを判定するステップを含むことができる。６４８において、中間ユーザ関連情報が複数のプレ・イベントのサブセットからのプレ・イベントに整合する場合に、本方法６００は、選択されたセンサを、第１ポーリング・レートよりも早く、且つ第２ポーリング・レートよりも遅い、第３ポーリング・レートで動作させるステップを含むことができる。

６５２において、本方法は、後続のユーザ関連情報を、選択されたセンサから受け取るステップを含むことができる。６５６において、後続のユーザ関連情報が、見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、本方法６００は、選択されたターゲット・イベントに関連付けられるフィードバックを、表示デバイスを通じてユーザに供給するステップを含むことができる。６６０において、選択されたターゲット・イベントは、手のジェスチャを含むことができる。６６４において、後続のユーザ関連情報が、選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、本方法６００は、選択されたターゲット・イベントが発生することになる推定実行時間を決定するステップを含むことができる。６６８において、本方法は、推定実行時間に、または推定実行時間よりも前に、選択されたターゲット・イベントに関連付けられるフィードバックをユーザに供給するステップを含むことができる。

一例として方法６００が提供され、これは限定を意味するものではないことが認められよう。従って、本方法６００が図６Ａおよび図６Ｂに示されるものに付加的および／または代替のステップを含むことができることが理解されるべきである。更に、方法６００は如何なる好適な順序で実行されてもよいことが理解されるべきである。更にまた、１つ以上のステップが本開示の範囲を逸脱することなく方法６００から省略されてもよいことが理解されるべきである。

図７は、以上で説明した方法およびプロセスの１つ以上を実行することができるコンピューティング・システム７００の非限定的な実施形態を模式的に示す。コンピューティング・デバイス２２は、コンピュータ・システム７００の形態を採ることができる。コンピューティング・システム７００は、簡略化した形態で示される。本開示の範囲から逸脱することなく、事実上あらゆるコンピューター・アーキテクチャを使用できることが理解されるべきである。異なる実施形態では、コンピューティング・システム７００は、メインフレーム・コンピュータ、サーバ・コンピュータ、デスクトップ・コンピュータ、ラップトップ・コンピュータ、タブレット・コンピュータ、家庭娯楽用コンピュータ、ネットワーク・コンピューティング・デバイス、モバイル・コンピューティング・デバイス、ゲーミング・デバイス等の形態を採ることができる。上述したように、幾らかの例では、コンピューティング・システム７００はＨＭＤデバイスに統合できることもある。

図７に示されるように、コンピューティング・システム７００は、論理サブシステム７０４およびストレージ・サブシステム７０８を含む。コンピューティング・システム７００は、任意に、表示サブシステム７１２、通信サブシステム７１６、センサ・サブシステム７２０、入力サブシステム７２２、および／または図７には示されていない他のコンポーネントも含むことができる。コンピューティング・システムはまた、コンピュータ可読媒体を、コンピュータ可読ストレージ媒体およびコンピュータ可読通信媒体を含むコンピュータ可読媒体と共に含むことができる。コンピューティング・システム７００はまた、任意に、例えば、キーボード、マウス、ゲーム・コントローラ、および／またはタッチ・スクリーンのような他の入力デバイスを含むこともできる。更に、実施形態の中には、本明細書で説明した方法およびプロセスが、コンピュータ・アプリケーション、コンピュータ・サービス、コンピュータＡＰＩ、コンピュータ・ライブラリ、および／または、１つ以上のコンピュータを含むコンピューティング・システムにおける他のコンピュータ・プログラム製品として実装することができる。

論理サブシステム７０４は、１つ以上の命令を実行するように構成される１つ以上の物理デバイスを含む。例えば、論理サブシステムは、１つ以上のアプリケーション、サービス、プログラム、ルーチン、ライブラリ、オブジェクト、コンポーネント、データ構造、または他の論理構造の一部である１つ以上の命令を実行するように構成することができる。当該命令は、タスクを実行する、データ型を実装する、１つ以上のデバイスの状態を移行させる、またはそれ以外で所望の結果に到達するように実装することができる。

論理サブシステム７０４は、ソフトウェア命令を実行するように構成される１つ以上のプロセッサを含むことができる。加えてまたは代わりに、論理サブシステムは、ハードウェアまたはファームウェア命令を実行するように構成される１つ以上のハードウェアまたはファームウェア論理マシンを含むこともできる。論理サブシステムのプロセッサは、単一コアまたはマルチコアであってもよく、そこで実行されるプログラムは、並列処理、または分散処理に合わせて構成することができる。論理サブシステムは、任意に、２つ以上のデバイス間で分散された個々のコンポーネントを含むこともでき、これらのデバイスは、遠隔に配置すること、および／または調整処理(coordinated processing)に合わせて構成することができる。論理サブシステムの１つ以上の態様は、遠隔にアクセス可能でクラウド・コンピューティング構成で構成されたネットワーク化されたコンピューティング・デバイスによって仮想化および実行することもできる。

ストレージ・サブシステム７０８は、データ、および／または本明細書において説明した方法およびプロセスを実現するために論理サブシステムによって実行可能な命令を保持するように構成される１つ以上の物理的、永続的デバイスを含むことができる。当該方法およびプロセスが実装されると、例えば、異なるデータを保持するために、ストレージ・サブシステム７０８の状態を移行させることができる。

ストレージ・サブシステム７０８は、リムーバブル媒体および／または内蔵デバイスを含むことができる。ストレージ・サブシステム７０８は、とりわけ、光メモリ・デバイス（例えば、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ・ディスク等）、半導体メモリ・デバイス（例えば、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等）、および／または磁気メモリ・デバイス（例えば、ハード・ディスク・ドライブ、フロッピー（登録商標）・ディスク・ドライブ、テープ・ドライブ、ＭＲＡＭ等）を含むことができる。ストレージ・サブシステム７０８は、揮発性、不揮発性、ダイナミック、スタティック、読み取り／書き込み、読み取り専用、ランダム・アクセス、順次アクセス、位置アドレス可能、ファイル・アドレス可能、および／またはコンテンツ・アクセス可能デバイスを含むことができる。

実施形態の中には、論理サブシステム７０４およびストレージ・サブシステム７０８の態様を１つ以上の共通デバイスに統合し、これを通じて、本明細書において説明した機能性を、少なくとも部分的に定める(enact)ことができる場合もある。このようなハードウェア論理コンポーネントは、例えば、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、特定プログラムおよびアプリケーション集積回路（ＰＡＳＩＣ／ＡＳＩＣ）、特定プログラムおよびアプリケーション標準製品（ＰＳＳＰ／ＡＳＳＰ）、チップ上システム（ＳＯＣ）システム、ならびに複雑なプログラマブル論理デバイス（ＣＰＬＤ）を含むことができる。

図７はまた、リムーバブル・コンピュータ可読ストレージ媒体７２４の形態のストレージ・サブシステム７０８を示し、データ、および／または本明細書で説明した方法およびプロセスを実装するように実行可能な命令を格納するように使用することができる。リムーバブル・コンピュータ可読ストレージ媒体７２４は、とりわけ、ＣＤ、ＤＶＤ、ＨＤ−ＤＶＤ、ブルーレイ・ディスク、ＥＥＰＲＯＭ等）、および／またはフロッピー・ディスク・ドライブの形態を採ることができる。

ストレージ・サブシステム７０８は、１つ以上の物理的、永続的デバイスを含むことが認められる。しかしながら、実施形態の中には、本明細書において説明した命令の態様を、純粋な信号（例えば、電磁信号、光信号等）によって一時的な様式で伝搬させることができる場合もある。この純粋な信号は、有限期間にわたり物理的デバイスによって保持されるのではない。更にまた、データおよび／または本開示に関連する他の形態の情報は、コンピュータ可読通信媒体を通じて純粋な信号によって伝搬させることもできる。

表示サブシステム７１２が含まれる場合、ストレージ・サブシステム７０８によって保持されているデータの視覚表現を提示するために用いることができる。上述した方法およびプロセスがストレージ・サブシステムに保持されているデータを変化させ、したがってストレージ・サブシステムの状態を移行させるに連れて、表示サブシステム８０６の状態も同様に、基礎データの変化を視覚的に表すために移行することができる。表示サブシステム７１２は、事実上あらゆるタイプの技術を利用する１つ以上の表示デバイスを含むことができる。このようなディスプレイ・デバイスは、共有筐体の中に論理サブシステム７０４および／またはストレージ・サブシステム７０８と組み合わせることもでき、あるいはこのような表示デバイスは周辺機器の表示デバイスであってもよい。表示サブシステム７１２は、例えば、表示システム５６およびＨＭＤデバイス４２の透過型ディスプレイ５４を含むことができる。

通信サブシステム７１６が含まれる場合、コンピューティング・システム７００を１つ以上のネットワークおよび／または１つ以上の計算デバイスと通信可能に結合するように構成することができる。通信サブシステム７１５は、１つ以上の異なる通信プロトコルと互換性のある有線通信デバイスおよび／またはワイヤレス通信デバイスを含むことができる。非限定的な例として、通信サブシステム７１６は、ワイヤレス電話ネットワーク、ワイヤレス・ローカル・エリア・ネットワーク、有線ローカル・エリア・ネットワーク、ワイヤレス・ワイド・エリア・ネットワーク、および有線ワイド・エリア・ネットワークを通じた通信に合わせて構成することができる。実施形態の中には、通信サブシステムが、コンピューティング・サブシステム７００に、インターネットのようなネットワークを通じて他のデバイスとの間でメッセージを送信および／または受信することを可能にするとよい場合もある。

センサ・サブシステム７２０は、異なる物理現象（例えば、可視光、赤外線、音響、加速、方位、位置等）、並びに／または、上述した生理的処理、機能、測定および／もしくは状態を感知するように構成される１つ以上のセンサを含むことができる。例えば、センサ・サブシステム７２０は、１つ以上のアイ・トラッキング・センサ、画像センサ、マイクロフォン、加速度計のような動きセンサ、コンパス、タッチ・パッド、タッチ・スクリーン、心拍数モニタ、パルス・オキシメータ、電子皮膚反応センサ、脳波検査（ＥＥＧ）モニタ、および／または他の如何なる好適なセンサをも備えることができる。

実施形態の中には、センサ・サブシステム７２０は深度カメラを含むことができる場合もある。深度カメラは、例えば、立体的視覚システムの左右のカメラを含むことができる。両カメラの１つ以上からの時間分解画像は、相互に登録され、また結合されて、深度分解映像を供することができる。他の実施形態では、深度カメラは、上述したように、構造化した光深度カメラまたはtime-of-flightカメラとすることができる。実施形態の中には、センサ・サブシステム７２０は、デジタル・カメラのような可視光カメラを含むことができる場合もある。事実上、如何なる種別のデジタル・カメラ技術も、本開示の範囲を逸脱することなく使用することができる。非限定的な例として、可視光カメラは、電荷結合素子画像センサを含んでもよい。

センサ・サブシステム７２０は、例えば、センサ・データを論理サブシステム７０４に提供するように構成することができる。上述したように、このようなデータは、アイ・トラッキング情報、画像情報、音響情報、環境ライティング情報、深度情報、位置情報、動き情報、ユーザ位置情報、生体パラメータ情報、並びに／または上述した方法およびプロセスを実行するために用いることができる他の如何なる好適なセンサ・データをも含むことができる。

入力サブシステム７２２が含まれる場合、ゲーム・コントローラ、ジェスチャ入力検出デバイス、音声認識装置、慣性測定ユニット、キーボード、マウスまたはタッチ・スクリーンのような、１つ以上のセンサ、即ちユーザ入力デバイスを備え、またはこれらとインタフェースすることができる。実施形態の中には、入力サブシステム７２２が、選択された自然ユーザ入力（ＮＵＩ）コンポーネント(componentry)を備え、またはこれとインタフェースすることができる場合もある。このようなコンポーネントは、統合または周辺機器のものであってもよく、入力動作の変換(transduction)および／または処理は、オン・ボードまたはオフ・ボードで扱うことができる。ＮＵＩコンポーネントの例には、音声(speech and/or voice)認識用マイクロフォン、機械映像および／またはジェスチャ認識用の赤外線カメラ、カラー・カメラ、ステレオ・カメラ、および／または深度カメラ、動き検出および／または意思認識のためのヘッド・トラッキング装置、アイ・トラッキング装置、加速度計および／またはジャイロスコープ、更には脳活動評価のための電界検知コンポーネントを含むことができる。

「プログラム」という用語は、１つ以上の特定の機能を実行するように実現された適応イベント認識・システム１０の一態様を説明するために用いることができる。場合によっては、プログラムは、ストレージ・サブシステム７０８によって保持される命令を実行する論理サブシステム７０４によってインスタンス化することもできる。異なるプログラムを同一のアプリケーション、サービス、コード・ブロック、オブジェクト、ライブラリ、ルーチン、ＡＰＩ、関数等からインスタンス化できることが理解されるべきである。同様に、同一のプログラムを異なるアプリケーション、サービス、コード・ブロック、オブジェクト、ルーチン、ＡＰＩ、関数等によってインスタンス化することもできる。「プログラム」という用語は、実行可能ファイル、データ・ファイル、ライブラリ、ドライバ、スクリプト、データベース・レコード等のそれぞれまたは群を含むことができる。

本明細書において説明した構成および／または手法は、性質上例示であること、そして多数の変形が可能であることから、これら具体的な実施形態または例は、限定的な意味で捉えてはならないことが理解されるべきである。本明細書において説明した具体的なルーチンまたは方法は、如何なる数の処理方策の内１つ以上を表すことができる。したがって、図示した種々の動作(act)は、図示したシーケンスで実行すること、他のシーケンスで実行すること、並列に実行することもでき、あるいは省略することもできる。同様に、以上で説明したプロセスの順序も変更することができる。

本開示の主題は、種々のプロセス、システム、および構成、ならびにその他の特徴、機能、動作、および／または本明細書において開示したプロパティ、更にはそのいずれかの均等物および全ての均等物の、全ての新規で非自明なコンビネーションおよびサブコンビネーションを含む。

Claims (20)

1. 選択されたターゲット・イベントを認識するための方法であって、
   複数の入力センサを備える表示デバイスにおいて、前記複数の入力センサの内選択されたセンサを、より高い潜在レイテンシに対応する第１ポーリング・レートで動作させるステップと、
   初期ユーザ関連情報を前記選択されたセンサから受け取るステップと、
   前記初期ユーザ関連情報が複数のプレ・イベントの内１つに整合するかを判定するステップであって、各前記プレ・イベントが１つ以上の異なるパターンのプレ・イベントに対応し、各前記パターンが、見込まれる異なるターゲット・イベントに導く、ステップと、
   前記初期ユーザ関連情報が前記複数のプレ・イベントの内１つに整合する場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも早く、且つ前記より高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第２ポーリング・レートで動作させるステップと、
   後続のユーザ関連情報を前記選択されたセンサから受け取るステップと、
   前記後続のユーザ関連情報が前記見込まれる異なるターゲット・イベントの内から選択されたターゲット・イベントに整合する場合に、前記表示デバイスを介して、前記選択されたターゲット・イベントに関連付けられるフィードバックをユーザに供給するステップと、
   前記後続のユーザ関連情報が、前記選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、
   前記選択されたターゲット・イベントが発生することになる推定実行時間を決定するステップと、
   前記推定実行時間に、または前記推定実行時間よりも前に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックを前記ユーザに供給するステップと、
   を含む、方法。
2. 請求項１記載の方法であって、更に、前記初期ユーザ関連情報を受け取った後に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックの少なくとも一部を事前フェッチするステップを含む、方法。
3. 適応イベント認識システムであって、
   コンピューティング・デバイスに動作可能に接続される表示デバイスであって、表示システムおよび複数の入力センサを含む、表示デバイスと、
   前記コンピューティング・デバイスのプロセッサによって実行される適応イベント認識プログラムと、
   を含み、前記適応イベント認識プログラムが、
   前記複数の入力センサの内選択されたセンサを、より高い潜在レイテンシに対応する第１ポーリング・レートで動作させ、
   初期ユーザ関連情報を前記選択されたセンサから受け取り、
   前記初期ユーザ関連情報が複数のプレ・イベントの内１つに整合するかを判定し、各前記プレ・イベントが１つ以上の異なるパターンのプレ・イベントに対応し、各前記パターンが、見込まれる異なるターゲット・イベントに導き、
   前記初期ユーザ関連情報が前記複数のプレ・イベントの内１つに整合する場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも早く、且つ前記より高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第２ポーリング・レートで動作させ、
   後続のユーザ関連情報を前記選択されたセンサから受け取り、
   前記後続のユーザ関連情報が、前記見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、該選択されたターゲット・イベントに関連付けられるフィードバックを、前記表示デバイスを通じてユーザに供給する、
   ように構成される、適応イベント認識システム。
4. 請求項３記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが更に、前記後続のユーザ関連情報が前記選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、
   前記選択されたターゲット・イベントが発生することになる推定実行時間を決定し、
   前記推定実行時間に、または前記推定実行時間よりも前に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックを前記ユーザに供給する
   ように構成される、適応イベント認識システム。
5. 請求項３記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが更に、前記初期ユーザ関連情報を受け取った後に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックの少なくとも一部を事前フェッチするように構成される、適応イベント認識システム。
6. 前記表示デバイスがヘッドマウント・ディスプレイ・デバイスである、請求項３記載の適応イベント認識システム。
7. 前記選択されたターゲット・イベントが手のジェスチャを含む、請求項３記載の適応イベント認識システム。
8. 請求項３記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが、更に、
   前記初期ユーザ関連情報を受け取った後で、前記後続のユーザ関連情報を受け取るのよりも前に、中間ユーザ関連情報を前記選択されたセンサから受け取り、
   前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合するかを判定し、
   前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合する場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも早く、且つ前記第２ポーリング・レートよりも低い、第３ポーリング・レートで動作させる、
   ように構成される、適応イベント認識システム。
9. 請求項３記載の適応イベント認識システムにおいて、前記適応イベント認識プログラムが、更に、前記初期ユーザ関連情報が所定の時間フレーム内で受け取られない場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも遅いタイム・アウト・ポーリング・レートで動作させるように制御するように構成される、適応イベント認識システム。
10. 前記パターンの各々が、異なる一連のプレ・イベントを含む、請求項３記載の適応イベント認識システム。
11. 前記複数の入力センサが、画像センサ、位置センサ、マイクロフォン、アイ・トラッキング・センサ、および生体センサからなる群から選択される、請求項３記載の適応イベント認識システム。
12. 選択されたターゲット・イベントを認識するための方法であって、
    複数の入力センサを備える表示デバイスにおいて、前記複数の入力センサの内選択されたセンサを、より高い潜在レイテンシに対応する第１ポーリング・レートで動作させるステップと、
    初期ユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記初期ユーザ関連情報が複数のプレ・イベントの内１つに整合するかを判定するステップであって、各前記プレ・イベントが１つ以上の異なるパターンのプレ・イベントに対応し、各前記パターンが、見込まれる異なるターゲット・イベントに導く、ステップと、
    前記初期ユーザ関連情報が前記複数のプレ・イベントの内１つに整合する場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも早く、且つ前記より高い潜在レイテンシ未満のより低い潜在レイテンシに対応する第２ポーリング・レートで動作させるステップと、
    後続のユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記後続のユーザ関連情報が、前記見込まれる異なるターゲット・イベントの中から選択されるターゲット・イベントに整合する場合に、前記選択されたターゲット・イベントに関連付けられるフィードバックを、前記表示デバイスを通じてユーザに供給するステップと
    を含む、方法。
13. 請求項１２記載の方法であって、更に、前記後続のユーザ関連情報が前記選択されたターゲット・イベントではない予測プレ・イベントに整合する場合に、
    前記選択されたターゲット・イベントが発生することになる推定実行時間を決定するステップと、
    前記推定実行時間に、または前記推定実行時間よりも前に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックを前記ユーザに供給するステップと、
    を含む、方法。
14. 請求項１２記載の方法であって、更に、前記初期ユーザ関連情報を受け取った後に、前記選択されたターゲット・イベントに関連付けられる前記フィードバックの少なくとも一部を事前フェッチするステップを含む、方法。
15. 前記表示デバイスがヘッドマウント・ディスプレイ・デバイスである、請求項１２記載の方法。
16. 前記選択されたターゲット・イベントが手のジェスチャを含む、請求項１２記載の方法。
17. 請求項１２記載の方法であって、更に、
    前記初期ユーザ関連情報を受け取った後で、前記後続のユーザ関連情報を受け取るのよりも前に、中間ユーザ関連情報を前記選択されたセンサから受け取るステップと、
    前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合するかを判定するステップと、
    前記中間ユーザ関連情報が、前記複数のプレ・イベントのサブセットからのプレ・イベントに整合する場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも早く、且つ前記第２ポーリング・レートよりも低い、第３ポーリング・レートで動作させるステップと
    を含む、方法。
18. 請求項１２記載の方法であって、更に、前記初期ユーザ関連情報が所定の時間フレーム内で受け取られない場合に、前記選択されたセンサを、前記第１ポーリング・レートよりも遅いタイム・アウト・ポーリング・レートで動作させるように制御するステップを含む、方法。
19. 前記パターンの各々が、異なる一連のプレ・イベントを含む、請求項１２記載の方法。
20. 前記複数の入力センサが、画像センサ、位置センサ、マイクロフォン、アイ・トラッキング・センサ、および生体センサからなる群から選択される、請求項１２記載の方法。

Images