JP7702955B2 - ユーザ入力デバイスの機能性の注視タイマベースの拡張 - Google Patents

Description

本開示は、拡張現実および複合現実システムに関し、より具体的には、ハンドヘルドコントローラまたはそのようなシステムにおける他のユーザ入力デバイスの機能性を拡大するためのユーザインターフェースおよびプロセスに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「仮想現実」、「拡張現実」、および「複合現実」体験のためのシステムの開発を促進しており、デジタル的に再現された画像またはその一部が、現実のように現れるようにユーザに提示される。仮想現実、すなわち、「ＶＲ」シナリオは、典型的には、他の実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。拡張現実、すなわち、「ＡＲ」シナリオは、典型的には、ユーザの周囲の実際の世界の可視化に対する拡張としてのデジタルまたは仮想画像情報の提示を伴う。複合現実、すなわち、「ＭＲ」シナリオは、典型的には、実世界および仮想世界を融合し、物理的および仮想オブジェクトが、共存し、リアルタイムで相互作用する、新しい環境を生産することを伴う。

Ｍａｇｉｃ Ｌｅａｐから利用可能なもの等のいくつかのシステムは、ヘッドセットと、ハンドヘルドコントローラとを含む。ヘッドセットは、典型的には、ユーザの環境をマッピングするための追跡カメラと、内向きに向いた眼追跡カメラと、内向きに向いたディスプレイを形成する導波管伴う、レンズとを含む。ヘッドセットはまた、１つまたはそれを上回る他のタイプのセンサを含んでもよい。コントローラは、典型的には、ＭＲまたはＡＲセッションを制御するために使用される、ボタンおよび／またはタッチパッド等のうちの１つまたはそれを上回るタイプの入力要素を含む。

ＭＲおよびＡＲセッションをサポートする、システムはまた、ケーブルによってヘッドセットに接続される、ウェアラブルデバイス等の別個のコンピューティングデバイスを含んでもよい。コンピューティングデバイスは、オペレーティングシステムおよびアプリケーション等の種々のソフトウェアコンポーネントを実行してもよい。これらのソフトウェアコンポーネントのうちの１つまたはそれを上回るものは、特定のコントローラ入力要素またはアクションを、ユーザによって呼び出され得る、特定の機能にマッピングしてもよい。例えば、オペレーティングシステムは、ハンドヘルドコントローラの特定のボタンを特定の機能にマッピングしてもよい、または具体的タッチパッドアクション（シングルまたはダブルタップアクション等）を別の機能にマッピングしてもよい。

既存のＭＲおよびＡＲシステムに関する１つの問題は、ハンドヘルドコントローラまたは任意の他の入力デバイスまたはオブジェクトを介してユーザに利用可能にされる機能の数が、コントローラ（またはデバイスまたはオブジェクト）上に含まれるユーザ入力ボタンまたは表面の数によって、および／またはそのような入力デバイス上で実施され得る、ユーザアクション（シングルおよびダブルタップアクションおよびジェスチャ等）の数によって、制限されることである。コントローラの機能性は、時として、新しいコントローラベースの機能を暴露するために、セッションコンテキストを使用することによって、拡大され得るが、多くの場合、ユーザに、コントローラの機能性を選択的に拡大するための直感的方法を与えることが望ましい。

アプリコンテンツを共有し、同じ場所に位置するユーザおよびアバタとして表される遠隔ユーザの両方とチャットするためのネットワーク化された共存体験等の種々のユースケースは、ユーザの邪魔にならないようにされ得る、フレキシブルなオンデマンドインターフェースから利益を享受する。そのようなセッションは、ユーザが、例えば、アバタ、共有コンテンツ、メニュー等の異なる要素を追跡することを要求し得る。本明細書における開示は、ユーザが、セッションメニューにアクセスすることを可能にする、これらの他のソーシャルアクティビティおよび全体的体験の通信目標からユーザの注意を逸らさらない、システムおよび方法を説明する。特に、下記に説明されるものは、いくつかの実施形態では、ユーザが、動き回り、他者と協働および通信し、依然として、具体的世界場所に戻る必要がある不便を伴わずに（例えば、セッションメニューは、静的に位置してもよい）、セッションユーザインターフェースにアクセスし得るように、任意の既存のＵＩまたは世界ベースの基準を伴わずに、コンテキストメニューにアクセスするための方法である。一実施形態では、セッションユーザインターフェースは、ユーザが存在する場所にかかわらず、彼らに追従するように構成される（２０２０年１月２４日に出願され、「ＣＯＮＴＥＮＴ ＭＯＶＥＭＥＮＴ ＡＮＤ ＩＮＴＥＲＡＣＴＩＯＮ ＵＳＩＮＧ Ａ ＳＩＮＧＬＥ ＣＯＮＴＲＯＬＬＥＲ」と題された、米国仮出願第６２／９６５，７０８号（その開示全体が参照することによって本明細書に組み込まれる）のシステムおよび方法等を使用して）。したがって、重要なセッションツール（例えば、ミュートにする、ブロックする、招待する、終了する）は、離散して、かつアクセスが容易な場所において、常時、ユーザの近くにある。

これらの共有共存体験内では、（例えば、セッションメニュー内の）セッションツールへのアクセスは、本明細書で議論される注視タイマ機能性等を通してユーザによって要求されるまで、隠蔽されてもよい。本注視タイマ機能性は、例えば、共有共存体験において利用可能な入力デバイスの機能性を限定せずに、既存のユーザ入力デバイスの機能性を拡張させ、ユーザが、必要に応じて、セッションメニューを要求することを可能にする方法を提供する。

本開示は、ユーザが、所定の期間にわたって、定義された視認または「注視」アクションを実施することによって、ハンドヘルドコントローラ（または他のユーザ入力デバイス）の１つまたはそれを上回るボタンまたは表面の機能性を一時的に修正することを有効にする、ユーザインターフェース特徴（「注視タイマ」または「焦点タイマ」特徴とも称される）を提供することによって、上記および他の問題に対処する。例えば、好ましい実施形態では、ユーザが、所定の期間（０．５秒または１秒等）にわたって、ハンドヘルドコントローラまたはその所定の領域内を注視すると、コントローラアクションと機能のマッピングが、一時的に修正され、１つまたはそれを上回る付加的機能または選択を利用可能にする、または１つまたはそれを上回るユーザ入力デバイスのための代替マッピングに一時的に切り替える。所定の時間量は、偶発的アクティブ化の尤度を低減させるように選択されてもよい。いくつかの実施形態では、修正されたマッピングは、注視アクションが終了するまで、またはユーザが特定のアクションを実施する（例えば、その機能が修正されたボタンを押下する）まで、有効なままである。

一実施例として、ハンドヘルドコントローラの特定のボタン（または他のユーザ入力要素）と関連付けられる機能は、コントローラ注視アクションに応答して、ボタンの押下が、ヘッドセットに、そうでなければコントローラを介して表示可能ではない、メニューを表示させるように、一時的に修正されてもよい。したがって、本メニューを表示することを所望するユーザは、所定の期間にわたって、コントローラを注視し、次いで、ボタンを押下することによって、そのように行うことができる（随意に、セッションコンテキストにかかわらず）。本システムは、ユーザがボタンを押下すると、またはユーザがメニューを閉じると、ボタンの機能性を復元してもよい。いくつかの実施形態では、本システムは、加えて、または代替として、ユーザがコントローラ注視動作を中止すると、ボタンの機能性を復元してもよい。

注視アクションが、開始すると、ヘッドセットは、「注視タイマ」アイコンおよび／または別のタイプの視覚的インジケータを表示し、コントローラ注視アクションが検出されたことを示してもよい。本アイコンまたは視覚的インジケータの外観は、次いで、実質的に持続的に更新され、注視アクションがコントローラの機能性が修正されるであろう前に継続する必要がある、時間量をグラフィック描写してもよい。いったんタイマが、満了する（すなわち、所定の注視持続時間に到達する）と、ディスプレイは、更新され、コントローラの機能性が修正されたことを示してもよい。例えば、上記のメニュー実施例では、メッセージは、短く表示され、ユーザが、特定のボタンを押下することによって、メニューを表示することができることを示してもよい。

注視タイマは、ＭＲおよび／またはＡＲセッションをサポートする、ウェアラブルコンピューティングシステムの１つまたはそれを上回るコンポーネントによって実行される、ソフトウェア内に実装されてもよい。ウェアラブルコンピューティングシステムは、頭部姿勢、眼姿勢、または両方に基づいて、注視アクションを検出してもよい。いくつかの実施形態では、注視アクションの標的は、コントローラ以外のオブジェクトであってもよい。例えば、ユーザは、特定の手姿勢またはジェスチャを実施しながら、所定の期間にわたって、手注視アクションを実施し得る。

本開示の一側面は、したがって、１つまたはそれを上回るハードウェアプロセッサによって実行されるプログラム命令の制御下で実施される、コンピュータ化されたプロセスである。プロセスは、複合現実または拡張現実セッションの間に収集されたセンサデータに基づいて、ユーザがハンドヘルドコントローラまたはその定義された領域内を注視している、コントローラ注視イベントを検出することと、コントローラ注視イベントの検出に応答して、ハンドヘルドコントローラの機能性を一時的に修正するために、コントローラ注視イベントの持続時間が条件を充足させるかどうかを測定するために使用される、タイマを開始することと、コントローラ注視イベントの持続時間が条件を充足させることの決定に応答して、ハンドヘルドコントローラのユーザ入力要素の機能を修正することとを含む。センサデータは、ユーザの頭部配向を反映する、頭部追跡データ、眼追跡データ、コントローラの位置を反映する、コントローラ位置データ、および／または頭部搭載型カメラによって収集されたデータを含んでもよい。いくつかの実施形態では、ユーザ入力要素の機能を修正することは、ハンドヘルドコントローラのボタンをメニューを表示する機能にマッピングさせることを含む。

コンピュータ化されたプロセスはまた、以下、すなわち、（１）ユーザによって装着される頭部搭載型ディスプレイによって生成されたディスプレイ上に、タイマが開始されたことの視覚的インジケーションを表示すること、（２）注視イベントの間、視覚的インジケーションを更新し、ユーザ入力要素の機能が修正されるまで注視イベントが継続する必要がある、時間量を示すこと、（３）ユーザ入力デバイスの機能を修正後、センサデータに基づいて、コントローラ注視イベントの終了を検出し、コントローラ注視イベントの終了の検出に応答して、ユーザ入力要素の以前の機能を復元すること、（４）コントローラ注視イベントの持続時間が条件を充足させることの決定に応答して、ユーザ入力要素に割り当てられる新しい機能の視覚的インジケーションを表示することのうちの１つまたはそれを上回るものを含んでもよい。

本開示の別の側面は、ウェアラブルコンピューティングシステムであって、ディスプレイと、１つまたはそれを上回るセンサとを備える、頭部搭載可能ディスプレイシステムと、ユーザ入力を受信するように構成される、ユーザ入力デバイスと、少なくとも部分的に、１つまたはそれを上回るセンサからのセンサデータに基づいて、ユーザの姿勢が物理的オブジェクトまたはその所定の領域内に指向されている、オブジェクト注視イベントを検出することと、オブジェクト注視イベントの持続時間が定義された条件を充足させるかどうかを決定することと、持続時間が該条件を充足させるとき、ユーザ入力デバイスの機能を修正することと含む、プロセスを実装するようにプログラムされる、１つまたはそれを上回るプロセッサとを備える、ウェアラブルコンピューティングシステムである。物理的オブジェクトは、ユーザ入力デバイスであってもよい。プロセスはまた、以下、すなわち、（１）頭部搭載可能ディスプレイシステムに、オブジェクト注視イベントが検出されたことの視覚的インジケーションを表示させること、（２）オブジェクト注視イベントの間、視覚的インジケーションを更新し、ユーザ入力デバイスの機能が修正されるまでオブジェクト注視イベントが継続する必要がある、時間量を示すこと、（３）ユーザ入力デバイスの機能を修正後、オブジェクト注視イベントの終了を検出し、オブジェクト注視イベントの終了の検出に応答して、ユーザ入力デバイスの以前の機能を復元すること、（４）オブジェクト注視イベントの持続時間が条件を充足させることの決定に応答して、ディスプレイ上に、ユーザ入力デバイスに割り当てられる新しい機能の視覚的インジケーションを表示すること、（５）眼姿勢にかかわらず、ユーザの頭部姿勢に基づいて、オブジェクト注視イベントを検出すること、（６）少なくとも部分的に、ユーザの感知される眼姿勢に基づいて、注視イベントを検出することのうちの１つまたはそれを上回るものを含んでもよい。いくつかの実施形態では、ユーザ入力デバイスの機能を修正することは、ユーザ入力デバイスのボタンをメニューをディスプレイ上に表示する機能にマッピングされた状態にさせることを含む。

本開示の別の側面は、１つまたはそれを上回るハードウェアプロセッサによって実行される、プログラム命令の制御下で実施される、コンピュータ化されたプロセスであって、複合現実または拡張現実セッションの間に収集されたデータに基づいて、ユーザが物理的オブジェクトまたはその定義された領域内を注視している注視イベントを検出することと、注視イベントの検出に応答して、注視イベントの持続時間がユーザ入力デバイスの機能性を一時的に修正するための条件を充足させるかどうかを測定するために使用されるタイマを開始することと、注視イベントの持続時間が条件を充足させることの決定に応答して、ユーザ入力デバイスの機能を修正することとを含む、プロセスである。
本発明は、例えば、以下を提供する。
（項目１）
１つまたはそれを上回るハードウェアプロセッサによって実行されるプログラム命令の制御下で実施されるコンピュータ化されたプロセスであって、前記プロセスは、
複合現実または拡張現実セッションの間に収集されたセンサデータに基づいて、ユーザがハンドヘルドコントローラまたはその定義された領域内を注視しているコントローラ注視イベントを検出することと、
前記コントローラ注視イベントの検出に応答して、前記ハンドヘルドコントローラの機能性を一時的に修正するために、前記コントローラ注視イベントの持続時間が条件を充足させるかどうかを測定するために使用されるタイマを開始することと、
前記コントローラ注視イベントの持続時間が前記条件を充足させることの決定に応答して、前記ハンドヘルドコントローラのユーザ入力要素の機能を修正することと
を含む、プロセス。
（項目２）
前記ユーザによって装着される頭部搭載型ディスプレイによって生成されたディスプレイ上に、前記タイマが開始されたことの視覚的インジケーションを表示することをさらに含む、項目１に記載のプロセス。
（項目３）
前記注視イベントの間、前記視覚的インジケーションを更新し、前記ユーザ入力要素の機能が修正されるまで前記注視イベントが継続する必要がある時間量を示すことをさらに含む、項目２に記載のプロセス。
（項目４）
前記ユーザ入力デバイスの機能を修正後、
前記センサデータに基づいて、前記コントローラ注視イベントの終了を検出することと、
前記コントローラ注視イベントの終了の検出に応答して、前記ユーザ入力要素の以前の機能を復元することと
をさらに含む、項目１に記載のプロセス。
（項目５）
前記ユーザ入力要素の機能を修正することは、前記ハンドヘルドコントローラのボタンをメニューを表示する機能にマッピングさせることを含む、項目１に記載のプロセス。
（項目６）
前記コントローラ注視イベントの持続時間が前記条件を充足させることの決定に応答して、前記ユーザ入力要素に割り当てられる新しい機能の視覚的インジケーションを表示することをさらに含む、項目１に記載のプロセス。
（項目７）
前記センサデータは、少なくとも、前記ユーザの頭部配向を反映する頭部追跡データを備える、項目１に記載のプロセス。
（項目８）
前記センサデータは、眼追跡データを備える、項目１に記載のプロセス。
（項目９）
前記センサデータは、前記コントローラの位置を反映するコントローラ位置データを備える、項目１に記載のプロセス。
（項目１０）
前記センサデータは、頭部搭載型カメラによって収集されたデータを備える、項目１に記載のプロセス。
（項目１１）
ウェアラブルコンピューティングシステムであって、
頭部搭載可能ディスプレイシステムであって、ディスプレイと、１つまたはそれを上回るセンサとを備える頭部搭載可能ディスプレイシステムと、
ユーザ入力を受信するように構成されるユーザ入力デバイスと、
１つまたはそれを上回るプロセッサであって、
少なくとも部分的に、前記１つまたはそれを上回るセンサからのセンサデータに基づいて、ユーザの姿勢が物理的オブジェクトまたはその所定の領域内に指向されているオブジェクト注視イベントを検出することと、
前記オブジェクト注視イベントの持続時間が定義された条件を充足させるかどうかを決定することと、
前記持続時間が前記条件を充足させるとき、前記ユーザ入力デバイスの機能を修正することと
を含むプロセスを実装するようにプログラムされる、１つまたはそれを上回るプロセッサと
を備える、ウェアラブルコンピューティングシステム。
（項目１２）
前記物理的オブジェクトは、前記ユーザ入力デバイスである、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１３）
前記プロセスはさらに、前記頭部搭載可能ディスプレイシステムに、前記オブジェクト注視イベントが検出されたことの視覚的インジケーションを表示させることを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１４）
前記プロセスはさらに、前記オブジェクト注視イベントの間、前記視覚的インジケーションを更新し、前記ユーザ入力デバイスの機能が修正されるまで前記オブジェクト注視イベントが継続する必要がある時間量を示すことを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１５）
前記プロセスはさらに、前記ユーザ入力デバイスの機能を修正後、
前記オブジェクト注視イベントの終了を検出することと、
前記オブジェクト注視イベントの終了の検出に応答して、前記ユーザ入力デバイスの以前の機能を復元することと
を含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１６）
前記ユーザ入力デバイスの機能を修正することは、前記ユーザ入力デバイスのボタンをメニューを前記ディスプレイ上に表示する機能にマッピングされた状態にさせることを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１７）
前記プロセスはさらに、前記オブジェクト注視イベントの持続時間が前記条件を充足させることの決定に応答して、前記ディスプレイ上に、前記ユーザ入力デバイスに割り当てられる新しい機能の視覚的インジケーションを表示することを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１８）
前記プロセスは、眼姿勢にかかわらず、前記ユーザの頭部姿勢に基づいて、前記オブジェクト注視イベントを検出することを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目１９）
前記プロセスは、少なくとも部分的に、前記ユーザの感知される眼姿勢に基づいて、前記注視イベントを検出することを含む、項目１１に記載のウェアラブルコンピューティングシステム。
（項目２０）
１つまたはそれを上回るハードウェアプロセッサによって実行されるプログラム命令の制御下で実施されるコンピュータ化されたプロセスであって、前記プロセスは、
複合現実または拡張現実セッションの間に収集されたデータに基づいて、ユーザが物理的オブジェクトまたはその定義された領域内を注視している注視イベントを検出することと、
前記注視イベントの検出に応答して、前記注視イベントの持続時間がユーザ入力デバイスの機能性を一時的に修正するための条件を充足させるかどうかを測定するために使用されるタイマを開始することと、
前記注視イベントの持続時間が前記条件を充足させることの決定に応答して、前記ユーザ入力デバイスの機能を修正することと
を含む、プロセス。

図１は、一実施形態による、その中に注視タイマ特徴が実装され得る、ウェアラブルコンピューティングシステムの一次コンポーネントを図示する。

図２は、図１のヘッドセットおよびウェアラブルコンピューティングデバイスコンポーネントの実施例を図示する。

図３は、図１のハンドヘルドコントローラの一実施例を図示する。

図４は、一実施形態による、注視タイマ特徴の動作を図示する、状態図である。

図５Ａ－５Ｄは、順次、一実施形態における、注視タイマ特徴の使用の間、ヘッドセットを通して見える、拡張ビューを描写する。 図５Ａ－５Ｄは、順次、一実施形態における、注視タイマ特徴の使用の間、ヘッドセットを通して見える、拡張ビューを描写する。

図面全体を通して、参照番号は、参照される要素間の対応を示すために再使用され得る。図面は、本明細書に説明される例示的実施形態を図示するために提供され、本開示の範囲を限定することを意図するものではない。

詳細な説明
Ｉ．例示的システムコンポーネント
図１－３は、一実施形態による、注視タイマ特徴を実装する、ウェアラブルコンピューティングシステム１００の一次コンポーネントを図示する。ウェアラブルコンピューティングシステム１００は、ヘッドセット１０２と、ハンドヘルドコントローラ１０４と、ケーブル１０８によって、または無線で、ヘッドセットに接続される、ウェアラブルコンピューティングデバイス１０６とを含む。その中にウェアラブルコンピューティングデバイス１０６のいくつかまたは全てのコンポーネントがヘッドセット１０２および／またはハンドヘルドコントローラ１０４（または別のタイプのユーザ入力デバイス）の中に統合される、システム等、他の構成のウェアラブルコンピューティングシステムも、可能性として考えられる。下記に解説されるように、図示される実施形態では、注視タイマは、ウェアラブルコンピューティングデバイス１０６によって実行される、ソフトウェア内に実装され、ユーザが、定義された期間にわたって、特定のタイプの注視動作を実施することによって、効率的かつ直感的に、ハンドヘルドコントローラの機能性を拡大することを有効にする。開示されるプロセスはまた、キーボード、ワンド、ポインティングデバイス、電子描画パッド、ヘッドセット、ジョイスティック、および携帯電話等、他のタイプのユーザ入力デバイスの機能性を拡張させるために使用されることができる。

図１に示されるように、ヘッドセット１０２は、ディスプレイ１１０と、１つまたはそれを上回る内向きに向いたカメラ１１２と、１つまたはそれを上回る外向きに向いたカメラ１１４と、他のセンサ１１６と、１つまたはそれを上回るハードウェアプロセッサ１１８と、メモリ１２０のアレイとを含む。図２に示されるように、ヘッドセット１０２は、ディスプレイ１１０を形成する、半透明または透明レンズを有する、一対のゴーグルまたは眼鏡に類似してもよい。いくつかの実施形態では、ヘッドセットは、任意の好適な頭部搭載型ディスプレイまたはデバイスであってもよく、片眼用の単一レンズおよび／またはディスプレイ、両眼用の２つのレンズおよび／またはディスプレイ、または両眼用の単一レンズおよび／またはディスプレイを有してもよい。ディスプレイ１１０は、レンズの中に組み込まれる、導波管を使用して実装されてもよく、米国特許公開第２０１８／０１５７３９８号（その開示は、参照することによって本明細書に組み込まれる）開示されているようなものである。ヘッドセット１０２は、代替として、部分的または完全に、ユーザの頭部を被覆する、ヘルメットの形態にあってもよい。複合現実または拡張現実セッションの間、ディスプレイ１１０は、典型的には、その実世界環境のユーザのビュー（レンズを通して見られるように）をデジタルオブジェクトおよび情報で拡張させる。

内向きに向いたカメラまたはカメラ１１２は、存在する場合、ユーザの片眼または両眼の移動および位置を追跡するために使用される。ユーザの眼の追跡された状態は、「眼姿勢」と称される。カメラ以外の他のタイプのセンサも、加えて、または代替として、ユーザの眼を追跡するために使用されてもよい。注視タイマは、眼移動を追跡せずに、頭部姿勢のみに基づいて実装されてもよく、その場合、内向きに向いたカメラ１１２は、省略される、または他の機能のためのみに使用されてもよい。

図１に描写される他のセンサ１１６は、頭部位置、移動、および配向を感知するための種々のタイプのセンサを含んでもよい。実施例は、加速度計、慣性測定ユニット（ＩＭＵ）、コンパス、無線デバイス、およびジャイロスコープを含む。ユーザの頭部の感知される位置および配向は、「頭部姿勢」と称される。プロセッサ１１８は、メモリ１２０内に記憶されるコードを実行する、汎用プロセッサを含んでもよく、および／またはディスプレイプロセッサ／コントローラまたは頭部姿勢プロセッサ等の１つまたはそれを上回る特殊プロセッサを含んでもよい。特殊プロセッサは、いくつかの実施形態では、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ、および／または他の特殊ハードウェアデバイスとして実装されてもよい。図１に図示されないが、ヘッドセット１０２はまた、マイクロホンおよびスピーカ等の他のタイプの入力および出力デバイスを含んでもよい。

図１に示されるように、ハンドヘルドコントローラ１０４は、ボタン、タッチパッド、ジョイスティック、回転可能ホイール、マイクロホン等のユーザ入力要素１３０のセットを含む。これらのユーザ入力要素１３０は、ＭＲ（またはＶＲまたはＡＲセッション）の種々の側面を制御するために使用されてもよい。図３に示される実施例では、コントローラの入力要素は、円形タッチパッド１３０ａと、ホーム／戻るボタン１３０ｂと、バンパボタン１３０ｃと、トリガボタン１３０ｄとを含む。下記に解説されるように、ウェアラブルコンピューティングデバイス１０６（またはシステム１００の別のコンポーネント）は、具体的ユーザ入力要素１３０および関連付けられるユーザアクションを具体的機能にマッピングする、マッピングデータを記憶してもよい。典型的には、ホーム／戻るボタン１３０ｂは、アプリケーション内で後方に移動させる、またはランチャに戻るために使用され、バンパボタン１３０ｃは、コンテキストメニューを表示するために使用され、トリガボタンは、握持および選択相互作用のために使用される。タッチパッド１３０ａは、親指を用いて実施され得る、種々のジェスチャを検出することが可能であって、各ジェスチャは、個別の機能または動作をトリガすることができる。認識されるであろうように、ハンドヘルドコントローラ１０４は、図３に示されるものと異なるタイプおよび数の入力要素１３０を有することができ、および／または各入力要素１３０と関連付けられる異なる機能性を有してもよい。

ハンドヘルドコントローラ１０４はまた、コントローラの位置および配向（「コントローラ姿勢」と称される）を感知するためのセンサ等、１つまたはそれを上回るセンサ１３２のセットを含む。実施例は、加速度計、慣性測定ユニット（ＩＭＵ）、コンパス、無線デバイス、およびジャイロスコープを含む。コントローラ１０４は、好ましくは、多自由度（ＤＯＦ）コントローラ（例えば、３ＤＯＦまたは６ＤＯＦコントローラ）であって、コントローラの複数の平行移動（例えば、左／右、前／後、または上／下）および／または回転（例えば、ヨー、ピッチ、またはロール）においてユーザ入力を感知することができることを意味する。平行移動をサポートする、多ＤＯＦコントローラは、３ＤＯＦコントローラと称され得る一方、平行移動および回転をサポートする、多ＤＯＦコントローラは、６ＤＯＦコントローラと称され得る。

図１にさらに示されるように、ハンドヘルドコントローラ１０４はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷＩＦＩ送受信機等の無線送受信機１３４（または複数の無線送受信機）、または無線規格に基づかない、送受信機を含んでもよい。無線送受信機１３４は、ハンドヘルドコントローラ１０４が、ウェアラブルコンピューティングデバイス１０６および可能性として他のデバイスと無線で通信することを有効にする。例えば、ユーザが、入力動作（例えば、ボタンを押下する）をコントローラ１０４上で実施すると、無線送受信機１３４は、ウェアラブルコンピューティングデバイス１０６に、入力イベントを通知してもよい。他の実施形態では、無線送受信機１３４は、省略されてもよく、その場合、ハンドヘルドコントローラ１０４は、ケーブルによって、ウェアラブルコンピューティングデバイス１０６に接続されてもよい。示されるように、ハンドヘルドコントローラ１０４はまた、前述のコントローラコンポーネント１３０、１３２、１３４に接続される、１つまたはそれを上回るハードウェアプロセッサ１４０を含み、かつプロセッサ１４０によって実行されるプログラムコードを記憶する、メモリ１４２を含む。コントローラ１０４はまた、触知フィードバックをユーザに提供するための１つまたはそれを上回る触知デバイス、およびコントローラの姿勢（位置および配向）を決定するための姿勢プロセッサ等、他のタイプのコンポーネントを含んでもよい。

図１にさらに示されるように、ウェアラブルコンピューティングデバイス１０６は、１つまたはそれを上回るハードウェアプロセッサ１５０と、１つまたはそれを上回る無線送受信機１５２（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＷＩＦＩ、セルラー等）と、ソリッドステートメモリデバイスのアレイ等のメモリ１５４とを含む。メモリ１５４は、複合および拡張現実アプリケーションおよびセッションをサポートする、オペレーティングシステムのオペレーティングシステム（ＯＳ）ファイルを記憶し、複合および／または拡張現実アプリケーション等の１つまたはそれを上回るアプリケーション１６２のアプリケーションファイルを含む。上記に述べられたように、いくつかの実装では、ウェアラブルコンピューティングデバイス１０６を参照して議論されるコンポーネントおよび／または機能性は、別個のウェアラブルコンピューティングデバイス１０６がウェアラブルコンピューティングシステムから省略され得るように、ヘッドセット１０２内に実装されてもよい。

図１に示されるように、ウェアラブルコンピューティングデバイス１０６のメモリはまた、ハンドヘルドコントローラ１０４上の入力動作を対応する機能にマッピングする、マッピングテーブル１６４、１６６のセットを記憶する。これらのテーブルは、オペレーティングシステム１６０、アプリケーション１６２、または両方によって維持および使用されてもよい。一次マッピングテーブル１６４は、コントローラの機能性が注視タイマ特徴によって拡大されていないときに使用される、マッピングを記憶する。本テーブル１６４内の各エントリは、ユーザコントローラ１０４上の入力動作（例えば、特定のボタンのアクティブ化または特定のジェスチャまたはタッチパッド上のタップシーケンス）をウェアラブルコンピューティングシステム１００によって実施されるべき対応する機能にマッピングする。

二次マッピングテーブル１６６は、コントローラの機能性が注視タイマ特徴を使用して一時的に拡大されているときに使用される、マッピングを記憶する。いくつかの実施形態では、機能性における拡大は、ハンドヘルドコントローラ１０４の単一ユーザ入力要素１３０のみに適用されてもよい。例えば、単一ボタン（例えば、図３における１３０ｂ、１３０ｃ、または１３０ｄ）の機能性は、修正されてもよい一方、コントローラの他のユーザ入力要素１３０の機能性は、不変のままであってもよい。したがって、一次および二次マッピングテーブル１６４、１６６は、単一マッピングのみにおいて異なってもよい、または二次マッピング１６６は、一次マッピング１６４におけるものと異なる、入力のためのマッピングのみを含んでもよい。他の実施形態では、マッピングのうちの２つまたはそれを上回るものは、これらの２つのマッピングテーブル１６４、１６６間で異なってもよい。例えば、２つまたはそれを上回る異なるコントローラボタンまたは２つまたはそれを上回る異なるタッチパッドジェスチャの機能性が、修正されてもよい。

図示される実施形態は、マッピングテーブルを使用するが、注視タイマ特徴は、代替として、マッピングテーブルを伴わずに実装されてもよい。例えば、コントローラ機能性における変化は、注視タイマ特徴を実装する、実行可能コード内にハードコーディングされ得る。加えて、１つの一次マッピングテーブル１６４および１つの二次マッピングテーブル１６６のみが、示されるが、複数の一次テーブルおよび複数の二次テーブルが、記憶および使用されてもよい。例えば、異なるアプリケーション１６２は、異なる一次／二次マッピングテーブル対を使用してもよく、および／または異なるコントローラ（または他のユーザ入力デバイスまたはオブジェクト）は、異なる一次／二次マッピングテーブル対を使用してもよい。

いくつかの実施形態では、ウェアラブルコンピューティングシステム１００は、１つまたはそれを上回るタイプの外部デバイスと相互作用してもよい。例えば、システム１００は、ヘッドセット１０２およびコントローラ１０４の場所および配向を追跡する目的のために、ユーザの部屋または建物内の固定された場所内に搭載される、１つまたはそれを上回る無線周波数デバイス（例えば、ビーコン）と通信してもよい。別の実施例として、ウェアラブルコンピューティングシステム１００は、遠隔サーバまたはクラウドベースのシステム等の遠隔コンピューティングシステムと通信してもよい。
ＩＩ．注視タイマ状態図

図４は、ウェアラブルシステム１００によって、特に、ウェアラブルコンピューティングデバイス１０６によって実装され、注視タイマ特徴を実装し得る、プロセスの一実施形態を図示する、状態図である。本プロセスは、オペレーティングシステム１６０によって、および／またはアプリケーション１６２のうちの１つまたはそれを上回るものによって実装されてもよい。図４の実施形態では、ユーザは、設定期間にわたって、ハンドヘルドコントローラ１０４を注視することによって、コントローラの機能性を修正させる。下記に解説されるように、いくつかの実施形態では、ユーザは、コントローラを保持していない、ユーザの手、または特定のジェスチャを実施するユーザの手等、別の実世界オブジェクトを注視することによって、コントローラの機能性を拡大してもよい。

「開始」矢印によって図示されるように、混合または拡張現実セッション等のセッションが開始されると、監視状態４００に入り、コントローラ注視イベントの開始を監視する。より具体的には、プロセスは、ユーザの頭部姿勢および／または眼姿勢を反映し、ハンドヘルドコントローラ１０４の位置を反映する、センサデータを監視し、ユーザがコントローラまたはその所定の距離内を注視しているかどうかを決定する。ユーザがオブジェクトを注視しているかどうかを検出するための方法は、当技術分野において周知である。

コントローラ注視イベントが、検出されると、プロセスは、「ディスプレイカウントダウンタイマ」状態４０２に遷移し、注視イベントが終了する、またはカウントダウンタイマが満了するまで、本状態に留まる。タイマの主要目的は、偶発的コントローラ注視イベントの結果としてコントローラの機能性を修正することを回避することである。換言すると、タイマの主要目的は、「誤検出」を低減させることである。いくつかの実施形態では、本目的は、ユーザに、ユーザが、タイマが満了する前に、単に、コントローラから眼を逸らすことによって、コントローラ修正を回避し得るように、コントローラ注視イベントが検出されたことの視覚的インジケーションまたは他のユーザフィードバックを表示することによって促進され得る。本システムは、加えて、または代替として、ユーザに、可聴および／または触知信号等の他のタイプのユーザフィードバックを介して、コントローラ注視イベントの検出を通知してもよい。例えば、コントローラ（またはコントローラ上の特定のボタン）は、注視イベントが最初に検出されると、振動してもよい。

いくつかの実施形態では、カウントダウン期間は、０．５秒であるが、より短いおよびより長い所定の期間も、使用されてもよい。好ましくは、期間は、０．３秒～２秒の範囲内、より好ましくは、０．４秒～１．２秒の範囲内である。カウントダウンタイマのリアルタイム状態は、好ましくは、リアルタイムタイマオブジェクト（下記に議論される図５Ｂ参照）等を表示することによって、ユーザにグラフィック表示される。状態４０２から状態４００に戻る矢印によって図示されるように、コントローラ注視イベントが、タイマが満了する前に、終了する場合、プロセスは、状態４００に戻り、次のコントローラ注視イベントを監視する。タイマはまた、本状態遷移が生じると、リセットされる。

タイマが、注視イベントが終了する前に、満了する場合、プロセスは、状態４０２から状態４０４に遷移し、コントローラの機能性は、一時的に修正される。プロセスは、ユーザに、ユーザフィードバック、例えば、視覚的、触知、および／または可聴通知を介して、本遷移を通知してもよい。修正が、単一コントローラボタンのみに適用される場合、通知は、本ボタンを識別してもよく（例えば、ボタンを介して、触知信号を出力することによって）、および／またはボタンに割り当てられる新しい機能を識別してもよい（例えば、図５Ｃに示されるように、テキストメッセージをディスプレイ１１０上に表示することによって）。本状態４０４にある間、ウェアラブルシステム１００は、二次マッピングテーブル１６６（図１）を使用する。したがって、コントローラ入力イベントが、プロセスが本状態４０４にある間に生じる場合、入力イベントに応答して実施される機能は、二次マッピングテーブル１６６に基づいて決定されるであろう。上記に述べられたように、異なる二次マッピングテーブルが、いくつかの実施形態では、コントローラの修正された機能性がアプリケーション依存であるように、異なるアプリケーション１６２によって使用されてもよい。いくつかの実施形態では、付加的二次マッピングテーブルが、使用されてもよく、他のコントローラ、デバイス、および／またはオブジェクトと関連付けられてもよい。例えば、ユーザは、ユーザの手の中の電話を注視してもよく、これは、焦点タイマをトリガしてもよく、これは、電話と関連付けられる二次マッピングテーブルにアクセスさせてもよい。二次マッピングテーブルは、ユーザの環境コンテキストから独立してもよい（ユーザが存在する部屋、履歴データ等を認識する）。

図示される実施形態では、プロセスは、復元イベントが生じるまで、状態４０４に留まる。復元イベントは、例えば、以下、すなわち、（１）ユーザが、拡大されたコントローラ機能性を使用する（例えば、その機能が修正されたコントローラボタンを押下する）、（２）ユーザが、拡大されたコントローラ機能性を使用して開かれたメニューまたは他のユーザインターフェースを閉じる、（３）ユーザが、拡大されたコントローラ機能性を利用せずに、コントローラ注視アクションを中止することのうちの１つまたはそれを上回るものであってもよい。これらおよび他のタイプの復元イベントの任意の組み合わせが、本システム内に実装されてもよい。いったん復元イベントが生じると、プロセスは、監視状態４００に戻り、一次マッピングテーブル１６４のその使用を再開する。

上記に説明されるプロセスは、コントローラ入力イベント（またはボタン押下イベント等の特定のタイプの入力イベント）が特定の機能に割り当てるために利用可能ではない、「オーバーマッピング」シナリオをハンドリングするために有用である。そのようなシナリオは、例えば、全てのボタンが個別の機能にすでに割り当てられているとき、または可能性として考えられるコントローラ入力イベント（ボタン押下、タッチパッドジェスチャ等）の全てが個別の機能にすでに割り当てられているときに生じ得る。プロセスはまた、非オーバーマッピングシナリオで使用されてもよい。例えば、いくつかのコントローラ入力イベント（特定のタッチパッドジェスチャ等）が、マッピングされていないままであり得るが、開発者が、特定のボタン１３０ｂ－１３０ｄの押下等、所与の機能をより一般的または容易に使用される入力イベントに一時的に割り当てることを所望し得る。一実施例として、バンパまたはトリガボタンの機能が、世界コンテキストに依存しない、特定のメニューを表示させるように一時的に修正され得る。

図４のプロセスは、コントローラ１０４以外の別のタイプの実世界オブジェクトへの注視イベントによって、注視タイマが呼び出されるように修正されてもよい。例えば、ユーザは、設定期間にわたって、コントローラを保持していない手、指差しジェスチャ等の特定のジェスチャを実施するその手、特定の仮想または実世界オブジェクト、または任意の他のオブジェクトを注視することによって、コントローラの機能性を拡大し得る。さらに、注視イベントの標的は、タイマ満了に応じて生じる、コントローラ修正を決定付け得る。例えば、本システムは、ユーザが第１のジェスチャを実施するその手を注視すると、１つの修正を実施するように構成され得、ユーザが第２のジェスチャを実施するその手を注視すると、異なる修正を実施し得る。リアルタイムオブジェクト認識プロセスは、外部に向いたカメラからのビデオ／画像ストリームに適用され、ユーザの注視の標的が、注視タイマ特徴を呼び出す、何らかのものであるかどうかを決定してもよい。
ＩＩＩ．例示的ユーザインターフェース

図５Ａ－５Ｄは、順次、一実施形態による、注視タイマ特徴の使用の間、ヘッドセット１０２を通してユーザによって見られるビューを描写する。これらの図面では、以下の要素は、レンズを通してユーザによって見られる実世界ビューを拡張させる、デジタルオブジェクト、すなわち、図５Ａにおけるコントローラ場所アイコン５００、図５Ｂにおける注視タイマグラフィック５０２、図５Ｃにおけるテキストメッセージ５０４、および図５Ｄにおけるメニュー５０６である。これらのビュー内の全ての他のオブジェクトは、レンズを通して見られる、実際の物理的オブジェクトである。

図５Ａ－５Ｄの本特定の実施形態では、ユーザは、設定期間にわたって、ハンドヘルドコントローラ１０４を注視し、その時点で、コントローラのトリガボタン１３０ｄ（図３）は、二次マッピングテーブルに基づいて、そうでなければコントローラを介して（一次マッピングテーブルを使用して）表示可能ではない、メニュー５０６（または他のユーザインターフェース）の表示を開始するように再構成される。図５Ａは、ユーザがコントローラ注視動作を開始する前にユーザによって見られる、ビューを図示する。本実施例では、ユーザは、ヘッドセット１０２のレンズを通して見られる、机、椅子、テーブル、および窓を含む、部屋内に、立っている、または座っている。図５Ａにおけるビューはまた、コントローラ１０４を保持しているユーザの手を示す。ヘッドセットは、本実施例では、コントローラ位置アイコン５００を表示し、センサデータに基づいてウェアラブルシステム１００によって検出されるようなコントローラ１０４のリアルタイム場所および姿勢を表す。ユーザが、コントローラ１０４を移動させるにつれて、アイコン５００は、３Ｄ空間内のコントローラの正面の固定距離に現れるように、コントローラとともに移動する。アイコン５００は、いくつかの実施形態では、省略されてもよく、および／またはコントローラが向けられている方向を示す、線またはビームで補完される、またはそれと置換されてもよい。

コントローラ１０４は、図５Ａでは、ユーザに可視であるが、まだ注視動作の標的ではなく、したがって、注視タイマは、まだ開始されていない。図４の状態図を参照すると、本システムは、コントローラ注視イベントの開始が監視されている、状態４００にある。一実施形態では、ユーザは、アイコン５００またはコントローラ１０４のいずれかを注視することによって、コントローラ注視動作を開始することができる。上記に議論されるように、ウェアラブルシステムは、頭部姿勢、眼姿勢、または両方に基づいて、ユーザがコントローラ注視動作を実施しているかどうかを決定してもよい。いくつかの実施形態では、コントローラ注視は、ユーザがコントローラ位置アイコン５００またはその所定の距離を注視しているかどうかの検出に基づいてもよい。頭部姿勢および／または眼姿勢に基づいて、ユーザがデジタルまたは物理的オブジェクトを見ているかどうかを決定するための方法は、当技術分野において公知である。

コントローラ注視イベントが、最初に検出されると、本システムは、状態４００から状態４０２（図４）に移行し、ウェアラブルシステム１００は、アイコン５００の外観を短く変化させる、可聴信号を出力する、および／またはハンドヘルドコントローラ１０４を介して触知信号を出力すること等によって、ユーザに通知してもよい。図５Ｂに示されるように、ウェアラブルシステムはまた、アイコン５００と、タイマが満了するまでの残りの時間量（すなわち、コントローラ注視動作がコントローラの機能性を修正させるために継続する必要がある、時間量）をグラフィック描写する、タイマグラフィック５０２を置換してもよい。本タイマアイコン５０２の外観は、タイマがゼロまでカウントダウンするにつれて、リアルタイムで変化してもよい。

図５Ｃに示されるように、いったん注視タイマが、満了すると、本システムは、状態４０２から４０４（図４）に移行し、修正されたコントローラ機能性が、二次マッピングテーブルに基づいてアクティブ化される。図５Ｃの実施例では、ヘッドセットは、テキストメッセージ５０４を表示し、ユーザが、コントローラのトリガボタンを押下することによって、メニューを立ち上げ得ることを示す。メッセージは、代替として、新しく割り当てられた機能（例えば、「トリガを押下して継続する」）を規定せずに、再マッピングされた特定のボタンを識別してもよい。複数のコントローラボタンが再マッピングされる、ユースケースでは、テキストメッセージが、該当する場合、各そのようなボタンに割り当てられる新しい機能を示してもよい。ユーザが、トリガボタンを押下する前に、コントローラ１０４から眼を逸らす場合、いくつかの実施形態では、トリガボタンの以前の機能性は、復元され（例えば、本システムは、図４の状態図の実施例では、状態４００に戻る）、ディスプレイは、図５Ａに示されるタイプのビューに戻るように復帰するであろう。他方では、ユーザが、眼を逸らす前に、トリガボタンを押下する場合、双方向メニュー５０６が、図５Ｄに示されるように、表示される。メニュー５０６は、本実施例では、そうでなければトリガボタンを介して表示可能ではない（すなわち、トリガボタンは、通常、異なる機能にマッピングされる）。メニュー５０６は、コンテキスト依存であってもよいが、そうである必要はない。メニュー５０６は、実質的に不透明であるように図５Ｄに示されるが、ユーザにメニューの背後に現れる物理的オブジェクトが見えるように、半透明メニューが、表示されてもよい。

いくつかの実施形態では、本メニュー５０６の表示は、ユーザがコントローラ注視動作を中止した後、ユーザが、メニューを閉じさせる、別の動作を実施するまで、継続する。例えば、メニュー５０６は、コントローラがユーザによって移動され、および／またはユーザが環境を動き回っても、コントローラの近くの位置を維持すること等によって、コントローラ１０４に追従してもよい。ユーザは、指を用いて、コントローラ１０４を使用して、および／または他の既知の方法を使用して、メニューと相互作用してもよい。いくつかの実施形態では、メニュー５０６の表示場所は、コントローラ１０４の場所を追跡し、したがって、メニューは、ユーザが、例えば、部屋を見渡す、または動き回るにつれて、ユーザにアクセス可能なままである。ユーザはまた、メニューを特定の実世界場所に「ドロップする」または「残す」ことが可能であり得、それに対してユーザは、後に、所望に応じて、戻ることができる。
ＩＶ．結論

上記に説明されるような注視タイマ特徴は、ウェアラブルコンピューティングシステム１００のコンポーネントのうちの１つまたはそれを上回るものによって実行される、プログラムコード（命令）内に実装されてもよい。例えば、注視タイマは、ウェアラブルコンピューティングデバイス１０６のプロセッサ１５０（または複数のプロセッサ）によって実行されるプログラム命令、および／またはヘッドセットのプロセッサ１１８（または複数のプロセッサ）によって実行されるプログラム命令内に実装されてもよい。注視タイマ特徴はまた、部分的または全体的に、ウェアラブルシステム１００の一部ではない、デバイスまたはシステムによって実行されるソフトウェア内に実装されてもよい。例えば、注視タイマ特徴を実装するためのソフトウェアのいくつかまたは全ては、無線リンクを経由してウェアラブルシステム１００と通信する、ローカルまたは遠隔コンピューティングデバイス上で起動され得る。

本開示のシステムおよび方法は、それぞれ、いくつかの革新的側面を有し、そのうちのいかなるものも、本明細書に開示される望ましい属性に単独で関与しない、またはそのために要求されない。上記に説明される種々の特徴およびプロセスは、相互に独立して使用され得る、または種々の方法で組み合わせられ得る。全ての可能な組み合わせおよび副次的組み合わせが、本開示の範囲内に該当することが意図される。本開示に説明される実装の種々の修正が、当業者に容易に明白であり得、本明細書に定義される一般原理は、本開示の精神または範囲から逸脱することなく、他の実装に適用され得る。したがって、請求項は、本明細書に示される実装に限定されることを意図されず、本明細書に開示される本開示、原理、および新規の特徴と一貫する最も広い範囲を与えられるべきである。

とりわけ、「～できる（ｃａｎ）」、「～し得る（ｃｏｕｌｄ）」、「～し得る（ｍｉｇｈｔ）」、「～し得る（ｍａｙ）」、「例えば（ｅ．ｇ．）」、および同等物等、本明細書で使用される条件文は、別様に具体的に記載されない限り、または使用されるような文脈内で別様に理解されない限り、概して、ある実施形態がある特徴、要素、および／またはステップを含む一方、他の実施形態がそれらを含まないことを伝えることが意図される。したがって、そのような条件文は、概して、特徴、要素、および／またはステップが、１つまたはそれを上回る実施形態に対していかようにも要求されること、または１つまたはそれを上回る実施形態実施形態が、著者の入力または促しの有無を問わず、これらの特徴、要素、および／またはステップが任意の特定の実施形態において含まれる、または実施されるべきかどうかを決定するための論理を必然的に含むことを含意することを意図されない。用語「～を備える（ｃｏｍｐｒｉｓｉｎｇ）」、「～を含む（ｉｎｃｌｕｄｉｎｇ）」、「～を有する（ｈａｖｉｎｇ）」、および同等物は、同義語であり、非限定的方式で包括的に使用され、付加的要素、特徴、行為、動作等を除外しない。また、用語「または」は、その包括的意味において使用され（およびその排他的意味において使用されず）、したがって、例えば、要素のリストを接続するために使用されると、用語「または」は、リスト内の要素のうちの１つ、いくつか、または全てを意味する。加えて、本願および添付される請求項で使用されるような冠詞「ａ」、「ａｎ」、および「ｔｈｅ」は、別様に規定されない限り、「１つまたはそれを上回る」または「少なくとも１つ」を意味するように解釈されるべきである。

本明細書で使用されるように、項目のリスト「～のうちの少なくとも１つ」を指す語句は、単一の要素を含む、それらの項目の任意の組み合わせを指す。ある実施例として、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」は、Ａ、Ｂ、Ｃ、ＡおよびＢ、ＡおよびＣ、ＢおよびＣ、およびＡ、Ｂ、およびＣを網羅することが意図される。語句「Ｘ、Ｙ、およびＺのうちの少なくとも１つ」等の接続文は、別様に具体的に記載されない限り、概して、項目、用語等がＸ、Ｙ、またはＺのうちの少なくとも１つであり得ることを伝えるために使用されるような文脈で別様に理解される。したがって、そのような接続文は、概して、ある実施形態が、Ｘのうちの少なくとも１つ、Ｙのうちの少なくとも１つ、およびＺのうちの少なくとも１つがそれぞれ存在するように要求することを示唆することを意図するものではない。

同様に、動作は、特定の順序で図面に描写され得るが、これは、望ましい結果を達成するために、そのような動作が示される特定の順序で、または連続的順序で実施される、または全ての図示される動作が実施される必要はないと認識されるべきである。さらに、上記に説明される実装における種々のシステムコンポーネントの分離は、全ての実装におけるそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品においてともに統合される、または複数のソフトウェア製品にパッケージ化され得ることを理解されたい。加えて、他の実装も、以下の請求項の範囲内である。いくつかの場合では、請求項に列挙されるアクションは、異なる順序で実施され、依然として、望ましい結果を達成することができる。

Claims (20)

1. １つ以上のハードウェアプロセッサによって実行されるプログラム命令の制御下で実行されるコンピュータ化されたプロセスであって、前記プロセスは、
   複合現実または拡張現実セッションの間に収集されたセンサデータに基づいて、ユーザがハンドヘルドコントローラを注視しているか、または、前記ユーザが前記ハンドヘルドコントローラの所定の距離内を注視しているかであるコントローラ注視イベントを検出することと、
   前記コントローラ注視イベントを検出することに応答して、前記ハンドヘルドコントローラの機能性を一時的に修正するために、前記コントローラ注視イベントの持続時間が条件を充足するかどうかを測定するために使用されるタイマを開始することと、
   前記コントローラ注視イベントの持続時間が前記条件を充足することを決定することに応答して、前記ハンドヘルドコントローラのユーザ入力要素の機能を修正することと
   を含む、プロセス。
2. 前記プロセスは、前記ユーザによって装着される頭部搭載型ディスプレイによって生成されたディスプレイ上に、前記タイマが開始されたことの視覚的インジケーションを表示することをさらに含む、請求項１に記載のプロセス。
3. 前記プロセスは、前記コントローラ注視イベントの間、前記視覚的インジケーションを更新することにより、前記ユーザ入力要素の機能が修正されるまで前記コントローラ注視イベントが継続する必要がある時間量を示すことをさらに含む、請求項２に記載のプロセス。
4. 前記プロセスは、
   前記ユーザ入力要素の機能を修正した後に、
   前記センサデータに基づいて、前記コントローラ注視イベントの終了を検出することと、
   前記コントローラ注視イベントの終了を検出することに応答して、前記ユーザ入力要素の以前の機能を復元することと
   をさらに含む、請求項１に記載のプロセス。
5. 前記ユーザ入力要素の機能を修正することは、前記ハンドヘルドコントローラのボタンがメニューを表示する機能にマッピングされるようにすることを含む、請求項１に記載のプロセス。
6. 前記プロセスは、前記コントローラ注視イベントの持続時間が前記条件を充足することを決定することに応答して、前記ユーザ入力要素に割り当てられる新しい機能の視覚的インジケーションを表示することをさらに含む、請求項１に記載のプロセス。
7. 前記センサデータは、少なくとも、前記ユーザの頭部配向を反映する頭部追跡データを備える、請求項１に記載のプロセス。
8. 前記センサデータは、眼追跡データを備える、請求項１に記載のプロセス。
9. 前記センサデータは、前記ハンドヘルドコントローラの位置を反映するコントローラ位置データを備える、請求項１に記載のプロセス。
10. 前記センサデータは、頭部搭載型カメラによって収集されたデータを備える、請求項１に記載のプロセス。
11. ウェアラブルコンピューティングシステムであって、前記ウェアラブルコンピューティングシステムは、
    ディスプレイと１つ以上のセンサとを備える頭部搭載可能ディスプレイシステムと、
    ユーザ入力を受信するように構成されているユーザ入力デバイスと、
    １つ以上のプロセッサと
    を備え、
    前記１つ以上のプロセッサは、プロセスを実装するようにプログラムされており、
    前記プロセスは、
    前記１つ以上のセンサからのセンサデータに少なくとも部分的に基づいて、ユーザの姿勢が物理的オブジェクトに指向されているか、または、前記ユーザの姿勢が前記物理的オブジェクトの所定の距離内に指向されているかであるオブジェクト注視イベントを検出することと、
    前記オブジェクト注視イベントの持続時間が定義された条件を充足するかどうかを決定することと、
    前記持続時間が前記条件を充足する場合に、前記ユーザ入力デバイスの機能を修正することと
    を含む、ウェアラブルコンピューティングシステム。
12. 前記物理的オブジェクトは、前記ユーザ入力デバイスである、請求項１１に記載のウェアラブルコンピューティングシステム。
13. 前記プロセスは、前記オブジェクト注視イベントが検出されたことの視覚的インジケーションを表示することを前記頭部搭載可能ディスプレイシステムに行わせることをさらに含む、請求項１１に記載のウェアラブルコンピューティングシステム。
14. 前記プロセスは、前記オブジェクト注視イベントの間、前記視覚的インジケーションを更新することにより、前記ユーザ入力デバイスの機能が修正されるまで前記オブジェクト注視イベントが継続する必要がある時間量を示すことをさらに含む、請求項１３に記載のウェアラブルコンピューティングシステム。
15. 前記プロセスは、前記ユーザ入力デバイスの機能を修正した後に、
    前記オブジェクト注視イベントの終了を検出することと、
    前記オブジェクト注視イベントの終了を検出することに応答して、前記ユーザ入力デバイスの以前の機能を復元することと
    をさらに含む、請求項１１に記載のウェアラブルコンピューティングシステム。
16. 前記ユーザ入力デバイスの機能を修正することは、前記ユーザ入力デバイスのボタンが前記ディスプレイ上にメニューを表示する機能にマッピングされるようにすることを含む、請求項１１に記載のウェアラブルコンピューティングシステム。
17. 前記プロセスは、前記オブジェクト注視イベントの持続時間が前記条件を充足することを決定することに応答して、前記ユーザ入力デバイスに割り当てられる新しい機能の視覚的インジケーションを前記ディスプレイ上に表示することをさらに含む、請求項１１に記載のウェアラブルコンピューティングシステム。
18. 前記プロセスは、眼姿勢にかかわらず、前記ユーザの頭部姿勢に基づいて、前記オブジェクト注視イベントを検出することを含む、請求項１１に記載のウェアラブルコンピューティングシステム。
19. 前記プロセスは、前記ユーザの感知される眼姿勢に少なくとも部分的に基づいて、前記オブジェクト注視イベントを検出することを含む、請求項１１に記載のウェアラブルコンピューティングシステム。
20. １つ以上のハードウェアプロセッサによって実行されるプログラム命令の制御下で実行されるコンピュータ化されたプロセスであって、前記プロセスは、
    複合現実または拡張現実セッションの間に収集されたデータに基づいて、ユーザが物理的オブジェクトを注視しているか、または、前記ユーザが前記物理的オブジェクトの所定の距離内を注視しているかである注視イベントを検出することと、
    前記注視イベントを検出することに応答して、前記注視イベントの持続時間がユーザ入力デバイスの機能性を一時的に修正するための条件を充足するかどうかを測定するために使用されるタイマを開始することと、
    前記注視イベントの持続時間が前記条件を充足することを決定することに応答して、前記ユーザ入力デバイスの機能を修正することと
    を含む、プロセス。
    

Images