JP6090879B2 - 拡張現実対応デバイスのためのユーザインターフェース - Google Patents

Description

関連出願の相互参照
本出願は、本願譲受人に譲渡されかつ参照により本明細書に組み込むものとする2012年12月18日に提出された“User Interface for Augmented Reality Enabled Devices”と題する米国特許出願第13/718,923号の利益ならびにこれに対する優先権を主張するものである。

本開示は、拡張現実の分野に関する。詳細には、本開示は、拡張現実対応デバイスのためのユーザインターフェースに関する。

ヘッドマウントディスプレイは、ユーザが、彼らの前の世界を見ながら、さらに彼らの電子メールを読むこと、株式市況を入手することなどができることを可能にするように構成され得る。しかしながら、ユーザは現実世界を見なければならず、同じくARコンテンツを見るために焦点を変えなければならないので、既存のデバイスの共通の問題点は、既存のデバイスが情報過多をもたらす可能性があることである。既存のデバイスの別の問題点は、既存のデバイスが、表示されるべきコンテンツに基づいてユーザの視界内の利用可能なエリアを、優先順位付けて編成することをしないことである。図1は、いくつかの従来のアプリケーションによって表示された情報の一例を示す。図1に示すように、様々な広告が、ディスプレイのスクリーン上に配置されている。いくつかの広告、たとえば152、154および156が、ユーザからのシーンのいくつかの部分を遮っている。したがって、従来のアプリケーションは、ユーザが彼らの周囲と自然に相互作用することを可能にしながら拡張現実コンテンツを環境の中に効果的に組み入れることをしておらず、そのことが、ヘッドマウントディスプレイを使用したユーザのエクスペリエンスに悪影響を与えることがある。

それゆえ、従来の解決策の上記の問題点に対処することができる方法およびデバイスが必要である。

本開示は、拡張現実対応デバイスのためのユーザインターフェースに関する。本開示の実施形態によれば、拡張現実コンテンツを表示する方法は、ユーザの視界内の環境を走査するためにカメラを制御するステップと、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するステップと、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるステップと、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するステップとを含む。環境の特徴は、少なくとも、表示されるべき拡張現実コンテンツのセットに対する表面のセットのアスペクト比、および/または表示されるべき拡張現実コンテンツのセットに対する表面のセットの背景色を含む。

いくつかの実施態様では、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付ける方法は、表面のセットの面積、表面のセットの向き、ユーザの視野に対する表面のセットのロケーション、および表面のセットの追跡容易性に基づいて表示する拡張現実コンテンツのセットを優先順位付けるステップを含む。

いくつかの他の実施態様では、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付ける方法は、表示されるべき拡張現実コンテンツのセットに対する表面のセットのアスペクト比、および表示されるべき拡張現実コンテンツのセットに対する表面のセットの背景色のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるステップをさらに含む。

さらにいくつかの他の実施態様では、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付ける方法は、環境内のユーザの以前の使用パターンの履歴に従って表示する拡張現実コンテンツのセットを決定するステップをさらに含む。表示する拡張現実コンテンツのセットを決定する方法は、ユーザが勤務中であるとの判断に応答して表示する拡張現実コンテンツの第1のセットを選択するステップと、ユーザが在宅中であるとの判断に応答して表示する拡張現実コンテンツの第2のセットを選択するステップと、ユーザが業務会議中であるとの判断に応答して表示する拡張現実コンテンツの第3のセットを選択するステップと、ユーザが社交活動中であるとの判断に応答して表示する拡張現実コンテンツの第4のセットを選択するステップとのうちの少なくとも1つを含む。

拡張現実コンテンツの第1のセットは、ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含み、拡張現実コンテンツの第2のセットは、ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含むことに留意されたい。コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの第1のセットは、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含み、コミュニケーションおよび娯楽のための拡張現実コンテンツの第2のセットは、フェイスブック、ツイッター、ムービーおよびビデオゲームアプリケーションを含む。

さらにいくつかの他の実施態様では、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付ける方法は、表示されるべき拡張現実コンテンツのセットのスケールファクタ、および表示されるべき拡張現実コンテンツのセットの論理的関係のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるステップをさらに含む。

さらにいくつかの他の実施態様では、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付ける方法は、所定のユーザ選好に従って表示する拡張現実コンテンツのセットを決定するステップと、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するステップとをさらに含む。所定のユーザ選好は、ユーザに対する拡張現実コンテンツの重要性、表示されるべき拡張現実コンテンツの量、および表面のセットに対する拡張現実コンテンツの視線の向きのうちの少なくとも1つを含む。

別の実施形態では、コンピュータプログラム製品は、1つまたは複数の制御システムによる実行のためのコンピュータプログラムを記憶する非一時的媒体を備え、コンピュータプログラム製品は、ユーザの視界内の環境を走査するためにカメラを制御するためのコードと、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するためのコードと、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるためのコードと、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するためのコードとを含む。

さらに別の実施形態では、装置は少なくとも1つのプロセッサを備え、ここで、少なくとも1つのプロセッサは、ユーザの視界内の環境を走査するためにカメラを制御するように構成された論理回路と、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するように構成された論理回路と、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるように構成された論理回路と、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するように構成された論理回路とを備える。

さらに別の実施形態では、拡張現実コンテンツを表示するためのシステムは、ユーザの視界内の環境を走査するためにカメラを制御するための手段と、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するための手段と、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段と、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するための手段とを含む。

本開示の上述の特徴および利点、ならびに本開示の追加の特徴および利点は、以下の図面とともに本開示の実施形態の詳細な説明を読めば、より明確に理解できよう。

いくつかの従来のアプリケーションによって表示された情報の一例を示す図である。 本開示のいくつかの態様による拡張現実対応デバイスを示す図である。 本開示のいくつかの態様による例示的な拡張現実対応デバイスのブロック図である。 本開示のいくつかの態様による別の例示的な拡張現実対応デバイスを示す図である。 本開示のいくつかの態様による図4の拡張現実対応デバイスのブロック図である。 本開示のいくつかの態様による拡張現実対応デバイスのための例示的なユーザインターフェースを示す図である。 本開示のいくつかの態様による拡張現実コンテンツを表示する例示的な方法を示す図である。

拡張現実対応デバイスのためのユーザインターフェースの実施形態を開示する。以下の説明は、いかなる当業者でも本開示を実施し、使用することができるようにするために提示される。特定の実施形態およびアプリケーションの説明は、例としてのみ提供される。本明細書で説明する例の様々な修正および組合せが当業者には容易に明らかであり、本明細書で定義した一般原理は、本開示の趣旨および範囲から逸脱することなく他の例およびアプリケーションに適用できる。したがって、本開示は、説明され示される例に限定されることが意図されず、本明細書で開示される原理および特徴に一致する最大の範囲を与えられることが意図される。「例示的」または「例」という用語は、本明細書では、「例、事例、または例示の働きをすること」を意味するために使用する。「例示的」または「例」として本明細書に記載される任意の態様または実施形態は、他の態様または実施形態に比べて好ましいか、または有利であると必ずしも解釈されるべきではない。

図2は、本開示のいくつかの態様による拡張現実対応デバイスを示す。図2に示すように、拡張現実対応デバイス(ARD)200は、ハウジング101と、ディスプレイ102と、1つまたは複数のスピーカー104と、マイクロフォン106とを含む。タッチスクリーンディスプレイであってよいディスプレイ102は、カメラ105によってキャプチャされた画像、または任意の他の所望のユーザインターフェース情報を示すことができる。当然、ARD 200は、本開示に関係するとは限らない追加の構成要素を含み得る。

本明細書で使用される場合、ARDデバイスは、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、または他の適したモバイルプラットフォームなどの任意のポータブル電子デバイスを指す。モバイルプラットフォームは、航法測位信号など、ワイヤレス通信信号および/またはナビゲーション信号を受信することが可能であり得る。ARDという用語はまた、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、パーソナルナビゲーションデバイス(PND)において行われるかにかかわらず、短距離ワイヤレス接続、赤外線接続、有線接続、または他の接続によってなど、PNDと通信するデバイスを含むことが意図される。また、ARDは、ポーズ追跡の際に使用される画像をキャプチャすることが可能であると同様に、拡張現実ユーザインターフェース機能を実行することも可能な、ワイヤレス通信デバイス、コンピュータ、ラップトップ、タブレットコンピュータ、スマートフォン、デジタルカメラなどを含めて、すべての電子デバイスを含むことが意図される。

図3は、本開示のいくつかの態様による例示的な拡張現実対応デバイスのブロック図を示す。ARD300のモバイルプラットフォームは、個々の写真またはビデオのフレームのいずれかであってよい、環境の画像をキャプチャするためのカメラ108を含む。ARD300のモバイルプラットフォームは、それを用いてARD300のモバイルプラットフォームがその位置および方向、すなわち、ポーズを判断することができるデータを提供するために使用され得るセンサ116を含むことも可能である。ARD300のモバイルプラットフォームとともに使用され得るセンサの例には、線形加速度計として使用される加速度計、水晶センサ、ジャイロ、マイクロ電気機械システム(MEMS)センサ、ならびに磁力計が含まれる。

ARD300のモバイルプラットフォームは、画像を表示することができるディスプレイ112を含むユーザインターフェース110も含み得る。ユーザインターフェース110は、キーパッド114、または、ユーザが情報をARD300のモバイルプラットフォームに入力することができる他の入力デバイスを含むことも可能である。所望の場合、キーパッド114は、仮想キーパッドをタッチセンサ付きディスプレイ112に組み込むことによって取り除くことができる。ユーザインターフェース110は、たとえば、モバイルプラットフォームがセルラー電話である場合、マイクロフォン117および1つまたは複数のスピーカー118を含むこともできる。当然、ARD300のモバイルプラットフォームは、本開示に関係しない他の要素を含むことが可能である。

ARD300のモバイルプラットフォームはさらに、制御ユニット120を含んでおり、制御ユニット120は、カメラ108およびセンサ116のみならず、ユーザインターフェース110に、その他任意の所望される機能とともに接続されており、これらと通信する。制御ユニット120は、1つまたは複数のプロセッサ122と、関連するメモリ/記憶装置124とによって提供され得る。制御ユニット120は、ソフトウェア126、ならびにハードウェア128、およびファームウェア130を含むことも可能である。制御ユニット120は、ARD300の位置を追跡すると同様に、ARD300によって監視される1つまたは複数のオブジェクトの位置も追跡するように構成された追跡モジュール132を含む。制御ユニット120は、ARD300のディスプレイ112上に拡張現実相互作用を提示するように構成された拡張現実ユーザインターフェースモジュール134をさらに含む。わかりやすいように、追跡モジュール132および拡張現実ユーザインターフェースモジュール134は、プロセッサ122および/またはハードウェア128とは切り離して図示されるが、ソフトウェア126内およびファームウェア130内の命令に基づいて、プロセッサ122内および/もしくはハードウェア128内で組み合わせること、ならびに/または実装することが可能である。

図4は、本開示のいくつかの態様による別の例示的な拡張現実対応デバイス400を示す。図4に示すように、拡張現実対応デバイス400は、ヘッドマウントデバイスであり得る。本開示の態様によれば、ヘッドマウントデバイスは、経時的にユーザの使用パターンおよび選好を学習し、ユーザが居る時間と環境とに基づいてユーザインターフェースウィンドウを自動的に適合させるように構成され得る。たとえば、ヘッドマウントデバイスは、ある環境内のユーザの以前の使用パターンの履歴に従って表示する拡張現実コンテンツのセットを決定し、次にそれに応じて拡張現実コンテンツのセットを表示するように構成され得る。

1つの手法では、ヘッドマウントデバイスは、ユーザが勤務中であるとの判断に応答して、表示する拡張現実コンテンツの第1のセットを選択するように構成され得る。別の手法では、ヘッドマウントデバイスは、ユーザが在宅中であるとの判断に応答して、表示する拡張現実コンテンツの第2のセットを選択するように構成され得る。さらに別の手法では、ヘッドマウントデバイスは、ユーザが業務会議中であるとの判断に応答して、表示する拡張現実コンテンツの第3のセットを選択するように構成され得る。さらに別の手法では、ヘッドマウントデバイスは、ユーザが社交活動中であるとの判断に応答して、表示する拡張現実コンテンツの第4のセットを選択するように構成され得る。

本開示の態様によれば、拡張現実コンテンツの第1のセットは、ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含んでもよく、拡張現実コンテンツの第2のセットは、ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含んでもよい。コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの第1のセットは、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含んでもよく、コミュニケーションおよび娯楽のための拡張現実コンテンツの第2のセットは、フェイスブック、ツイッター、ムービーおよびビデオゲームアプリケーションを含んでもよい。

図5は、本開示のいくつかの態様による図4の拡張現実対応デバイスのブロック図を示す。いくつかの実施態様では、ヘッドマウントデバイス400は、本明細書で説明する様々な実施形態の動作を実行し、データをサーバに通信し、データをサーバから受信するプロセッサ507に、センサアレイ500がデータを供給し得るシステムの一部として動作し得る。ヘッドマウントデバイス400のプロセッサ507は、2つ以上のプロセッサ(もしくは、マルチコアプロセッサ)を含んでもよく、コアプロセッサは、全体的な制御機能を実行することができるが、コプロセッサは、アプリケーションを実行し、アプリケーションプロセッサと呼ばれることがあることに留意されたい。コアプロセッサおよびアプリケーションプロセッサは、マルチコアプロセッサなど、同じマイクロチップパッケージ内、または別個のチップ内に構成されてもよい。また、プロセッサ507は、ワイヤレス通信(すなわち、モデムプロセッサ)、ナビゲーション(たとえば、GPS受信機内のプロセッサ)、およびグラフィックス処理(たとえば、グラフィックスプロセッシングユニット、すなわち“GPU”)など、他の機能に関連付けられたプロセッサとともに、同じマイクロチップパッケージ内でパッケージ化されてもよい。

ヘッドマウントデバイス400は、インターネットにアクセスするパーソナルコンピュータおよびモバイルデバイスなど、他のコンピューティングデバイスを含み得る、通信システムまたはネットワークと通信することができる。そのようなパーソナルコンピュータおよびモバイルデバイスは、アンテナ551と、送信機/受信機または送受信機552と、プロセッサがワイヤレス通信ネットワークを介してデータを送信、受信することを可能にするために、プロセッサ507に結合されたアナログデジタル変換器553とを含み得る。たとえば、セルラー電話などのモバイルデバイスは、ワイヤレス通信ネットワーク(たとえば、Wi-Fiまたはセルラー電話データ通信ネットワーク)を介して、インターネットにアクセスすることができる。そのようなワイヤレス通信ネットワークは、インターネットに結合されたゲートウェイまたはインターネットアクセスサーバに結合された、複数の基地局を含み得る。パーソナルコンピュータは、インターネットゲートウェイ(図示せず)を介したワイヤード接続によって、または、ワイヤレス通信ネットワークによってなど、任意の従来の方法でインターネットに結合され得る。

図5を参照すると、ヘッドマウントデバイス400は、いくつかのモジュール510〜550で構成され得る制御システムプロセッサ507に結合された、シーンセンサ500とオーディオセンサ505とを含み得る。一実施形態では、プロセッサ507またはシーンセンサ500は、解剖学的(anatomical)特徴認識アルゴリズムを画像に適用して、1つまたは複数の解剖学的特徴を検出することができる。制御システムに関連付けられたプロセッサ507は、1つまたは複数のジェスチャーを認識し、認識されたジェスチャーを入力コマンドとして処理するために、検出された解剖学的特徴をレビューすることができる。たとえば、以下でより詳細に説明するように、ユーザは、仮想オブジェクトを閉じるために、仮想オブジェクトを指さすなど、入力コマンドに対応する動きジェスチャーを実行することができる。この例示的なジェスチャーを認識することに応答して、プロセッサ507は、仮想オブジェクトをディスプレイから除去することができる。別の例として、ユーザは、ディスプレイ上に提示された命令またはオプションを確認するために、片手で人差し指を親指に触れるようにして、“OK”サインを作ることができる。

ステレオカメラと、向きセンサ(たとえば、加速度計および電子コンパス)と、距離センサとを含み得るシーンセンサ500は、3次元シーン情報を解釈するように構成され得る、プロセッサ507内に実装されたシーンマネージャ510に、シーンに関係するデータ(たとえば、画像)を供給することができる。様々な実施形態では、シーンセンサ500は、(後述のような)ステレオカメラと、距離センサとを含んでもよく、距離センサは、赤外線カメラのためにシーンを明るくするための赤外光放出器を含み得る。たとえば、図5に示す一実施形態では、シーンセンサ500は、ステレオ画像を収集するためのステレオred-green-blue(RGB)カメラ503aと、構造化赤外光放出器503cによって供給され得る赤外光においてシーンを撮像するように構成された赤外線カメラ503bとを含み得る。以下で説明するように、構造化赤外光放出器は、赤外線カメラ503bによって撮像され得る赤外光のパルスを放出するように構成されてもよく、受信されたピクセルの時間が記録され、飛行時間(time-of-flight)計算を使用して画像要素までの距離を決定するために使用される。総称して、ステレオRGBカメラ503a、赤外線カメラ503b、および赤外線放出器503cは、RGB-D(Dは距離を表す)カメラ503と呼ばれることがある。

シーンマネージャモジュール510は、ステレオカメラからの距離と、表面の向き情報とを含む、画像内のオブジェクトの3次元再構成を生じるために、シーンセンサ500によって供給された距離測定値および画像を走査することができる。一実施形態では、シーンセンサ500、および、より詳細にはRGB-Dカメラ503は、ユーザおよびヘッドマウントデバイス400の視野に整合された方向を指すことができる。シーンセンサ500は、全身3次元モーションキャプチャおよびジェスチャー認識を実現することができる。シーンセンサ500は、単色CMOSセンサなど、赤外線カメラ503bと組み合わされた赤外光放出器503cを有し得る。シーンセンサ500は、3次元ビデオデータをキャプチャするステレオカメラ503aをさらに含み得る。シーンセンサ500は、周囲光、日光、または完全な暗闇で動作することができ、本明細書で説明するRGB-Dカメラを含み得る。シーンセンサ500は、近赤外(NIR)パルス照明構成要素、ならびに、高速ゲーティング機構をもつ画像センサを含み得る。パルス信号は、ピクセルごとに収集され、そこからパルスが反射されたロケーションに対応し得るものであり、キャプチャされた被写体上の対応する点までの距離を計算するために使用され得る。

別の実施形態では、シーンセンサ500は、他の距離測定技術(すなわち、異なるタイプの距離センサ)を使用して、画像内のオブジェクトの距離をキャプチャすることができ、たとえば、超音波エコーロケーション、レーダー、立体画像の三角測量などである。上記で説明したように、一実施形態では、シーンセンサ500は、測距カメラ、フラッシュ光検出および測距(LIDAR:light detection and ranging)カメラ、飛行時間型(ToF)カメラ、および/またはRGB-Dカメラ503を含んでもよく、これらのカメラは、レンジゲートToF検知、RF変調ToF検知、パルス光ToF検知、および投影光ステレオ検知のうちの少なくとも1つを使用して、オブジェクトまでの距離を決定することができる。別の実施形態では、シーンセンサ500は、ステレオカメラ503aを使用して、シーンのステレオ画像をキャプチャし、画像内に含まれているキャプチャされたピクセルの輝度に基づいて、距離を決定することができる。上述のように、一貫性のために、これらのタイプの距離測定センサおよび技法のうちの1つまたは複数を、本明細書では概して「距離センサ」と呼ぶ。異なる能力および分解能の複数のシーンセンサが、物理的環境のマップ作成、環境内のユーザの位置の正確な追跡、およびユーザの環境の視界の正確な追跡を助けるために存在してもよい。

ヘッドマウントデバイス400はまた、マイクロフォンまたはマイクロフォンアレイなど、オーディオセンサ505をも含み得る。オーディオセンサ505は、ヘッドマウントデバイス400が音声を記録し、音響源の位置特定および周囲雑音抑圧を実施することを可能にする。オーディオセンサ505は、オーディオをキャプチャし、オーディオ信号をオーディオデジタルデータに変換することができる。制御システムに関連付けられたプロセッサは、音声デジタルデータをレビューし、音声認識アルゴリズムを適用して、そのデータを検索可能なテキストデータに変換することができる。プロセッサはまた、ある認識されたコマンドまたはキーワードについて生成されたテキストデータをレビューし、認識されたコマンドまたはキーワードを入力コマンドとして使用して、1つまたは複数のタスクを実行することもできる。たとえば、ユーザは、「仮想オブジェクトをアンカーする」などのコマンドを話して、表示された仮想オブジェクトを選択された表面上にアンカーすることができる。たとえば、ユーザは、「アプリケーションを閉じる」と話して、ディスプレイ上に表示されたアプリケーションを閉じることができる。

ヘッドマウントデバイス400はまた、ディスプレイ540をも含み得る。ディスプレイ540は、シーンセンサ500内のカメラによって取得されたか、または、ヘッドマウントデバイス400内の、もしくはヘッドマウントデバイス400に結合されたプロセッサによって生成された画像を表示することができる。一実施形態では、ディスプレイ540は、マイクロディスプレイであってもよい。ディスプレイ540は、完全にふさがれたディスプレイであってもよい。別の実施形態では、ディスプレイ540は、ユーザがそれを見通して周囲の環境を見ることができる画面上に画像を表示することができる、半透明のディスプレイであってもよい。ディスプレイ540は、単眼またはステレオ(すなわち、双眼)構成で構成され得る。代替として、ヘッドマウントディスプレイ400は、頭に装着されたヘルメットマウントディスプレイデバイス、またはヘルメットの一部であってもよく、片目の前(単眼)または両目の前(すなわち、双眼もしくはステレオディスプレイ)に小型ディスプレイ540光学素子を有してもよい。代替として、ヘッドマウントデバイス400はまた、2つのディスプレイユニット540を含んでもよく、ディスプレイユニット540は小型化され、陰極線管(CRT)ディスプレイ、液晶ディスプレイ(LCD)、液晶オンシリコン(LCos)ディスプレイ、有機発光ダイオード(OLED)ディスプレイ、単純な微小電気機械システム(MEMS)デバイスである干渉変調器(IMOD)素子に基づいたミラソルディスプレイ、導光ディスプレイおよび導波ディスプレイ、ならびに、既存の他のディスプレイ技術および開発され得る他のディスプレイ技術のうちのいずれか1つまたは複数であってもよい。別の実施形態では、ディスプレイ540は、全体の総合分解能を高め、視野を拡大するために、複数のマイクロディスプレイ540を備え得る。

ヘッドマウントデバイス400はまた、オーディオ出力デバイス550を含んでもよく、オーディオ出力デバイス550は、音声を出力するための、まとめて参照番号550として示されるヘッドフォンおよび/またはスピーカーであってもよい。ヘッドマウントデバイス400はまた、制御機能をヘッドマウントデバイス400に提供し、ならびに、図6に関連して以下で説明するユーザインターフェースウィンドウなどの画像を生成することができる、1つまたは複数のプロセッサをも含み得る。たとえば、ヘッドマウントデバイス400は、コアプロセッサ、アプリケーションプロセッサ、グラフィックスプロセッサ、およびナビゲーションプロセッサを含み得る。代替として、ヘッドマウントデバイス400は、スマートフォンまたは他のモバイルコンピューティングデバイスにおけるプロセッサなど、別個のプロセッサに結合され得る。ビデオ/オーディオ出力は、プロセッサによって、または、ヘッドマウントデバイス400に(ワイヤもしくはワイヤレスネットワークを介して)接続されるモバイルCPUによって処理され得る。ヘッドマウントデバイス400はまた、シーンマネージャブロック510と、ユーザ制御ブロック515と、表面マネージャブロック520と、オーディオマネージャブロック525と、情報アクセスブロック530とを含んでもよく、これらのブロックは、個別の回路モジュールであってもよく、または、プロセッサ内でソフトウェアモジュールとして実装されてもよい。ヘッドマウントデバイス400は、ローカルメモリと、リモートメモリ555からデジタルデータを受信するために、他のデバイスまたはローカルのワイヤレスもしくはワイヤードネットワークと通信するための、ワイヤレスまたはワイヤードインターフェースとをさらに含み得る。システム内でリモートメモリ555を使用することで、デバイス内のメモリチップおよび回路基板を減らすことによって、ヘッドマウントデバイス400がより軽量になり得るようにすることができる。

コントローラのシーンマネージャブロック510は、シーンセンサ500からデータを受信し、物理的環境の仮想表現を構築することができる。たとえば、レーザーを使用して、室内のオブジェクトから反射され、カメラにおいてキャプチャされるレーザー光を放出することができ、光の往復時間が、室内の様々なオブジェクトおよび表面までの距離を計算するために使用される。そのような距離測定値を使用して、室内のオブジェクトのロケーション、サイズ、および形状を決定し、シーンのマップを生成することができる。マップが編成された後、シーンマネージャブロック510は、そのマップを他の生成されたマップにリンクして、所定の面積のより大きいマップを形成することができる。一実施形態では、シーンおよび距離データが、サーバまたは他のコンピューティングデバイスに送信されてもよく、サーバまたは他のコンピューティングデバイスは、いくつかのヘッドマウントデバイスから(および、ユーザがシーン内で動き回った時間とともに)受信された画像、距離、およびマップデータに基づいて、融合または統合されたマップを生成することができる。そのような統合マップデータは、ヘッドマウントデバイスプロセッサへのワイヤレスデータリンクを介して利用可能にされる。他のマップは、インスタントデバイスによって、もしくは他のヘッドマウントデバイスによって走査されたマップであってもよく、または、クラウドサービスから受信されてもよい。シーンマネージャ510は、シーンセンサ500からのデータに基づいて、表面を識別し、ユーザの現在位置を追跡することができる。ユーザ制御ブロック515は、システムへのユーザ制御入力、たとえば、オーディオコマンド、ジェスチャー、および入力デバイス(たとえば、キーボード、マウス)を収集することができる。一実施形態では、ユーザ制御ブロック515は、シーンマネージャ510によって識別されたユーザの身体部分の動きを解釈するためにジェスチャー辞書を含み得るかまたはそれにアクセスするように構成され得る。ジェスチャー辞書は、突く(poke)こと、軽くたたく(pat)こと、タップ(tap)、押す(push)こと、案内、フリック、ターン、回転、つかんで引く(grab and pull)こと、画像をパンするために両手のひらを開くこと、描画(たとえば、フィンガーペインティング)、指で形状を作ること(たとえば、“OK”サイン)、およびスワイプを含み得るジェスチャーを認識するために、動きのデータまたはパターンを記憶することができ、それらのジェスチャーのすべては、生成された表示内の仮想オブジェクトの見かけのロケーションで、または見かけのロケーションにごく接近して達成され得ることに留意されたい。ユーザ制御ブロック515はまた、複合コマンドを認識することもできる。これには、2つ以上のコマンドが含まれ得る。たとえば、ジェスチャーとサウンド(たとえば、拍手)またはボイスとがコマンドを制御する(たとえば、手のジェスチャーを検出した“OK”が作られ、動作を追認するためにボイスコマンドまたは口頭の言葉と組み合わされる)。ユーザ制御515が識別されるとき、コントローラは、ヘッドマウントデバイス400の別の下位構成要素に要求を与えることができる。

ヘッドマウントデバイス400はまた、表面マネージャブロック520をも含み得る。表面マネージャブロック520は、(シーンマネージャブロック510によって管理されるような)キャプチャされた画像と、距離センサからの測定値とに基づいて、シーン内の表面の位置を連続的に追跡することができる。表面マネージャブロック520はまた、キャプチャされた画像内の表面上にアンカーされ得る仮想オブジェクトの位置を連続的に更新することもできる。表面マネージャブロック520は、アクティブな表面およびユーザインターフェースウィンドウを担当することができる。オーディオマネージャブロック525は、音声入力およびオーディオ出力のための制御命令を与えることができる。オーディオマネージャブロック525は、ヘッドフォンおよびスピーカー550に送出されるオーディオストリームを構築することができる。

情報アクセスブロック530は、デジタル情報へのアクセスを仲介するための制御命令を与えることができる。データは、ヘッドマウントデバイス400上のローカルメモリ記憶媒体上に記憶され得る。データはまた、アクセス可能なデジタルデバイス上のリモートデータ記憶媒体555上に記憶されてもよく、または、データは、ヘッドマウントデバイス400によってアクセス可能である分散クラウド記憶メモリ上に記憶されてもよい。情報アクセスブロック530は、データストア555と通信し、データストア555は、メモリ、ディスク、リモートメモリ、クラウドコンピューティングリソース、または内蔵メモリ555であってもよい。

図6は、本開示のいくつかの態様による拡張現実対応デバイスのための例示的なユーザインターフェースを示す。図6に示すように、ユーザインターフェースは、現実世界のオブジェクトとARコンテンツとを効果的に融合させるように構成され得る。例示的な一実施態様では、ARDは、前向きカメラを使用して環境を走査する。1つの手法では、Qualcomm Vuforia(登録商標)コンピュータビジョンアプリケーションは、平坦な表面を検出するために使用され得る。図6に示すように、平坦な表面は、ユーザの上、下、左、右、および前の視界における表面を含んでもよく、環境は、テーブル602、ウィンドウ604、絵画606、およびランプ608などの現実世界のオブジェクトを含んでもよい。ユーザインターフェースウィンドウ、たとえば610、612、614、616、618、620、622、および624は、次に、電子メール、PowerPointプレゼンテーション、フェイスブック、ツイート、ムービーなどの拡張現実コンテンツを表示するために平坦な表面に配置され得る。

いくつかの実施態様では、拡張現実コンテンツの数が識別されたユーザインターフェースウィンドウの数より多い場合、ARDは、表示されるべき拡張現実コンテンツの数を優先順位付けしてプルーニングするように構成され得る。いくつかの他の実施態様では、ARDは、検出された平坦な表面をマージまたは分割してユーザインターフェースウィンドウの異なるセットを形成し、表示されるべき拡張現実コンテンツに適合するように構成され得る。

本開示の実施形態によれば、ARDは、限定はしないが、a)ユーザインターフェースウィンドウの特徴がどれだけ良好に追跡され得るか、b)表面のエリア/サイズ、c)ユーザの視野(FOV)に対する表面のロケーション、4)表面の向きおよびアスペクト比、および5)表面の背景色を含む基準に基づいて、検出された平坦な表面を優先順位付けるように構成され得る。いくつかの実施態様では、表面が多くの色を有し、高周波数変動を有する場合、ユーザが彼の頭を1つの視界から別の視界に移動しても仮想のユーザインターフェースウィンドウが表面に「固着する(stick)」ことができるように、マーカのセットが選択され得る。さらに、ユーザが人と会話している状況では、ユーザインターフェースウィンドウがユーザの人との会話を干渉しないように、周辺にある表面が中心にある表面より優先され得る。いくつかのアプリケーションでは、大きい面積が小さい面積より優先され得る。

いくつかの実施態様では、表示されるべきコンテンツに応じて、垂直の向きを有する表面が、Word文書を表示するために優先され得る一方で、水平の向きを有する表面が、ムービーを表示するために優先され得る。さらに、各ユーザインターフェースウィンドウのアスペクト比が、表示されるべき拡張現実コンテンツをユーザインターフェースウィンドウに適合させることにおける基準として使用され得る。たとえば、長くて狭い水平のユーザインターフェースウィンドウが、株式ティッカーを表示するために使用され得る一方で、約16:9または4:3のアスペクト比を有するユーザインターフェースウィンドウが、ムービーを表示するために使用され得る。

他の実施態様では、表面(たとえば、壁)の背景色は、ユーザインターフェースウィンドウにおいて表示されるべき拡張現実コンテンツを適合させることにおける基準として使用され得る。たとえば、灰色の表面の上に表示される拡張現実コンテンツは、ウィンドウからの光または環境内の他の光源からの光を反射する無地の白い壁より大きいコントラストを有し得るので、灰色の壁紙を有する壁は、平坦な白い壁より優先され得る。

本開示の態様によれば、背景として使用されるべき表面が優先順位付けられた後、ユーザインターフェースウィンドウは、次に、表示に対して特徴づけられ得る。ユーザインターフェースウィンドウは、限定はしないが、a)ユーザに対する特定のコンテンツの重要性、b)表示されるべきコンテンツの量、およびc)表示されるべきコンテンツの視線の向きおよびアスペクト比を含む基準に基づく属性を与えられる。

次に、ARDは、上記で説明した基準に基づいて表面にユーザインターフェースウィンドウを割り当て得る。たとえば、多くのコンテンツを有するより高い優先度のユーザインターフェースウィンドウは、大きい面積を有する高優先度の表面内に入れられ得る。ARDは、ユーザが彼の頭を移動させたために前向きカメラによってキャプチャされたフレーム内で表面が移動したかどうか、または実際の表面(たとえば、バスの側面)が移動したかどうかを追跡するように構成され得る。この判断は、ARD内の1つまたは複数の6自由度のセンサ(たとえば、加速度計、磁力計、およびジャイロスコープ)を使用することに基づいて行われる。たとえば、ユーザの頭が静止したままで表面が移動した場合、その表面はプルーニングされ、ユーザインターフェースウィンドウは再び割り当てられ得る。本開示の態様によれば、1つの手法では、ARDは、ARDのカメラによってキャプチャされた画像とともにスケール不変特徴量変換(SIFT:scale-invariant feature transform)技法を使用して環境内の利用可能な表面を追跡するように構成され得る。別の手法では、ARDは、ARDのカメラによってキャプチャされた画像とともにランダムサンプルコンセンサス(RANSAC:random sample consensus)技法を使用して環境内の利用可能な表面を追跡するように構成され得る。さらに別の手法では、ARDは、環境内で利用可能な無線周波数識別情報(RFID:radio frequency identification)を使用するなど、非視覚的方法を使用して環境内の表面を追跡するように構成され得る。

本開示のいくつかの態様によれば、アンカー表面上などのシーン内の仮想オブジェクトは、連続的に追跡され、レンダリングされて、ユーザが自分の頭を回して動き回るときでも、仮想オブジェクトが静止して見えるようにすることができる。上述のように、ARD(たとえば、ヘッドマウントデバイス)の向きを周囲に対して設定し、様々な表面までの距離および様々な表面の相対的な向きを決定するプロセスは、向きセンサ(たとえば、加速度計およびジャイロスコープ)を監視することによって、ならびに走査された3次元(3D)環境のトポグラフィーにおける変化を常に参照することによってデバイスが空間内で移動するときデバイスの視界の位置および角度を三角測量することによって連続的に達成され得、こうして同時位置特定およびマップ作成(SLAM:Simultaneous Location and Mapping)動作が実行される。

図6に示し、上記で説明した方法を使用して、ユーザインターフェースウィンドウ610は、相対的に低い優先度と相対的に低い追跡容易性とを有し、120平方フィートのサイズを有する横長モードにおける地面上のエリアを描写し得る。ユーザインターフェースウィンドウ612は、相対的に中間の優先度と相対的に高い追跡容易性とを有し、70平方フィートのサイズを有する縦長モードにおける右壁上のエリアを描写し得る。ユーザインターフェースウィンドウ614は、相対的に中間の優先度と相対的に高い追跡容易性とを有し、100平方フィートのサイズを有する縦長モードにおける右壁上のエリアを描写し得る。ユーザインターフェースウィンドウ616は、相対的に低い優先度と相対的に低い追跡容易性とを有し、100平方フィートのサイズを有する横長モードにおける天井の上のエリアを描写し得る。ユーザインターフェースウィンドウ618は、相対的に高い優先度と相対的に高い追跡容易性とを有し、80平方フィートのサイズを有する横長モードにおける前壁上のエリアを描写し得る。ユーザインターフェースウィンドウ620は、相対的に高い優先度と相対的に高い追跡容易性とを有し、50平方フィートのサイズを有する横長モードにおける左壁上のエリアを描写し得る。ユーザインターフェースウィンドウ622は、相対的に中間の優先度と相対的に高い追跡容易性とを有し、100平方フィートのサイズを有する縦長モードにおける左壁上のエリアを描写し得る。ユーザインターフェースウィンドウ624は、相対的に中間の優先度と相対的に高い追跡容易性とを有し、50平方フィートのサイズを有する横長モードにおける左壁上のエリアを描写し得る。

ARDが環境内の平坦な表面を識別した後、ARDは、ARウィンドウを平坦な表面に、それらのそれぞれの優先度の順に割り当て得る。たとえば、ユーザが彼の会議の前に彼のパーソナルコンピュータ上で最後に作業していたWord文書がより高い優先度を有してもよく、会議室の中の彼の前の壁の上に配置され得る。本開示の態様によれば、ARDは、ARウィンドウのサイズが表示されるべきARコンテンツに適合することを確保するようにARウィンドウのサイズを考慮することができる。たとえば、表示されるべき文書のフォントが小さすぎて読み取りにくい場合、ARウィンドウのサイズは拡大され得る。一方、ARウィンドウのサイズが文書に対して大きすぎてユーザの目に違和感がある場合、ARウィンドウのサイズは縮小され得る。いくつかの実施態様では、ARDは、ARウィンドウを伸ばすかまたは縮めるために使用され得るスケールファクタのセットを適用し得る。1つの手法では、resize_minおよびresize_maxなどの最小スケールファクタおよび最大スケールファクタが、ARウィンドウのサイズを調整するために使用され得る。たとえば、文書を表示するための一般的な値は、640×480VGAなど、所定のARウィンドウのサイズに基づいてresize_minに対する0.5(50%)からresize_maxに対する3.0(300%)までに及ぶことがある。別の例に対して、Netflixアプリケーションから再生されるべきムービーに対するresize_minおよびresize_maxは、それぞれ0.5(50%)および10.0(1000%)であってもよく、ムービーは、文書よりずっと大きくサイズ変更され得ることを示している。

いくつかの実施態様では、ARウィンドウが所与の表面上に表示され得るサイズに基づいて、2つ以上のARウィンドウをサポートするために平坦な表面を分割する決定が行われ得る。本開示の態様によれば、第1のARウィンドウに割り振られた表面は、さらに、第1のARウィンドウ内に表示されるべきARコンテンツが利用可能な表面全体を使用しない場合、複数のARウィンドウに分割され得る。一方、複数のARウィンドウは、表示されるべきARコンテンツがより大きい表示表面を必要とする場合、新しいARウィンドウを形成するために融合され得る。

いくつかの他の実施態様では、ARウィンドウに対するARコンテンツの優先順位付けおよび割り当ては、表示されるべきARコンテンツの間の論理的関係によって決定され得る。ARDは、複数の論理的に関連するARコンテンツを互いに近接する2つ以上のARウィンドウ内に表示するように構成され得る。たとえば、ARDは、1つのARウィンドウを科学理論を説明する文書を表示するために使用し、隣接するARウィンドウをその科学理論のデモンストレーションを示すビデオを表示するために使用するように構成され得る。別の例として、ARDは、1つのARウィンドウを会議で発行されるべき論文を表示するために使用し、隣接するARウィンドウを著者が会議で論文を発表するために使用できるプレゼンテーションのスライドを表示するために使用するように構成され得る。

上記で説明したユーザインターフェースを用いて、ユーザは、確立されたユーザインターフェースウィンドウから拡張現実コンテンツを読み取りながら、彼らの周囲とより自然に相互作用することができる。というのは、これらのユーザインターフェースウィンドウは彼らの前に単に配置されるのではないからである。代わりに、ユーザインターフェースウィンドウは、本開示の態様によって、環境内の自然なシーンの中により良く融合されるように配置される。したがって、開示するユーザインターフェースは、ユーザに対する効率と生産性とを向上するように適用され得る。

図7は、本開示のいくつかの態様による拡張現実コンテンツを表示する例示的な方法を示す。ブロック702において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、ユーザの視界内の環境を走査するためにカメラを制御するように構成され得る。ブロック704において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するように構成され得る。ブロック706において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるように構成され得る。ブロック708において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するように構成され得る。

本開示の態様によれば、環境は、現実世界のオブジェクトを含み、ここで、表面のセットはユーザの上、下、左、右、および前の視界における表面を含み、ディスプレイはヘッドマウントディスプレイである。環境の特徴は、限定はしないが、表示されるべき拡張現実コンテンツのセットに対する表面のセットのアスペクト比、および表示されるべき拡張現実コンテンツのセットに対する表面のセットの背景色を含む。

本開示の実施形態によれば、ブロック706において実行される方法は、ブロック710、712、714、716および718において実行される方法をさらに含み得る。ブロック710において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、表面のセットの面積、表面のセットの向き、ユーザの視野に対する表面のセットのロケーション、および表面のセットの追跡容易性に基づいて表示する拡張現実コンテンツのセットを優先順位付けるように構成され得る。

ブロック712において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、表示されるべき拡張現実コンテンツのセットに対する表面のセットのアスペクト比、および表示されるべき拡張現実コンテンツのセットに対する表面のセットの背景色のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるように構成され得る。

ブロック714において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、環境内のユーザの以前の使用パターンの履歴に従って表示する拡張現実コンテンツのセットを決定するように構成され得る。いくつかの実施態様では、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、ユーザが勤務中であるとの判断に応答して表示する拡張現実コンテンツの第1のセットを選択することか、ユーザが在宅中であるとの判断に応答して表示する拡張現実コンテンツの第2のセットを選択することか、ユーザが業務会議中であるとの判断に応答して表示する拡張現実コンテンツの第3のセットを選択することか、またはユーザが社交活動中であるとの判断に応答して表示する拡張現実コンテンツの第4のセットを選択することを行うように構成され得る。

いくつかの実施態様では、拡張現実コンテンツの第1のセットは、ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含み、拡張現実コンテンツの第2のセットは、ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含む。さらに、コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの第1のセットは、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含み、コミュニケーションおよび娯楽のための拡張現実コンテンツの第2のセットは、フェイスブック、ツイッター、ムービーおよびビデオゲームアプリケーションを含む。

ブロック716において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、表示されるべき拡張現実コンテンツのセットのスケールファクタ、および表示されるべき拡張現実コンテンツのセットの論理的関係のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるように構成され得る。

ブロック718において、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、所定のユーザ選好に従って表示する拡張現実コンテンツのセットを決定し、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するように構成され得る。所定のユーザ選好は、ユーザに対する拡張現実コンテンツの重要性、表示されるべき拡張現実コンテンツの量、および表面のセットに対する拡張現実コンテンツの視線の向きのうちの少なくとも1つを含むことに留意されたい。

本開示の態様によれば、プロセッサ122および/または拡張現実ユーザインターフェースモジュール134は、環境内のマーカのセットを識別し、マーカのセットを表面のセットと関連付け、マーカのセットを使用して表面のセットを追跡するように構成され得る。本開示のいくつかの態様によれば、図7で説明する機能は、図3のプロセッサ122または拡張現実ユーザインターフェースモジュール134によって、あるいはそれら2つの組合せ、潜在的には1つまたは複数の他の要素も含めた組合せによって実装され得る。いくつかの実装形態では、機能は、本開示において説明する装置の様々な機能を実行するようにプロセッサ122、ソフトウェア126、ハードウェア128、およびファームウェア130またはそれらの組合せによって実行され得る。さらにいくつかの他の実施態様では、図7で説明する機能は、プロセッサ507と1つまたは複数の他の要素、たとえば図5の要素500〜550との組合せによって実施され得る。

少なくとも段落［００６０］〜［００６２］、図3、図5、図7およびそれらの対応する説明は、ユーザの視界内の環境を走査するためにカメラを制御するための手段と、環境の特徴に従ってユーザインターフェースウィンドウを表示するために環境内の表面のセットを識別するための手段と、環境内の表面のセットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段と、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するための手段とを提供することに留意されたい。少なくとも段落［００６０］〜［００６２］、図3、図5、図6、図7およびそれらの対応する説明は、表面のセットの面積、表面のセットの向き、ユーザの視野に対する表面のセットのロケーション、および表面のセットの追跡容易性に基づいて表示する拡張現実コンテンツのセットを優先順位付けるための手段と、表示されるべき拡張現実コンテンツのセットに対する表面のセットのアスペクト比および表示されるべき拡張現実コンテンツのセットに対する表面のセットの背景色のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるための手段と、環境内のユーザの以前の使用パターンの履歴に従って表示する拡張現実コンテンツのセットを決定するための手段と、表示されるべき拡張現実コンテンツのセットのスケールファクタおよび表示されるべき拡張現実コンテンツのセットの論理的関係のうちの少なくとも1つに基づいて表示する拡張現実コンテンツのセットを優先順位付けるための手段と、所定のユーザ選好に従って表示する拡張現実コンテンツのセットを決定するための手段と、表面のセット上の拡張現実コンテンツのセットをディスプレイに表示するための手段とを提供する。

本明細書において説明される方法およびモバイルデバイスは、応用形態に応じて種々の手段によって実施され得る。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの組合せで実施され得る。ハードウェア実装形態の場合、処理ユニットは、本明細書で説明される機能を実行するように設計された、1つもしくは複数の特定用途向け集積回路(ASIC)、デジタルシグナルプロセッサ(DSP)、デジタルシグナルプロセシングデバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組合せ内で実装され得る。本明細書では、「制御論理回路」という用語は、ソフトウェア、ハードウェア、ファームウェア、またはそれらの組合せによって実装された論理回路を包含する。

ファームウェアおよび/またはソフトウェア実装形態の場合、これらの方法は、本明細書で説明される機能を実行するモジュール(たとえば、プロシージャ、関数など)によって実施され得る。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法の実施において使用され得る。たとえば、ソフトウェアコードは、メモリに記憶され、処理ユニットによって実行され得る。メモリは、処理ユニット内に実装されてもよく、または処理ユニットの外部に実装されてもよい。本明細書において用いる「メモリ」という用語は、長期、短期、揮発性、不揮発性、または他の記憶デバイスのいずれかのタイプを指しており、任意の特定のタイプのメモリもしくはメモリの数には限定されず、またはメモリが格納される媒体のタイプに関して限定されない。

ファームウェアおよび/またはソフトウェアで実装された場合、これらの関数は、コンピュータ可読媒体上に1つもしくは複数の命令またはコードとして格納され得る。例えば、データ構造によって符号化されたコンピュータ可読媒体およびコンピュータプログラムによって符号化されたコンピュータ可読媒体を含む。コンピュータ可読媒体は製造物品の形態をとり得る。コンピュータ可読媒体は、物理的なコンピュータ記憶媒体および/またはその他の非一時的媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の使用可能な媒体であり得る。限定ではなく、例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または所望のプログラムコードを命令もしくはデータ構造の形で記憶するために使用されコンピュータによってアクセスされ得る任意の他の媒体を含むことができ、本明細書で使用するディスク(diskおよびdisc)には、コンパクトディスク(disc)(CD)、レーザー（登録商標）ディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー（登録商標）ディスク(disk)、およびブルーレイディスク(disc)が含まれ、ディスク(disk)は通常、データを磁気的に再生するが、ディスク(disc)はデータをレーザーによって光学的に再生する。前述の組合せも、コンピュータ可読媒体の範囲内に含まれるべきである。

コンピュータ可読媒体における記憶に加えて、命令および/またはデータは、通信装置に含まれる送信媒体における信号として提供され得る。たとえば、通信装置は、命令およびデータを示す信号を有する送受信機を含み得る。これら命令およびデータは、1つまたは複数のプロセッサに、特許請求の範囲で概説される機能を実施させるように構成されている。すなわち、通信装置は、開示する機能を実行するための情報を示す信号をもつ伝送媒体を含む。第1の時間において、通信装置中に含まれる伝送媒体は、開示される機能を実行するための情報の第1の部分を含んでもよく、一方、第2の時間において、通信装置中に含まれる伝送媒体は、開示される機能を実行するための情報の第2の部分を含んでもよい。

本開示は、ワイヤレスワイドエリアネットワーク(WWAN)、ワイヤレスローカルエリアネットワーク(WLAN)、ワイヤレスパーソナルエリアネットワーク(WPAN)などのような、様々なワイヤレス通信ネットワークとともに実装され得る。「ネットワーク」および「システム」という用語は、しばしば互換的に使用される。「位置」および「ロケーション」という用語は、しばしば互換的に使用される。WWANは、符号分割多元接続(CDMA)ネットワーク、時分割多元接続(TDMA)ネットワーク、周波数分割多元接続(FDMA)ネットワーク、直交周波数分割多元接続(OFDMA)ネットワーク、シングルキャリア周波数分割多元接続(SC-FDMA)ネットワーク、ロングタームエボリューション(LTE:Long Term Evolution)ネットワーク、WiMAX(IEEE802.16)ネットワークなどとすることができる。CDMAネットワークは、cdma2000、広帯域CDMA(W-CDMA)などの1つまたは複数の無線アクセス技術(RAT)を実装することができる。cdma2000は、IS-95規格、IS-2000規格、およびIS-856規格を含む。TDMAネットワークは、Global System for Mobile Communications(GSM（登録商標）)、Digital Advanced Mobile Phone System(D-AMPS)、または何らかの他のRATを実装することができる。GSM（登録商標）およびW-CDMAは、「第3世代パートナーシッププロジェクト」(3GPP)という名称の組織からの文書に記載されている。cdma2000は、「第3世代パートナーシッププロジェクト2」(3GPP2)という名称の組織からの文書に記載されている。3GPPおよび3GPP2の文書は、公的に入手可能である。WLANは、IEEE802.11xネットワークであってもよく、またWPANはBluetooth（登録商標）ネットワーク、IEEE802.15x、または何らかの他のタイプのネットワークであり得る。これらの技法はまた、WWAN、WLANおよび/またはWPANの何らかの組合せと連携して実現させることもある。

移動局は、セルラー通信デバイスまたは他のワイヤレス通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナルナビゲーションデバイス(PND)、個人情報マネージャ(PIM)、携帯情報端末(PDA)、ラップトップ、あるいはワイヤレス通信および/またはナビゲーション信号を受信することができる他の適切なモバイルデバイスなどのデバイスを指している。「移動局」という用語はまた、短距離ワイヤレス接続、赤外線接続、ワイヤライン接続、または他の接続などによって、パーソナルナビゲーションデバイス(PND)と通信するデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、またはPNDにおいて行われるかにかかわらず含むことが意図される。また、「移動局」は、インターネット、Wi-Fi、または他のネットワークなどを介してサーバとの通信が可能である、ワイヤレス通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを、衛星信号受信、支援データ受信、および/または位置関連処理がそのデバイスにおいて行われるか、サーバにおいて行われるか、またはネットワークに関連する別のデバイスにおいて行われるかにかかわらず含むことが意図される。上記の任意の動作可能な組合せも「移動局」と見なされる。

何かが「最適化される」、「必要とされる」という指摘または他の指摘は、最適化されるシステム、または「必要とされる」要素が存在するシステムのみに本開示が適用されること(または他の指摘に起因する他の制限)を示すものではない。これらの表現は、特定の説明された実装形態のみを指す。当然、多くの実装形態が可能である。本技法は、開発中であるか今後開発されるプロトコルを含む、本明細書で論じるプロトコル以外のプロトコルで使用できる。

同じ基本的な根底をなす機構および方法を依然として使用しながら、開示される実施形態の多くの可能な変更および組合せを使用できることを、当業者は認識されよう。上記の説明は、説明の目的で、特定の実施形態に関して書かれている。しかしながら、上で示した論述は網羅的なものでも、あるいは本開示を開示された厳密な形態に限定しようとするものでもない。多くの修正および変形が、上記の教示に鑑みて可能である。本開示の原理およびその実際の適用について説明するために、また、企図される特定の用途に合わせて様々な修正を加えて本開示および様々な実施形態を他の当業者が最善の形で利用できるように、実施形態が選択され、説明されている。

101 ハウジング
102 ディスプレイ
104 スピーカー
105 カメラ
106 マイクロフォン
108 カメラ
110 ユーザインターフェース
112 ディスプレイ
114 キーパッド
116 センサ
117 マイクロフォン
118 スピーカー
120 制御ユニット
122 プロセッサ
124 メモリ/記憶装置
126 ソフトウェア
128 ハードウェア
130 ファームウェア
132 追跡モジュール
134 拡張現実ユーザインターフェースモジュール
152 広告
154 広告
156 広告
158 広告
200 拡張現実対応デバイス(ARD)
300 ARD
400 拡張現実対応デバイス、ヘッドマウントデバイス
500 センサアレイ、シーンセンサ
503 RGB-Dカメラ
503a ステレオred-green-blue(RGB)カメラ
503b 赤外線カメラ
503c 構造化赤外光放出器
505 オーディオセンサ
507 制御システムプロセッサ
510 シーンマネージャ
515 ユーザ制御ブロック
520 表面マネージャブロック
525 オーディオマネージャブロック
530 情報アクセスブロック
540 ディスプレイ、ディスプレイユニット
550 オーディオ出力デバイス
551 アンテナ
552 送信機/受信機または送受信機
553 アナログデジタル変換器
555 リモートメモリ
602 テーブル
604 ウィンドウ
606 絵画
608 ランプ
610 ユーザインターフェースウィンドウ
612 ユーザインターフェースウィンドウ
614 ユーザインターフェースウィンドウ
616 ユーザインターフェースウィンドウ
618 ユーザインターフェースウィンドウ
620 ユーザインターフェースウィンドウ
622 ユーザインターフェースウィンドウ
624 ユーザインターフェースウィンドウ

Claims (40)

1. 拡張現実コンテンツを表示する方法であって、
   カメラによって、ユーザの視界内の環境の走査を受信するステップと、
   ユーザインターフェースウィンドウを表示するために前記環境内の表面のセットを識別するステップと、
   表面の前記セットにおける各表面に表面優先度レベルを割り当てるステップであって、各表面に対する前記表面優先度レベルは複数の表面優先度レベルから選択されるステップと、
   前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムにコンテンツ優先度レベルを割り当てるステップであって、各コンテンツアイテムに対する前記コンテンツ優先度レベルは複数のコンテンツ優先度レベルから選択されるとともに、表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットのアスペクト比、および表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットの背景色のうちの少なくとも1つに基づく、ステップと、
   前記表面優先度レベルと、前記コンテンツ優先度レベルとに基づいて、表面の前記セットにおける表面上の表示する拡張現実コンテンツの前記セットにおける各コンテンツアイテムをディスプレイに表示するステップとを含む、方法。
2. 前記環境が現実世界のオブジェクトを含み、表面の前記セットが前記ユーザの上、下、左、右、および前の視界における表面を含み、前記ディスプレイがヘッドマウントディスプレイである、請求項1に記載の方法。
3. 表面の前記セットにおける各表面に前記表面優先度レベルを割り当てるステップが、
   表面の前記セットの面積、表面の前記セットの向き、前記ユーザの視野に対する表面の前記セットのロケーションに基づいて、前記表面優先度レベルを割り当てるステップを含み、前記複数の表面優先度レベルが、高い、中間の、および低い表面優先度レベルを含む、請求項1に記載の方法。
4. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるステップが、
   前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるステップを含む、請求項1に記載の方法。
5. 前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるステップが、
   前記ユーザが勤務中であるとの判断に応答して表示する拡張現実コンテンツの第1のセットを選択するステップと、
   前記ユーザが在宅中であるとの判断に応答して表示する拡張現実コンテンツの第2のセットを選択するステップと、
   前記ユーザが業務会議中であるとの判断に応答して表示する拡張現実コンテンツの第3のセットを選択するステップと、
   前記ユーザが社交活動中であるとの判断に応答して表示する拡張現実コンテンツの第4のセットを選択するステップとのうちの少なくとも1つを含む、請求項4に記載の方法。
6. 拡張現実コンテンツの前記第1のセットが、前記ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含み、
   拡張現実コンテンツの前記第2のセットが、前記ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含む、請求項5に記載の方法。
7. コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの前記第1のセットが、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含み、
   コミュニケーションおよび娯楽のための拡張現実コンテンツの前記第2のセットが、ソーシャルネットワーキングウェブサイト、ムービーおよびビデオゲームアプリケーションを含む、請求項6に記載の方法。
8. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるステップが、
   表示されるべき拡張現実コンテンツの前記セットのスケールファクタ、または表示されるべき拡張現実コンテンツの前記セットの論理的関係のうちの少なくとも1つに基づいて、前記1つまたは複数のコンテンツ優先度レベルを割り当てるステップを含む、請求項1に記載の方法。
9. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるステップが、
   所定のユーザ選好に基づいて、前記コンテンツ優先度レベルを割り当てるステップを含む、請求項1に記載の方法。
10. 前記所定のユーザ選好が、
    前記ユーザに対する拡張現実コンテンツの重要性と、
    表示されるべき前記拡張現実コンテンツの量と、
    表面の前記セットに対する前記拡張現実コンテンツの視線の向きとのうちの少なくとも1つを含む、請求項9に記載の方法。
11. 前記環境内のマーカのセットを識別するステップと、
    マーカの前記セットを表面の前記セットと関連付けるステップと、
    マーカの前記セットを使用して表面の前記セットを追跡するステップとをさらに含む、請求項1に記載の方法。
12. 1つまたは複数のコンピュータシステムによって実行するためのコンピュータプログラムであって、
    カメラによって、ユーザの視界内の環境の走査を受信するためのコードと、
    ユーザインターフェースウィンドウを表示するために前記環境内の表面のセットを識別するためのコードと、
    表面の前記セットにおける各表面に表面優先度レベルを割り当てるためのコードであって、各表面に対する前記表面優先度レベルは複数の表面優先度レベルから選択されるコードと、
    前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムにコンテンツ優先度レベルを割り当てるためのコードであって、各コンテンツアイテムに対する前記コンテンツ優先度レベルは複数のコンテンツ優先度レベルから選択されるとともに、表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットのアスペクト比、および表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットの背景色のうちの少なくとも1つに基づく、コードと、
    前記表面優先度レベルと、前記コンテンツ優先度レベルとに基づいて、表面の前記セットにおける表面上の表示する拡張現実コンテンツの前記セットにおける各コンテンツアイテムをディスプレイに表示するためのコードとを含む、コンピュータプログラム。
13. 前記環境が現実世界のオブジェクトを含み、表面の前記セットが前記ユーザの上、下、左、右、および前の視界における表面を含み、前記ディスプレイがヘッドマウントディスプレイである、請求項12に記載のコンピュータプログラム。
14. 表面の前記セットにおける各表面に前記表面優先度レベルを割り当てるためのコードが、
    表面の前記セットの面積、表面の前記セットの向き、前記ユーザの視野に対する表面の前記セットのロケーションに基づいて、前記表面優先度レベルを割り当てるためのコードを含み、前記複数の表面優先度レベルが、高い、中間の、および低い表面優先度レベルを含む、請求項12に記載のコンピュータプログラム。
15. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるためのコードが、
    前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるためのコードをさらに含む、請求項12に記載のコンピュータプログラム。
16. 前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるためのコードが、
    前記ユーザが勤務中であるとの判断に応答して表示する拡張現実コンテンツの第1のセットを選択するためのコードと、
    前記ユーザが在宅中であるとの判断に応答して表示する拡張現実コンテンツの第2のセットを選択するためのコードと、
    前記ユーザが業務会議中であるとの判断に応答して表示する拡張現実コンテンツの第3のセットを選択するためのコードと、
    前記ユーザが社交活動中であるとの判断に応答して表示する拡張現実コンテンツの第4のセットを選択するためのコードとのうちの少なくとも1つを含む、請求項15に記載のコンピュータプログラム。
17. 拡張現実コンテンツの前記第1のセットが、前記ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含み、
    拡張現実コンテンツの前記第2のセットが、前記ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含む、請求項16に記載のコンピュータプログラム。
18. コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの前記第1のセットが、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含み、
    コミュニケーションおよび娯楽のための拡張現実コンテンツの前記第2のセットが、ソーシャルネットワーキングウェブサイト、ムービーおよびビデオゲームアプリケーションを含む、請求項17に記載のコンピュータプログラム。
19. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるためのコードが、
    表示されるべき拡張現実コンテンツの前記セットのスケールファクタ、および表示されるべき拡張現実コンテンツの前記セットの論理的関係のうちの少なくとも1つに基づいて、前記コンテンツ優先度レベルを割り当てるためのコードを含む、請求項12に記載のコンピュータプログラム。
20. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるためのコードが、
    所定のユーザ選好に従って表示する拡張現実コンテンツのセットを決定するためのコードに基づいて、前記コンテンツ優先度レベルを割り当てるためのコードを含む、請求項12に記載のコンピュータプログラム。
21. 前記所定のユーザ選好が、
    前記ユーザに対する拡張現実コンテンツの重要性と、
    表示されるべき前記拡張現実コンテンツの量と、
    表面の前記セットに対する前記拡張現実コンテンツの視線の向きとのうちの少なくとも1つを含む、請求項20に記載のコンピュータプログラム。
22. 前記環境内のマーカのセットを識別するためのコードと、
    マーカの前記セットを表面の前記セットと関連付けるためのコードと、
    マーカの前記セットを使用して表面の前記セットを追跡するためのコードとをさらに含む、請求項12に記載のコンピュータプログラム。
23. 少なくとも1つのプロセッサを備える装置であって、前記少なくとも1つのプロセッサが、
    カメラによって、ユーザの視界内の環境の走査を受信するように構成された論理回路と、
    ユーザインターフェースウィンドウを表示するために前記環境内の表面のセットを識別するように構成された論理回路と、
    表面の前記セットにおける各表面に表面優先度レベルを割り当てるように構成された論理回路であって、各表面に対する前記表面優先度レベルは複数の表面優先度レベルから選択される論理回路と、
    前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムにコンテンツ優先度レベルを割り当てるように構成された論理回路であって、各コンテンツアイテムに対する前記コンテンツ優先度レベルは複数のコンテンツ優先度レベルから選択されるとともに、表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットのアスペクト比、および表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットの背景色のうちの少なくとも1つに基づく、論理回路と、
    前記表面優先度レベルと、前記コンテンツ優先度レベルとに基づいて、表面の前記セットにおける表面上の表示する拡張現実コンテンツの前記セットにおける各コンテンツアイテムをディスプレイに表示するように構成された論理回路とを備える、装置。
24. 前記環境が現実世界のオブジェクトを含み、表面の前記セットが前記ユーザの上、下、左、右、および前の視界における表面を含み、前記ディスプレイがヘッドマウントディスプレイである、請求項23に記載の装置。
25. 表面の前記セットにおける各表面に前記表面優先度レベルを割り当てるように構成された論理回路が、
    表面の前記セットの面積、表面の前記セットの向き、前記ユーザの視野に対する表面の前記セットのロケーションに基づいて、前記表面優先度レベルを割り当てるように構成された論理回路を備え、前記複数の表面優先度レベルが、高い、中間の、および低い表面優先度レベルを含む、請求項23に記載の装置。
26. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるように構成された論理回路が、
    前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるように構成された論理回路を備える、請求項23に記載の装置。
27. 前記環境内の前記ユーザの以前の使用パターンの履歴に基づいて、前記コンテンツ優先度レベルを割り当てるように構成された論理回路が、
    前記ユーザが勤務中であるとの判断に応答して表示する拡張現実コンテンツの第1のセットを選択するように構成された論理回路と、
    前記ユーザが在宅中であるとの判断に応答して表示する拡張現実コンテンツの第2のセットを選択するように構成された論理回路と、
    前記ユーザが業務会議中であるとの判断に応答して表示する拡張現実コンテンツの第3のセットを選択するように構成された論理回路と、
    前記ユーザが社交活動中であるとの判断に応答して表示する拡張現実コンテンツの第4のセットを選択するように構成された論理回路とのうちの少なくとも1つを備える、請求項26に記載の装置。
28. 拡張現実コンテンツの前記第1のセットが、前記ユーザが仕事で使用するのに慣れているコミュニケーションおよびドキュメンテーションのためのアプリケーションプログラムを含み、
    拡張現実コンテンツの前記第2のセットが、前記ユーザが家で使用するのに慣れているコミュニケーションおよび娯楽のためのアプリケーションプログラムを含む、請求項27に記載の装置。
29. コミュニケーションおよびドキュメンテーションのための拡張現実コンテンツの前記第1のセットが、電子メール、ウェブブラウザ、および職場の生産性のアプリケーションを含み、
    コミュニケーションおよび娯楽のための拡張現実コンテンツの前記第2のセットが、ソーシャルネットワーキングウェブサイト、ムービーおよびビデオゲームアプリケーションを含む、請求項28に記載の装置。
30. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるように構成された論理回路が、
    表示されるべき拡張現実コンテンツの前記セットのスケールファクタ、および表示されるべき拡張現実コンテンツの前記セットの論理的関係のうちの少なくとも1つに基づいて、前記1つまたは複数のコンテンツ優先度レベルを割り当てるように構成された論理回路を備える、請求項23に記載の装置。
31. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムに前記コンテンツ優先度レベルを割り当てるように構成された論理回路が、
    所定のユーザ選好に基づいて、前記コンテンツ優先度レベルを割り当てるように構成された論理回路を備える、請求項23に記載の装置。
32. 前記所定のユーザ選好が、
    前記ユーザに対する拡張現実コンテンツの重要性と、
    表示されるべき前記拡張現実コンテンツの量と、
    表面の前記セットに対する前記拡張現実コンテンツの視線の向きとのうちの少なくとも1つを含む、請求項31に記載の装置。
33. 前記環境内のマーカのセットを識別するように構成された論理回路と、
    マーカの前記セットを表面の前記セットと関連付けるように構成された論理回路と、
    マーカの前記セットを使用して表面の前記セットを追跡するように構成された論理回路とをさらに備える、請求項23に記載の装置。
34. 拡張現実コンテンツを表示するためのシステムであって、
    カメラによって、ユーザの視界内の環境の走査を受信するための手段と、
    ユーザインターフェースウィンドウを表示するために前記環境内の表面のセットを識別するための手段と、
    表面の前記セットにおける各表面に表面優先度レベルを割り当てることであって、各表面に対する前記表面優先度レベルは複数の表面優先度レベルから選択されることと、前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットにおける各コンテンツアイテムにコンテンツ優先度レベルを割り当てることであって、各コンテンツアイテムに対する前記コンテンツ優先度レベルは複数のコンテンツ優先度レベルから選択されるとともに、表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットのアスペクト比、および表示されるべき拡張現実コンテンツの前記セットに対する表面の前記セットの背景色のうちの少なくとも1つに基づくこととによって前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段と、
    前記表面優先度レベルと、前記コンテンツ優先度レベルとに基づいて、表面の前記セットにおける表面上の表示する拡張現実コンテンツの前記セットにおける各コンテンツアイテムをディスプレイに表示するための手段とを含む、システム。
35. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段が、
    表面の前記セットの面積、表面の前記セットの向き、前記ユーザの視野に対する表面の前記セットのロケーションに基づいて、前記表面優先度レベルを割り当てるための手段を含み、前記複数の表面優先度レベルが、高い、中間の、および低い表面優先度レベルを含む、請求項34に記載のシステム。
36. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段が、
    前記環境内の前記ユーザの以前の使用パターンの履歴に従って前記環境内の表面の前記セットに対して、表示する拡張現実コンテンツの前記セットを優先順位付けるための手段を含む、請求項34に記載のシステム。
37. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段が、
    表示されるべき拡張現実コンテンツの前記セットのスケールファクタ、および表示されるべき拡張現実コンテンツの前記セットの論理的関係のうちの少なくとも1つに基づいて、前記コンテンツ優先度レベルを割り当てるための手段を含む、請求項34に記載のシステム。
38. 前記環境内の表面の前記セットに対して表示する拡張現実コンテンツのセットを優先順位付けるための手段が、
    所定のユーザ選好に従って前記環境内の表面の前記セットに対して表示する拡張現実コンテンツの前記セットを優先順位付けるための手段を含む、請求項34に記載のシステム。
39. 表示されるべき拡張現実コンテンツの前記セットの前記論理的関係が、
    文書および前記文書の対応するビデオプレゼンテーションを含む、請求項8に記載の方法。
40. 表示されるべき拡張現実コンテンツの前記セットの前記論理的関係が、
    文書および前記文書の対応するプレゼンテーションスライドを含む、請求項8に記載の方法。

Images