JP6288084B2 - 表示制御装置、表示制御方法および記録媒体 - Google Patents

Description

本開示は、表示制御装置、表示制御方法および記録媒体に関する。

ウェアラブルディスプレイは、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイである。かかるウェアラブルディスプレイの例は、例えば特許文献１，２に記載されている。

特開２００２−１７１４６０号公報

ウェアラブルディスプレイには、通常のディスプレイに比べて多くの利点がある一方で、操作や表示に関して通常のディスプレイとは異なる工夫が求められる面もある。しかしながら、そのような要求に応える技術はまだ十分に提案されているとはいえない。

そこで、本開示では、ウェアラブルディスプレイのユーザビリティをさらに向上させることを可能にする、新規かつ改良された表示制御装置、表示制御方法および記録媒体を提案する。

本開示によれば、ウェアラブルディスプレイと端末装置との空間的関係（spatial relationship）を示す情報を取得する空間的関係取得部と、上記端末装置が取得した操作入力を示す情報を取得する操作取得部と、上記操作入力および上記空間的関係に基づいて上記ウェアラブルディスプレイの表示部における画像の表示を制御する表示制御部とを備える表示制御装置が提供される。

また、本開示によれば、ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得することと、上記端末装置が取得した操作入力を示す情報を取得することと、上記操作入力および上記空間的関係に基づいて上記ウェアラブルディスプレイの表示部における画像の表示を制御することとを含む表示制御方法が提供される。

また、本開示によれば、ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得する機能と、上記端末装置が取得した操作入力を示す情報を取得する機能と、上記操作入力および上記空間的関係に基づいて上記ウェアラブルディスプレイの表示部における画像の表示を制御する機能とをコンピュータに実現させるためのプログラムが記録された記録媒体が提供される。

以上説明したように本開示によれば、ウェアラブルディスプレイのユーザビリティをさらに向上させることができる。

本開示の第１の装置構成例に係るシステムを概略的に示す図である。 本開示の第１の装置構成例の概略的な機能構成を示すブロック図である。 本開示の第１の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。 本開示の第２の装置構成例の概略的な機能構成を示すブロック図である。 本開示の第２の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。 本開示の第３の装置構成例の概略的な機能構成を示すブロック図である。 本開示の第４の装置構成例に係るシステムを概略的に示す図である。 本開示の第４の装置構成例の概略的な機能構成を示すブロック図である。 本開示の実施形態におけるスクロール操作の第１の例を示す図である。 本開示の実施形態におけるスクロール操作の第２の例を示す図である。 本開示の実施形態におけるスクロール操作の第２の例を示す図である。 本開示の実施形態におけるドラッグ操作の例を示す図である。 本開示の実施形態における拡大／縮小操作の第１の例を示す図である。 本開示の実施形態における拡大／縮小操作の第２の例を示す図である。 本開示の実施形態における基準空間の例について説明するための図である。 本開示の実施形態における基準空間の例について説明するための図である。 本開示の実施形態においてモバイル端末基準空間を採用した場合の表示例を示す図である。 本開示の実施形態においてモバイル端末基準空間を採用した場合の表示例を示す図である。 本開示の実施形態においてウェアラブルディスプレイ基準空間を採用した場合の表示例を示す図である。 本開示の実施形態においてウェアラブルディスプレイ基準空間を採用した場合の表示例を示す図である。 本開示の実施形態においてウェアラブルディスプレイ基準空間を採用した場合の表示例を示す図である。 本開示の実施形態において実基準空間を採用した場合の表示例を示す図である。 本開示の実施形態における基準空間切り替えの表示例を示す図である。 本開示の実施形態における基準空間切り替えの第１の操作例を示す図である。 本開示の実施形態における基準空間切り替えの第２の操作例を示す図である。 本開示の実施形態における基準空間切り替えの第２の操作例を示す図である。 本開示の実施形態における基準空間ごとのカーソル表示の例を示す図である。 本開示の実施形態におけるモバイル端末の割り込み表示の例を示す図である。 本開示の実施形態における表示画像の割り込み表示の例を示す図である。 本開示の実施形態における表示画像の割り込み表示の別の例を示す図である。 本開示の実施形態における一般的なオブジェクトの割り込み表示の例を示す図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書および図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．装置構成の例
１−１．第１の装置構成例
１−２．第２の装置構成例
１−３．第３の装置構成例
１−４．第４の装置構成例
２．ＧＵＩ操作の例
２−１．スクロール操作
２−２．ドラッグ操作
２−３．拡大／縮小操作
３．基準空間の設定
３−１．基準空間の例
３−２．基準空間の切り替え
４．実空間からの割り込み表示
４−１．モバイル端末の割り込み表示
４−２．表示画像の割り込み表示
４−３．一般的なオブジェクトの割り込み表示
５．補足

（１．装置構成の例）
まず、図１〜図８を参照して、本開示の装置構成の例について説明する。本開示の実施形態では、装置構成に関して数多くのバリエーションが存在する。そこで、以下では、そのうちのいくつかを第１〜第４の装置構成例として例示する。なお、これらの例示的な実施形態は、例えば空間的関係の検出や表示制御といった個々の処理をどの装置が実行するかといった点で互いに異なるものの、結果として実現される表示や制御についてはいずれも共通であるため、後述する表示制御などの例は各実施形態に共通して実現されうる。

（１−１．第１の装置構成例）
図１は、本開示の第１の装置構成例に係るシステムを概略的に示す図である。図１を参照すると、システム１０は、ウェアラブルディスプレイ１００と、モバイル端末２００とを含む。

ウェアラブルディスプレイ１００は、ユーザの頭部に装着され、ユーザの視界に画像を提示するディスプレイである。ウェアラブルディスプレイ１００は、例えば図示された例のようにユーザの視界を遮蔽してその中に画像を表示してもよいし、眼鏡型などの形状を有してユーザの視界に透過的に画像を重畳表示してもよい。

ユーザは、ウェアラブルディスプレイ１００を装着することによって、例えば視界の大部分を占める迫力ある画像を鑑賞することができうる。また、ユーザは、ウェアラブルディスプレイ１００が備えるカメラによって撮像された周囲の実空間の画像や、ウェアラブルディスプレイ１００を透過して観察される実空間の像に重畳された画像を観察することによって、いわゆる拡張現実（ＡＲ：Augmented Reality）を体験することもできうる。なお、本明細書において、「像」（image）は視覚によって認識されるオブジェクトの姿を全般的に意味し、「画像」（picture）は像を認識させるために表示部に例えば電子的に映し出されるものを意味する。

上記のように、ウェアラブルディスプレイ１００には通常のディスプレイに比べて利点があるが、その一方で、例えばウェアラブルディスプレイ１００に表示されるコンテンツやＧＵＩ（Graphical User Interface）の操作に関しては、通常のディスプレイとは異なる工夫が求められている。例えばモバイル端末２００のような一般的な表示装置では、表示部上にタッチセンサを配置してタッチスクリーンを構成し、表示部上の任意の位置へのユーザの接触を操作入力として取得することが可能である。しかし、ウェアラブルディスプレイ１００では、表示部がユーザの目の近くに配置されているため、そのようなタッチスクリーンを構成することは難しい。

また、例えばウェアラブルディスプレイ１００の筐体上にハードウェアボタンを配置したり、ポインティング手段を別途接続したりすることも考えられる。しかし、ウェアラブルディスプレイ１００は、一般的な表示装置とは異なり、ユーザが自由な向きや姿勢で利用できるという利点を有するため、接続機器が増えることは好ましくない場合がある。また、ウェアラブルディスプレイ１００がユーザの視界を遮蔽しているような場合、ユーザがボタンなどを正確に操作することは必ずしも容易ではない。音声入力やジェスチャコントロールも操作手法として近年開発されているが、周辺環境の影響を受けるため使用可能な状況が限られてしまう。

そこで、本開示のいくつかの実施形態では、モバイル端末２００を、ウェアラブルディスプレイ１００の操作手段として利用する。モバイル端末２００は、ウェアラブルディスプレイ１００の近傍にあり、同じユーザによって操作されうる。モバイル端末２００は、ユーザによる操作入力を取得可能な端末装置であればどのようなものでもよい。例えば、モバイル端末２００はスマートフォン、タブレット端末、携帯型ゲーム機などでありうるが、その種類は特に限定されない。

従って、ユーザは、すでに所有している端末装置をモバイル端末２００として利用可能である場合が多い。このような場合、ユーザは別途操作手段を用意しなくてもよい。また、ユーザは、例えばタッチスクリーンなどを利用してモバイル端末２００を操作することを既に経験している場合が多い。このような場合、ユーザは以下で説明するような操作の方法にある程度慣れている。それゆえ、本開示のいくつかの実施形態では、モバイル端末２００を利用することによって、ウェアラブルディスプレイ１００の簡便な操作手段が容易に提供されうる。

図２は、本開示の第１の装置構成例の概略的な機能構成を示すブロック図である。図２を参照すると、ウェアラブルディスプレイ１００−１は、表示部１１０と、スピーカ１２０と、カメラ１３０と、プロセッサ１４０と、メモリ１５０と、通信部１６０とを有する。また、モバイル端末２００−１は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、メモリ２５０と、通信部２６０とを有する。なお、図２に示す機能構成は説明のために例示されているにすぎず、ウェアラブルディスプレイ１００−１およびモバイル端末２００−１は、図示されない他の機能構成をさらに含みうる。以下、それぞれの装置の機能構成についてさらに説明する。

（ウェアラブルディスプレイ）
表示部１１０は、例えばＬＣＤ（Liquid Crystal Display）またはＯＬＥＤ（Organic Light-Emitting Diode）などでありうる。表示部１１０は、プロセッサ１４０の制御に従って各種の画像を表示する。上述のように、表示部１１０はユーザの視界を遮蔽して画像を表示させてもよいし、画像をユーザの視界に透過的に重畳表示させてもよい。表示部１１０がユーザの視界を遮蔽する場合でも、後述するカメラ１３０が撮像した周囲の実空間の画像を表示部１１０に表示させることで、ユーザは表示部１１０を介して透過的に実空間の像を視認することができる。表示部１１０は、コンテンツや実空間の画像に加えて、これらの画像の表示を制御するためのＧＵＩの画像を表示してもよい。

スピーカ１２０は、プロセッサ１４０の制御に従って音声を出力する。スピーカ１２０は、例えば表示部１１０と連動して、画像および音声を含むコンテンツをユーザが視聴することを可能にする。なお、例えばウェアラブルディスプレイ１００−１が専ら画像をユーザに提供する場合、またはウェアラブルディスプレイ１００−１とは別体の、据え置き型、ヘッドフォン型またはイヤフォン型などのスピーカが用意される場合などには、ウェアラブルディスプレイ１００−１は必ずしもスピーカ１２０を有さなくてよい。

カメラ１３０は、例えばＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて実空間を撮像し、撮像画像を生成する。カメラ１３０が取得した一連の撮像画像は、映像を構成しうる。なお、カメラ１３０は、必ずしもウェアラブルディスプレイ１００−１の一部でなくてもよい。例えば、カメラ１３０は、ウェアラブルディスプレイ１００−１と有線または無線で接続される別途の撮像装置であってもよい。

プロセッサ１４０は、例えばＣＰＵ（Central Processing Unit）またはＤＳＰ（Digital Signal Processor）といったような各種の処理回路であり、メモリ１５０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。図示された例において、プロセッサ１４０は、例えば、通信部１６０を介してモバイル端末２００−１から受信された情報に基づいて、表示部１１０における画像の表示を含むウェアラブルディスプレイ１００−１全体の動作を制御する。

メモリ１５０は、半導体メモリなどの記憶媒体によって構成され、ウェアラブルディスプレイ１００−１による処理のためのプログラムおよびデータを格納する。メモリ１５０は、例えば、カメラ１３０によって生成された撮像画像のデータや、表示部１１０に表示されるＧＵＩ画像のデータなどを格納してもよい。なお、以下で説明するプログラムおよびデータの一部は、メモリ１５０に格納される代わりに、外部のデータソース（例えばデータサーバ、ネットワークストレージまたは外付けメモリなど）から取得されてもよい。

通信部１６０は、ウェアラブルディスプレイ１００−１による他の装置との通信を仲介する通信インターフェースである。通信部１６０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、モバイル端末２００−１を含む他の装置との通信接続を確立する。図示された例において、通信部１６０は、例えば、モバイル端末２００−１において取得されたユーザ操作に基づいて表示部１１０の表示などを制御するための情報を受信する。

（モバイル端末）
表示部２１０は、例えばＬＣＤまたはＯＬＥＤなどでありうる。表示部２１０は、プロセッサ２４０の制御に従って各種の画像を表示する。以下で説明する例のように、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、表示部２１０には、ウェアラブルディスプレイ１００−１を操作するためのＧＵＩが表示されてもよい。あるいは、ウェアラブルディスプレイ１００−１でモバイル端末２００−１の表示部２１０に重畳するようにＧＵＩ画像を表示させることも可能であるため、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合に表示部２１０は画像を表示していなくてもよい。

タッチセンサ２２０は、表示部２１０の表示面上に設けられ、表示面へのユーザの接触を操作入力として取得するセンサである。タッチセンサ２２０は、静電容量方式や抵抗膜方式など各種の方式のタッチセンサでありうる。表示部２１０とタッチセンサ２２０とはタッチスクリーンディスプレイを構成しうるが、上記の通りモバイル端末２００がウェアラブルディスプレイ１００−１の操作手段として利用される場合には、表示部２１０に画像が表示されず、タッチセンサ２２０が独立して用いられてもよい。

カメラ２３０は、例えばＣＣＤやＣＭＯＳなどの撮像素子を用いて実空間を撮像し、撮像画像を生成する。図示された例において、モバイル端末２００−１がウェアラブルディスプレイ１００−１の操作手段として利用される場合、カメラ２３０が生成する撮像画像の画角にはウェアラブルディスプレイ１００が含まれ、後述するプロセッサ２４０において撮像画像の解析によってモバイル端末２００−１とウェアラブルディスプレイ１００−１との空間的関係が推定されうる。あるいは、カメラ２３０は、被写体までの距離を画素ごとに測定する深度（depth）センサを含み、深度センサから出力される深度データに基づいてモバイル端末２００−１とウェアラブルディスプレイ１００−１との空間的関係が推定されてもよい。

プロセッサ２４０は、例えばＣＰＵまたはＤＳＰといったような各種の処理回路であり、メモリ２５０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。例えば、図示された例において、プロセッサ２４０は、以下で説明する空間的関係取得部２４２、操作取得部２４４、および表示制御部２４６の各機能を実現する。

空間的関係取得部２４２は、例えばカメラ２３０が生成した撮像画像、および／またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定する。ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係は、例えばいずれかの装置を基準にした座標系で表現されうる。あるいは、ウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係は、両装置が存在する実空間に定義される座標系によって表現されてもよい。

操作取得部２４４は、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得する。より具体的には、操作取得部２４４が取得する情報は、表示部２１０の表示面へのユーザの接触の有無および／または接触の位置を示す情報でありうる。操作取得部２４４は、例えばこれらの情報を時系列で取得することによって、タップ操作、ドラッグ操作、またはフリック操作などといった操作入力の種類を識別することが可能である。さらに、操作取得部２４４は、操作入力を、空間的関係取得部２４２が取得したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係に対応付ける。これによって、ユーザの操作入力の情報は、例えばユーザが表示面のどこに接触したかという情報に加えて、ウェアラブルディスプレイ１００−１とモバイル端末２００−１とがどのような空間的関係にあるときに操作入力が取得されたかという情報を含みうる。

表示制御部２４６は、操作取得部２４４が取得したユーザの操作入力と、空間的関係取得部２４２が推定したウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係とに基づいて、ウェアラブルディスプレイ１００−１における画像の表示を制御するための情報を生成する。例えば、表示制御部２４６は、ウェアラブルディスプレイ１００−１におけるコンテンツ画像の表示を制御するための情報を生成する。この制御は、例えばコンテンツの再生／停止、拡大／縮小などを含みうる。また、例えば、表示制御部２４６は、ウェアラブルディスプレイ１００−１におけるＧＵＩの表示を制御するための情報を生成してもよい。ＧＵＩの表示の制御は、例えば表示されたコンテンツアイコンの選択や移動、視点の変更などを含みうる。表示制御部２４６によって生成された情報は、通信部２６０を介してウェアラブルディスプレイ１００−１に送信される。

メモリ２５０は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、モバイル端末２００−１による処理のためのプログラムおよびデータを格納する。メモリ２５０は、例えば、カメラ２３０によって取得された撮像画像のデータや、表示部２１０に表示されるＧＵＩ画像のデータなどを格納してもよい。また、図示された例ではモバイル端末２００−１のプロセッサ２４０がウェアラブルディスプレイ１００−１における画像の表示を制御するため、ウェアラブルディスプレイ１００−１において表示されるコンテンツやＧＵＩ画像のデータがメモリ２５０に格納されていてもよい。

通信部２６０は、モバイル端末２００−１による他の装置との通信を仲介する通信インターフェースである。通信部２６０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、ウェアラブルディスプレイ１００−１を含む他の装置との通信接続を確立する。図示された例において、通信部２６０は、例えば、プロセッサ２４０によって実現される表示制御部２４６が生成した情報をウェアラブルディスプレイ１００−１に送信する。

（空間的関係の推定）
図３は、本開示の第１の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。図３に示された例では、モバイル端末２００−１のプロセッサ２４０によって実現される空間的関係取得部２４２が、カメラ２３０が生成した撮像画像２３００の解析に基づいてウェアラブルディスプレイ１００−１とモバイル端末２００−１との空間的関係を推定する。このとき、モバイル端末２００−１のカメラ２３０は、ウェアラブルディスプレイ１００−１が装着されたユーザの頭部の方を向いている。従って、例えばユーザがモバイル端末２００−１の表示部２１０を自分の方に向けて操作する場合、カメラ２３０はいわゆるインカメラでありうる。

図示されているように、カメラ２３０によって生成される撮像画像２３００には、ユーザの頭部に装着されたウェアラブルディスプレイ１００’が映っている。空間的関係取得部２４２は、例えば撮像画像中の特徴点の抽出などによってウェアラブルディスプレイ１００’をオブジェクト認識し、ウェアラブルディスプレイ１００’の画像内でのサイズや姿勢などに基づいてカメラ２３０に対するウェアラブルディスプレイ１００−１の相対的な位置および姿勢を推定する。あるいは、ウェアラブルディスプレイ１００−１の筐体の所定の位置に赤外発光素子（図示せず）を取り付け、赤外領域の撮像が可能なカメラ２３０が生成した撮像画像における赤外発光の位置からウェアラブルディスプレイ１００−１の位置および姿勢を推定してもよい。

なお、画像に含まれるオブジェクトを認識したり、オブジェクトの位置や姿勢を推定したりする技術の詳細については、公知のさまざまな技術を利用することが可能であるため詳細な説明は省略する。なお、上記の例において、撮像画像に代えて、またはこれとともに、ウェアラブルディスプレイ１００−１またはモバイル端末２００−１が有するセンサの検出結果が利用されてもよい。例えば、カメラ２３０が深度センサを含む場合、深度センサから出力される深度データが空間的関係の推定に利用されてもよい。また、例えばモバイル端末２００−１が有する加速度センサまたはジャイロセンサの検出結果に基づいてモバイル端末２００−１の実空間における姿勢が特定され、これを基準にしてウェアラブルディスプレイ１００−１の実空間における姿勢が推定されてもよい。

（１−２．第２の装置構成例）
図４は、本開示の第２の装置構成例の概略的な機能構成を示すブロック図である。図４を参照すると、システム２０は、ウェアラブルディスプレイ１００−２と、モバイル端末２００−２とを含む。ウェアラブルディスプレイ１００−２は、表示部１１０と、スピーカ１２０と、カメラ１３０と、プロセッサ１４０と、メモリ１５０と、通信部１６０とを有する。また、モバイル端末２００−２は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、メモリ２５０と、通信部２６０とを有する。なお、図４に示す機能構成は説明のために例示されているにすぎず、ウェアラブルディスプレイ１００−２およびモバイル端末２００−２は、図示されない他の機能構成をさらに含みうる。

図示された例では、上記の第１の装置構成例とは異なり、ウェアラブルディスプレイ１００−２のプロセッサ１４０が、空間的関係取得部１４２、操作取得部１４４および表示制御部１４６の機能を実現する。一方、モバイル端末２００−２では、プロセッサ２４０が、モバイル端末２００−２において取得された操作入力などの情報を、通信部２６０を介してウェアラブルディスプレイ１００−２に転送する。なお、それ以外の点については、第１の装置構成例と同様でありうるため、詳細な説明を省略する。

ウェアラブルディスプレイ１００−２のプロセッサ１４０によって実現される空間的関係取得部１４２は、上記の第１の装置構成例における空間的関係取得部２４２と同様に、例えばカメラ１３０が生成した撮像画像、および／またはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−２とモバイル端末２００−２との空間的関係を推定する。

操作取得部１４４は、通信部１６０を介して、モバイル端末２００−２において取得された、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得する。操作取得部１４４は、上記の第１の装置構成例における操作取得部２４４と同様に、ユーザの操作入力を空間的関係取得部１４２が推定した空間的関係に対応付ける。

表示制御部１４６は、操作取得部１４４が取得したユーザの操作入力と、空間的関係取得部１４２が推定したウェアラブルディスプレイ１００−２とモバイル端末２００−２との空間的関係とに基づいて、表示部１１０における画像の表示を制御する。表示制御部１４６は、例えば、表示部１１０におけるコンテンツ画像の表示やＧＵＩの表示を制御しうる。

（空間的関係の推定）
図５は、本開示の第２の装置構成例におけるウェアラブルディスプレイとモバイル端末との空間的関係の推定について説明するための図である。図５に示された例では、ウェアラブルディスプレイ１００−２のプロセッサ１４０によって実現される空間的関係取得部１４２が、カメラ１３０が生成した撮像画像１３００の解析に基づいてモバイル端末２００−２との空間的関係を推定する。このとき、ウェアラブルディスプレイ１００−２のカメラ１３０は、例えばユーザの手に把持されたモバイル端末２００−２の方を向いている。従って、このとき、ウェアラブルディスプレイ１００−２を装着したユーザはモバイル端末２００−２の方を向いている。

図示されているように、カメラ１３０によって生成される撮像画像１３００には、モバイル端末２００’が映っている。空間的関係取得部１４２は、例えば撮像画像中の特徴点の抽出などによってモバイル端末２００’をオブジェクト認識し、モバイル端末２００’の画像内でのサイズや姿勢などに基づいてカメラ１３０に対するモバイル端末２００−２の相対的な位置および姿勢を推定する。あるいは、モバイル端末２００−２の筐体の所定の位置に赤外発光素子（図示せず）を取り付け、赤外領域の撮像が可能なカメラ１３０が生成した撮像画像における赤外発光の位置からモバイル端末２００−２の位置および姿勢を推定してもよい。

なお、カメラ１３０の撮像画像に基づくモバイル端末２００−２との空間的関係の推定に公知のさまざまな技術を利用することが可能である点、および撮像画像に代えて、またはこれとともに、ウェアラブルディスプレイ１００−２またはモバイル端末２００−２が有するセンサの検出結果が利用されうる点については、上記の第１の装置構成例と同様である。

（１−３．第３の装置構成例）
図６は、本開示の第３の装置構成例の概略的な機能構成を示すブロック図である。図６を参照すると、システム３０は、ウェアラブルディスプレイ１００−３と、モバイル端末２００−３とを含む。ウェアラブルディスプレイ１００−３は、表示部１１０と、スピーカ１２０と、カメラ１３０と、プロセッサ１４０と、メモリ１５０と、通信部１６０とを有する。また、モバイル端末２００−３は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、メモリ２５０と、通信部２６０とを有する。なお、図６に示す機能構成は説明のために例示されているにすぎず、ウェアラブルディスプレイ１００−３およびモバイル端末２００−３は、図示されない他の機能構成をさらに含みうる。

図示された例では、上記の第１の装置構成例と同様にモバイル端末２００−３のプロセッサ２４０が空間的関係取得部２４２、操作取得部２４４、および表示制御部２４６の機能を実現するとともに、ウェアラブルディスプレイ１００−３のプロセッサ１４０も空間的関係取得部１４２の機能を実現する。空間的関係取得部１４２によって取得された情報は通信部１６０を介してモバイル端末２００−３に送信され、空間的関係取得部２４２が取得した情報とともに操作取得部２４４および／または表示制御部２４６において利用される。なお、それ以外の点については、第１の装置構成例と同様でありうるため、詳細な説明を省略する。

ここで、ウェアラブルディスプレイ１００−３の空間的関係取得部１４２によるウェアラブルディスプレイ１００−３とモバイル端末２００−３との空間的関係の推定の処理は、上記の第２の装置構成例で図５を参照して説明した処理と同様でありうる。また、モバイル端末２００−３の空間的関係取得部２４２による空間的関係の推定の処理は、上記の第１の装置構成例で図３を参照して説明した処理と同様でありうる。操作取得部２４４および／または表示制御部２４６は、空間的関係取得部１４２および空間的関係取得部２４２がそれぞれ推定した空間的関係の情報を利用することで、より高い精度で空間的関係を利用した表示制御を実行することができうる。

（１−４．第４の装置構成例）
図７は、本開示の第４の装置構成例に係るシステムを概略的に示す図である。図７を参照すると、システム４０は、ウェアラブルディスプレイ１００と、モバイル端末２００と、サーバ３００とを含む。

図示された例では、上記の第１〜第３の装置構成例とは異なり、システム４０にサーバ３００が含まれる。第１〜第３の装置構成例でもウェアラブルディスプレイ１００とモバイル端末２００とがサーバを介して通信してもよいが、図示された例では、サーバ３００がさらなる機能、例えば空間的関係取得部や操作取得部を実現する。

図８は、本開示の第４の装置構成例の概略的な機能構成を示すブロック図である。図８を参照すると、ウェアラブルディスプレイ１００−４は、表示部１１０と、スピーカ１２０と、カメラ１３０と、プロセッサ１４０と、メモリ１５０と、通信部１６０とを有する。また、モバイル端末２００−４は、表示部２１０と、タッチセンサ２２０と、カメラ２３０と、プロセッサ２４０と、メモリ２５０と、通信部２６０とを有する。ウェアラブルディスプレイ１００−４およびモバイル端末２００−４のプロセッサは、主に装置全体の動作の制御を実現するとともに、カメラ、タッチセンサまたはその他のセンサなどによる撮像画像や検出結果を、通信部を介してサーバ３００に送信しうる。

サーバ３００は、通信部３１０と、プロセッサ３２０と、メモリ３３０とを含む。サーバ３００は、単一のサーバ装置、または有線または無線のネットワークによって接続されて協働する複数のサーバ装置によって実現される機能の集合体である。なお、図８に示す機能構成は説明のために例示されているにすぎず、ウェアラブルディスプレイ１００−４、モバイル端末２００−４、およびサーバ３００は、図示されない他の機能構成をさらに含みうる。以下、サーバ３００の機能構成についてさらに説明する。ウェアラブルディスプレイ１００−４およびモバイル端末２００−４の機能構成は、第１〜第３の装置構成例のいずれかと同様でありうるため、共通する符号を付することによって詳細な説明を省略する。

通信部３１０は、サーバ３００による他の装置との通信を仲介する通信インターフェースである。通信部３１０は、任意の無線通信プロトコルまたは有線通信プロトコルをサポートし、ウェアラブルディスプレイ１００−４およびモバイル端末２００−４を含む他の装置との通信接続を確立する。図示された例において、通信部３１０は、例えばウェアラブルディスプレイ１００−４および／またはモバイル端末２００−４から撮像画像やセンサの検出結果を受信し、モバイル端末２００−４からタッチセンサ２２０への操作入力の情報を受信し、プロセッサ３２０によって実現される表示制御部３２６が生成した情報をウェアラブルディスプレイ１００−４に送信する。

プロセッサ３２０は、例えばＣＰＵまたはＤＳＰといったような各種のプロセッサであり、メモリ３３０に格納されたプログラムに従って演算や制御などの動作を実行することによって各種の機能を実現する。例えば、プロセッサ３２０は、空間的関係取得部３２２、操作取得部３２４、および表示制御部３２６の各機能を実現する。

空間的関係取得部３２２は、上記の第１の装置構成例における空間的関係取得部２４２、または第２の装置構成例における空間的関係取得部１４２と同様に、例えばウェアラブルディスプレイ１００−４のカメラ１３０および／もしくはモバイル端末２００−４のカメラ２３０が生成した撮像画像、ならびに／もしくはセンサの検出結果などに基づいて、ウェアラブルディスプレイ１００−４とモバイル端末２００−４との空間的関係を推定する。

操作取得部３２４は、通信部３１０を介して、モバイル端末２００−４において取得された、タッチセンサ２２０に対するユーザの操作入力を示す情報を取得する。操作取得部３２４は、上記の第１の装置構成例における操作取得部２４４、または第２の装置構成例における操作取得部１４４と同様に、ユーザのタッチ操作の情報を空間的関係取得部３２２が推定した空間的関係に対応付ける。

表示制御部３２６は、操作取得部３２４が取得したユーザの操作入力と、空間的関係取得部３２２が推定した空間的関係とに基づいて、ウェアラブルディスプレイ１００−４における画像の表示を制御するための情報を生成する。例えば、表示制御部３２６は、ウェアラブルディスプレイ１００−４におけるコンテンツ画像の表示やＧＵＩの表示を制御するための情報を生成する。表示制御部３２６によって生成された情報は、通信部３１０を介してウェアラブルディスプレイ１００−４に送信される。

メモリ３３０は、半導体メモリまたはハードディスクなどの記憶媒体によって構成され、サーバ３００における処理のためのプログラムおよびデータを格納する。メモリ３３０は、例えば、ウェアラブルディスプレイ１００−４および／またはモバイル端末２００−４にから提供された撮像画像データが格納されうる。また、メモリ３３０には、ウェアラブルディスプレイ１００−４において表示されるコンテンツやＧＵＩ画像のデータが格納されていてもよい。

以上で４つの装置構成例を参照して説明したように、本開示の実施形態では、装置構成に関して数多くのバリエーションが可能である。バリエーションは上記の例には限られず、例えば空間的関係取得部、操作取得部、および表示制御部が、ウェアラブルディスプレイ１００、モバイル端末２００、および／またはサーバ３００に分散して実現される例も可能である。

（２．ＧＵＩ操作の例）
次に、図９〜図１４を参照して、本開示におけるＧＵＩ操作の例について説明する。なお、以下の説明では、簡単のため、上記の第１の装置構成例を用いて説明するが、装置構成に関する説明を参照すれば明らかなように、第２〜第４の装置構成例、およびその他の装置構成によっても同様のＧＵＩ操作が可能である。

（２−１．スクロール操作）
（第１の例）
図９は、本開示の実施形態におけるスクロール操作の第１の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたアイコン（Ａ〜Ｃ）が左から右へとスクロールされている。

このとき、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０に対してタッチ操作２２０１を実行している。より具体的には、図９Ａに示すスクロール操作の開始時にユーザはタッチ操作２２０１を開始し、図９Ｂに示すスクロール操作の終了時までタッチ操作２２０１を継続している。この間、ユーザは、実空間においてモバイル端末２００を図中の左側から右側へと移動させている。つまり、ユーザは、タッチ操作２２０１を継続しながらモバイル端末２００を実空間内でドラッグ操作しているともいえる。

上記の場合において、モバイル端末２００のプロセッサ２４０は、空間的関係取得部２４２の機能によって、例えばカメラ２３０の撮像画像におけるウェアラブルディスプレイ１００’の形状の変化から、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係の変化を検出することができる。図示された例において、プロセッサ２４０は、画像１１００の左右方向の変位に対応する位置関係の変化を検出し、これに対応して画像１１００に配列されたアイコンをスクロールさせている。

ここで、アイコンのスクロール量は、例えば、モバイル端末２００が透過的に画像１１００に表示された場合の移動量に対応していてもよい。あるいは、スクロール量は、モバイル端末２００の移動量を拡大／縮小することによって算出されてもよい。モバイル端末２００は、例えば図示された例のように画像１１００において透過的に表示されてもよく、また表示されなくてもよい。例えばカメラ２３０の画角が画像１１００に表示可能な実空間の範囲よりも広い場合には、モバイル端末２００が画像１１００の表示可能範囲の外にあっても、モバイル端末２００へのタッチ操作２２０１による画像１１００のスクロールが実行されうる。

上記の第１の例では、モバイル端末２００へのタッチ操作２２０１の有無と、タッチ操作２２０１が継続されている間のモバイル端末２００の移動によるウェアラブルディスプレイ１００との位置関係の変化に基づいて、ウェアラブルディスプレイ１００の画像１１００におけるスクロールが制御される。この例において、空間的関係取得部２４２は、少なくともウェアラブルディスプレイ１００とモバイル端末２００との位置関係を検出できればよく、必ずしもウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係を検出しなくてもよい。

（第２の例）
図１０および図１１は、本開示の実施形態におけるスクロール操作の第２の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、配列されたオブジェクト１１０６が左から右へとスクロールされている。

このとき、ユーザは、モバイル端末２００を一方の手で把持し、他方の手でモバイル端末２００のタッチセンサ２２０に対してドラッグ操作２２０３を実行している（もちろん、把持とドラッグ操作を一方の手だけで実行してもよい）。モバイル端末２００のプロセッサ２４０は、操作取得部２４４の機能によってタッチセンサ２２０へのドラッグ操作の方向および操作量を取得するとともに、空間的関係取得部２４２の機能によってウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係を検出する。これによって、モバイル端末２００のタッチセンサ２２０に対するドラッグ操作２２０３の、ウェアラブルディスプレイ１００を基準にした場合の方向が特定される。

より具体的にいえば、図１０の例では、ウェアラブルディスプレイ１００から見るとモバイル端末２００が縦長の状態で、タッチセンサ２２０に対して横方向、すなわちモバイル端末２００のほぼ幅方向のドラッグ操作２２０３が実行されている。一方、図１１の例では、ウェアラブルディスプレイ１００から見るとモバイル端末２００が横長の状態で、タッチセンサ２２０に対して縦方向、すなわちモバイル端末２００のほぼ長手方向のドラッグ操作２２０３が実行されている。しかし、いずれの場合も、空間的関係取得部２４２によってウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係が検出され、表示制御部２４６が姿勢関係に基づいて操作方向を変換した結果、画像１１００の左右方向にオブジェクト１１０６をスクロールさせる表示制御が実行される。

ここで、オブジェクト１１０６のスクロール量は、例えば、モバイル端末２００で取得されたドラッグ操作２２０３の操作量に対応していてもよい。あるいは、スクロール量は、ドラッグ操作２２０３の操作量を拡大／縮小することによって算出されてもよい。モバイル端末２００は、例えば図示された例のように画像１１００において透過的に表示されてもよく、また表示されなくてもよい。例えばカメラ２３０の画角が画像１１００に表示可能な実空間の範囲よりも広い場合には、モバイル端末２００が画像１１００の表示可能範囲の外にあっても、モバイル端末２００へのドラッグ操作２２０３による画像１１００でのスクロールが実行されうる。

上記の第２の例では、モバイル端末２００へのドラッグ操作２２０３が、ウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係に基づいて、ウェアラブルディスプレイ１００の画像１１００におけるスクロール操作に変換される。この例において、空間的関係取得部２４２は、少なくともウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係を検出できればよく、必ずしもウェアラブルディスプレイ１００とモバイル端末２００との位置関係を検出しなくてもよい。

（２−２．ドラッグ操作）
図１２は、本開示の実施形態におけるドラッグ操作の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、右側に配置されたオブジェクト１１０６ａが左側にドラッグされてオブジェクト１１０６ｂになっている。

このとき、図１２Ａに示すように、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０（または表示部２１０）がオブジェクト１１０６ａに重なった状態で、タッチセンサ２２０に対するタッチ操作２２０１を開始する。ユーザがタッチ操作２２０１を継続したまま実空間においてモバイル端末２００を図中の右側から左側へと移動させると、ウェアラブルディスプレイ１００から見たモバイル端末２００の位置の変化に対応してオブジェクト１１０６が画像１１００内で移動する。

さらに、ユーザは、オブジェクト１１０６が所望の位置まで移動された時点でタッチ操作２２０１を終了する。すると、オブジェクト１１０６は、画像１１００内のモバイル端末２００に対応する位置にドロップされてオブジェクト１１０６ｂになる。このとき、ドロップされたオブジェクト１１０６ｂが選択されていることを示すカーソル１１０８が表示されてもよい。タッチ操作２２０１が終了した後は、オブジェクト１１０６ｂは画像１１００内で配置されるため、図１２Ｂに示すようにモバイル端末２００をさらに移動させて画像１１００の範囲から離脱させることも可能である。

図示された例では、画像１１００におけるオブジェクト１１０６の傾きが、ドラッグ操作が開始された後はモバイル端末２００のタッチセンサ２２０（または表示部２１０）の傾きに整合される。従って、この例において、空間的関係取得部２４２は、ウェアラブルディスプレイ１００とモバイル端末２００との位置関係および姿勢関係を検出する。他の例において、オブジェクト１１０６の傾きをモバイル端末２００とは無関係に決定する（例えば、オブジェクト１１０６の傾きがドラッグ操作を通じて変化しない）場合には、空間的関係取得部２４２は必ずしもウェアラブルディスプレイ１００とモバイル端末２００との姿勢関係を検出しなくてもよい。

また、上記のドラッグ操作において、モバイル端末２００は、例えば図示された例のように画像１１００において透過的に表示されてもよく、また表示されなくてもよい。モバイル端末２００が画像１１００において表示されない場合、ユーザがドラッグ操作の始点や終点を認識できるように、モバイル端末２００の位置に連動する別のカーソルが表示されてもよい。

（２−３．拡大／縮小操作）
（第１の例）
図１３は、本開示の実施形態における拡大／縮小操作の第１の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、小さく表示されていたオブジェクト１１０６ｃが拡大されて、大きなオブジェクト１１０６ｄになっている。

このとき、ユーザは、ウェアラブルディスプレイ１００から見て向こう側（far side）でモバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０（または表示部２１０）がオブジェクト１１０６ｃに重なった状態で、タッチセンサ２２０に対するタッチ操作２２０１を開始する。ユーザがタッチ操作２２０１を継続したまま実空間においてモバイル端末２００を向こう側から手前側（near side）へと移動させると、ウェアラブルディスプレイ１００から見たモバイル端末２００の大きさの変化に対応してオブジェクト１１０６が画像１１００内で拡大される。

さらに、ユーザは、オブジェクト１１０６が所望のサイズまで拡大された時点でタッチ操作２２０１を終了する。すると、オブジェクト１１０６は、拡大後のサイズでドロップされてオブジェクト１１０６ｄになる。このとき、ドロップされたオブジェクト１１０６ｄが選択されていることを示すカーソル（図示せず）が表示されてもよい。なお、図示された例のように、オブジェクト１１０６の拡大／縮小と、ドラッグ操作によるオブジェクト１１０６の移動とが同時に実行されてもよいし、例えばモバイル端末２００の位置の変化から奥行き方向の成分が抽出されてオブジェクト１１０６の拡大／縮小だけが実行されてもよい。

図示された例では、画像１１００におけるオブジェクト１１０６のサイズがウェアラブルディスプレイ１００から見たモバイル端末２００のタッチセンサ２２０（または表示部２１０）のサイズに一致しているが、必ずしもそうでなくてもよい。つまり、拡大／縮小操作において、オブジェクト１１０６は、少なくとも一部がタッチセンサ２２０（または表示部２１０）に重なっていればよい。その後のオブジェクト１１０６の拡大／縮小の倍率は、例えばタッチ操作２２０１開始時のウェアラブルディスプレイ１００から見たタッチセンサ２２０（または表示部２１０）のサイズと、現在のサイズとの比率に基づいて決定されてもよい。

また、上記の拡大／縮小操作において、モバイル端末２００は、例えば図示された例のように画像１１００において透過的に表示されてもよく、また表示されなくてもよい。モバイル端末２００が画像１１００において表示されない場合、ユーザが拡大／縮小の対象や倍率を認識できるように、モバイル端末２００の位置に連動する別のカーソルが表示されてもよい。このとき、カーソルは、例えばカーソル自身のサイズの変化、奥行き方向のグリッド、または影など、奥行き方向の位置を表現するエフェクトを伴って表示されてもよい。

（第２の例）
図１４は、本開示の実施形態における拡大／縮小操作の第２の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示される画像１１００において、アイコングループ１１０６ｇの中に小さく表示されていたオブジェクト１１０６ｅが拡大されて、フリースペース１１００ｆに表示される大きなオブジェクト１１０６ｆになっている。

このとき、ユーザは、モバイル端末２００を把持し、モバイル端末２００のタッチセンサ２２０（または表示部２１０）がオブジェクト１１０６ｅに重なった状態で、タッチセンサ２２０に対するタッチ操作２２０１を開始する。ユーザがタッチ操作２２０１を継続したまま実空間においてモバイル端末２００を移動させると、ウェアラブルディスプレイ１００から見たモバイル端末２００の位置の変化に対応してオブジェクト１１０６が画像１１００内で移動する。

さらに、図示された例では、オブジェクト１１０６が画像１１００内で移動するのに伴って、オブジェクト１１０６のサイズが変化する。より具体的には、アイコングループ１１０６ｇの表示領域では小さく表示されていたオブジェクト１１０６は、フリースペース１１００ｆに移動すると拡大されて大きく表示される。つまり、この例では、オブジェクト１１０６の拡大／縮小が、モバイル端末２００の操作による画像１１００内での移動に伴って間接的に実現されている。この例において、オブジェクト１１０６の拡大／縮小の倍率は、例えば画像１１００内でオブジェクト１１０６が表示される領域に応じて予め設定されていてもよい。

上記の拡大／縮小操作において、モバイル端末２００は、例えば図示された例のように画像１１００において透過的に表示されてもよく、また表示されなくてもよい。モバイル端末２００が画像１１００において表示されない場合、ユーザが拡大／縮小の対象を認識できるように、モバイル端末２００の位置に連動する別のカーソルが表示されてもよい。ここで表示されるモバイル端末２００の画像やカーソルは、例えば画像１１００内でオブジェクト１１０６が表示される所定の倍率に合わせてサイズが変化してもよい。

（３．基準空間の設定）
次に、図１５〜図２７を参照して、本開示における基準空間の設定例について説明する。なお、以下の説明でも、簡単のため、上記の第１の装置構成例を用いて説明するが、装置構成に関する説明を参照すれば明らかなように、第２〜第４の装置構成例、およびその他の装置構成によっても同様の設定が可能である。

（３−１．基準空間の例）
図１５および図１６は、本開示の実施形態における基準空間の例について説明するための図である。本開示のいくつかの実施形態では、表示制御部が、基準空間にオブジェクトを配置した画像をウェアラブルディスプレイ１００の表示部１１０に表示させる。ここで表示されるオブジェクトは、例えばＧＵＩにおいて表示されるアイコンであってもよい。

図示された例では、表示制御部は、オブジェクトを配置する基準空間を、複数の候補から選択する。候補となる基準空間として、基準空間Ｃ１、基準空間Ｃ２、または基準空間Ｃ３が図示されている。なお、図１５はこれらの基準空間を独立した視点で表現した図であり、図１６はこれらの基準空間をウェアラブルディスプレイ１００の視点で表現した図である。

基準空間Ｃ１は、モバイル端末２００のタッチセンサ２２０の操作面、または表示部２１０の表示面を基準にして設定される基準空間である。図示された例において、基準空間Ｃ１は、操作面（または表示面）を基底面（ｘ軸およびｙ軸を含む面）とし、さらに操作面（または表示面）に垂直な方向を奥行き方向（ｚ軸方向）とする３次元空間として定義されている。表示部１１０の表示において基準空間Ｃ１に配置されたオブジェクトは、モバイル端末２００の位置や姿勢の変化に伴って位置や姿勢が変化する。

基準空間Ｃ２は、ウェアラブルディスプレイ１００の表示部１１０の表示面、または表示部１１０によって表示される仮想的なディスプレイの画面を基準にして設定される基準空間である。図示された例において、基準空間Ｃ２は、表示面（または仮想的な画面）を基底面（ｘ軸およびｙ軸を含む面）とする２次元空間（平面）として定義されている。表示部１１０の表示において基準空間Ｃ２に配置されたオブジェクトは、何らかの操作が加えられない限り、ウェアラブルディスプレイ１００やモバイル端末２００の位置や姿勢に関わらず表示部１１０の同じ位置に表示され続ける。

基準空間Ｃ３は、ウェアラブルディスプレイ１００およびモバイル端末２００が存在する実空間（環境空間）である。図示された例において、基準空間Ｃ３は、ウェアラブルディスプレイ１００およびモバイル端末２００とは独立して位置が定義される３次元空間である。表示部１１０の表示において基準空間Ｃ３に配置されたオブジェクトは、例えばウェアラブルディスプレイ１００の位置や姿勢の変化によって表示部１１０に対する視点が変化しても、実空間との関係において同じ位置に表示され続ける。

以下、それぞれの基準空間を採用した場合のウェアラブルディスプレイ１００での表示例について、さらに説明する。

（モバイル端末基準空間）
図１７および図１８は、本開示の実施形態においてモバイル端末基準空間（上述の基準空間Ｃ１）を採用した場合の表示例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示された画像１１００において、基準空間Ｃ１の基底面に複数のウインドウ１１１０が配列されている。上記の通り、基準空間Ｃ１の基底面はモバイル端末２００のタッチセンサ２２０の操作面（または表示部２１０の表示面）にほぼ一致するため、ウインドウ１１１０は、操作面（または表示面）が仮想的に拡張されたようなＧＵＩを提供しうる。

例えば、図１７に示したようにウインドウ１１１０ａ，１１１０ｂ，１１１０ｃが表示されているときに、ユーザがモバイル端末２００のタッチセンサ２２０に対して図中の左右方向のドラッグ操作を実行すると、図１８に示したようにウインドウ１１１０の表示がドラッグ操作の向きに移動して表示される。図１７ではウインドウ１１１０ａがタッチセンサ２２０に重複して表示されているが、図１８では隣のウインドウ１１１０ｂがタッチセンサ２２０に重複して表示されている。

上記の例のような表示において、例えば実空間でモバイル端末２００の姿勢が変化した場合、姿勢変化後のモバイル端末２００のタッチセンサ２２０の操作面（または表示部２１０の表示面）によって定義される基準空間Ｃ１の基底面に合わせて、ウェアラブルディスプレイ１００で表示されるウインドウ１１１０が移動する。このような基準空間Ｃ１での表示によって、モバイル端末２００に対する操作とウェアラブルディスプレイ１００に表示される画像の変化との関係がユーザに容易に理解されうる。

例えば、上記で図１２を参照して説明したドラッグ操作や、図１３を参照して説明した拡大／縮小操作などにおいて、タッチ操作２２０１によってオブジェクト１１０６が選択されている間はオブジェクト１１０６を基準空間Ｃ１に配置することにすれば、オブジェクト１１０６がモバイル端末２００の位置の変化に従って移動または変形されていることが容易に認識されうる。

（ウェアラブルディスプレイ基準空間）
図１９〜図２１は、本開示の実施形態においてウェアラブルディスプレイ基準空間（上述の基準空間Ｃ２）を採用した場合の表示例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示された画像１１００において、基準空間Ｃ２の基底面にオブジェクト１１０６（ここでは画像のサムネイル）が配置されている。図１９に示されているように、画像１１００に透過的に表示されるモバイル端末２００がオブジェクト１１０６に重なった状態でモバイル端末２００のタッチセンサ２２０に対するタッチ操作２２０１が開始されると、オブジェクト１１０６は、透過的に表示されるモバイル端末２００とともに画像１１００内で移動する。

図２０は、図１９に続いて、オブジェクト１１０６が移動している途中の様子を示す。図２０に示された状態では、モバイル端末２００が奥行き方向に遠ざかり、画像１１００に透過的に表示されるモバイル端末２００が小さくなったのに応じて、オブジェクト１１０６も縮小されている。さらに、図２１は、図２０に続いて、モバイル端末２００が手前に戻ってきて、画像１１００に透過的に表示されるモバイル端末２００が大きくなったのに応じて、オブジェクト１１０６も拡大された状態を示す。なお、図２１のように、オブジェクト１１０６が移動されて表示部１１０に対して十分に近傍に配置された場合、自動的にオブジェクト１１０６に対応するコンテンツの全画面表示が開始されてもよい。

上記で図１９〜図２１に示した一連の移動の過程において、オブジェクト１１０６は、画像１１００に透過的に表示されるモバイル端末２００の位置に応じて移動するとともに、表示されるモバイル端末２００のサイズに応じて拡大／縮小される。しかし、この例において、オブジェクト１１０６は、ウェアラブルディスプレイ１００の表示部１１０の表示面、または表示部１１０によって表示される仮想的なディスプレイの画面を基底面とする２次元空間である基準空間Ｃ２に表示されている。従って、上記の例では、オブジェクト１１０６がモバイル端末２００の姿勢に合わせて３次元的に変形して表示されることはない。

このような基準空間Ｃ２での表示によって、例えば、操作対象がウェアラブルディスプレイ１００に表示されている画像であることがユーザに容易に理解されうる。例えば、上記で図１２を参照して説明したドラッグ操作や、図１３を参照して説明した拡大／縮小操作などにおいて、タッチ操作２２０１がなくオブジェクト１１０６が選択されていない間はオブジェクト１１０６を基準空間Ｃ２に配置することにすれば、オブジェクト１１０６が表示部１１０において固定されていることが容易に認識されうる。

（実基準空間）
図２２は、本開示の実施形態において実基準空間（上記の基準空間Ｃ３）を採用した場合の表示例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０に表示された画像１１００において、基準空間Ｃ３にオブジェクト１１１２が配置されている。上記の通り、基準空間Ｃ３は、ウェアラブルディスプレイ１００およびモバイル端末２００が存在する実空間（環境空間）である。従って、オブジェクト１１１２は、ウェアラブルディスプレイ１００やモバイル端末２００の位置や姿勢に関わらず同じ位置に配置されうる。

例えば、上記の例のように基準空間Ｃ３に表示されたオブジェクト１１１２に対して、上記で図１２を参照して説明したドラッグ操作を繰り返せば、オブジェクトをユーザの周りに３６０度回転させるような操作も可能である。この場合、オブジェクト１１１２は、モバイル端末２００への操作によって選択されたときに基準空間Ｃ１に遷移し、モバイル端末２００の実空間での移動に伴って移動する。選択が解除されると、オブジェクト１１１２は再び基準空間Ｃ３に遷移し、ウェアラブルディスプレイ１００およびモバイル端末２００の位置からは独立する。この状態でウェアラブルディスプレイ１００を移動させ（モバイル端末２００は移動しなくてもよい）、その後さらに同様のドラッグ操作を実行することで、オブジェクト１１１２を連続的に移動させることができる。

（３−２．基準空間の切り替え）
上述のように、本開示のいくつかの実施形態では、例えばオブジェクトに対する操作状態に応じて、オブジェクトが配置される基準空間を切り替えることができる。この場合、オブジェクトは、異なる基準空間の間を遷移して表示される。以下では、このような基準空間の切り替えのための操作および表示の例についてさらに説明する。

図２３は、本開示の実施形態における基準空間切り替えの表示例を示す図である。この例では、図２３Ａに示されるように、ウェアラブルディスプレイ１００の表示部１１０に表示された画像１１００においてある基準空間に表示されているオブジェクト１１０６ｊについて、別の基準空間で表示した場合の形状を示す拡張グラフィック１１１４が表示される。拡張グラフィック１１１４は、例えば、画像１１００におけるオブジェクト１１０６ｊの表示位置が、別の基準空間で表示した場合の表示位置に重複した場合に表示されうる。ここで、所定の操作（例えばモバイル端末２００のタッチセンサ２２０へのタッチ操作、または長押し操作など）が取得されると、図２３Ｂに示されるように、オブジェクト１１０６ｊが別の基準空間で表示されたオブジェクト１１０６ｋに変化する。

図２４は、本開示の実施形態における基準空間切り替えの第１の操作例を示す図である。図示された例では、上記の基準空間Ｃ１（モバイル端末２００を基準とする空間）で表示されていたオブジェクト１１０６が、モバイル端末２００のタッチセンサ２２０へのタッチ操作２２０１が終了した時点で基準空間Ｃ３（実空間）に遷移し、モバイル端末２００から離れて空間内に配置される。

なお、同様の表示が、例えば上述したドラッグ操作の例でも可能である。図１２Ｂに示した例では、タッチ操作２２０１の終了時に、基準空間Ｃ１に配置されてモバイル端末２００とともに移動していたオブジェクト１１０６が基準空間Ｃ２に遷移し、モバイル端末２００から離れてオブジェクト１１０６ｂとして画像１１００内に配置される。

図２５および図２６は、本開示の実施形態における基準空間切り替えの第２の操作例を示す図である。図示された例では、上記の基準空間Ｃ１（モバイル端末２００を基準とする空間）で表示されていたオブジェクト１１０６が、モバイル端末２００のタッチセンサ２２０へのドラッグ操作２２０３によって基準空間Ｃ３（実空間）に遷移し、モバイル端末２００から離れて空間内に配置される。このとき、オブジェクト１１０６は、基準空間Ｃ１から基準空間Ｃ３に遷移した後、例えばドラッグ操作２２０３によってモバイル端末２００上を滑動するようなエフェクトによって少し移動してから固定されてもよい。

なお、上記の例では２つの基準空間の間での切り替えについて説明したが、例えば３つの基準空間の間で切り替えが実行されてもよい。上記の図２５および図２６の例において、例えばタッチセンサ２２０に対してドラッグ操作２２０３の代わりにタップまたはダブルタップなどの操作を実行した場合には、オブジェクト１１０６が基準空間Ｃ１から基準空間Ｃ３に遷移する代わりに基準空間Ｃ２（ウェアラブルディスプレイ１００を基準とする空間）に遷移してもよい。このように、遷移先の基準空間に複数の候補がありうる場合、例えばタッチセンサ２２０に対して実行される操作の種類によって遷移先の基準空間が決定されてもよい。

図２７は、本開示の実施形態における基準空間ごとのカーソル表示の例を示す図である。上記のように、本開示のいくつかの実施形態では、オブジェクト１１０６が表示されうる基準空間が複数の候補から選択されうる。従って、例えば画像１１００の表示において、オブジェクト１１０６がどの基準空間に配置されているかを表現することが有用でありうる。

図２７Ａには、オブジェクト１１０６が基準空間Ｃ１または基準空間Ｃ３のような３次元空間に配置されている場合のカーソル１１０８ａが示されている。カーソル１１０８ａは、例えば、板状のアイコン１１０６を３次元的に包含する箱のような形状で表示されてもよい。一方、図２７Ｂには、オブジェクト１１０６が基準空間Ｃ２のような２次元空間に配置されている場合のカーソル１１０８ｂが示されている。カーソル１１０８ｂは、例えば、平面上の領域として表示されたアイコン１１０６の角部分を囲むような図形として表示されてもよい。

他にも、オブジェクト１１０６が配置されている基準空間は、例えばオブジェクト１１０６またはカーソル１１０８の色や質感などの表示エフェクトによって表現されてもよい。また、オブジェクト１１０６が配置されている空間は、オブジェクト１１０６の近傍に表示されるアイコンによって表現されてもよい。

（４．実空間からの割り込み表示）
次に、図２８〜図３１を参照して、本開示の実施形態における実空間からの割り込み表示の例について説明する。なお、以下の説明でも、簡単のため、上記の第１の装置構成例を用いて説明するが、装置構成に関する説明を参照すれば明らかなように、第２〜第４の装置構成例、およびその他の装置構成によっても同様の表示が可能である。

本開示のいくつかの実施形態では、上述の例のように、モバイル端末２００を用いてウェアラブルディスプレイ１００が操作される。この場合、例えばウェアラブルディスプレイ１００で通常はユーザの視界を遮蔽した状態でコンテンツやＧＵＩの画像が表示されるとしても、少なくとも一時的に実空間におけるモバイル端末２００の位置および姿勢、またはモバイル端末２００のタッチセンサ２２０に対する操作状態などを視認可能であるほうが、ユーザにウェアラブルディスプレイ１００の操作が容易になる場合がありうる。

また、他の実施形態では、モバイル端末２００が必ずしもウェアラブルディスプレイ１００の操作に用いられないが、ウェアラブルディスプレイ１００でユーザの視界を遮蔽した状態でコンテンツやＧＵＩの画像を表示しているときに、モバイル端末２００にメッセージの着信などがあった場合に、ウェアラブルディスプレイ１００を外したり画像の表示を中断したりすることなく、モバイル端末２００やそこに表示された画像を確認したい場合がありうる。

以下の例では、例えば上記のような場合のために、ウェアラブルディスプレイ１００においてユーザの視界を遮蔽して画像が表示される場合に、外部の実空間の像を選択的に画像に割り込ませる。実空間の像は、例えばモバイル端末２００またはモバイル端末２００の表示部２１０に表示された画像でありうる他、ユーザが視認することによって何らかの情報を得られるオブジェクトの像であればどのようなものであってもよい。

また、実空間の像を割り込ませる場合、例えばカメラ１３０によって生成された撮像画像から抽出された実空間の画像がコンテンツなどの画像の少なくとも一部に代えて、またはコンテンツなどの画像の少なくとも一部に重ねて表示されてもよいし、コンテンツなどの画像の透過率を部分的に上げることによって外部の実空間の像を透過させてもよい。

（４−１．モバイル端末の割り込み表示）
図２８は、本開示の実施形態におけるモバイル端末の割り込み表示の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０にユーザの視界を遮蔽するコンテンツ画像１１０２が表示されているときに、モバイル端末２００’が割り込んで表示されている。

ここで、モバイル端末２００’は、例えば、ウェアラブルディスプレイ１００のカメラ１３０が生成する撮像画像から、空間的関係取得部２４２が推定した空間的関係に基づいてモバイル端末２００の画像を抽出し、この画像を実空間の視界におけるモバイル端末２００の位置（表示部１１０がない場合にモバイル端末２００が見える位置）でコンテンツ画像１１０２に代えて、またはコンテンツ画像１１０２に重ねて配置することによって表示される。

あるいは、表示部１１０がユーザの視界に透過的に画像を重畳表示させることが可能である場合には、実空間の視界におけるモバイル端末２００の位置でコンテンツ画像１１０２の透過率を上げることによって実空間におけるモバイル端末２００の像を透過させ、モバイル端末２００’をコンテンツ画像１１０２に割り込ませることが可能である。

（４−２．表示画像の割り込み表示）
図２９は、本開示の実施形態における表示画像の割り込み表示の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０にユーザの視界を遮蔽するコンテンツ画像１１０２が表示されているときに、モバイル端末の表示画像２１００’が割り込んで表示されている。

ここで、表示画像２１００’は、例えば、ウェアラブルディスプレイ１００のカメラ１３０が生成する撮像画像から、空間的関係取得部２４２が推定した空間的関係に基づいてモバイル端末２００の表示部２１０に表示された画像２１００の画像を抽出し、この画像を実空間の視界における画像２１００の位置(表示部１１０がない場合に表示画像２１００が見える位置)でコンテンツ画像１１０２に代えて、またはコンテンツ画像１１０２に重ねて配置することによって表示される。

なお、上記の場合、表示画像２１００’は、カメラ１３０が生成する撮像画像とは別に、推定された空間的関係に基づいて表示制御部２４６において再描画されてもよい。つまり、表示制御部２４６は、表示部２１０に画像２１００を表示させるのに用いたのと同様のデータに基づいて「ウェアラブルディスプレイ１００から見た場合の画像２１００」を再描画したものを表示画像２１００’として用いてもよい。この場合、表示画像２１００’が、撮像画像から抽出する場合よりもクリアに表示され、表示画像２１００’に含まれるリンクなどの操作子に対する操作も可能になりうる。

あるいは、表示部１１０がユーザの視界に透過的に画像を重畳表示させることが可能である場合には、実空間の視界における表示画像２１００の位置でコンテンツ画像１１０２の透過率を上げることによって実空間における表示画像２１００の像を透過させ、表示画像２１００’をコンテンツ画像１１０２に割り込ませることが可能である。

図３０は、本開示の実施形態における表示画像の割り込み表示の別の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０にユーザの視界を遮蔽するコンテンツ画像１１０２が表示されているときに、モバイル端末の表示画像に関連して生成される情報ウインドウ１１１６が割り込んで表示されている。

まず、図３０Ａに示した例では、表示部１１０に表示されたコンテンツ画像１１０２の範囲に一部だけが含まれる（またはウェアラブルディスプレイ１００からの距離が遠い）モバイル端末２００にメッセージの着信があったことを示す情報ウインドウ１１１６ａが、コンテンツ画像１１０２に割り込んで表示されている。また、図３０Ｂに示した例では、表示部１１０に表示されたコンテンツ画像１１０２の範囲にやや大きく含まれる（またはウェアラブルディスプレイ１００からの距離が中程度の）モバイル端末２００にメッセージの着信があったことを示す情報ウインドウ１１１６ｂが、コンテンツ画像１１０２に割り込んで表示されている。さらに、図３０Ｃに示した例では、表示部１１０に表示されたコンテンツ画像１１０２の範囲に大きく含まれる（またはウェアラブルディスプレイ１００からの距離が近い）モバイル端末２００にメッセージの着信があったことを示す情報ウインドウ１１１６ｃが、コンテンツ画像１１０２に割り込んで表示されている。

上記の例において、情報ウインドウ１１１６に含まれる情報量は、モバイル端末２００がウェアラブルディスプレイ１００に近づくほど多くなる。つまり、この例において、表示制御部２４６は、モバイル端末２００の表示部２１０に表示される画像２１００に基づいて編集された画像である情報ウインドウ１１１６に含まれる情報量を、ウェアラブルディスプレイ１００とモバイル端末２００との空間的関係に応じて変化させている。

（４−３．一般的なオブジェクトの割り込み表示）
図３１は、本開示の実施形態における一般的なオブジェクトの割り込み表示の例を示す図である。図示された例では、ウェアラブルディスプレイ１００の表示部１１０にユーザの視界を遮蔽するコンテンツ画像１１０２が表示されているときに、ユーザの視界にあるさまざまなオブジェクトが割り込んで表示されている。

例えば、図３１Ａでは、ユーザＵの視界Ｖ２に含まれるテレビジョンＴＶ１の表示画像２１００’が、コンテンツ画像１１０２に割り込んで表示されている。また、図３１Ｂでは、ユーザＵの視界Ｖ１に含まれるテレビジョンＴＶ２の表示画像２１００’と、同じく視界Ｖ１に含まれる時計ＣＬＯＣＫの画像ＣＬＯＣＫ’とが、コンテンツ画像１１０２に割り込んで表示されている。図示していないが、例えばユーザＵの視界にパーソナルコンピュータＰＣが入った場合には、ＰＣの表示画像がコンテンツ画像１１０２に割り込んで表示されてもよい。

また、例えば、図３１Ｂに示したような割り込み表示がされている場合に、表示画像２１００’がユーザの操作入力によって選択された場合、図３１Ｃに示すように表示画像２１００’が拡大および変形されて、表示部１１０に全画面表示されてもよい。なお、ここでいう操作入力は、上記の例のようなモバイル端末２００を介した操作入力には限らず、例えば音声やジェスチャを用いた操作入力であってもよい。あるいは、ウェアラブルディスプレイ１００を装着したユーザの振り向きを加速度センサなどによって判定し、ユーザがテレビジョンＴＶ２の方を向いたことが判定された場合に、上記のように表示画像２１００’を全画面表示してもよい。

上記の例において、テレビジョンや時計などのうちのどのオブジェクトを割り込み表示させるかは、例えばユーザが予め登録することによって決定されうる。割り込み表示対象のオブジェクトを登録する場合、例えば、表示部１１０に表示された画像において割り込み表示対象になりうるオブジェクトがワイヤーフレームなどを用いて仮想的に表示され、ユーザがこの仮想的な表示を選択した場合に、オブジェクトが割り込み表示対象に設定されてもよい。

なお、割り込み表示の対象になりうるオブジェクトについては、上記の例のモバイル端末２００と同様に、例えばウェアラブルディスプレイ１００のカメラ１３０が生成した撮像画像の解析および／または深度センサなどの検出結果に基づいてウェアラブルディスプレイ１００との空間的関係が推定されている。

また、割り込み表示の対象になるオブジェクトは、例えばモバイル端末２００やテレビジョンのような端末装置には限られず、時計のような一般的なオブジェクトを含みうる。さらに、ウェアラブルディスプレイ１００を装着しているユーザ自身の手などの身体の部分や他のユーザが割り込み表示の対象であってもよい。

ここで、上述したような各種オブジェクトの割り込み表示は、所定のトリガが取得された場合に実行される。例えば、図３０などの例で示されたように、割り込み表示対象の端末装置（モバイル端末２００）が通知を受信したことが所定のトリガとして取得されて、割り込み表示が実行されてもよい。また、図９〜図１４などの例への応用として、割り込み表示対象の端末装置（モバイル端末２００）が操作入力を取得したことが所定のトリガとして取得されて、割り込み表示が実行されてもよい。ここでの操作入力は、ウェアラブルディスプレイ１００を操作するための操作入力であってもよい。

他にも、オブジェクトの割り込み表示を実行するために、さまざまなトリガが設定されうる。例えば、図３１に示した例のように、各オブジェクトがユーザの視界に入った場合に割り込み表示が実行されてもよい。また、各オブジェクトがユーザに向けた何らかの動作をした場合に割り込み表示が実行されてもよい。例えば、他のユーザが割り込み表示の象のオブジェクトであるである場合、他のユーザがウェアラブルディスプレイ１００を装着しているユーザに話しかけたことが所定のトリガとして取得されて、割り込み表示が実行されてもよい。

（５．補足）
本開示の実施形態は、例えば、上記で説明したような表示制御装置（モバイル端末、ウェアラブルディスプレイまたはサーバ）、システム、表示制御装置またはシステムで実行される表示制御方法、表示制御装置を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得する空間的関係取得部と、
前記端末装置が取得した操作入力を示す情報を取得する操作取得部と、
前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御する表示制御部と
を備える表示制御装置。
（２）前記表示制御部は、基準空間にオブジェクトを配置した画像を前記表示部に表示させる、前記（１）に記載の表示制御装置。
（３）前記表示制御部は、前記オブジェクトが配置される基準空間を複数の候補から選択する、前記（２）に記載の表示制御装置。
（４）前記表示制御部は、前記オブジェクトの表示エフェクトによって前記選択されている基準空間を表現する、前記（３）に記載の表示制御装置。
（５）前記表示制御部は、前記オブジェクトが選択されているときに表示されるカーソルの種類によって前記選択されている基準空間を表現する、前記（４）に記載の表示制御装置。
（６）前記複数の候補は、互いに異なる第１の基準空間、第２の基準空間、及び第３の基準空間を含み、
前記表示制御部は、第１の基準空間に配置された前記オブジェクトに対する前記操作入力の種類に応じて、前記オブジェクトを第２の基準空間に遷移させるか第３の基準空間に遷移させるかを決定する、前記（３）〜（５）のいずれか１項に記載の表示制御装置。
（７）前記複数の候補は、前記端末装置の操作面を基準にした第１の基準空間、前記画像の表示面を基準にした第２の基準空間、または実空間で定義される第３の基準空間を含む、前記（３）〜（６）のいずれか１項に記載の表示制御装置。
（８）前記空間的関係取得部は、少なくとも前記ウェアラブルディスプレイと前記端末装置との位置関係を示す情報を取得し、
前記表示制御部は、前記操作入力および前記位置関係の変化に基づいて前記画像の表示を制御する、前記（１）〜（７）のいずれか１項に記載の表示制御装置。
（９）前記操作取得部は、前記端末装置が有するタッチセンサへの接触を示す情報を取得し、
前記表示制御部は、基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触を前記オブジェクトを選択する操作入力として扱う、前記（８）に記載の表示制御装置。
（１０）前記表示制御部は、前記位置関係の変化に応じて前記選択されたオブジェクトを移動させる、前記（９）に記載の表示制御装置。
（１１）前記空間的関係取得部は、前記端末装置の前記表示部に対する奥行き方向の位置を示す情報を取得し、
前記表示制御部は、前記奥行き方向の位置の変化に応じて前記選択されたオブジェクトを拡大または縮小させる、前記（９）または（１０）に記載の表示制御装置。
（１２）前記表示制御部は、前記オブジェクトが前記接触によって選択されている間は前記オブジェクトを前記端末装置の操作面を基準にした基準空間に配置する、前記（９）〜（１１）のいずれか１項に記載の表示制御装置。
（１３）前記空間的関係取得部は、少なくとも前記ウェアラブルディスプレイと前記端末装置との姿勢関係を示す情報を取得し、
前記表示制御部は、前記操作入力および前記姿勢関係に基づいて前記画像の表示を制御する、前記（１）〜（１２）のいずれか１項に記載の表示制御装置。
（１４）前記操作取得部は、前記端末装置が有するタッチセンサへの接触位置の移動を示す情報を取得し、
前記表示制御部は、基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触位置の移動に応じて前記オブジェクトを移動させる、前記（１３）に記載の表示制御装置。
（１５）前記表示制御部は、前記姿勢関係に基づいて、前記接触位置の移動方向を前記オブジェクトの移動方向に変換する、前記（１４）に記載の表示制御装置。
（１６）ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得することと、
前記端末装置が取得した操作入力を示す情報を取得することと、
前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御することと
を含む表示制御方法。
（１７）ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得する機能と、
前記端末装置が取得した操作入力を示す情報を取得する機能と、
前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御する機能と
をコンピュータに実現させるためのプログラムが記録された記録媒体。

１０，２０，３０，４０ システム
１００ ウェアラブルディスプレイ
１１０ 表示部
１４０ プロセッサ
２００ モバイル端末
２１０ 表示部
２２０ タッチセンサ
２４０ プロセッサ
３００ サーバ
３２０ プロセッサ
１４２，２４２，３２２ 空間的関係取得部
１４４，２４４，３２４ 操作取得部
１４６，２４６，３２６ 表示制御部

Claims (14)

1. ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得する空間的関係取得部と、
   前記端末装置が取得した操作入力を示す情報を取得する操作取得部と、
   前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御する表示制御部と
   を備え、
   前記空間的関係取得部は、少なくとも前記ウェアラブルディスプレイと前記端末装置との位置関係を示す情報を取得し、
   前記表示制御部は、前記操作入力および前記位置関係の変化に基づいて前記画像の表示を制御し、
   前記操作取得部は、前記端末装置が有するタッチセンサへの接触を示す情報を取得し、
   前記表示制御部は、
   基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触を前記オブジェクトを選択する操作入力として扱い、
   前記オブジェクトが前記接触によって選択されている間は前記オブジェクトを前記端末装置の操作面を基準にした基準空間に配置する、表示制御装置。
2. 前記表示制御部は、基準空間にオブジェクトを配置した画像を前記表示部に表示させる、請求項１に記載の表示制御装置。
3. 前記表示制御部は、前記オブジェクトが配置される基準空間を複数の候補から選択する、請求項２に記載の表示制御装置。
4. 前記表示制御部は、前記オブジェクトの表示エフェクトによって前記選択されている基準空間を表現する、請求項３に記載の表示制御装置。
5. 前記表示制御部は、前記オブジェクトが選択されているときに表示されるカーソルの種類によって前記選択されている基準空間を表現する、請求項４に記載の表示制御装置。
6. 前記複数の候補は、互いに異なる第１の基準空間、第２の基準空間、及び第３の基準空間を含み、
   前記表示制御部は、第１の基準空間に配置された前記オブジェクトに対する前記操作入力の種類に応じて、前記オブジェクトを第２の基準空間に遷移させるか第３の基準空間に遷移させるかを決定する、請求項３〜５のいずれか１項に記載の表示制御装置。
7. 前記複数の候補は、前記端末装置の操作面を基準にした第１の基準空間、前記画像の表示面を基準にした第２の基準空間、または実空間で定義される第３の基準空間を含む、請求項３〜６のいずれか１項に記載の表示制御装置。
8. 前記表示制御部は、前記位置関係の変化に応じて前記選択されたオブジェクトを移動させる、請求項１〜７のいずれか１項に記載の表示制御装置。
9. 前記空間的関係取得部は、前記端末装置の前記表示部に対する奥行き方向の位置を示す情報を取得し、
   前記表示制御部は、前記奥行き方向の位置の変化に応じて前記選択されたオブジェクトを拡大または縮小させる、請求項１〜８のいずれか１項に記載の表示制御装置。
10. 前記空間的関係取得部は、少なくとも前記ウェアラブルディスプレイと前記端末装置との姿勢関係を示す情報を取得し、
    前記表示制御部は、前記操作入力および前記姿勢関係に基づいて前記画像の表示を制御する、請求項１〜９のいずれか１項に記載の表示制御装置。
11. 前記操作取得部は、前記端末装置が有するタッチセンサへの接触位置の移動を示す情報を取得し、
    前記表示制御部は、基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触位置の移動に応じて前記オブジェクトを移動させる、請求項１０に記載の表示制御装置。
12. 前記表示制御部は、前記姿勢関係に基づいて、前記接触位置の移動方向を前記オブジェクトの移動方向に変換する、請求項１１に記載の表示制御装置。
13. ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得することと、
    前記端末装置が取得した操作入力を示す情報を取得することと、
    前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御することと
    を含み、
    前記空間的関係を示す情報を取得することは、少なくとも前記ウェアラブルディスプレイと前記端末装置との位置関係を示す情報を取得することを含み、
    前記表示を制御することは、前記操作入力および前記位置関係の変化に基づいて前記画像の表示を制御することを含み、
    前記操作入力を示す情報を取得することは、前記端末装置が有するタッチセンサへの接触を示す情報を取得することを含み、
    前記表示を制御することは、
    基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触を前記オブジェクトを選択する操作入力として扱い、
    前記オブジェクトが前記接触によって選択されている間は前記オブジェクトを前記端末装置の操作面を基準にした基準空間に配置することを含む、表示制御方法。
14. ウェアラブルディスプレイと端末装置との空間的関係を示す情報を取得する機能と、
    前記端末装置が取得した操作入力を示す情報を取得する機能と、
    前記操作入力および前記空間的関係に基づいて前記ウェアラブルディスプレイの表示部における画像の表示を制御する機能と
    をコンピュータに実現させ、
    前記空間的関係を示す情報を取得する機能は、少なくとも前記ウェアラブルディスプレイと前記端末装置との位置関係を示す情報を取得し、
    前記表示を制御する機能は、前記操作入力および前記位置関係の変化に基づいて前記画像の表示を制御し、
    前記操作入力を示す情報を取得する機能は、前記端末装置が有するタッチセンサへの接触を示す情報を取得し、
    前記表示を制御する機能は、
    基準空間にオブジェクトを配置した画像を前記表示部に表示させ、前記接触を前記オブジェクトを選択する操作入力として扱い、
    前記オブジェクトが前記接触によって選択されている間は前記オブジェクトを前記端末装置の操作面を基準にした基準空間に配置する、プログラムが記録された、記録媒体。

Images