JP6689679B2

JP6689679B2 - 表示装置、情報表示システム、及びプログラム

Info

Publication number: JP6689679B2
Application number: JP2016110440A
Authority: JP
Inventors: 田中　奈緒; 奈緒田中
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2020-04-28
Anticipated expiration: 2036-06-01
Also published as: JP2017215873A

Description

本発明は、表示装置、情報表示システム、及びプログラムに関する。

従来、カメラを使用して物体の位置を検出するシステムが知られている。例えば、特許文献１には、カメラを使用して頭部装着型ディスプレイの位置及び姿勢を計測することにより、頭部装着型ディスプレイに表示する映像を変えるシステムが開示されている。

特開２００７−７１７８２号公報

しかしながら、従来のシステムには、例えば利便性向上の観点から、改善の余地があった。

かかる事情に鑑みてなされた本発明の目的は、利便性を向上させた表示装置、情報表示システム、及びプログラムを提供することにある。

本発明の一実施形態に係る表示装置は、ユーザの頭部に装着される表示装置であって、光源と、前記頭部の３軸まわりの角度変化を検出するセンサと、第１撮像装置によって撮像された前記光源の第１撮像画像及び第２撮像装置によって撮像された前記光源の第２撮像画像に基づき特定される前記光源の位置に関する情報を取得する通信インターフェースと、前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行する制御部と、を備える。前記光源の位置は、前記第１撮像装置の位置ベクトルを第１ベクトル、前記第２撮像装置の位置ベクトルを第２ベクトル、前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される。

また、本発明の一実施形態に係る情報表示システムは、ユーザの頭部に装着される表示装置と、第１撮像装置と、第２撮像装置と、を備える情報処理システムである。前記表示装置は、光源と、前記頭部の３軸まわりの角度変化を検出するセンサと、前記第１撮像装置によって撮像された前記光源の第１撮像画像及び前記第２撮像装置によって撮像された前記光源の第２撮像画像に基づき特定される前記光源の位置に関する情報を取得する通信インターフェースと、前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行する制御部と、を備える。前記光源の位置は、前記第１撮像装置の位置ベクトルを第１ベクトル、前記第２撮像装置の位置ベクトルを第２ベクトル、前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される。

また、本発明の一実施形態に係るプログラムは、ユーザの頭部に装着される表示装置に、前記表示装置に備えられたセンサを用いて前記頭部の３軸まわりの角度変化を検出するステップと、第１撮像装置によって撮像された前記光源の第１撮像画像及び第２撮像装置によって撮像された第２撮像画像に基づき特定される、前記表示装置に備えられた光源の位置に関する情報を取得するステップと、前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行するステップと、を実行させる。前記光源の位置は、前記第１撮像装置の位置ベクトルを第１ベクトル、前記第２撮像装置の位置ベクトルを第２ベクトル、前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される。

本発明によれば、利便性を向上させた表示装置、情報表示システム、及びプログラムを提供できる。

本発明の一実施形態に係る位置検出システムの概略構成を示す機能ブロック図である。図１の位置検出システムによる位置検出原理について説明する概略図である。図１の位置検出システムを用いた情報表示システムの概略構成を示す機能ブロック図である。図３のヘッドマウントディスプレイの一例を示す外観斜視図である。図３の情報表示システムによる情報表示処理の一例を示すシーケンス図である。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る位置検出システム１００の概略構成を示す機能ブロック図である。本実施形態に係る位置検出システム１００は、複数の撮像装置と、各撮像装置と通信可能に構成される情報処理装置１３０とを備える。本実施形態では、図１に示すように、位置検出システム１００は、複数の撮像装置として、第１撮像装置１１０と、第２撮像装置１２０という、２つの撮像装置を備える。位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。

図２は、図１の位置検出システム１００による位置検出原理について説明する概略図である。本実施形態に係る位置検出システム１００では、第１撮像装置１１０及び第２撮像装置１２０が、位置検出の対象である対象物Ｐを撮像し、情報処理装置１３０が、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。第１撮像装置１１０及び第２撮像装置１２０は、図２に一例として示すように、それぞれ異なる方向から対象物Ｐを撮像する。本実施形態において、対象物Ｐは、例えば７００〜１５００ｎｍ程度の近赤外線を発する赤外線ＬＥＤ（発光ダイオード：Light Emitting Diode）であるとして説明する。

再び図１を参照すると、第１撮像装置１１０は、制御部１１１と、記憶部１１２と、通信部１１３と、第１撮像部１１４とを備える。第１撮像装置１１０は、対象物Ｐを撮像し、撮像画像を情報処理装置１３０に送信する。

制御部１１１は、第１撮像装置１１０が備える各機能ブロックをはじめとして、第１撮像装置１１０の全体を制御及び管理するプロセッサである。制御部１１１は、制御手順を規定したプログラムを実行するＣＰＵ（Central Processing Unit）等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１１２又は外部の記憶媒体等に格納される。制御部１１１は、例えば第１撮像部１１４による撮像処理の制御を行う。

記憶部１１２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１１１の動作に必要なデータ等を記憶する。また、記憶部１１２は、ワークメモリとして機能するＲＡＭ（Random Access Memory）等のデバイスも有する。記憶部１１２は、例えば第１撮像部１１４が撮像して取得した撮像画像（以下「第１撮像画像」ともいう）を記憶してもよい。

通信部１１３は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、第１撮像装置１１０は、通信部１１３を介して、第１撮像画像を情報処理装置１３０に送信する。

第１撮像部１１４は、対象物Ｐを撮像する。第１撮像部１１４は、光を電気信号に変換することにより素子上に投影された画像を撮像する撮像素子（イメージセンサ）を備える。本実施形態では、第１撮像部１１４は、対象物Ｐが発する近赤外光を検出する赤外線カメラである。

第２撮像装置１２０は、制御部１２１と、記憶部１２２と、通信部１２３と、第２撮像部１２４とを備える。制御部１２１、記憶部１２２、通信部１２３及び第２撮像部１２４の各機能は、それぞれ第１撮像装置１１０の制御部１１１、記憶部１１２、通信部１１３及び第１撮像部１１４と同様であるため、ここではその詳細な説明を省略する。なお、本明細書において、第２撮像部１２４が撮像して取得した撮像画像を、以下「第２撮像画像」ともいう。

情報処理装置１３０は、制御部１３１と、記憶部１３２と、通信部１３３とを備える。情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０が取得した撮像画像に基づいて、対象物Ｐの位置を算出する。

制御部１３１は、情報処理装置１３０が備える各機能ブロックをはじめとして、情報処理装置１３０の全体を制御及び管理するプロセッサである。制御部１３１は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１３２又は外部の記憶媒体等に格納される。制御部１３１は、第１撮像装置１１０が取得した第１撮像画像と、第２撮像装置１２０が取得した第２撮像画像とに基づいて、検出対象の位置を算出する。制御部１３１による検出対象の位置の算出処理の詳細については、後述する。

記憶部１３２は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１３１の動作に必要なデータ等を記憶する。また、記憶部１３２は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。記憶部１３２は、例えば第１撮像装置１１０及び第２撮像装置１２０からそれぞれ取得した第１撮像画像及び第２撮像画像を記憶してもよい。また、記憶部１３２は、例えば算出した対象物の位置の履歴を記憶してもよい。情報処理装置１３０は、対象物の位置の履歴に基づき、対象物の変位（軌跡）を算出できる。

通信部１３３は、第１撮像装置１１０及び第２撮像装置１２０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う。例えば、情報処理装置１３０は、通信部１３３を介して、第１撮像画像及び第２撮像画像を、それぞれ第１撮像装置１１０及び第２撮像装置１２０から取得する。

次に、図２を参照しながら、情報処理装置１３０による検出対象の位置の算出処理の詳細について説明する。

図２には、第１撮像装置１１０の撮像範囲Ａ及び第２撮像装置１２０の撮像範囲Ｂが、それぞれ仮想的に示されている。すなわち、図２において、撮像範囲Ａは、第１撮像装置１１０が取得した第１撮像画像を仮想的に示し、撮像範囲Ｂは、第２撮像装置１２０が取得した第２撮像画像を仮想的に示す。第１撮像画像及び第２撮像画像には、それぞれ画像平面上の所定の位置に、対象物Ｐが映っている。第１撮像画像及び第２撮像画像において、対象物Ｐが映っている位置の座標は、例えば、それぞれ第１撮像部１１４及び第２撮像部１２４の注視点を基準にして定められる。

本実施形態において、第１撮像装置１１０及び第２撮像装置１２０の位置ベクトルを、それぞれベクトルｃ_１及びベクトルｃ_２で示す。また、第１撮像装置１１０から対象物Ｐに向かう方向ベクトルをベクトルａで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルをベクトルｂで示す。方向ベクトルａは、例えば第１撮像部１１４が備える撮像素子の位置から第１撮像画像の画像平面上における検出対象Ｐに向かう方向ベクトルとして定義される。また、同様に、方向ベクトルｂは、例えば第２撮像部１２４が備える撮像素子の位置から第２撮像画像の画像平面上における対象物Ｐに向かう方向ベクトルとして定義される。方向ベクトルａ及び方向ベクトルｂは、例えば、情報処理装置１３０の制御部１３１が、それぞれ第１撮像画像及び第２撮像画像に基づいて算出する。なお、図２では、方向ベクトルａ及び方向ベクトルｂの長さは、例示的なものとして示している。また、対象物Ｐの位置ベクトルをベクトルｐで表す。

対象物Ｐの位置ベクトルｐは、位置ベクトルｃ_１及び方向ベクトルａを用いて、下式（１）のように表される。情報処理装置１３０の制御部１３１は、位置ベクトルｐを、下式（１）のように設定する。

式（１）において、ｎは、実数であり、例えば第１撮像部１１４のセンサ位置から検出対象Ｐまでの距離に応じて定まる。ｎが算出（決定）されることにより、位置ベクトルｐが定まり、対象物Ｐの位置が定まる。

ここで、第２撮像装置１２０から対象物Ｐに向かう方向ベクトル（ここではベクトルｄとする）は、第２撮像装置１２０の位置ベクトルｃ_２を用いて、下式（２）のように表すことができる。制御部１３１は、方向ベクトルｄを算出する。

上式（２）に示す方向ベクトルｄは、第２撮像装置１２０から対象物Ｐに向かう方向ベクトルとして定義したため、方向ベクトルｂと方向が等しい。従って、方向ベクトルｄと方向ベクトルｂとのなす角が０°であるため、方向ベクトルｄと方向ベクトルｂとの外積の大きさは０となる。これを式で表現すると、下式（３）のように表現される。

上式（３）を、ｎについて解くと、下式（４）が導出される。

上式（４）を、上式（１）に代入すると、位置ベクトルｐは、下式（５）のように表される。

上式（５）において、位置ベクトルｃ_１及び位置ベクトルｃ_２は、それぞれ第１撮像装置１１０及び第２撮像装置１２０を設置した位置により定まる。また、方向ベクトルａ及び方向ベクトルｂは、それぞれ第１撮像装置１１０及び第２撮像装置１２０が取得した第１撮像画像及び第２撮像画像から、情報処理装置１３０が算出することができる。従って、情報処理装置１３０は、上式（５）を用いて、対象物Ｐの位置ベクトルｐを算出できる。制御部１３１は、式（３）から式（５）に示すように、方向ベクトルｄと方向ベクトルｂとに基づいて、対象物Ｐの位置を算出する。とくに、制御部１３１は、方向ベクトルｄと方向ベクトルｂとの外積の値に基づいて、外積の値が０であると仮定して、対象物Ｐの位置を算出する。このようにして、位置検出システム１００によれば、対象物Ｐの位置を特定可能である。

また、本実施形態に係る位置検出システム１００によれば、第１撮像装置１１０及び第２撮像装置１２０が、それぞれ異なる方向から、対象物Ｐを撮像する。そのため、例えばステレオカメラ等のように、２つのカメラを使用して１つの方向から撮像した画像に基づいて、視差を利用して距離を算出するシステムと比較して、本実施形態に係る位置検出システム１００は、位置検出の精度が向上する。

次に、上述の位置検出システム１００の応用例について説明する。本明細書では、位置検出システム１００を、ユーザの頭部に装着される表示装置であるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）の位置の特定に応用する場合の一例について説明する。位置検出システム１００を応用した情報表示システムでは、上述の位置検出システム１００によりＨＭＤの位置を特定し、特定した位置に応じた情報をＨＭＤが備える表示部に表示する。

図３は、位置検出システム１００を応用した情報表示システム２００の概略構成を示す機能ブロック図である。図３に示すように、情報表示システム２００は、位置検出システム１００が含む第１撮像装置１１０、第２撮像装置１２０及び情報処理装置１３０に加え、ＨＭＤ１４０を備える。情報処理装置１３０と、ＨＭＤ１４０とは、有線又は無線を介して通信可能に構成される。

図４は、ＨＭＤ１４０の一例を示す外観斜視図である。ＨＭＤ１４０は、ユーザが頭部に装着可能な略半球形状の装着部１４１と、ユーザがＨＭＤ１４０を装着した際にユーザに対して情報を表示する表示部１４２と、光源１４３とを備える。本実施形態では、ＨＭＤ１４０は、図４に示すように、２つの光源１４３ａ及び１４３ｂを備えるとして説明する。なお、２つの光源１４３ａ及び１４３ｂを区別しない場合には、まとめて光源１４３と記載する。

再び図３を参照すると、ＨＭＤ１４０は、表示部１４２と、光源１４３と、制御部１４４と、記憶部１４５と、通信部１４６と、角速度検出部１４７とを備える。

表示部１４２は、ＨＭＤ１４０を装着したユーザに情報を表示する。表示部１４２は、例えば情報を表示する液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）等のディスプレイと、ディスプレイを保持するハウジングとを有する。図４には、ユーザの視線を外界から遮断するハウジングを有する、いわゆる没入型の表示部１４２が示されているが、表示部１４２は、没入型に限られない。表示部１４２は、例えば、ユーザが表示部１４２を介して外界を視認可能ないわゆる透過型（シースルー型）であってもよい。

光源１４３は、第１撮像装置１１０及び第２撮像装置１２０により検出される光を発するものであり、図２で説明した対象物Ｐに相当するものである。光源１４３は、例えば図２で説明したものと同様に、近赤外光を発する赤外線ＬＥＤである。本実施形態では、２つの光源１４３ａ及び１４３ｂは、図４に一例として示すように、ユーザがＨＭＤ１４０を装着した際に、前後方向に配列されるように、装着部１４１に設けられる。

制御部１４４は、ＨＭＤ１４０が備える各機能ブロックをはじめとして、ＨＭＤ１４０の全体を制御及び管理するプロセッサである。制御部１４４は、制御手順を規定したプログラムを実行するＣＰＵ等のプロセッサで構成される。プロセッサにより実行されるプログラムは、例えば記憶部１４５又は外部の記憶媒体等に格納される。制御部１４４は、例えば、ユーザの位置及びユーザの頭部の向き等に基づいて、表示部１４２に多様な情報を表示する。具体的には、制御部１４４は、例えばユーザの位置及び頭部の向きに追従した仮想空間を表示部１４２に表示させる。なお、ユーザの位置は、情報処理装置１３０によって特定される、ユーザが装着したＨＭＤ１４０の位置により定められる。また、ユーザの頭部の向きは、ユーザの頭部に装着されたＨＭＤ１４０の向きにより定められる。

記憶部１４５は、多様なメモリデバイスを有し、用途に応じてそれぞれ各種情報、例えば制御部１４４の動作に必要なデータ等を記憶する。また、記憶部１４５は、ワークメモリとして機能するＲＡＭ等のデバイスも有する。また、記憶部１４５は、例えば表示部１４２に表示する仮想空間に関する各種データを記憶する。

通信部１４６は、情報処理装置１３０と有線通信又は無線通信を行うことにより、各種情報の送受信を行う通信インターフェースを有する。例えば、ＨＭＤ１４０は、通信部１４６を介して、情報処理装置１３０から、第１撮像画像及び第２撮像画像に基づいて情報処理装置１３０が特定したＨＭＤ１４０の位置に関する情報を取得する。

角速度検出部１４７は、例えばＨＭＤ１４０の角速度の変化を検出するセンサである。角速度検出部１４７は、例えばジャイロセンサにより構成される。なお、角速度検出部１４７は、ジャイロセンサに限られない。角速度検出部１４７は、ＨＭＤ１４０の角度変化を検出できればよい。従って、角速度検出部１４７は、例えば、加速度センサ、角度センサ、その他のモーションセンサ、又はこれらのセンサの組合せ等によって構成されていてもよい。角速度検出部１４７が検出した角速度の変化に関する情報は、制御部１４４に送信される。制御部１４４は、角速度検出部１４７から取得した角速度の変化に関する情報に基づき、ユーザの頭部の向きを推定できる。本実施形態では、角速度検出部１４７は、例えば図４に示すように、ピッチ軸（ｘ軸）、ヨー軸（ｙ軸）、及びロール軸（ｚ軸）の３軸まわりの角速度の変化を検出する。また、制御部１４４は、角速度検出部１４７の出力に基づき、ユーザの頭部の３軸まわりの角度、具体的にはピッチ角θ、ヨー角ψ、及びロール角φを推定する。

次に、情報表示システム２００における仮想空間の表示処理について、図５を参照して説明する。

まず、第１撮像装置１１０が、光源１４３の画像を撮像することにより、第１撮像画像を取得する（ステップＳ１０１）。

第１撮像装置１１０は、取得した第１撮像画像を情報処理装置１３０に送信する（ステップＳ１０２）。

また、第２撮像装置１２０が、光源１４３の画像を撮像することにより、第２撮像画像を取得する（ステップＳ１０３）。

第２撮像装置１２０は、取得した第２撮像画像を情報処理装置１３０に送信する（ステップＳ１０４）。

なお、第１撮像装置１１０によるステップＳ１０１及びＳ１０２の処理と、第２撮像装置１２０によるステップＳ１０３及びＳ１０４の処理とは、同時に実行されてもよい。

情報処理装置１３０は、第１撮像装置１１０及び第２撮像装置１２０から、それぞれ第１撮像画像及び第２撮像画像を取得すると、取得した撮像画像に基づいて、ＨＭＤ１４０の位置を特定する（ステップＳ１０５）。具体的には、情報処理装置１３０は、例えば予め記憶部１３２に記憶された第１撮像装置１１０の位置及び第２撮像装置１２０の位置と、取得した撮像画像とを用いて、式（５）により、光源１４３の位置を算出することにより、ＨＭＤ１４０の位置を特定する。

情報処理装置１３０は、特定したＨＭＤ１４０の位置に関する情報をＨＭＤ１４０に送信する（ステップＳ１０６）。

ＨＭＤ１４０は、角速度検出部１４７を用いて、ＨＭＤ１４０の角速度の変化に関する情報を取得する（ステップＳ１０７）。

そして、ＨＭＤ１４０は、角速度検出部１４７が取得した角速度の変化に関する情報に基づいて、ユーザの頭部の向きを推定する（ステップＳ１０８）。

ＨＭＤ１４０は、ステップＳ１０６で情報処理装置１３０から取得した位置に関する情報と、ステップＳ１０８で推定した頭部の向きに基づいて、表示部１４２に仮想空間を表示する（ステップＳ１０９）。

このようにして、情報表示システム２００は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づいて、表示部１４２に仮想空間を表示する。情報表示システム２００では、上述の位置検出システム１００を応用して、ＨＭＤ１４０の位置を特定しているため、ＨＭＤ１４０の位置を正確に特定しやすくなる。

また、情報表示システム２００では、ＨＭＤ１４０がユーザの頭部の向きを推定するので、例えば第１撮像画像及び第２撮像画像に基づき情報処理装置１３０が推定したユーザの頭部の向きをＨＭＤ１４０に通知する構成と比較して、ユーザの頭部の向きの変化に対する映像のディレイが低減される。このため、情報表示システム２００の利便性が向上する。

なお、本発明は、上記実施形態にのみ限定されるものではなく、幾多の変形又は変更が可能である。例えば、各構成部等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の構成部等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上記実施形態においては、位置検出システム１００は、２つの撮像装置１１０及び１２０を備えるとして説明したが、位置検出システム１００は、３つ以上の撮像装置を備えていてもよい。位置検出システム１００が３つ以上の撮像装置を備える場合、情報処理装置１３０は、任意の２つの撮像装置が取得した撮像画像に基づいて、対象物Ｐの位置を特定できる。この場合、一部の撮像装置による撮像画像において、対象物Ｐが、例えば障害物に遮られることにより映っていない場合であっても、情報処理装置１３０は、対象物Ｐが映った他の撮像画像を用いて対象物Ｐの位置を特定することができる。

また、上記応用例では、ＨＭＤ１４０が２つの光源１４３ａ及び１４３ｂを備える場合について説明したが、ＨＭＤ１４０が備える光源１４３の数は２つに限られない。ＨＭＤ１４０が備える光源１４０の数は、１つであってもよく、３つ以上であってもよい。

また、上記応用例では、ＨＭＤ１４０が光源１４３を備える場合について説明したが、応用例はこれに限られない。光源１４３は、ＨＭＤ１４０以外の他の機器が備えていてもよく、この場合、情報処理装置１３０は、光源１４３を備える装置の位置を特定できる。

また、ＨＭＤ１４０は、ユーザの頭部の向きに関する情報を、例えば情報処理装置１３０等の外部装置へ送信してもよい。かかる構成によって、以下に説明するように情報表示システム２００の利便性が更に向上する。

例えば、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、ＨＭＤ１４０の位置とユーザの頭部の向きとに基づく所定の映像を、例えば外部の表示装置等に表示させることができる。所定の映像は、例えばＨＭＤ１４０に表示される映像と略同一の映像、及び仮想空間におけるユーザの位置及び向きを示すマップ映像等、多様な映像を含んでもよい。ここで、情報表示システム２００が複数のＨＭＤ１４０を備える場合、情報処理装置１３０は、例えば第１のＨＭＤ１４０に表示される映像を第２のＨＭＤ１４０に表示させたり、複数のユーザの位置及び向きを示すマップ映像を複数のＨＭＤ１４０に表示させたりすることができる。

また、ユーザの頭部の向きに関する情報を受信した情報処理装置１３０は、当該向きに関する情報に基づき、ユーザの位置が次に変位する方向を予測することもできる。

上記応用例において、情報処理装置１３０が実行するあらゆる処理をＨＭＤ１４０が実行できるようにしてもよい。このとき、情報表示システム２００は、第１撮像装置１１０、第２撮像装置１２０及びＨＭＤ１４０からなるものであってよい。このとき、ＨＭＤ１４０は、有線又は無線を介して、第１撮像装置１１０及び第２撮像装置１２０と通信可能に構成される。

また、上記実施形態に係る撮像装置１１０及び１２０、情報処理装置１３０、並びにＨＭＤ１４０として機能させるために、コンピュータ又は携帯電話等の情報処理装置を好適に用いることができる。このような情報処理装置は、実施形態に係る撮像装置１１０、１２０、情報処理装置１３０、又はＨＭＤ１４０の各機能を実現する処理内容を記述したプログラムを、情報処理装置の記憶部に格納し、情報処理装置のプロセッサによって当該プログラムを読み出して実行させることによって実現可能である。

１００位置検出システム
１１０第１撮像装置
１１１、１２１、１３１、１４４制御部
１１２、１２２、１３２、１４５記憶部
１１３、１２３、１３３、１４６通信部
１１４第１撮像部
１２０第２撮像装置
１２４第２撮像部
１３０情報処理装置
１４０ヘッドマウントディスプレイ（ＨＭＤ）
１４１装着部
１４２表示部
１４３光源
１４７角速度検出部
２００情報表示システム

Claims

ユーザの頭部に装着される表示装置であって、
光源と、
前記頭部の３軸まわりの角度変化を検出するセンサと、
第１撮像装置によって撮像された前記光源の第１撮像画像及び第２撮像装置によって撮像された前記光源の第２撮像画像に基づき特定される前記光源の位置に関する情報を取得する通信インターフェースと、
前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行する制御部と、
を備え、
前記光源の位置は、
前記第１撮像装置の位置ベクトルを第１ベクトル、
前記第２撮像装置の位置ベクトルを第２ベクトル、
前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、
前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、
前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される、表示装置。
請求項１に記載の表示装置であって、
前記光源の位置は、前記第１ベクトルをｃ _１、前記第３ベクトルをａ、実数をｎとして、前記光源の位置ベクトルを下記の式（１）に示すようにｐと表した場合に、前記外積が０であることを利用して実数ｎの値を算出することにより特定される、表示装置。
ユーザの頭部に装着される表示装置と、第１撮像装置と、第２撮像装置と、を備える情報処理システムであって、
前記表示装置は、
光源と、
前記頭部の３軸まわりの角度変化を検出するセンサと、
前記第１撮像装置によって撮像された前記光源の第１撮像画像及び前記第２撮像装置によって撮像された前記光源の第２撮像画像に基づき特定される前記光源の位置に関する情報を取得する通信インターフェースと、
前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行する制御部と、を備え、
前記光源の位置は、
前記第１撮像装置の位置ベクトルを第１ベクトル、
前記第２撮像装置の位置ベクトルを第２ベクトル、
前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、
前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、
前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される、情報表示システム。
ユーザの頭部に装着される表示装置に、
前記表示装置に備えられたセンサを用いて前記頭部の３軸まわりの角度変化を検出するステップと、
前記表示装置に備えられた光源の、第１撮像装置によって撮像された第１撮像画像及び第２撮像装置によって撮像された第２撮像画像に基づき特定される、前記光源の位置に関する情報を取得するステップと、
前記光源の位置と、前記センサの出力に基づき推定される前記頭部の向きと、に基づいて表示制御を実行するステップと、
を実行させ、
前記光源の位置は、
前記第１撮像装置の位置ベクトルを第１ベクトル、
前記第２撮像装置の位置ベクトルを第２ベクトル、
前記第１撮像装置から前記第１撮像画像の画像平面上における前記光源に向かう方向ベクトルを第３ベクトル、
前記第２撮像装置から前記第２撮像画像の画像平面上における前記光源に向かう方向ベクトルを第４ベクトル、としたときに、
前記第４ベクトルと、前記第２撮像装置から前記光源に向かう方向ベクトルを前記第１ベクトル、前記第２ベクトル及び前記第３ベクトルで表したベクトルとの外積が０であることを利用して特定される、プログラム。