JP5329480B2 - ヘッドマウントディスプレイ装置 - Google Patents

Description

本発明は、頭部に装着した状態で画像を見ることができるヘッドマウントディスプレイ装置に関するものである。

頭部に装着して装着者の眼前に映像を表示するヘッドマウントディスプレイ装置（以下、ＨＭＤ）が知られている。このＨＭＤの利用用途には様々なものがあるが、その１つには現実空間（外部の景色）に各種の付加情報（以下、ＡＲ情報）を重ねて表示することによって情報を提供するものがある。このような用途で使用されるＨＭＤとしては、光透過型、ビデオ透過型がある。光透過型のＨＭＤでは、現実空間とＬＣＤなどに表示されるＡＲ情報とを、例えばハーフミラーで重ねて観察できるようにしている。一方のビデオ透過型では、使用者の視点からビデオカメラで現実空間を撮影し、その撮影で得られる外部映像にＡＲ情報を合成したものをＥＶＦもしくはＬＣＤ等の表示装置（以下、表示装置）に表示して使用者に観察させるようにしている。

上記ビデオ透過型のＨＭＤを装着した場合、装着者の眼が隠れてしまう。眼が隠れると、人物を特定することができなくなることがある。特許文献１記載のヘッドマウントディスプレイを装着した人物の顔画像合成方法及びその方法では、カメラにより、ＨＭＤ越しに装着者の動画を撮影するとともに、予め撮影されたＨＭＤ非装着時の画像から、前記動画におけるＨＭＤで隠れる部分と同じ部分を切り取り、この切り取った画像を、前記動画のＨＭＤで隠れる部分に合成している。これにより、ＨＭＤ装着時にも、隠れる部分がない顔画像を表示することができ、人物を特定することができる。

特開平１１−０９６３６６号公報

特許文献１では、装着者自身に向けられたＨＭＤに固定されたカメラを用いて顔画像の合成位置を決めた後、合成された顔画像を外部に出力して立体の表面に表示している。外部映像を表示装置に表示するＨＭＤで特許文献１に示すような画像処理を行った場合、ＨＭＤ装着者同士で合成された顔画像の送受信が行われたときにも、表示装置には合成部分の大きさ、座標、角度等が常に変わり続ける外部映像が表示されているため、最適な合成された顔画像を表示することができない。外部映像では、装着者はＨＭＤを装着した状態の画像であるため、ＨＭＤ装着者を特定することができない。

本発明は、上記課題を解決するためになされたものであり、装着者を確実に特定することができるヘッドマウントディスプレイ装置を提供することを目的とする。

上記目的を達成するため、本発明のヘッドマウントディスプレイ装置は、装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、装着者の眼の前に配される本体部と、前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、を備えることを特徴とする。

また、前記本体部には、自身を特定するマーカーが設けられ、前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。

さらに、前記通信制御手段は、装着者のＩＤデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記ＩＤデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることが好ましい。

また、前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることが好ましい。

さらに、前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することが好ましい。

また、前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することが好ましい。

さらに、前記通信制御手段は、装着者のＩＤデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、受信した前記ＩＤデータに基づいて、装着者のユーザ認証を行う認証手段を備え、前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことが好ましい。

また、受信した前記設定画像データの安全性を判定する安全性判定手段を備え、前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことが好ましい。

本発明によれば、表示手段に表示される外部映像上の他のヘッドマウントディスプレイ装置の画像サイズ及び向きを検出し、この検出したサイズ及び向きに基づいて、他のヘッドマウントディスプレイ装置から送信された設定画像データを補正して、外部映像上に重ねて表示するから、外部映像上のヘッドマウントディスプレイ装置のサイズに応じた設定画像を表示することができる。

本発明を実施したＨＭＤの外観の構成を示す斜視図である。 ＨＭＤの電気的構成を示すブロック図である。 ＨＭＤを装着した状態を示す説明図である。 （Ａ）は外部映像を表示した状態、（Ｂ）は外部映像にＡＲ画像を重ねて表示した状態を示す説明図である。 ＡＲ画像を表示するときの処理の流れを示すフローチャートである。 ＨＭＤまでの距離に応じて表示するＡＲ画像を変える第２実施形態の外部映像を表示した状態と、外部映像にＡＲ画像を重ねて表示した状態とを示す説明図である。 第２実施形態のＡＲ画像を表示するときの処理の流れを示すフローチャートである。 ＡＲ画像を表示する装着者の認証判定を行う第３実施形態のＨＭＤの電気的構成を示すブロック図である。 第３実施形態のＡＲ画像を表示するときの処理の流れを示すフローチャートである。 ＡＲ画像の安全性を判定する第４実施形態のＨＭＤの電気的構成を示すブロック図である。 第４実施形態のＡＲ画像を表示するときの処理の流れを示すフローチャートである。 ＨＭＤ自体をマーカーとして検出する第５実施形態のＨＭＤの電気的構成を示すブロック図である。 第５実施形態のＡＲ画像を表示するときの処理の流れを示すフローチャートである。

［第１実施形態］
図１に示すように、ＨＭＤ（ヘッドマウントディスプレイ装置）１０は、ゴーグル形状にされており、眼前ユニット１２と、この眼前ユニット１２に一体に設けられた一対のテンプル（耳かけ）１３とからなる。このＨＭＤ１０は、テンプル１３を用いて使用者の頭部に装着される。

眼前ユニット１２は、装着者の眼前を覆うように設けられた箱状の本体部１４と、本体部１４の前面に撮影レンズ１５ａが露呈されたカメラ１５と、本体部１４の内部に配された表示部１７や画像処理用の各種回路などから構成される。

本体部１４の前面には、他のＨＭＤに自身を特定させるための特定情報と正面を向いていることを検出させるための向き情報とを含むＩＤデータを格納した正面正面マーカー１６ａが貼り付けられている。同様に、本体部１４の左側面には、自身の特定情報と左方を向いていることを検出させるための向き情報とを含むＩＤデータを格納した左マーカー１６ｂが貼り付けられ、右側面には、自身の特定情報と右方を向いていることを検出させるための向き情報とを含むＩＤデータを格納した右マーカー１６ｃが貼り付けられている。

図２〜図４に示すように、カメラ１５は、撮影レンズ１５ａとイメージセンサ１５ｂとからなり、撮影レンズ１５ａを介して現実空間（外部の景色）を外部映像として撮影する。撮影レンズ１５ａとしては、大きな撮影画角を有し広い視野を提供できる広角レンズが用いられる。

イメージセンサ１５ｂは、ＣＣＤ型やＣＭＯＳ型のものが用いられており、撮影レンズ１５ａによって結像される被写体像を光電変換して外部映像として出力する。このように構成されるカメラ１５は、撮影レンズ１５ａが装着者の前方に向けられており、装着者とほぼ同じ視点から撮影する。

表示部１７は、いわゆるＥＶＦ（電子ビューファインダー）と呼ばれるＬＣＤ（液晶ディスプレイ）１８や接眼光学系（図示せず）などから構成されている。ＬＣＤ１８には、カメラ１５で撮影され、各種画像処理が施された外部映像にＡＲ（拡張現実）画像が重ねて表示される。装着者は、ＬＣＤ１８に表示される画像を、接眼光学系を介して両眼で観察する。なお、両眼に対して１個のＬＣＤ１８を設けているが、各眼に対してそれぞれＬＣＤを設け、各眼でそれぞれ異なるＬＣＤを観察する構成でもよい。

ＣＰＵ２０は、ＨＭＤ１０を統括的に制御する。撮像制御部２１は、ＣＰＵ２０からの指令を受けて、イメージセンサ１５ｂを制御する。信号処理部２２は、カメラ１５からの出力信号に対してノイズ除去、信号増幅、デジタル変換などを行う。また、信号処理部２２は、デジタル変換された外部映像に対して、ホワイトバランス処理などの各種処理を行う。

通信制御部２３は、アンテナ２４を介して他のＨＭＤと通信を行う。ＣＰＵ２０は、通信制御部２３により応答指令信号（電波）を送信させるとともに、アンテナ２４で他のＨＭＤから応答指令信号を受信したときに、通信制御部２３により返答信号を送信させる。ＣＰＵ２０は、返答信号を受信したときに、周囲に他のＨＭＤが存在すると判定する。本実施形態では、ＨＭＤ装着者が３人おり、最も手前のＨＭＤ装着者が装着しているＨＭＤをＨＭＤ１０Ａと称し、このＨＭＤ１０Ａの撮影範囲内に位置するＨＭＤ装着者が装着している他のＨＭＤを、第１装着者のＨＭＤ１０Ｂ、第２装着者のＨＭＤ１０Ｃと称し（図３参照）、以下では、ＨＭＤ１０Ａでの制御について説明を行う。なお、マーカー１６ａ〜１６ｃに含まれる特定情報は、各ＨＭＤ１０Ａ〜１０ｃでそれぞれ異なる。

ＨＭＤ１０ＡのＬＣＤ１８には、第１装着者のＨＭＤ１０Ｂを含む第１ＨＭＤ装着者画像３１、第２装着者のＨＭＤ１０Ｃを含む第２ＨＭＤ装着者画像３２が外部映像として表示される（図４（Ａ）参照）。

距離算出部２５は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、他のＨＭＤ（第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃ）までの距離を算出する。ＣＰＵ２０は、距離算出部２５で算出された距離が所定距離（例えば、５０ｍ）以内であるときに、メモリ２６に予め記録されたＡＲイラスト画像データを送信する。また、ＣＰＵ２０は、他のＨＭＤからＡＲイラスト画像データを受信したときにも、ＡＲイラスト画像データを送信する。すなわち、第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃは、ＨＭＤ１０ＡからＡＲイラスト画像データを受信したときに、自身のＡＲイラスト画像データをＨＭＤ１０Ａに送信する。ＨＭＤ装着者は、予め気に入ったデザインのイラスト画像データを、ＡＲイラスト画像データとしてメモリ２６に記憶しておく。なお、各ＡＲイラスト画像データには、各ＨＭＤ１０Ａ〜１０ｃそれぞれの各マーカー１６ａ〜１６ｃに含まれる特定情報と同じ特定情報が含まれる。

マーカー読取部２７は、外部映像上のマーカー１６ａ〜１６ｃを検出し、検出されたマーカー１６ａ〜１６ｃを読み取って、マーカー１６ａ〜１６ｃに格納されたＩＤデータを取得する。また、マーカー読取部２７は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むＨＭＤ装着者画像の位置座標を検出する。

マーカー読取部２７は、外部映像上の左側から順にマーカーを読み取る。本実施形態では、マーカー読取部２７は、第１ＨＭＤ装着者画像３１、第２ＨＭＤ装着者画像３２の順に、マーカーを読み取る。第１ＨＭＤ装着者画像３１は、装着者が正面を向いた画像であり、第２ＨＭＤ装着者画像３２は、装着者が右方を向いた画像である。この場合、マーカー読取部２７は、第１ＨＭＤ装着者画像３１から正面マーカー１６ａを読み取り、第２ＨＭＤ装着者画像３２から右マーカー１６ｃを読み取る。

画像サイズ算出部２８は、マーカー読取部２７で検出されたマーカーのサイズに基づいて、そのマーカーを含むＨＭＤのサイズを算出するとともに、このＨＭＤを装着したＨＭＤ装着者画像（顔画像）のサイズを算出する。

向き検出部２９は、マーカー読取部２７で取得されたＩＤデータ内の向き情報に基づいて、外部映像上のＨＭＤ（ＨＭＤ装着者）の向きを検出する。向き検出部２９は、マーカー読取部２７で正面マーカー１６ａのＩＤデータが取得されたときには、ＨＭＤ装着者が正面を向いていることを検出し、左マーカー１６ｂのＩＤデータが取得されたときには、ＨＭＤ装着者が左方を向いていることを検出し、右マーカー１６ｃのＩＤデータが取得されたときには、ＨＭＤ装着者が右方を向いていることを検出する。

ＣＰＵ２０は、通信制御部２３で受信したＡＲイラスト画像データの中から、マーカー読取部２７で取得されたＩＤデータ内の特定情報と同じ特定情報を含むＡＲイラスト画像データを検索して、ＡＲイラスト画像データを送信したＨＭＤを特定する。そして、図４（Ｂ）に示すように、ＣＰＵ２０は、各部２８，２９で算出及び検出されたＨＭＤ装着者画像のサイズ及び向きに基づいて、検索したＡＲイラスト画像データを補正して、補正したＡＲイラスト画像３６，３７を、特定したＨＭＤ装着者画像の顔部分であってマーカー読取部２７で検出したＨＭＤ装着者画像の位置座標上に重ねて表示する。

次に、上記第１実施形態の作用について、図５のフローチャートを用いて説明を行う。ＨＭＤ１０Ａの電源をオンすると（ステップ（以下、Ｓ）１でＹ）、カメラ１５は、外部映像を撮影する。この外部映像は、信号処理部２２で、ノイズ除去、信号増幅、デジタル変換、ホワイトバランス処理が行われた後、ＬＣＤ１８に表示される（Ｓ２）。ＬＣＤ１８には、第１ＨＭＤ装着者画像３１、第２ＨＭＤ装着者画像３２が外部映像として表示される。

通信制御部２３は、他のＨＭＤ（第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃ）に向けて応答指令信号を送信する（Ｓ３）。第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃは、ＨＭＤ１０Ａからの応答指令信号を受信すると、ＨＭＤ１０Ａに返答信号を送信する。

通信制御部２３で第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃからの返答信号を受信すると、距離算出部２５は、応答指令信号を送信してから、返答信号を受信するまでの時間に基づいて、第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃまでの距離を算出する。ＣＰＵ２０は、距離算出部２５で算出された距離が５０ｍ以内であるとき（Ｓ４でＹ）に、メモリ２６に予め記録されたＡＲイラスト画像データを送信する。第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃは、ＨＭＤ１０ＡからＡＲイラスト画像データを受信したときに、自身のＡＲイラスト画像データを送信する。ＨＭＤ１０Ａは、第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃから送信されたＡＲイラスト画像データを受信する（Ｓ５）。

マーカー読取部２７は、各ＨＭＤ装着者画像３１，３２内のマーカー１６ａ〜１６ｃの検出を開始し（Ｓ６）、各ＨＭＤ装着者画像３１，３２にマーカー１６ａ〜１６ｃがある場合（Ｓ７でＹ）、検出したマーカー１６ａ〜１６ｃを読み取ってＩＤデータを取得する。また、マーカー読取部２７は、読み取ったマーカーの外部映像上での位置に基づいて、そのマーカーを含むＨＭＤ装着者画像の位置座標を検出する。

画像サイズ算出部２８は、マーカー読取部２７で検出されたマーカーのサイズに基づいて、そのマーカーを含むＨＭＤ装着者画像のサイズを算出し、向き検出部２９は、マーカー読取部２７で取得されたＩＤデータ内の向き情報に基づいて、外部映像上のＨＭＤ装着者の向きを検出する（Ｓ８）。

ＣＰＵ２０は、通信制御部２３で受信したＡＲイラスト画像データの中から、マーカー読取部２７で取得したＩＤデータ内の特定情報と同じ特定情報を含むＡＲイラスト画像データを検索し、各部２８，２９で算出及び検出されたＨＭＤ装着者画像のサイズ及び向きに基づいて、検索したＡＲイラスト画像データを補正する（Ｓ９）。

第１ＨＭＤ装着者画像３１では、マーカー読取部２７で正面マーカー１６ａのＩＤデータが取得され、この取得されたＩＤデータ内の向き情報に基づいて、向き検出部２９でＨＭＤ装着者が正面を向いていることが検出される。そして、ＣＰＵ２０は、取得したＩＤデータ内の特定情報と同じ特定情報を含むＡＲイラスト画像データとして、第１装着者のＨＭＤ１０Ｂから送信されたＡＲイラスト画像データを検索する。ＣＰＵ２０は、この検索したＡＲイラスト画像を、正面を向き、第１ＨＭＤ装着者画像３１の顔部分とほぼ同じサイズになるＡＲイラスト画像３６に補正する。同様に、第２ＨＭＤ装着者画像３２では、右マーカー１６ｃのＩＤデータが取得され、向き検出部２９でＨＭＤ装着者が右方を向いていることが検出される。ＣＰＵ２０は、第２装着者のＨＭＤ１０Ｃから送信されたＡＲイラスト画像データを検索し、この検索したＡＲイラスト画像を、右方を向き、第２ＨＭＤ装着者画像３２の顔部分とほぼ同じサイズになるＡＲイラスト画像３７に補正する。

ＣＰＵ２０は、補正したＡＲイラスト画像３６，３７を、特定したＨＭＤ装着者画像の顔部分であってマーカー読取部２７で検出したＨＭＤ装着者画像の位置座標上に重ねて表示する（Ｓ１０）。そして、電源がオフされていないとき（Ｓ１１でＮ）には、再度（Ｓ３）以降を行う。

［第２実施形態］
図６及び図７に示す第２実施形態は、外部映像上のＨＭＤ装着者までの距離に応じて、表示するＡＲ画像を変える。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

図６（Ａ）に示すように、ＨＭＤ１０ＡのＬＣＤ１８には、第１ＨＭＤ装着者画像３１、第２ＨＭＤ装着者画像３２、第３ＨＭＤ装着者画像４３が外部映像として表示される。

マーカー読取部２７は、各ＨＭＤ装着者画像３１，３２，４３のマーカー１６ａ〜１６ｃの読み取りを行う。第３ＨＭＤ装着者画像４３の正面マーカー１６ａは、外部映像において非常に小さいサイズであり、マーカー読取部２７で読み取ることができない。

ＣＰＵ２０は、マーカーが読み取り不能な第３ＨＭＤ装着者画像４３では、受信したＡＲイラスト画像データの補正は行わない。そして、図６（Ｂ）に示すように、ＣＰＵ２０は、受信したＡＲイラスト画像データに含まれるＩＤデータに基づいて、ＨＭＤ装着者であることを示す矢印を含むＡＲ文字画像４５を作成し、このＡＲ文字画像４５を第３ＨＭＤ装着者画像４３の上方に表示する。本実施形態では、ＩＤデータにＨＭＤ装着者の名前情報（例えば、「Ａ山」）が含まれ、ＡＲ文字画像４５として、「↓」と「Ａ山さん」とが表示される。

次に、上記第２実施形態の作用について、図７のフローチャートを用いて説明を行う。ＨＭＤ１０Ａの電源をオンすると（Ｓ１０１でＹ）、カメラ１５は、外部映像を撮影する。以降、（Ｓ１０２）〜（Ｓ１１０）は、第１実施形態の（Ｓ２）〜（Ｓ１０）と同様なので、説明を簡略化する。本実施形態では、ＨＭＤ１０Ａは、第１，第２装着者のＨＭＤ１０Ｂ，１０Ｃから送信されたＡＲイラスト画像データに加えて、第３ＨＭＤ装着者画像４３となる第３装着者のＨＭＤ（図示せず）から送信されたＡＲイラスト画像データを受信する

５０ｍ以内にある全てのＨＭＤ装着者への画像表示制御を行っていない場合（Ｓ１１１でＮ）には、再度（Ｓ１０６）以降を行う。本実施形態では、第１ＨＭＤ装着者画像３１、第２ＨＭＤ装着者画像３２、第３ＨＭＤ装着者画像４３の順に、（Ｓ１０６）以降を行う。

第１ＨＭＤ装着者画像３１への画像表示制御（（Ｓ１０６）〜（Ｓ１１０））、第２ＨＭＤ装着者画像３２への画像表示制御（（Ｓ１０６）〜（Ｓ１１０））を順に行った後、第３ＨＭＤ装着者画像４３に含まれるマーカー１６ａ〜１６ｃの読み取りを行う（Ｓ１０６）。第３ＨＭＤ装着者画像４３の正面マーカー１６ａは、マーカー読取部２７で読み取ることができないため、第３ＨＭＤ装着者画像４３にマーカー１６ａ〜１６ｃがないと判定される（Ｓ１０７でＮ）。マーカーがないと判定されると、ＣＰＵ２０は、第３装着者のＨＭＤから送信されたＡＲイラスト画像データに含まれるＩＤデータに基づいて、ＨＭＤ装着者であることを示すＡＲ文字画像４５を作成し、このＡＲ文字画像４５を第３ＨＭＤ装着者画像３３の上方に表示する（Ｓ１１３）。これにより、マーカー読取不能な小さい画像であり、ＡＲイラスト画像を重ねて表示してもその画像を認識することができない画像のときにも、ＨＭＤ装着者であることが容易に認識可能となる。

［第３実施形態］
図８及び図９に示す第３実施形態のＨＭＤ５０は、外部映像上のＨＭＤ装着者の認証を行い、認証されたときにＡＲ画像を表示する。なお、第２実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

図８に示すように、ＨＭＤ５０は、装着者認証部５１を備える。この装着者認証部５１は、受信したＡＲイラスト画像データに含まれるＩＤデータに基づいて、外部映像上のＨＭＤ装着者の認証を行う。

メモリ２６には、認証用ＩＤデータが予め記録されている。装着者認証部５１は、受信したＩＤデータが、メモリ２６に記録された認証用ＩＤデータと一致するか否かを判定し、一致すると判定したときに、そのＩＤデータを送信したＨＭＤ装着者を認証する。本実施形態では、装着者認証部５１は、第１ＨＭＤ１０Ｂを装着した第１装着者、第２ＨＭＤ１０Ｃを装着した第２装着者、第３ＨＭＤを装着した第３装着者の順に、認証判定を行う。

次に、上記第３実施形態の作用について、図９のフローチャートを用いて説明を行う。ＨＭＤ１０Ａの電源をオンすると（Ｓ２０１でＹ）、カメラ１５は、外部映像を撮影する。以降、（Ｓ２０２）〜（Ｓ２０５）は、第２実施形態の（Ｓ１０２）〜（Ｓ１０５）と同様なので、説明を省略する。

通信制御部２３が、他のＨＭＤから送信されたＡＲイラスト画像データを受信すると（Ｓ２０５）、装着者認証部５１は、受信したＡＲイラスト画像データに含まれるＩＤデータが、メモリ２６に記録された認証用ＩＤデータと一致するか否かを判定する。一致すると判定され、そのＩＤデータを送信したＨＭＤ装着者が認証されると（Ｓ２０６でＹ）、マーカー読取部２７は、マーカー１６ａ〜１６ｃの検出を開始する（Ｓ２０７）。以降、（Ｓ２０８）〜（Ｓ２１４）は、第２実施形態の（Ｓ１０７）〜（Ｓ１１３）と同様なので、説明を省略する。

一方、装着者認証部５１で、受信したＡＲイラスト画像データに含まれるＩＤデータが、メモリ２６に記録された認証用ＩＤデータと一致しないと判定され、そのＩＤデータを送信したＨＭＤ装着者が認証されないとき（Ｓ２０６でＮ）には、マーカー１６ａ〜１６ｃの検出を開始せず、（Ｓ２１２）を行う。これにより、認証したＨＭＤ装着者に対してのみ、ＡＲ画像を表示するから、予め友人のみを認証するようにセットすることにより、友人同士での連帯感が向上する。

［第４実施形態］
図１０及び図１１に示す第４実施形態のＨＭＤ６０は、他のＨＭＤから受信したＡＲ画像の安全性を判定し、安全であると判定されたときにＡＲ画像を表示する。なお、第２実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

図１０に示すように、ＨＭＤ６０は、安全性判定部６１を備える。この安全性判定部６１は、受信したＡＲイラスト画像を解析し、安全な画像であるか否かを判定する。メモリ２６には、安全性を判定するための危険画像データが記録されている。安全性判定部６１は、受信したＡＲイラスト画像を解析して特徴点（特徴画像）を抽出し、この特徴点と危険画像データとを比較して、特徴点と一致または類似している画像を含む危険画像データがない場合には、ＡＲイラスト画像が安全な画像であると判定し、特徴点と一致または類似している画像を含む危険画像データがある場合には、ＡＲイラスト画像が危険な画像であると判定する。本実施形態では、安全性判定部６１は、第１ＨＭＤ１０ＢからのＡＲイラスト画像、第２ＨＭＤ１０ＣからのＡＲイラスト画像、第３ＨＭＤからのＡＲイラスト画像の順に安全性判定を行う。

次に、上記第４実施形態の作用について、図１１のフローチャートを用いて説明を行う。ＨＭＤ１０Ａの電源をオンすると（Ｓ３０１でＹ）、カメラ１５は、外部映像を撮影する。以降、（Ｓ３０２）〜（Ｓ３０５）は、第２実施形態の（Ｓ１０２）〜（Ｓ１０５）と同様なので、説明を省略する。

通信制御部２３が、他のＨＭＤから送信されたＡＲイラスト画像データを受信すると（Ｓ３０５）、安全性判定部６１は、受信したＡＲイラスト画像を解析し、安全な画像であるか否かを判定する（Ｓ３０６）。安全性判定部６１は、受信したＡＲイラスト画像を解析して特徴点（特徴画像）を抽出し、この特徴点と危険画像データとを比較する。特徴点と一致または類似している画像を含む危険画像データがなく、ＡＲイラスト画像が安全な画像であると判定されると（Ｓ３０７でＹ）、マーカー読取部２７は、マーカー１６ａ〜１６ｃの検出を開始する（Ｓ３０８）。以降、（Ｓ３０９）〜（Ｓ３１５）は、第２実施形態の（Ｓ１０７）〜（Ｓ１１３）と同様なので、説明を省略する。

一方、安全性判定部６１で、受信したＡＲイラスト画像の特徴点と一致または類似している画像を含む危険画像データがあり、ＡＲイラスト画像が危険な画像であると判定されたとき（Ｓ３０７でＮ）には、マーカー１６ａ〜１６ｃの検出を開始せず、（Ｓ３１３）を行う。これにより、危険な画像を観させられることがなく、安全性が向上する。

［第５実施形態］
図１２及び図１３に示す第５実施形態のＨＭＤ７０は、ＨＭＤ自体をマーカーとし、外部映像上のＨＭＤの形状や色等の特有データを検出する。なお、第１実施形態のものと同様の構成部材には同一の符号を付し、その詳細な説明を省略する。

図１２に示すように、ＨＭＤ７０には、ＧＰＳユニット７１が設けられている。このＧＰＳユニット７１は、アンテナ７２、ＧＰＳ算出部７３を有し、現在地を測位してその位置データを取得する。アンテナ７２は、地球を周回している２４個のＧＰＳ衛星のうち４個以上（例えば、４個）のＧＰＳ衛星からの電波を受信する。この受信した電波は、ＧＰＳ算出部７３に送られる。ＧＰＳ算出部７３には、入力された電波に基づき、現在地の位置データ（緯度・経度）を算出する算出プログラムが格納されている。

ＣＰＵ２０は、ＧＰＳ算出部７３にプログラム起動信号を出力する。プログラム起動信号が入力されると、ＧＰＳ算出部７３は、算出プログラムを起動して、アンテナ７２から入力される電波に基づき、現在地の位置データを算出（４個のＧＰＳ衛星からの距離を同時に知ることにより現在位置を算出）する。ＣＰＵ２０は、算出された現在地データを、ＡＲイラスト画像データと一緒に他のＨＭＤに送信する。

また、ＨＭＤ７０には、外部映像上の他のＨＭＤを検出するＨＭＤ検出部７５が設けられている。このＨＭＤ検出部７５は、他のＨＭＤ自体をマーカーとして、その形状や色等の特有データを検出するとともに、外部映像上のＨＭＤの位置座標、サイズ及び向きを検出する。また、ＨＭＤ検出部７５は、検出したＨＭＤの外部映像上での位置に基づいて、外部映像上のＨＭＤ装着者画像の位置座標を検出する。なお、ＡＲイラスト画像データには、上記特有データと同じ特有データが含まれる。

画像サイズ算出部２８は、ＨＭＤ検出部７５で検出されたＨＭＤのサイズに基づいて、ＨＭＤ装着者画像のサイズを算出し、向き検出部２９は、ＨＭＤ検出部７５で検出されたＨＭＤの向きに基づいて、外部映像上のＨＭＤ装着者の向きを検出する。

ＣＰＵ２０は、通信制御部２３で受信したＡＲイラスト画像データの中から、ＨＭＤ検出部７５で検出した特有データと同じ特有データを含むＡＲイラスト画像データを検索する。外部映像上に同じ形状及び色のＨＭＤが複数あるときには、ＡＲイラスト画像データが複数検索される。この場合、ＣＰＵ２０は、他のＨＭＤからの現在地データに基づいて、ＨＭＤ検出部７５で検出したＨＭＤからのＡＲイラスト画像データを特定する。外部映像上の左端のＨＭＤをＨＭＤ検出部７５で検出しているときには、受信した複数の現在地データのうちの左端となる現在地データと一緒に送信されたＡＲイラスト画像データを、検出しているＨＭＤからのＡＲイラスト画像データとして特定する。これにより、受信したＡＲイラスト画像データが、外部映像上のいずれのＨＭＤから送信されたデータであるかが特定される。

ＣＰＵ２０は、各部２８，２９で算出及び検出されたＨＭＤ装着者画像のサイズ及び向きに基づいて、検索したＡＲイラスト画像データを補正して、補正したＡＲイラスト画像を、特定したＨＭＤ装着者画像の顔部分であってＨＭＤ検出部７５で検出したＨＭＤ装着者画像の位置座標上に重ねて表示する。

次に、上記第５実施形態の作用について、図１３のフローチャートを用いて説明を行う。ＨＭＤ７０の電源をオンすると（Ｓ４０１でＹ）、カメラ１５は、外部映像を撮影する。以降、（Ｓ４０２），（Ｓ４０３）は、第１実施形態の（Ｓ２），（Ｓ３）と同様なので、説明を省略する。

ＣＰＵ２０は、プログラム起動信号を出力してＧＰＳ算出部７３により現在地データを算出させるとともに、距離算出部２５で算出された距離が５０ｍ以内であるとき（Ｓ４０４でＹ）に、ＨＭＤの形状や色等の特有データを含むＡＲイラスト画像データを、現在地データと一緒に送信する。他のＨＭＤは、ＨＭＤ７０からＡＲイラスト画像データを受信したときに、特有データを含むＡＲイラスト画像データを現在地データと一緒に送信し、ＨＭＤ７０は、他のＨＭＤから送信されたＡＲイラスト画像データ及び現在地データを受信する（Ｓ４０５）。

ＨＭＤ検出部７５は、外部映像上の他のＨＭＤの検出を開始し（Ｓ４０６）、外部映像上に他のＨＭＤがある場合（Ｓ４０７でＹ）、ＨＭＤの形状や色等の特有データを検出するとともに、外部映像上のＨＭＤの位置座標、サイズ及び向きを検出する。また、ＨＭＤ検出部７５は、検出したＨＭＤの外部映像上での位置に基づいて、外部映像上のＨＭＤ装着者画像の位置座標を検出する。

画像サイズ算出部２８は、ＨＭＤ検出部７５で検出されたＨＭＤのサイズに基づいて、ＨＭＤ装着者画像のサイズを算出し、向き検出部２９は、ＨＭＤ検出部７５で検出されたＨＭＤの向きに基づいて、外部映像上のＨＭＤ装着者の向きを検出する（Ｓ４０８）。

ＣＰＵ２０は、通信制御部２３で受信したＡＲイラスト画像データの中から、ＨＭＤ検出部７５で検出した特有データと同じ特有データを含むＡＲイラスト画像データを検索し、各部２８，２９で算出及び検出されたＨＭＤ装着者画像のサイズ及び向きに基づいて、検索したＡＲイラスト画像データを補正する（Ｓ９）。なお、ＨＭＤ検出部７５で検出した特有データと同じ特有データを含むＡＲイラスト画像データが複数検索された場合には、ＣＰＵ２０は、他のＨＭＤからの現在地データに基づいて、ＨＭＤ検出部７５で検出したＨＭＤからのＡＲイラスト画像データを特定する。

ＣＰＵ２０は、補正したＡＲイラスト画像を、特定したＨＭＤ装着者画像の顔部分であってＨＭＤ検出部７５で検出したＨＭＤ装着者画像の位置座標上に重ねて表示する（Ｓ４１０）。そして、電源がオフされていないとき（Ｓ４１１でＮ）には、再度（Ｓ４０３）以降を行う。

なお、上記実施形態では、他のＨＭＤまでの距離を算出し、この算出した距離が所定距離内であるときに、ＡＲイラスト画像データを送信しているが、距離を算出せずに、電源オンとともにＡＲイラスト画像データを送信してもよい。

また、上記実施形態では、ＨＭＤの前面、左側面、右側面それぞれにマーカーを貼り付け、いずれのマーカーを検出したかによりＨＭＤの向きを検出しているが、正面にのみマーカーを貼り付け、そのマーカーの検出サイズに基づいて、ＨＭＤの向きを検出してもよい。ＨＭＤ装着者が斜めを向いているときには、正面を向いているときに比べて、マーカーの幅が小さくなるため、このマーカーの幅に基づいて、ＨＭＤの向きを検出する。

さらに、上記実施形態では、ＡＲイラスト画像データを他のＨＭＤと相互に送受信し、受信したＡＲイラスト画像データを表示しているが、サーバに複数のＡＲイラスト画像データを記録しておき、ＨＭＤを特定したときには、サーバにアクセスして特定したＨＭＤに対応するＡＲイラスト画像データを取得してもよい。

さらに、上記実施形態では、ＡＲ画像としてイラストを表示しているが、文字や記号を表示してもよい。

１０ ＨＭＤ
１５ カメラ
１７ 表示部
１８ ＬＣＤ
２０ ＣＰＵ
２３ 通信制御部
２５ 距離算出部
２７ マーカー読取部
２８ 画像サイズ算出部
２９ 向き検出部
３１ 第１ＨＭＤ装着者画像
３２ 第２ＨＭＤ装着者画像
３６ ＡＲイラスト画像
３７ ＡＲイラスト画像

Claims (8)

1. 装着者の頭部に装着されて使用され、データを非接触で相互に送受信するシステムを構成するヘッドマウントディスプレイ装置において、
   装着者の眼の前に配される本体部と、
   前記本体部に設けられ、装着者と略同一の視点から現実空間を外部映像として撮影する撮影手段と、
   前記本体部に設けられ、前記外部映像を装着者の眼の前方に表示する表示手段と、
   予め設定した設定画像データを他のヘッドマウントディスプレイ装置と相互に送受信する通信制御手段と、
   前記外部映像上の前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出する検出手段と、
   前記検出手段で検出された画像サイズ及び向きに基づいて、受信した前記設定画像データを補正する補正手段と、
   前記補正手段により補正された補正画像データを、前記検出手段で検出された位置座標に基づいて、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分に重ねて表示する補正画像表示制御手段と、
   を備えることを特徴とするヘッドマウントディスプレイ装置。
2. 前記本体部には、自身を特定するマーカーが設けられ、
   前記外部映像上の前記マーカーを読み取るマーカー読取手段を備え、
   前記検出手段は、前記マーカー読取手段での読取結果に基づいて、前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項１記載のヘッドマウントディスプレイ装置。
3. 前記通信制御手段は、装着者のＩＤデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
   前記外部映像上の前記マーカーが前記マーカー読取手段で読み取り不能であるときに、受信した前記ＩＤデータに基づいて装着者を特定する装着者特定画像を作成し、前記装着者特定画像を、前記外部映像上の前記他のヘッドマウントディスプレイ装置の表示部分の周囲に表示する特定画像表示制御手段を備えることを特徴とする請求項２記載のヘッドマウントディスプレイ装置。
4. 前記設定画像データは、前記マーカーに格納された特定情報と同じ特定情報を含み、
   複数のヘッドマウントディスプレイ装置から複数の前記設定画像データを受信したときに、前記複数の設定画像データの中から、前記マーカー読取手段で読み取った前記マーカーに格納された特定情報と同じ特定情報を有する設定画像データを検索して、前記マーカー読取手段で読み取った前記マーカーが設けられ、前記補正画像データを重ねて表示するヘッドマウントディスプレイ装置を特定する検索特定手段を備えることを特徴とする請求項２または３記載のヘッドマウントディスプレイ装置。
5. 前記他のヘッドマウントディスプレイ装置とのデータの相互通信により、前記他のヘッドマウントディスプレイ装置との距離を算出する距離算出手段を備え、
   前記通信制御手段は、前記距離算出手段で算出された距離が、予め設定された設定距離以内であるときに、前記設定画像データを前記他のヘッドマウントディスプレイ装置と相互に送受信することを特徴とする請求項１ないし４いずれか１つ記載のヘッドマウントディスプレイ装置。
6. 前記検出手段は、前記他のヘッドマウントディスプレイ装置の形状及び色を検出し、この検出結果に基づいて前記他のヘッドマウントディスプレイ装置の位置座標、画像サイズ及び向きを検出することを特徴とする請求項１ないし５いずれか１つ記載のヘッドマウントディスプレイ装置。
7. 前記通信制御手段は、装着者のＩＤデータを前記他のヘッドマウントディスプレイ装置と相互に送受信し、
   受信した前記ＩＤデータに基づいて、装着者のユーザ認証を行う認証手段を備え、
   前記補正画像表示制御手段は、前記認証手段で認証されたときには前記補正画像データを表示し、前記認証手段で認証されないときには前記補正画像データを表示しないことを特徴とする請求項１ないし６いずれか１つ記載のヘッドマウントディスプレイ装置。
8. 受信した前記設定画像データの安全性を判定する安全性判定手段を備え、
   前記補正画像表示制御手段は、前記安全性判定手段で安全であると判定されたときには、前記補正画像データを表示し、前記安全性判定手段で安全でないと判定されたときには前記補正画像データを表示しないことを特徴とする請求項１ないし７いずれか１つ記載のヘッドマウントディスプレイ装置。

Images