JP7796142B2 - ヘッドマウントディスプレイ、ヘッドマウントディスプレイシステム、および、ヘッドマウントディスプレイの表示方法 - Google Patents

Description

本発明は、仮想空間（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）用のヘッドマウントディスプレイ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）、該ヘッドマウントディスプレイを用いたシステム、および、該ヘッドマウントディスプレイにおける表示方法に関する。なお、以下、この仮想空間用のヘッドマウントディスプレイをＶＲＨＭＤと記すことがある。

仮想空間（以下、ＶＲ空間と記載することがある）は、ゲーム、教育、観光など様々な分野で利用されている。このＶＲ空間を体験するためにＶＲＨＭＤが使用される。ＶＲＨＭＤは、一例として、頭部に装着し、ゴーグル状のディスプレイに仮想空間画像を表示する装置である。この装置には、一例として、カメラ、物体までの距離を測るセンサ、位置測定センサなどの複数のセンサや画像処理を行うＣＰＵ、バッテリーなどが搭載されている。そして、このＶＲＨＭＤを装着して、ＶＲ空間を体験すると、その内容によっては装着者がＶＲ空間内を自由に動き回ることが考えられる。しかしながら、装着者が居る実際の空間は、壁、机などいろいろな物体（障害物など）があり、動き回れる場所が制限される。そこで、安全上、これらの障害物を回避するための活動場所の制限、つまり安全に動き回れる境界にＶＲＨＭＤの装着者が近づいた場合には、ＶＲＨＭＤのディスプレイに境界を重畳表示するなど行動の限界を認識させることが行われている。

ここで、障害物が固定されている場合には、ＶＲＨＭＤの装着者が上述の安全活動可能範囲の境界に近づいたことをディスプレイに表示することは有用であるが、この安全活動可能範囲に、例えば、人物、犬などの動物、ボールなどの物体が侵入してくることも考えられる。このような観点に関して、安全活動可能範囲にこれらの人物、動物などが侵入した場合には、その侵入した人物、動物などをＶＲＨＭＤのディスプレイに重畳などして表示する技術が知られている。

特開２０１３－２５７７１６号公報 特開２０１５－１４３９７６号公報

ＶＲＨＭＤを装着し、ＶＲ空間を体験していると、その没入感から体験者は、その周囲状況、特に安全活動可能範囲外がどのような状況であるかを把握したいことが出てくる。その理由のいくつかは、次のようなことがあげられる。
・ＶＲ空間に没入している状態を誰かに見られたくない。
・誰かが、ＶＲＨＭＤ装着者のいる実際の空間に現れた。
・何らかの理由で装着者に知らせたいことがあるが、装着者が没入していて声をかけられないでいる。
・電話がかかってきている。
・来訪者が来たことのチャイムが鳴っている。
など様々なことがあげられる。

ここで、従来例では、ＶＲＨＭＤの装着者の安全活動可能範囲内に人物などが侵入した場合には、その人物などをＶＲＨＭＤのディスプレイに重畳などして表示することが行えるが、安全活動可能範囲外に人物が表れたなどの場合には、その状況を把握することができない。

そこで、本発明は、ＶＲＨＭＤの装着者の安全活動可能範囲外であっても、装着者が把握したい周囲状況であるかどうかを判断し、判断結果に応じて安全活動可能範囲外であってもＶＲＨＭＤのディスプレイに表示することで、ＶＲ空間を体験中であっても適切に周囲状況の把握を行えるＶＲＨＭＤ、および、ＶＲＨＭＤを備えるシステムを提供することを目的とする。また、該表示に関する表示方法を提供することを目的とする。

本発明の第１の態様によれば、下記のヘッドマウントディスプレイが提供される。すなわち、ヘッドマウントディスプレイは、仮想空間用のヘッドマウントディスプレイである。ヘッドマウントディスプレイは、ディスプレイと、カメラと、距離検出部と、映像生成部と、記憶部と、制御部と、を備える。ディスプレイは、画像を表示する。カメラは、現実空間を撮影する。距離検出部は、現実空間に存在する物体との距離を検出する。映像生成部は、ディスプレイに表示する映像を生成する。記憶部は、表示する物体の種別条件および距離条件を記憶する。そして、制御部は、カメラの撮影画像から物体の種別を認識し、種別条件および距離条件と合致する物体を抽出し、抽出した物体を示す映像を仮想空間の画像に重畳し、ディスプレイに表示する。

本発明の第２の態様によれば、下記のヘッドマウントディスプレイシステムが提供される。すなわち、ヘッドマウントディスプレイシステムは、現実空間を撮影するカメラと、仮想空間用のヘッドマウントディスプレイと、を備える。ヘッドマウントディスプレイは、画像を表示するディスプレイと、現実空間に存在する物体との距離を検出する距離検出部と、ディスプレイに表示する映像を生成する映像生成部と、表示する物体の種別条件および距離条件を記憶する記憶部と、制御部と、を備える。そして、制御部は、カメラの撮影画像から物体の種別を認識し、種別条件および距離条件と合致する物体を抽出し、抽出した物体を示す映像を仮想空間の画像に重畳し、ディスプレイに表示する。

本発明の第３の態様によれば、下記のヘッドマウントディスプレイの表示方法が提供される。この表示方法は、仮想空間用のヘッドマウントディスプレイを用いて行う方法である。この方法は、表示する物体の種別条件および距離条件を記憶する記憶ステップと、仮想空間を描画した映像を生成する映像生成ステップと、ヘッドマウントディスプレイの周辺の現実空間を撮影する撮影ステップと、現実空間に存在する物体との距離を検出する距離検出ステップと、撮影画像から物体の種別を認識する認識ステップと、認識した物体から、種別条件および距離条件と合致する物体を抽出する抽出ステップと、抽出した物体を示す映像を仮想空間の画像に重畳して表示する重畳表示ステップと、を備える。

本発明によれば、ＶＲＨＭＤの装着者の安全活動可能範囲外であっても、装着者が把握したい周囲状況であるかどうかを判断し、判断結果に応じて安全活動可能範囲外であってもＶＲＨＭＤのディスプレイに表示することで、ＶＲ空間を体験中であっても適切に周囲状況の把握を行えるＶＲＨＭＤ、および、ＶＲＨＭＤを備えるシステムが提供される。また、該表示に関する表示方法が提供される。

ＶＲＨＭＤの一例を示す図である。 ＶＲＨＭＤの装着者が居る実際の現実空間の説明に用いる図である。 ＶＲＨＭＤのハードウェア構成の一例を示す図である。 カメラの構成の一例の説明に用いる図である。 カメラの構成の一例の説明に用いる図である。 周囲の画像を取得する方法の一例について説明するための図である。 周囲の画像を取得する方法の一例について説明するための図である。 安全活動範囲の境界の表示の一例について説明するための図である。 ＶＲＨＭＤの初期設定における動作フローの一例について説明するためのフローチャートである。 ディスプレイに表示されるＶＲ空間画像の一例を示す図である。 物体が重畳して表示されるＶＲ空間画像の一例を示す図である。 物体が重畳して表示されるＶＲ空間画像の一例を示す図である。 第一実施形態に係り、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。 物体を示す仮想オブジェクトが重畳して表示されるＶＲ空間画像の一例を示す図である。 第二実施形態に係り、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。 第三実施形態に係り、音声検出処理部のハードウェア構成の一例を示す図である。 第三実施形態に係り、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。 第四実施形態に係り、境界の設定の一例について示す図である。 物体を示す仮想オブジェクトが重畳して表示されるＶＲ空間画像の一例を示す図である。 第五実施形態に係り、視野外に存在する物体を検出する方法の一例についての説明に用いる図である。 物体を示す仮想オブジェクトが重畳して表示されるＶＲ空間画像の一例を示す図である。 第五実施形態に係り、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。 第六実施形態に係り、スマートフォンを用いた態様の一例を説明するための図である。

以下、本発明の実施形態の例を、図面を用いて説明する。全図を通じて同様の構成には同一の符号を付し、重複説明を省略することがある。実施形態によれば、安全活動範囲外であっても周囲状況を適切に把握できるＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が提供される。これにより、一例として、国連の提唱する持続可能な開発目標（ＳＤＧｓ：Ｓｕｓｔａｉｎａｂｌｅ Ｄｅｖｅｌｏｐｍｅｎｔ Ｇｏａｌｓ）の９・産業と技術革新の基盤をつくろう）に貢献することができる。

＜第一実施形態＞
図１－図１１を参照しながら、第一実施形態について説明する。先ず、図１－図３を参照しながら、ＶＲＨＭＤの概要について説明する。図１は、本発明の一実施形態に係り、ＶＲＨＭＤの一例であり、装着した状態での該ＶＲＨＭＤ、および、該ＶＲＨＭＤの内側にあるディスプレイを示す図である。図２は、ＶＲＨＭＤの装着者が居る実際の現実空間の説明に用いる図である。

図１に示すように、ＶＲＨＭＤ１には、カメラ２００などが設けられ、ＶＲＨＭＤ１は、使用者の頭部に装着される。ここで、カメラ２００は、装着者の周囲の現実空間を撮影する。そして、ＶＲＨＭＤ１の内側には、ディスプレイ１３０が装備されており、該ディスプレイ１３０には、作成されたＶＲ空間画像やカメラ２００が撮影した現実空間画像などが表示される。

ＶＲＨＭＤ１の装着者は、図２に示すような現実空間でＶＲ空間を体験する。そして、ＶＲ空間を体験中、ＶＲの内容によって、矢印８に示されるように前後左右、斜めなど様々な方向に装着者が移動することがある。

しかしながら、装着者が居る現実空間には、図２に示すように様々な物体、例えば、椅子４、机（５，１２）、パソコン６、電話機１１、人物２０、動物３０、扉１５、窓７、壁３などが存在している可能性がある。このため、ＶＲ体験中の装着者が移動もしくは手を動かすなどの活動を行うときに、これらの物体を回避する必要がある。これらの物体に接触せずに安全に移動および活動することが可能な安全活動範囲の一例を、図２の点線１０で示す。なお、ＶＲ経験中は、ディスプレイ１３０には、ＶＲ空間画像が表示されており、これらの物体を認識することはできない。

次に、図３を参照しながら、ＶＲＨＭＤのハードウェア構成の一例について説明する。図３に示すように、ＶＲＨＭＤ１は、コントロール回路１０４と、センサ部１０５と、通信処理部１０６と、映像処理部１０７と、音声処理部１０８と、を備え、これら（１０４～１０８）は、各データなどをやり取りするためのデータバス１０３を介して接続されている。また、ＶＲＨＭＤ１は、電源となるバッテリー１０９を備える。

コントロール回路１０４は、一例として、メインプロセッサ２、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）１４１、ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）１４２、初期設定情報などを記憶するフラッシュメモリ１４３を用いて構成することができ、制御部および記憶部を含んで構成されている。メインプロセッサ２は、ＲＯＭ１４２やフラッシュメモリ１４３に格納されているプログラムやデータと各部（１０５～１０８）の出力データを使用し、ＶＲＨＭＤ１の動作や本発明に関する各種の所定の処理の制御を実行する。

センサ部１０５は、一例として、位置情報の取得に用いることができるＧＰＳ受信センサ１５１、地磁気センサ１５２、物体との距離を検出することができる距離センサ１５３、加速度センサ１５４、ジャイロセンサ１５５、温度センサ１５６を用いて構成することができ、装着者の状態や周囲の物体の位置、大きさ、温度などのデータを把握に使用することができる。ただし、ここで列挙されたセンサは一例であり、所定の処理を実行することができればよく、列挙されたセンサが適宜に省略されたり、これら以外の種類のセンサが含まれてもよい。

映像処理部１０７は、映像を生成して表示することに用いられ、一例として、カメラ２００、ＶＲ空間画像生成部１９５（図３において、仮想空間画像生成部）、映像重畳処理部１９６、ディスプレイ１３０を用いて構成することができる。ＶＲ空間画像生成部１９５は、ＶＲ空間での画像の生成に用いられる構成である。映像重畳処理部１９６は、ＶＲ空間に映像を重畳することに用いられる構成である。

音声処理部１０８は、一例として、マイク１８１、音声信号の処理を行うコーデック１８２、スピーカー１８３を用いて構成することができる。マイク１８１は、適宜に設けられ、一例として、装着者の音声が入力されるように設けられてもよい。また、マイク１８１は、装着時において、外部からの音声が入力されるように設けられてもよい。スピーカー１８３は、一例として、装着時において、装着者の耳に近接するように設けられてもよい。

通信処理部１０６は、一例として、無線ＬＡＮインターフェース１６１、近距離通信インターフェース１６２を用いて構成することができる。無線ＬＡＮインターフェース１６１は、無線ＬＡＮ通信における通信インターフェースとして用いられ、近距離通信インターフェース１６２は、近距離通信における通信インターフェースとして用いられる。なお、近距離通信インターフェースとしては、例えばＢｌｕｅｔｏｏｔｈ（登録商標）が使用できる。

カメラ２００は、装着者の周囲３６０°の画像を撮影する。ここで、カメラ２００の構成の一例、および、動作の一例について、図４－図５、図６Ａ、図６Ｂを用いて説明する。

図４に示すように、カメラ２００には、装着者の前方と後方の２か所から画像を取得することができるようにする２か所の画像撮影部（２０１，２０２）が取り付けられている。ここで、画像撮影部（２０１，２０２）は、外部からの光を入射させる構成であり、一例として、光を入射させる開口部が形成された構成とすることができる。そして、図５に示すように、カメラ２００は、前方を撮影する広視野角の前方レンズ２１０と、後方を撮影する広視野角の後方レンズ２２０と、それぞれのレンズ（２１０，２２０）に対応する撮像素子（２１１，２２１）と、信号処理を行う信号処理部（２１２，２２２）と、前方の撮影画像と後方の撮影画像とから周囲３６０°の画像を生成する３６０°映像作成部２３０と、を備える。ここで、前方レンズと後方レンズの視野角が狭く、撮影に死角が存在し、３６０°の周囲画像が得られない時は、一例として、次に説明する方法により、画像が取得される。

すなわち、上述した図２の矢印８で示すように、ＶＲＨＭＤ１の装着者が様々な方向へ移動をすることや頭部を回して周囲を見渡すことが想定される。ここで、例えば、カメラ２００の前方レンズ２１０、および、後方レンズ２２０で撮影可能な視野角が、図６Ａの点線６０７から点線６０８の間や点線６０６から点線６０９の間であるとすると、撮影可能な物体は、人物（７００，７０４）、動物（７０２，７０３）となり、机７０１は撮影されない。この状態で装着者が頭部を動かすと、図６Ｂに示すように、撮影される物体は人物（７００，７０４）、机７０１となり、動物（７０２，７０３）は撮影されない。ここで、これらの撮影画像を合成することで、３６０°の映像が取得される。

次に、安全活動範囲の設定について説明する。図２を用いて上述したように、装着者が居る現実空間には、椅子４、机（５，１２）、パソコン６、電話機１１、人物２０、動物３０、扉１５、窓７、壁３などが存在していることが考えられる。ここで、ＶＲ体験中の装着者が安全に移動、または手を動かす等の動作を行うには、これらの物体を回避する必要がある。図２の例では、これらの物体に接触せずに移動したり、手を動かすなどの動作をすることが可能な安全活動範囲は、一例として、点線１０で示すところ（すなわち、点線１０を境界とした装着者側の空間）となる。従って、ＶＲ空間の体験を開始する前に、この点線１０に相当する範囲の設定が行われる。

本実施形態では、ＶＲＨＭＤ１は、図７に示すように、カメラ２００が撮影した現実空間画像に、図２の点線１０と同様の役割を有しており、物体を回避することができる安全活動範囲の境界を重畳して表示する。具体的には、ＶＲＨＭＤ１は、（１）図３に示したコントロール回路１０４、センサ部１０５、映像処理部１０７などを使用して、現実空間に存在する椅子４、机５、人物２０などの物体の位置、大きさ、装着者との距離を検出する。すなわち、カメラ２００が撮影し、作成した周囲３６０°の現実空間の画像における物体の位置、大きさ、装着者との距離が検出される。続いて、（２）ＶＲＨＭＤ１は、検出した結果に基づき、装着者が物体を回避可能となる境界１００を自動的に設定する。最後に、（３）ＶＲＨＭＤ１は、カメラ２００が撮影した現実空間の画像に境界１００を重畳してディスプレイ１３０に表示する。このような表示により、ＶＲ空間の体験開始前に、安全活動範囲の境界１００を確認することができ、装着者は、ＶＲ空間に安心して没入することができる。

上述の説明では、カメラ２００で３６０°の周囲を撮影しその画像を使用しているが、装着者の前方のみを撮影するカメラなどの３６０°の周囲画像でない画像に境界１００が設定されてもよい。その場合、ＶＲ空間体験中に装着者の周囲の物体が都度検出され、物体を回避可能となる境界１００が都度、自動的に設定されてもよい。例えば、前方を撮影するカメラを用いてＶＲＨＭＤを使用している場合、頭部が動いて前方の現実空間画像が変わる毎に、物体を回避可能となる境界１００が設定されてもよい。

次に、図８を参照しながら、安全活動範囲の境界１００を設定する動作フローの一例について説明する。図８は、ＶＲＨＭＤの初期設定における動作フローの一例について説明するためのフローチャートである。

最初に、ユーザは、ＶＲＨＭＤ１を頭部に装着する。そして、ＶＲＨＭＤ１は、ＶＲ空間を体験するための初期設定を開始する（Ｓ１）。なお、ＶＲＨＭＤ１の装着後にこの処理が自動的に開始されてもよいし、適宜の入力装置を用いたユーザからの指示の入力により、この処理が開始されてもよい。

次に、ユーザは、ＶＲ空間を体験中に把握したい物体の種別、例えば、人物、動物、呼出音が鳴っている電話機などを設定する（Ｓ２）。この設定では、物体の数を設定することもでき、例えば、多人数の中でＶＲ空間の体験をしており、設定数を超える人物が居る場合には、人物の把握を行わない設定が行われてもよい。また、適宜の顔認証技術を活用し、特定の人物だけを把握するように設定することも可能である。なお、設定した情報は、記憶部に記憶される。

続いて、装着者の周囲状況がカメラ２００で撮影され、３６０°の映像が作成される（Ｓ３）。また、ＶＲＨＭＤ１は、作成された映像より物体（障害物）を識別し、センサ部１０５などが取得するデータを活用して、障害物の位置、装着者との距離、大きさなどを検出し、識別した障害物、その位置、装着者との距離、大きさなどのデータを記憶する（Ｓ４）。

ＶＲＨＭＤ１は、物体との相対的な位置情報を、Ｓ４で得た現実空間に存在する椅子４、机５、人物２０、壁３などの物体の位置、距離に基づき、取得する（Ｓ５）。そして、ＶＲＨＭＤ１は、Ｓ４およびＳ５で取得するデータに基づいて、物体（障害物）との接触を回避することができる境界１００を自動的に設定する（Ｓ６）。

ＶＲＨＭＤ１は、設定した境界１００をカメラ２００が撮影する現実空間の画像に重畳してディスプレイ１３０に表示する。ここで、装着者は、ディスプレイ１３０に出力される画像を視て、境界１００が適切であるかについて確認する（Ｓ７）。

Ｓ７の確認結果がＯＫならば、ＶＲＨＭＤ１は、境界１００の位置情報を記憶し、ＶＲ空間画像の作成を行う（Ｓ８）。そして、作成されたＶＲ空間画像は、ディスプレイ１３０に図９に示すように表示される。その一方で、Ｓ７の確認結果がＮＧならば、Ｓ６に戻り、ＶＲＨＭＤ１は、境界１００の再設定を行う。なお、確認結果は、一例として、装着者により適宜の入力装置を介して入力されてもよい。また、ＶＲＨＭＤ１は、所定時間の時間経過により、確認結果がＯＫまたはＮＧであるとみなす処理を行ってもよい。

そして、ＶＲ空間画像が作成された後、初期設定が完了する（Ｓ９）。

次に、本発明に関する表示手法の一例について説明する。本発明の目的の１つは、ＶＲ空間の体験中に、没入感をできるだけ損なわず、必要な場合にだけ装着者の周囲の状況、特に安全活動範囲の境界１００の外側に存在する状況を把握することを可能とすることである。

図１０Ａおよび図１０Ｂは、本発明の第一実施形態による表示様態の一例を示す。図１０Ａおよび図１０Ｂは、図７で説明した安全動作範囲の境界１００の外側に存在する人物２０や動物３０を把握し、図９に示したＶＲ空間画像に人物２０や動物３０を重畳してディスプレイ１３０に表示する例である。

カメラ２００は、ＶＲ空間体験中も図６Ａ－図６Ｂに示すような３６０°の周囲画像を撮影している。ＶＲＨＭＤ１は、撮影した周囲画像から境界１００の外側に存在する椅子４、机（５，１２）、パソコン６、電話機１１、人物２０、動物３０、扉１５、窓７、壁３などのうち、初期設定のＳ２で設定した物体をＶＲ体験中に識別した場合、人物２０や動物３０などの撮影画像をＶＲ空間画像に重畳して表示する。なお、呼出音が鳴っている電話機などの音声出力する物体が設定された場合、物体の識別にあたって外部からの音声を入力するマイク１８１などが用いられてもよい。

図１０Ａは、初期設定のＳ２で人物および動物を設定した場合の表示である。人物２０および動物３０はいずれも境界１００の外部に存在するが、Ｓ２において設定されているため、これらの物体はＶＲ空間の中に重畳して表示されている。その一方で、図１０Ｂは、初期設定のＳ２で人物のみを設定した場合の表示である。人物２０および動物３０はいずれも境界１００の外部に存在するが、Ｓ２において人物２０のみが設定されているため、人物２０のみがＶＲ空間の中に重畳して表示され、動物３０は表示されない。このように、装着者が状況を把握したいと初期設定した物体のみを表示することができる。

なお、周囲画像から境界１００の内側に初期設定時に存在しなかった新たな物体が現れた場合は、安全な移動および動作に支障が出る。このため、ＶＲＨＭＤ１は、新たな物体の種別に関わらず、物体の撮影画像をＶＲ空間画像に重畳して表示する。

以上説明したように、ＶＲＨＭＤ１は、境界１００の外側に設定した物体が新たに表れたと識別した場合、その物体の撮影画像をＶＲ空間画像に重畳して表示する。これにより、装着者が認識しておきたいと考えうる外部状況を把握することが可能になる。その一方で、設定していない物体と識別した場合は、安全動作に支障のない限り表示を行わないため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

次に、図１１を用いて、第一実施形態に係る動作フローチャートを説明する。図１１は、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。

ＶＲ空間の体験を開始すると（Ｓ１０）、ＶＲＨＭＤ１は、映像処理部１０７のＶＲ空間画像生成部１９５によるＶＲ空間画像の生成を行う（Ｓ１１）。ここで、上記したＳ８における生成手法と同様の生成手法により、ＶＲ空間画像が生成される。

ＶＲＨＭＤ１の使用時に、カメラ２００が装着者の周囲を撮影し、３６０°の周囲映像を作成する（Ｓ１２）。そして、ＶＲＨＭＤ１は、作成した３６０°の周囲映像から物体を検出する（Ｓ１３）。ＶＲＨＭＤ１は、検出した物体の位置をセンサ部１０５などのセンサ機能を適宜に使用して特定するとともに、上記したＳ４で検出したデータとの比較を行う。なお、新たな物体を検出した場合は、その物体を記憶し、物体が移動している場合は、その方向を検出する（Ｓ１４）。なお、物体が移動している方向は、一例として、撮影画像を用いて（例えば、短い時間間隔おきの撮影画像を用いて物体の移動方向を求めることにより）、検出することができる。

ＶＲＨＭＤ１は、Ｓ１４で検出した物体と移動している物体の位置が境界１００の外側に存在するのか、境界１００の内側に存在するのかを識別する（Ｓ１５）。なお、装着者は境界１００の内側に居るとする。

Ｓ１５で物体が境界１００の外側に存在することを識別した場合、ＶＲＨＭＤ１は、物体の種別を判定する。ＶＲＨＭＤ１は、例えば、人物、動物、机、椅子などであることを判定する（Ｓ１６）。ＶＲＨＭＤ１は、一例として、公知の画像マッチング技術を用いて物体の種別を判定することができる。また、ＶＲＨＭＤ１は、入力される物体からの音声に基づいて、適宜のマッチング技術を用いることで、物体の種別を判定してもよい。

Ｓ１６で判定された種別が、図８のＳ２で事前に設定した種別に合致するかどうかを判別する。例えば、Ｓ２で人物と動物が設定されていれば、ＶＲＨＭＤ１は、人物と動物を抽出する（Ｓ１７）。

Ｓ１７においてＳ２で設定した物体が判別された場合（ＹＥＳ）や、Ｓ１４で移動物体が検出された場合（ＹＥＳ）、ＶＲＨＭＤ１は、それらの物体の画像を取得（抽出）する（Ｓ１８）。そして、ＶＲＨＭＤ１は、Ｓ１８で取得（抽出）した画像をＶＲ空間画像に重畳する（Ｓ２０）。また、ＶＲＨＭＤ１は、Ｓ２０で重畳された画像をディスプレイ１３０に表示する（Ｓ２１）。なお、Ｓ２１の表示後は、処理がＳ１１に戻る。その一方で、Ｓ１７においてＳ２で物体が抽出されない場合（ＮО）、ＶＲＨＭＤ１は、Ｓ１１で生成されたＶＲ空間画像をそのままディスプレイ１３０に表示する（Ｓ２１）。また、Ｓ１５で物体が境界１００の内側に存在し、その物体がＳ１４で検出した新たな物体や移動物体である場合、ＶＲＨＭＤ１は、それらの画像を抽出する（Ｓ１９）。そして、ＶＲＨＭＤ１は、Ｓ１９で抽出することで取得した画像をＶＲ空間画像に重畳する（Ｓ２０）。また、ＶＲＨＭＤ１は、Ｓ２０で重畳された画像をディスプレイ１３０に表示する（Ｓ２１）。なお、Ｓ１９の処理がなされた場合は、装着者が物体と接触する可能性が高いので、本実施形態では、ＶＲＨＭＤ１は、Ｓ１９の画像をＶＲ空間画像の中心部分などに重畳する、または、Ｓ１９の画像を表示してＶＲ空間画像の出力を停止するといった処理を行う。

以上説明したように、境界１００の外側に設定した物体が新たに表れたと識別した場合、その物体の撮影画像（詳細には、カメラ２００で撮影した映像から物体の部分を切り出した映像、あるいは物体の輪郭を抽出した映像）をＶＲ空間画像に重畳して表示する。これにより、装着者が認識しておきたいと考えうる外部状況を把握することが可能になる。一方、設定していない物体と識別した場合は、安全動作に支障のない限り表示を行わないため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

＜第二実施形態＞
次に、図１２－図１３を参照しながら、第二実施形態について説明する。他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。第二実施形態では、ＶＲ空間を体験中に、図８のＳ２で設定した把握したい物体が境界１００の外側に存在する場合、ＶＲＨＭＤ１は、その物体を仮想オブジェクトに置換する。そして、ＶＲＨＭＤ１は、置換した仮想オブジェクトを実際に存在する位置に合わせてＶＲ空間画像の上下左右の端の部分に重畳し、ディスプレイ１３０に表示する。

第二実施形態では、まず、カメラ２００が３６０°の周囲画像を作成し、ＶＲＨＭＤ１は、その３６０°画像から物体を識別する。ＶＲＨＭＤ１は、識別した物体のうち、境界１００の外側に存在し、図８のＳ２で設定した把握したい物体（例えば、人物２０や動物３０）に合致する物体を検出するとともに、その物体の位置が装着者の前方、後方、右側、左側、斜め方向のどの方向に存在するかを識別する。そして、ＶＲＨＭＤ１は、検出した物体を仮想オブジェクトに置換し、装着者の居る位置に対して存在する方向に合わせて表示する。

図１２を参照しながら、本実施形態での仮想オブジェクトの表示の一例について説明する。図１２に示すように、ＶＲＨＭＤ１は、ＶＲ空間画像の端の点線枠１１１、１１２、１１３および１１４に物体の仮想オブジェクトを重畳して表示する。このように、物体を仮想オブジェクト、かつＶＲ空間画像の端に表示することで、装着者は、ＶＲ空間への没入感を損ねることなく、周囲状況を把握することができる。

ここで、図１２は、図２に示した状況におけるＶＲＨＭＤ１の表示を示している。この例では、装着者の前方に人物２０が存在しているので、前方に存在している人物２０の仮想オブジェクトは、上側の点線枠１１１内に表示される。また、装着者の右側に動物３０が存在しているので、右側に存在している動物３０の仮想オブジェクトは、右側の点線枠１１３内に表示される。このように、仮想オブジェクトは、装着者の居る位置に対して存在する方向に合わせて表示される。

次に、図１３を用いて第二実施形態の動作フローチャートを説明する。なお、他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。

まず、ＶＲ空間の体験を開始すると（Ｓ１０）、ＶＲＨＭＤ１は、映像処理部１０７のＶＲ空間画像生成部１９５によるＶＲ空間画像の生成を行う（Ｓ１１）。そして、カメラ２００が装着者の周囲を撮影し、３６０°の周囲映像を作成し（Ｓ１２）、ＶＲＨＭＤ１は、作成した３６０°の周囲映像から物体を検出する（Ｓ１３）。

ＶＲＨＭＤ１は、検出した物体の位置をセンサ部１０５などのセンサ機能を適宜に使用して特定し、加えて装着者の前方、後方、右側、左側、斜め方向のどの方向に存在するかを判別する。また、ＶＲＨＭＤ１は、図８のＳ２で検出したデータとの比較を行い、新たな物体を検出した場合は、その物体を記憶し、物体が移動している場合は、その移動方向を検出する。（Ｓ１４）

なお、物体の方向は、一例として、下記の方法で判断されてもよい。ＶＲＨＭＤ１は、撮影画像において左右中央部に位置する物体を、カメラ２００と同じ向き（例えば、前方または後方）に位置する物体であると判断して処理を行い、撮影画像において左右の端側に位置する物体を、横方向（例えば、左側または右側）に位置する物体であると判断して処理を行う。そして、ＶＲＨＭＤ１は、撮影画像においてその中間に位置する物体を、斜め方向に位置する物体であると判断して処理を行う。

ＶＲＨＭＤ１は、Ｓ１４で検出した物体と移動している物体の位置が、境界１００の外側に存在するのか、境界１００の内側に存在するのかを識別する（Ｓ１５）。なお、ここで、装着者は、境界１００の内側に居る。そして、Ｓ１５で物体が境界１００の外側に存在する場合、ＶＲＨＭＤ１は、物体の種別を判定する（Ｓ１６）。

ＶＲＨＭＤ１は、Ｓ１６で判定された種別が、図８のＳ２で事前に設定した種別に合致するかどうかを判別し、例えば、Ｓ２で人物と動物が設定されていれば、人物と動物を抽出する（Ｓ１７）。Ｓ１７でＳ２にて設定した物体が抽出された場合（ＹＥＳ）や、Ｓ１４で新たな物体が検出された場合（ＹＥＳ）、ＶＲＨＭＤ１は、それらの物体を仮想オブジェクトに置換する。ここで、ＶＲＨＭＤ１は、例えば、人物であれば人の形をしたオブジェクトに、動物であれば動物の形をしたオブジェクトに置換すればよい（Ｓ３１）。なお、置換の方法は、前述手法に限られるものではない。また、オブジェクトは、物体を判別できるどのような形状でもよい。

ＶＲＨＭＤ１は、図１２に示すように、Ｓ３１で仮想オブジェクトに置換された画像を、Ｓ１４で検出した装着者に対する方向に合わせて、ＶＲ空間画像の点線枠（１１１～１１４）の部分に重畳する（Ｓ３２）。そして、ＶＲＨＭＤ１は、Ｓ３２で重畳された画像をディスプレイ１３０に表示する（Ｓ２１）。Ｓ２１の表示後は、処理がＳ１１に戻る。

その一方で、Ｓ１７でＳ２にて設定した物体が抽出されない（合致しない）場合（ＮО）、ＶＲＨＭＤ１は、Ｓ１１で生成されたＶＲ空間画像をそのままディスプレイ１３０に表示する（Ｓ２１）。また、Ｓ１５で物体が境界１００の内側に存在し、その物体がＳ１４で検出した新たな物体や移動物体である場合、ＶＲＨＭＤ１は、それらの画像を抽出する（Ｓ１９）。なお、Ｓ１９の画像の物体に装着者が接触する可能性が高いので、本実施形態では、ＶＲＨＭＤ１は、ＶＲ空間画像の点線枠１１１ではない部分（例えば中心部分）にＳ１９の画像を重畳する、または、ＶＲ空間画像に代わりＳ１９の画像とともに現実空間を表示することでＶＲ空間の没入を中断させるといった処理を行う。

以上説明したように、境界１００の外側に設定した物体が新たに表れたと識別した場合、その物体を仮想オブジェクトとしてＶＲ空間画像に重畳して表示する。これにより、装着者が認識しておきたいと考えうる外部状況を把握することが可能になる。一方、設定していない物体と識別した場合は、安全動作に支障のない限り表示を行わないため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

＜第三実施形態＞
次に、図１４－図１５を参照しながら、第三実施形態について説明する。他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。第三実施形態では、ＶＲＨＭＤ１は、電話機など音を発生している物体を把握し、音が発生していることを表示する。

すでに説明したように、ＶＲＨＭＤ１は、カメラ２００で撮影した３６０°周囲画像を使用して、電話機などの物体が存在することやその位置の把握をすることができる。その一方で、把握した物体が音を発生（例えば、電話機の呼出音や人の話し声など）していることを検出するには、音声検出処理が必要である。

図１４は、本実施形態での音声検出処理部３００のハードウェア構成の一例を示す。音声検出処理部３００は、図３で示した音声処理部１０８のマイク１８１と、コーデック１８２（音声処理装置）と、を含む。マイク１８１は、左マイク３０１、左マイクアンプ３１１（マイクアンプ３１１）、右マイク３０２、および、右マイクアンプ３２１（マイクアンプ３２１）で構成される。コーデック１８２は、左信号処理部３１２、右信号処理部３２２、および、３６０°音像作成部３３０で構成される。信号処理部（３１２，３２２）は、左右２つのマイク（３０１，３０２）で収集した音に信号処理を行ってデジタル信号を生成する。３６０°音像作成部３３０は、音像作成を行い、音の発生方向、音の種別（例えば、電話機の呼出音、人の声）を判定するデータを生成する。

図１５を用いて、第三実施形態の動作フローの一例を説明する。図１５は、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。第三実施形態では、ＶＲＨＭＤ１は、音の判定を行い、マネキン人形と人物、ぬいぐるみと動物の誤判別を防止する。なお、他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。

ＶＲ空間の体験を開始すると（Ｓ１０）、ＶＲＨＭＤ１は、ＶＲ空間画像の生成を行う（Ｓ１１）。カメラ２００が装着者の周囲を撮影し、ＶＲＨＭＤ１は、３６０°の周囲映像を作成する（Ｓ１２）。ＶＲＨＭＤ１は、作成した３６０°の周囲映像から物体を検出する（Ｓ１３）。

ＶＲＨＭＤ１は、Ｓ１３で検出した物体の温度を温度センサ１５６で測定し、図８のＳ４で検出したデータと比較することで、マネキン人形と体温を有する人物、ぬいぐるみと体温を有する動物の判別を行う（Ｓ４１）。なお、温度センサを装備しないＶＲＨＭＤであればＳ４１はスキップする。

ＶＲＨＭＤ１は、Ｓ１３で検出した物体に対して位置を特定し、加えて装着者の前方、後方、右側、左側、斜め方向のどの方向に存在するかを判別する。また、図８のＳ４で検出したデータとの比較の結果、新たな物体を検出した場合は、ＶＲＨＭＤ１は、その物体を記憶し、物体が移動している場合は、その移動方向を検出する（Ｓ１４）。

ＶＲＨＭＤ１は、音声検出処理部３００のデータを基に、音を発生している位置を検出し、Ｓ１４の出力データと図８のＳ４で検出したデータとを比較し、音を発生している物体を判別する。また、非常ベルが鳴っている場合などでは、音の発生位置が単なる壁として認識される場合がある。この場合、ＶＲＨＭＤ１は、音源として対応する物体が見当たらない状態と判別する（Ｓ４２）。なお、音を発生している物体の判別には、カメラ２００の映像が利用されてもよい。

ＶＲＨＭＤ１は、Ｓ４２の出力データが、境界１００の外側に存在する物体に関するのか、境界１００の内側に存在する物体に関するのかを識別する（Ｓ４３）。ここで、装着者は境界１００の内側に居る。

ＶＲＨＭＤ１は、Ｓ４３で物体の存在や音の発生が境界１００の外側に存在する場合、物体、音の種別を判定する。ＶＲＨＭＤ１は、例えば、呼出音が鳴っている電話機、呼びかけている人の声、来客を知らせるチャイム、非常ベルなどであることを判定する（Ｓ４４）。

ＶＲＨＭＤ１は、Ｓ２４で判定された種別が図８のＳ２で事前に設定した種別に合致するかどうかについて判別する。ＶＲＨＭＤ１は、例えば、Ｓ２で設定した呼出音が鳴っている電話機、呼びかけている人の声、来客を知らせるチャイムを抽出する（Ｓ１７）。

ＶＲＨＭＤ１は、Ｓ１７においてＳ２で設定した物体が抽出された場合、及び、Ｓ１４で移動物体が検出された場合（ＹＥＳ）、それらの物体、音を仮想オブジェクトに置換する。ＶＲＨＭＤ１は、例えば、呼出音が鳴っている電話機であれば、呼出されている電話機の形をしたオブジェクトに置換すればよい。同様に、呼びかけをしている人物であれば、呼びかけを行っていることがわかる人の形をしたオブジェクトに、来客を知らせるチャイムであれば、チャイムが鳴っていることがわかるドアチャイムの形をしたオブジェクトに、非常ベルが鳴っている場合は、非常ベルの仮想オブジェクトに置換することができる（Ｓ４５）。

ＶＲＨＭＤ１は、Ｓ４５で仮想オブジェクトに置換された画像を、Ｓ１４で検出した装着者に対する方向に合わせてＶＲ空間画像の点線枠１１１部分に重畳する。Ｓ４４で非常ベルが鳴っている場合など対応する物体が見当たらないと判別した時は、ＶＲＨＭＤ１は、ＶＲ空間画像から現実空間画像に切り替えてもよい。さらに、現実空間画像に非常ベルの仮想オブジェクトを重畳して表示し危険を知らせてもよい（Ｓ３２）。なお、Ｓ３２以降の動作等は、上述した図１３の動作フローチャートと同じであるので、説明を省略する。

以上説明したように、新たな物体が現れなくとも、装着者に知らせるべき音声が発生した場合、発生した音声を示す仮想オブジェクトをＶＲ空間画像に重畳して表示する。これにより、装着者が認識しておきたいと考えうる外部状況を把握することが可能になる。一方、必要度の低い音声と識別した場合は表示を行わないため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

＜第四実施形態＞
次に、図１６－図１７を参照しながら、第四実施形態について説明する。他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。図１６は、安全動作範囲の境界１００の外側にさらに境界１０００を設けたことを示している。図１６では、境界１００の内側が第１エリアとされ、境界１００と境界１０００との間が第２エリアとされ、境界１０００の外側が第３エリアとされており、ＶＲＨＭＤ１の装着者は矢印７０の方向を向いている。また、図１６は、第２エリアに人物２９９、動物３９９、呼出音が鳴っている電話機１９９が存在し、第３エリアに人物１２００、動物１３００が存在する例を示している。そして、図８に示したフローチャートのＳ６において境界を設定するときに、境界１００と境界１０００の二つの境界を設定することになる。すなわち、本実施形態では、ＶＲＨＭＤ１は、種別条件に関わらず物体の表示を行う距離（第一の距離）を対象とする境界１００、および、種別条件に合致した場合にのみ物体の表示を行う距離（第二の距離）における境界１０００と、を設定している。なお、この説明は一例であり、境界の設定の数には、制限がないことは言うまでもない。

第四実施形態では、ＶＲＨＭＤ１は、設定した第１エリア、第２エリア、および、第３エリア３に、図８のＳ２で設定した把握したい物体が存在する場合に、各エリアに存在する物体を表示するかを判定し、ＶＲ空間画像に重畳表示する。図１６に示すように物体が存在する場合でのＶＲＨＭＤ１における表示例を図１７に示す。

図１７において、図１２と同様に、ＶＲＨＭＤ１は、ＶＲ空間を体験中に、図８のＳ２で設定した把握したい物体を、その物体を仮想オブジェクトに置換し、存在する位置に合わせてＶＲ空間画像の上下左右の端の点線枠１１１、１１２，１１３および１１４で示す部分に重畳して表示している。図１７に例示するように、後方に存在する人物２９９は下側の点線枠１１４にオブジェクトを重畳して表示している。同様に、左に存在する動物３９９は左側の点線枠１１２に、右に存在する人物１２００と呼出音が鳴っている電話機１９９は右側の点線枠１１３に、前方に存在する動物１３００は上側の点線枠１１１に、それぞれオブジェクトを重畳して表示している。また、第２エリアに存在する人物２９９と動物１３００のオブジェクトのサイズを、第３エリアに存在する人物１２００と動物１３００のオブジェクトのサイズより大きくして重畳することで、装着者は物体の存在するエリアを認識できる。

この処理に関して、ＶＲＨＭＤ１は、上述の動作フローチャートのＳ１６、Ｓ４４において、物体や音が第２エリアに存在するのか、第３エリアに存在するのかを判別する。そして、ＶＲＨＭＤ１は、Ｓ３２において、存在するエリアに応じて、重畳するオブジェクトのサイズを変更する。

なお、第２エリアに存在する物体を把握する設定を、音を発生している物に限定するなどとしてもよい。このように設定することで、ＶＲ空間の体験を体育館など広い空間で行っている時に、装着者が把握したい空間を装着者の一定（例えば、数ｍ）の周囲に制限することができる。また、一定範囲を超えるエリアで、例えば体育館の外などで火災の発生などの緊急事態が発生した場合の非常ベルや緊急を知らせる放送だけを把握することができるという特徴がある。

以上説明したように、境界に区切られるエリアを複数設定し、物体が存在するエリアに応じた仮想オブジェクトをＶＲ空間画像に重畳して表示する。これにより、装着者からの距離に応じた物体の認識が可能になる。一方、安全動作に支障がなければ表示を行わず、また距離が遠い場合は仮想オブジェクトを目立たない表示とすることができるため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

＜第五実施形態＞
次に、図１８－図２０を参照しながら、第五実施形態について説明する。他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。第五実施形態では、通信より取得するデータを用いて処理を行う例について説明する。

近距離通信インターフェースを有する機器（無線通信機器）、例えばスマートフォンなどが多く存在する。この近距離通信インターフェースは、電波を利用し、通信距離１０ｍほどまでの近距離での使用を前提としている。この近距離通信インターフェースは、定期的にＩＤ情報を発信しており、電波を利用しているため、壁の後ろなど目で見ることができない所に存在していても発見することができる。

従って、例えば、図１８に示すように、ＶＲＨＭＤ１は、扉１５の外側に存在する近距離通信インターフェースを有するスマートフォン１１０を発見することができる。ここで、図１８は、扉１５の外側に近距離通信インターフェースを有するスマートフォン１１０を所持した人物が存在している状況を示している。そして、ＶＲＨＭＤ１は、図１９に示すように、このスマートフォン１１０を所持した人物がＶＲ空間体験中の装着者の周囲に存在することを、ＶＲ空間画像の左下部の点線枠１１２にスマートフォンのオブジェクト１１０を重畳してディスプレイ１３０に表示することができる。

図２０を用いて、第五実施形態の動作フローの一例について説明する。図２０は、ＶＲＨＭＤの動作時における処理の一例について説明するためのフローチャートである。なお、他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。

ＶＲ空間の体験を開始すると（Ｓ１０）、ＶＲＨＭＤ１は、ＶＲ空間画像の生成を行う（Ｓ１１）。

近距離通信インターフェースは定期的にＩＤ情報を発信している。従って、ＶＲＨＭＤ１は、近距離通信インターフェースからの電波を取得することで、近距離通信インターフェースを検出する（Ｓ５１）。また、ＶＲＨＭＤ１は、取得した電波からＩＤ情報を検出する（Ｓ５２）。

また、ＶＲＨＭＤ１は、一例として、取得した電波の強度から近距離通信インターフェースを搭載した機器の距離を検出（推定）する（Ｓ５３）。なお、ＶＲＨＭＤ１は、通信における遅延時間から近距離通信インターフェースを搭載した機器の距離を検出（推定）してもよい。また、一例として、ＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）等の方向を検出可能な方式を使用すれば、位置検出も可能となる。

ＶＲＨＭＤ１は、Ｓ５３で検出した機器の位置が境界１００の外側に存在するのか、内側に存在するのかを判定する（Ｓ１５）。Ｓ１５で機器が境界１００の内側に存在する場合、処理がＳ２１に進む。なお、ＶＲＨＭＤ１は、単なる距離で判定するだけでなく、機器が近づいてきているか、遠ざかっているかを検出してその情報を加味して判定してもよい。例えば、距離的には境界１００の外側であっても遠ざかっているならば、装着者に知らせる必要性は低いと判断して処理がＳ２１に進んでもよい。

Ｓ１５で機器が境界１００の外側に存在する場合は、検出したＩＤ情報が図８のＳ２で設定した把握したい機器に合致するかを判別する（Ｓ１７）。なお、Ｓ２における設定については、ユーザは、例えば過去に検出された近距離通信インターフェース搭載機器のリストから、接近を把握しておきたい機器を選択し登録しておけばよい。

Ｓ１７で機器が判別されると（Ｙｅｓ）、ＶＲＨＭＤ１は、判別した機器を仮想オブジェクトに置換する（Ｓ５４）。そして、ＶＲＨＭＤ１は、図２０に示すように、Ｓ５４のオブジェクトをＶＲ空間画像における左下部の点線枠１１２の部分に重畳する（Ｓ３２）。

なお、本実施形態では、Ｓ５４のオブジェクトを点線枠１１２の部分に重畳する例について説明されたが、表示様態はこの例に限定されず、例えば、表示する点線枠の位置は適宜に変更することができる。また、機器の方向を特定することができる場合には、上述した図１２の説明のように、装着者に対して方向を合わせた表示が行われてもよい。また、機器の種類で分類され、機器の種類でまとめられた表示が行われてもよい。

以上説明したように、近距離通信インターフェースを利用して、検出対象機器を検出し仮想オブジェクトをＶＲ空間画像に重畳して表示する。これにより、カメラで撮影できない場所であっても検出対象機器の認識が可能になる。一方、検出対象として登録していない機器は表示を行わないため、ＶＲ空間への没入感を損なうことがない。このように、本実施形態によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができるＶＲＨＭＤが提供される。

＜第六実施形態＞
次に、図２１を参照しながら、第六実施形態について説明する。他の実施形態と同様の機能には、同一の符号を付し、説明を省略することがある。第六実施形態では、スマートフォンを用いたＶＲＨＭＤの一例について説明する。

図２１に示すように、ＶＲＨＭＤ１は、スマートフォン１１０を装着したＶＲゴーグル９０であってもよい。そして、ＶＲＨＭＤ１は、スマートフォン１１０の裏面側のカメラ２００と、距離センサ１５３と、温度センサ１５６と、スマートフォン１１０の表面側のディスプレイ１３０を用いて、同様の処理を行ってもよい。

ここで、ＶＲゴーグル９０は、スマートフォン１１０が取り付けられる適宜の構成とされる。ＶＲゴーグル９０は、一例として、スマートフォン１１０をユーザが嵌め込むことで、スマートフォン１１０が装着されるスマホ用ゴーグルであってもよい。また、ＶＲゴーグル９０は、スマートフォン１１０をユーザが差し込むことで、スマートフォン１１０が装着されるスマホ用ゴーグルであってもよい。ここで、「スマホ」はスマートフォンの略称である。

以上の説明によれば、カメラ２００の撮影画像から物体の種別を認識し、種別条件および距離条件と合致する物体を抽出し、抽出した物体を示す映像をＶＲ空間画像に重畳し、ディスプレイ１３０に表示するＶＲＨＭＤが提供される。また、一例として、表示する物体の種別条件および距離条件を記憶する記憶ステップ（Ｓ２）と、仮想空間を描画した映像を生成する映像生成ステップ（Ｓ１１）と、ヘッドマウントディスプレイの周辺の現実空間を撮影する撮影ステップ（Ｓ１２）と、現実空間に存在する物体との距離を検出する距離検出ステップ（Ｓ１４）と、撮影画像から物体の種別を認識する認識ステップ（Ｓ１６）と、認識した物体から、種別条件および距離条件と合致する物体を抽出する抽出ステップ（Ｓ１７，Ｓ１８）と、抽出した物体を示す映像を仮想空間の画像に重畳して表示する重畳表示ステップ（Ｓ２０，Ｓ２１）と、を備えるヘッドマウントディスプレイの表示方法が提供される。

このようにすれば、ＶＲＨＭＤ装着者の安全活動可能範囲外についても、人物、機器、音などの周囲状況を検出し、装着者にその状況を周知したほうが好ましいかどうかを判断することができる。周知すべきと判断した場合は、検出した状況について、検出した物体の撮影映像、物体を示す仮想オブジェクト、または物体の存在方向の表示オブジェクト、などをＶＲ空間画像に重畳してディスプレイに表示する。これにより、装着者が認識しておきたいと考えうる外部状況を把握することが可能になる。一方、設定していない物体と識別した場合は、安全動作に支障のない限り表示を行わないため、ＶＲ空間への没入感を損なうことがない。従って、本発明によれば、トレードオフの関係にある周囲状況把握と没入感との間で適切なバランスを持った表示を行うことができる。

以上、本発明の実施形態について説明したが、言うまでもなく、本発明の技術を実現する構成は上記実施形態に限られるものではなく、様々な変形例が考えられる。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成と置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。これらは全て本発明の範疇に属するものである。また、文中や図中に現れる数値やメッセージ等もあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。

所定の処理を実行することができればよく、例えば、各処理例で用いられるプログラムは、それぞれ独立したプログラムでもよく、複数のプログラムが一つのアプリケーションプログラムを構成していてもよい。また、各処理を行う順番を入れ替えて実行するようにしてもよい。

前述した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット、ＣＰＵ等がそれぞれの機能等を実現する動作プログラムを解釈して実行することによりソフトウェアで実現してもよい。また、ソフトウェアの実装範囲を限定するものでなく、ハードウェアとソフトウェアを併用してもよい。また、各機能の一部または全部をサーバで実現してもよい。なお、サーバは、通信を介して他の構成部分と連携し機能の実行が出来ればよく、例えば、ローカルサーバ、クラウドサーバ、エッジサーバ、ネットサービス等であり、その形態は問わない。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に格納されてもよいし、通信網上の装置に格納されてもよい。

また、図中に示した制御線や情報線は説明上必要と考えられるものを示しており、必ずしも製品上の全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

ＶＲＨＭＤ１において、カメラの位置は、上記の説明の例に限定されない。また、カメラ２００の数や構造などは、上記の説明の例に限定されず適宜に変更してもよい。

ＶＲＨＭＤ１を使用する環境内に、該ＶＲＨＭＤ１と通信可能な適宜のカメラを設置し、ＶＲＨＭＤ１は、該カメラから通信を介して取得する撮影画像に基づいて処理を行ってもよい。すなわち、カメラと、ＶＲＨＭＤ１と、を備えるシステムが提供されてもよい。

また、このシステムは、１台のカメラを用いて、複数台のＶＲＨＭＤ１を使用（運用）してもよい。従って、例えば、環境内の全体を見渡すことができるように、１台または少数のカメラを設置するという容易な運用を行うことも可能である。

ここで、ＶＲＨＭＤ１は、カメラが取得する画像を用いて、Ｓ２で設定した物体であるのかについて判断する。そして、Ｓ２で設定した物体であると判断した場合、ＶＲＨＭＤ１は、カメラが撮影する物体の画像を重畳して表示することができる。なお、カメラが取得する画像における物体や該物体を置換した仮想オブジェクトは、一例として、予め定める適宜の位置（例えば、ディスプレイ１３０の端側）や所定の位置に重畳されてもよい。また、複数台のカメラを設置し、物体の画像を重畳する場合では、一例として、任意の一台のカメラから取得される物体または仮想オブジェクトが、重畳されてもよい。

Ｓ２においては、重畳しない物体が設定され、記憶部は、表示しない物体の種別を示す情報を記憶してもよい。そして、ＶＲＨＭＤ１は、この情報から特定される物体の表示を行わない処理を行ってもよい。このように、重畳しない物体を設定することで、装着者は、該物体を意識しないでＶＲ空間に没入することができる。例えば、ロボット掃除機などの家電を非表示とすることで、該家電が使用されている状況であっても該家電を意識しないで、ＶＲ空間に没入することができる。

ＶＲＨＭＤ１は、一例として、状況に応じてセンサ部１０５からデータを取得して処理を行ってもよい。ＶＲＨＭＤ１は、例えば、加速度センサ１５４やジャイロセンサ１５５で傾きを検出して、傾きの影響を補正した処理を行ってもよい。

バッテリー１０９の情報（例えば、現在の電気量など）を表示するために、バッテリー１０９はデータバス１０３に接続されてもよい。そして、ＶＲＨＭＤ１は、バッテリー１０９の情報をディスプレイに１３０に表示してもよい。

１：ＶＲＨＭＤ
１０４：コントロール回路
１０５：センサ部
１０６：通信処理部
１０７：映像処理部
１０８：音声処理部
１３０：ディスプレイ
２００：カメラ

Claims (14)

1. 仮想空間用のヘッドマウントディスプレイであって、
   画像を表示するディスプレイと、
   現実空間を撮影するカメラと、
   現実空間に存在する物体との距離を検出する距離検出部と、
   前記ディスプレイに表示する映像を生成する映像生成部と、
   表示する物体の種別条件および距離条件を記憶する記憶部と、
   制御部と、を備え、
   前記記憶部は、前記種別条件に関わらず物体の表示を行う第一の距離と、前記種別条件に合致した物体の表示を行う、前記第一の距離より大きい第二の距離と、を条件として記憶し、
   前記制御部は、
   前記カメラの撮影画像から物体の種別を認識し、
   前記種別条件に関わらず、前記の第一の距離の条件を満たす物体を抽出し、
   前記種別条件に合致し、前記の第二の距離の条件を満たす物体を抽出し、
   抽出した物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
   ことを特徴とするヘッドマウントディスプレイ。
2. 請求項１に記載のヘッドマウントディスプレイであって、
   前記の抽出した物体を示す映像は、前記カメラで撮影した映像から前記物体の部分を切り出した映像、もしくは前記カメラで撮影した映像から前記物体の輪郭を抽出した映像である、
   ことを特徴とするヘッドマウントディスプレイ。
3. 請求項１に記載のヘッドマウントディスプレイであって、
   前記の抽出した物体を示す映像は、前記物体の種別を示す仮想オブジェクトである、
   ことを特徴とするヘッドマウントディスプレイ。
4. 請求項１に記載のヘッドマウントディスプレイであって、
   前記の第二の距離の条件を満たす物体が移動物体である場合、前記種別条件に関わらず、前記移動物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
   ことを特徴とするヘッドマウントディスプレイ。
5. 請求項１に記載のヘッドマウントディスプレイであって、
   前記距離検出部は、
   周囲の音を収集するマイクと、収集した音に基づいて、音源の種類の判別と位置の特定を行うことに用いる周囲の音像のデータを作成する音声処理装置と、を含み、
   前記制御部は、
   前記データから音源の種別を認識し、
   種別条件および距離条件と合致する物体を抽出し、
   抽出した物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
   ことを特徴とするヘッドマウントディスプレイ。
6. 請求項１に記載のヘッドマウントディスプレイであって、
   前記距離検出部は、
   無線通信インターフェースを含み、
   前記記憶部は、
   表示する対象となる物体の種別条件として、無線通信機器の識別番号情報を記憶し、
   前記制御部は、
   前記無線通信インターフェースの受信電波強度または通信遅延時間から、前記無線通信機器との距離を推定し、
   前記無線通信インターフェースを介して接続された前記無線通信機器から、前記識別番号情報に基づく種別条件および距離条件と合致する無線通信機器を物体として抽出し、
   抽出した物体を示す仮想オブジェクト映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
   ことを特徴とするヘッドマウントディスプレイ。
7. 請求項１に記載のヘッドマウントディスプレイであって、
   前記記憶部は、
   表示しない物体の種別を示す情報を記憶し、
   前記制御部は、
   前記情報から特定される前記物体の表示を行わない、
   ことを特徴とするヘッドマウントディスプレイ。
8. 現実空間を撮影するカメラと、仮想空間用のヘッドマウントディスプレイと、を備えるヘッドマウントディスプレイシステムであって、
   前記ヘッドマウントディスプレイは、
   画像を表示するディスプレイと、
   現実空間に存在する物体との距離を検出する距離検出部と、
   前記ディスプレイに表示する映像を生成する映像生成部と、
   表示する物体の種別条件および距離条件を記憶する記憶部と、
   制御部と、を備え、
   前記記憶部は、前記種別条件に関わらず物体の表示を行う第一の距離と、前記種別条件に合致した物体の表示を行う、前記第一の距離より大きい第二の距離と、を条件として記憶し、
   前記制御部は、
   前記カメラの撮影画像から物体の種別を認識し、
   前記種別条件に関わらず、前記の第一の距離の条件を満たす物体を抽出し、
   前記種別条件に合致し、前記の第二の距離の条件を満たす物体を抽出し、
   抽出した物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
   ことを特徴とするヘッドマウントディスプレイシステム。
9. 請求項８に記載のヘッドマウントディスプレイシステムであって、
   前記の抽出した物体を示す映像は、前記カメラで撮影した映像から前記物体の部分を切り出した映像、もしくは前記カメラで撮影した映像から前記物体の輪郭を抽出した映像である、
   ことを特徴とするヘッドマウントディスプレイシステム。
10. 請求項８に記載のヘッドマウントディスプレイシステムであって、
    前記の抽出した物体を示す映像は、前記物体の種別を示す仮想オブジェクトである、
    ことを特徴とするヘッドマウントディスプレイシステム。
11. 請求項８に記載のヘッドマウントディスプレイシステムであって、
    前記の第二の距離の条件を満たす物体が移動物体である場合、前記種別条件に関わらず、前記移動物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
    ことを特徴とするヘッドマウントディスプレイシステム。
12. 請求項８に記載のヘッドマウントディスプレイシステムであって、
    前記距離検出部は、
    周囲の音を収集するマイクと、収集した音に基づいて、音源の種類の判別と位置の特定を行うことに用いる周囲の音像のデータを作成する音声処理装置と、を含み、
    前記制御部は、
    前記データから音源の種別を認識し、
    種別条件および距離条件と合致する物体を抽出し、
    抽出した物体を示す映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
    ことを特徴とするヘッドマウントディスプレイシステム。
13. 請求項８に記載のヘッドマウントディスプレイシステムであって、
    前記距離検出部は、
    無線通信インターフェースを含み、
    前記記憶部は、
    表示する対象となる物体の種別条件として、無線通信機器の識別番号情報を記憶し、
    前記制御部は、
    前記無線通信インターフェースの受信電波強度または通信遅延時間から、前記無線通信機器との距離を推定し、
    前記無線通信インターフェースを介して接続された前記無線通信機器から、前記識別番号情報に基づく種別条件および距離条件と合致する無線通信機器を物体として抽出し、
    抽出した物体を示す仮想オブジェクト映像を仮想空間の画像に重畳し、前記ディスプレイに表示する、
    ことを特徴とするヘッドマウントディスプレイシステム。
14. 請求項８に記載のヘッドマウントディスプレイシステムであって、
    前記記憶部は、
    表示しない物体の種別を示す情報を記憶し、
    前記制御部は、
    前記情報から特定される前記物体の表示を行わない、
    ことを特徴とするヘッドマウントディスプレイシステム。