JP6506486B2 - 仮想現実画像提供装置および仮想現実画像提供用プログラム - Google Patents

Description

本発明は、仮想現実画像提供装置および仮想現実画像提供用プログラムに関し、特に、仮想現実空間内に視聴者のアバター画像を表示させるようになされた仮想現実画像提供装置に用いて好適なものである。

近年、コンピュータの中に作られた仮想的な世界をあたかも現実のように体験させる仮想現実（ＶＲ：バーチャルリアリティ）技術の活用が広がりを見せつつある。ＶＲの応用例は様々であるが、ユーザが装着したゴーグルのようなＨＭＤ（ヘッドマウントディスプレイ）において、３次元空間の画像データを表示させることにより、ＨＭＤに対して描き出された３次元空間の中でユーザが仮想的に様々な体験をすることができるようになされたものが存在する。この種のＶＲ技術では、ユーザの視線や頭の動きに合わせて全天周の画像を見られるようにしたものが多く提供されている。

また、視聴者または当該視聴者がコンピュータと対話する際の仮想人物を、アバター画像として３次元空間の中に表示させるようにしたシステムも存在する（例えば、特許文献１，２参照）。特許文献１には、３次元空間内におけるアバター画像の表示において、ＨＭＤを装着するユーザの眼球の位置情報に基づいて、アバターの位置決めを行う構成が開示されている。具体的には、第１の眼球と第２の眼球との２つの眼球の位置情報に基づいて、人の頭部を位置決めし、アバターを移動させることが記載されている。

また、特許文献２には、アバターの頭部の向きを変更することにより、仮想現実空間においてユーザが見ている方向を容易に判断できるようにすることが開示されている。具体的には、３次元出力サーバが、表示する画面データを逐次ＨＭＤに送信する一方、ＨＭＤのヨー方向およびピッチ方向の回転に関するデータをＨＭＤから受信し、受信した回転に関するデータに基づいて、画面データを変更するとともに、ＨＭＤに対応するユーザのアバターデータを変更することが記載されている。

特開２０１４−８６０９１号公報 特開２０１７−２７４７７号公報

上記特許文献２に記載の技術では、３次元出力サーバは、複数のＨＭＤに画面データを逐次送信する。送信する画面データには、各ＨＭＤを装着する各ユーザの分身であるアバターに関するデータであるアバターデータと、仮想３次元空間に関するデータである空間データとが含まれる。各ユーザのＨＭＤは、それぞれ自身を中心として全天周の仮想３次元空間画面を表示するとともに、当該仮想３次元空間内に複数のアバターを表示する。

特許文献２に記載の技術では、どのＨＭＤにも同じ仮想３次元空間画面が表示され、どのＨＭＤでも複数のアバターが同じように表示される。しかしながら、これでは、ＨＭＤを装着した複数のユーザが存在する現実空間を反映させた画像にはなっておらず、現実感あるは臨場感に乏しい表示になってしまうという問題があった。

本発明は、このような問題を解決するために成されたものであり、現実空間においてＨＭＤを装着した複数の視聴者に対応するアバター画像をＨＭＤの仮想現実空間画像内に表示させる場合に、より現実感のある仮想現実空間画像を提供できるようにすることを目的とする。

上記した課題を解決するために、本発明では、仮想現実空間に関する空間データと、現実空間に存在する複数の視聴者のうち少なくとも自分以外の視聴者の分身であるアバターに関するアバターデータと、複数の視聴者の現実の相対位置関係を表す相対位置データとに基づいて、自分の位置を画面内所定位置とし、当該画面内所定位置を基準として、複数の視聴者の現実の相対位置関係を反映させた位置にアバター画像が存在する仮想現実空間画像を表示させるようにしている。

上記のように構成した本発明によれば、現実空間においてＨＭＤを装着した複数の視聴者に対応するアバター画像をＨＭＤの仮想現実空間画像内に表示させる場合に、それぞれのＨＭＤ毎に、各視聴者の自分の位置を基準として、複数の視聴者の相対位置関係を反映させた位置にアバター画像が表示される。これにより、各ＨＭＤに表示される仮想現実空間画像が、各視聴者にとって現実と同じ相対位置に他の視聴者のアバター画像が表示されたものとなり、より現実感のある仮想現実空間画像を提供することができる。

本実施形態による仮想現実画像提供装置を適用したＶＲ画像表示システムの全体構成例を示す図である。 本実施形態によるＨＭＤ（仮想現実画像提供装置）の機能構成例を示すブロック図である。 本実施形態による相対位置データの一例を説明するための図である。 ３次元空間と各アバターの相対位置関係と仮想現実空間画像の範囲との関係を示す図である。 本実施形態の画像生成部により生成される仮想現実空間画像の例を示す図である。 本実施形態による仮想現実画像提供装置を適用したＶＲ画像表示システムの変形例を示す図である。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による仮想現実画像提供装置を適用したＶＲ画像表示システムの全体構成例を示す図である。

本実施形態のＶＲ画像表示システムは、複数の視聴者が装着する複数のＨＭＤ１００_-1，１００_-2，・・・１００_-n（以下、これらをまとめてＨＭＤ１００と記すこともある）と、外部コンピュータ２００とを備えて構成されている。ＨＭＤ１００は、本実施形態の仮想現実画像提供装置に相当する。複数のＨＭＤ１００と外部コンピュータ２００との間は、有線または無線の通信ネットワーク３００により接続されている。

複数のＨＭＤ１００は、仮想現実空間に関する３次元空間データの再生を行うためのコンピュータをそれぞれが内蔵している。外部コンピュータ２００は、３次元空間内に表示させるアバターに関するアバターデータを各ＨＭＤ１００に送信する。各ＨＭＤ１００では、３次元空間画像内に各視聴者のアバター画像を重畳させた仮想現実空間画像を生成して表示する。

図２は、本実施形態によるＨＭＤ１００の機能構成例を示すブロック図である。図２に示すように、本実施形態のＨＭＤ１００は、その機能構成として、空間データ取得部１１、アバターデータ取得部１２、相対位置データ取得部１３、画像生成部１４、表示制御部１５および方向検出部１６を備えて構成されている。画像生成部１４は、空間データ再生部１４Ａおよびアバター画像生成部１４Ｂを備えている。また、本実施形態のＨＭＤ１００は、記憶媒体として、空間データ記憶部１０１、アバターデータ記憶部１０２および相対位置データ記憶部１０３を備えている。

上記各機能ブロック１１〜１６は、ハードウェア、ＤＳＰ（Digital Signal Processor）、ソフトウェアの何れによっても構成することが可能である。例えばソフトウェアによって構成する場合、上記各機能ブロック１１〜１６は、実際にはＨＭＤ１００が内蔵しているコンピュータのＣＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭ、ハードディスクまたは半導体メモリ等の記録媒体に記憶されたプログラムが動作することによって実現される。

空間データ記憶部１０１は、仮想現実空間に関する空間データを記憶する。空間データ記憶部１０１が記憶する空間データは、視聴者が見る方向に応じて表示を変えられるようになされた全天周の３次元空間データである。この３次元空間データは、仮想現実に関する公知の技術を用いて、あらかじめ生成することが可能である。この３次元空間データは、例えば、専用のエディタがインストールされたパーソナルコンピュータ等で生成され、ＨＭＤ１００の空間データ記憶部１０１に記憶される。

空間データ取得部１１は、空間データ記憶部１０１から３次元空間データを取得し、取得した３次元空間データを画像生成部１４に供給する。３次元空間データの取得は、仮想現実空間画像をＨＭＤ１００に表示させる際に実行される。

アバターデータ取得部１２は、現実空間に存在する複数の視聴者のうち自分以外の視聴者の分身であるアバターに関するアバターデータを、外部コンピュータ２００から通信ネットワーク３００を介して取得し、取得したアバターデータをアバターデータ記憶部１０２に記憶させる。アバターデータ取得部１２が取得するアバターデータは、視点を変えて異なる方向から見た状態の表示に変えられるようになされた３次元画像データである。

本実施形態において、外部コンピュータ２００に接続するＨＭＤ１００の数は任意である。外部コンピュータ２００は、接続したＨＭＤ１００の数と同数のアバターデータを記憶している。アバターデータ取得部１２は、外部コンピュータ２００に記憶されている複数のアバターデータのうち、自分自身以外の視聴者に対応するアバターデータを取得する。例えば、ＨＭＤ１００_-1のアバターデータ取得部１２は、当該ＨＭＤ１００_-1を装着する視聴者以外のアバターデータを外部コンピュータ２００から取得する。

相対位置データ取得部１３は、現実空間に存在する複数の視聴者の現実の相対位置関係を表す相対位置データを、外部コンピュータ２００から通信ネットワーク３００を介して取得し、取得した相対位置データを相対位置データ記憶部１０３に記憶させる。本実施形態において、ＨＭＤ１００を装着した複数の視聴者が存在する位置は任意であるが、互いの位置関係が動的に変わるものではなく、固定であるものとする。例えば、ＨＭＤ１００を装着した複数の視聴者が座る座席があらかじめ決められているといったケースが典型例である。

すなわち、本実施形態では、現実空間に存在する複数の視聴者の位置はあらかじめ決められており、複数の視聴者の現実の相対位置関係を表す相対位置データが、外部コンピュータ２００においてあらかじめ設定されている。各ＨＭＤ１００の相対位置データ取得部１３は、外部コンピュータ２００に記憶されている相対位置データを取得する。

図３は、相対位置データの一例を説明するための図である。ここでは、６個のＨＭＤ１００_-1〜１００_-6をそれぞれ装着した６人の視聴者が円弧状に並んで存在する場合の例を示している。図３（ａ）は、円弧の左端に位置するＨＭＤ１００_-1の位置を基準として、他の５個のＨＭＤ１００_-2〜１００_-6との相対位置関係をそれぞれ表した状態を示している。図３（ａ）において、２つのＨＭＤ１００の間を結ぶ線が相対位置関係を示している。この線に対応する相対位置データは、ＨＭＤ１００_-1の位置を基準としたベクトルデータで構成してもよいし、座標データで構成してもよい。図３（ａ）のように、ＨＭＤ１００_-1の位置を基準とする相対位置データを構成した場合、この相対位置データはＨＭＤ１００_-1が取得する。

また、ＨＭＤ１００_-2が取得する相対位置データは、ＨＭＤ１００_-2の位置を基準として、他の５個のＨＭＤ１００_-1，１００_-3〜１００_-6との相対位置関係をそれぞれ表したものである。ＨＭＤ１００_-3が取得する相対位置データは、ＨＭＤ１００_-3の位置を基準として、他の５個のＨＭＤ１００_-1〜１００_-2，１００_-4〜１００_-6との相対位置関係をそれぞれ表したものである。他のＨＭＤ１００_-4〜１００_-6が取得する相対位置データも同様に、自身の位置を基準として、他の５個のＨＭＤ１００との相対位置関係をそれぞれ表したものである。各ＨＭＤ１００_-2〜１００_-6は、それぞれ自分に対応する相対位置データを外部コンピュータ２００から取得する。

図３（ｂ）は、相対位置データの別の例を示したものである。図３（ｂ）の例では、互いに隣り合うＨＭＤ１００どうしの相対位置関係を表したものを、相対位置データとして構成する。すなわち、ＨＭＤ１００_-1とＨＭＤ１００_-2との相対位置関係、ＨＭＤ１００_-2とＨＭＤ１００_-3との相対位置関係、ＨＭＤ１００_-3とＨＭＤ１００_-4との相対位置関係、ＨＭＤ１００_-4とＨＭＤ１００5_-5との相対位置関係、ＨＭＤ１００_-5とＨＭＤ１００_-6との相対位置関係を表すものとして、相対位置データが構成される。

相対位置データを図３（ｂ）のように構成した場合、６個のＨＭＤ１００_-1〜１００_-6が取得する相対位置データは何れも同じとなる。ただし、その相対位置データの中に含まれる６個のＨＭＤ１００_-1〜１００_-6うち、自分がどの位置に該当するかを示すデータが必要である。この自分自身の位置を示すデータについては、６個のＨＭＤ１００_-1〜１００_-6がそれぞれ該当のものを外部コンピュータ２００から取得する。

なお、空間データ取得部１１による３次元空間データの取得と、アバターデータ取得部１２によるアバターデータの取得と、相対位置データ取得部１３による相対位置データの取得とを同期して行うことは必須ではない。例えば、アバターデータおよび相対位置データを外部コンピュータ２００からあらかじめ取得してアバターデータ記憶部１０２および相対位置データ記憶部１０３に記憶しておき、ＨＭＤ１００に仮想現実空間画像を表示させる際に、空間データ取得部１１により３次元空間データを空間データ記憶部１０１から取得するようにしてよい。

画像生成部１４は、空間データ取得部１１により取得された３次元空間データと、アバターデータ取得部１２により取得されたアバターデータと、相対位置データ取得部１３により取得された相対位置データとに基づいて、自分の位置を画面内所定位置とし、当該画面内所定位置を基準として、複数の視聴者の現実の相対位置関係を反映させた位置にアバター画像が存在する仮想現実空間画像を生成する。表示制御部１５は、画像生成部１４により生成された仮想現実空間画像を表示させる。

方向検出部１６は、ＨＭＤ１００を装着している視聴者の頭が向いている方向を検出する。すなわち、ＨＭＤ１００には、ジャイロセンサや加速度センサが搭載されている。方向検出部１６は、これらのセンサからの検出信号に基づいて、視聴者の頭の動きを検出することが可能となっている。

空間データ取得部１１は、方向検出部１６により検出された視聴者の頭の動きに応じて、ＨＭＤ１００の表示上に実現される３次元空間が動的に変わるように、空間データ記憶部１０１から取得する３次元空間データを変更する。画像生成部１４の空間データ再生部１４Ａは、視聴者の頭の動きに合わせて空間データ取得部１１により取得された３次元空間データを表示用に再生する。これにより、視聴者が正面を向けば正面の３次元空間が広がるような３次元空間画像が再生され、視聴者が右を向けば右側の３次元空間が広がるような３次元空間画像が再生され、視聴者が左を向けば左側の３次元空間が広がるような３次元空間画像が再生される。

アバター画像生成部１４Ｂは、アバターデータ取得部１２により取得されたアバターデータに基づいて、自分以外の視聴者に関するアバター画像を生成する。このとき、アバター画像生成部１４Ｂは、上述したように、自分の位置を画面内所定位置（例えば、画面下端の中央位置）とし、当該画面下端の中央位置を基準として、複数の視聴者の現実の相対位置関係を反映させた位置にそれぞれが存在するように複数のアバター画像を生成する。また、アバター画像生成部１４Ｂは、複数の視聴者の現実の相対位置関係に応じた遠近感を反映させた大きさで複数のアバター画像を生成する。

また、アバター画像生成部１４Ｂは、方向検出部１６により検出された視聴者の頭の動きに応じて、ＨＭＤ１００の表示上に実現されるアバター画像の向きが動的に変わるように、生成するアバター画像を変更する。例えば、視聴者が他の視聴者を正面に見るような方向を向いたことが方向検出部１６により検出された場合、アバター画像生成部１４Ｂは、当該他の視聴者をまっすぐ見た状態のアバター画像を生成する。また、視聴者が他の視聴者を斜めに見るような方向を向いたことが方向検出部１６により検出された場合、アバター画像生成部１４Ｂは、当該他の視聴者を斜めから見た状態のアバター画像を生成する。

図４は、３次元空間データによって表現される３次元空間と、相対位置データによって表現される各アバター（視聴者）の相対位置関係と、方向検出部１６により検出される視聴者の頭の向き（視線方向）に応じて画像生成部１４により生成される仮想現実空間画像の範囲との関係を示す図である。図４（ａ）および（ｂ）は、円弧の左端に位置する視聴者１１１_-1（ＨＭＤ１００_-1を装着した視聴者）を基準とした場合の例を示すものである。また、図４（ｃ）は、円弧の真中に位置する視聴者１１１_-3（ＨＭＤ１００_-3を装着した視聴者）を基準とした場合の例を示すものである。

また、図５は、図４（ａ）〜（ｃ）の状態に対応して、画像生成部１４により生成される仮想現実空間画像の例を示す図である。すなわち、図５（ａ）および（ｂ）は、円弧の左端に位置する視聴者１１１_-1が装着したＨＭＤ１００_-1において表示される仮想現実空間画像を示すものである。また、図５（ｃ）は、円弧の真中に位置する視聴者１１１_-3が装着したＨＭＤ１００_-3において表示される仮想現実空間画像を示すものである。なお、図５では説明の便宜上、アバター画像のみを示し、３次元空間画像は図示を省略している。

図４（ａ）に示すように、円弧の左端に位置する視聴者１１１_-1が装着するＨＭＤ１００_-1の画像生成部１４は、３次元空間データによって表現される３次元空間４１の中心位置に視聴者１１１_-1が存在するものとして把握する。また、視聴者１１１_-1の位置を基準として、他の視聴者１１１_-2〜１１１_-6（それぞれＨＭＤ１００_-2〜１００_-6を装着した視聴者）が、相対位置データで示される現実の相対位置関係を反映させた位置にそれぞれ存在するものとして把握する。

ここで、視聴者１１１_-1が矢印Ａの方向を向いていることが方向検出部１６により検出された場合、画像生成部１４は、視聴者１１１_-1の位置を画面下端の中央位置とし、範囲４２で示される方向の３次元空間が広がるような仮想現実空間画像を生成する。そのため、図５（ａ）に示すように、画像生成部１４により生成される仮想現実空間画像の中に、他の視聴者１１１_-2〜１１１_-6に関するアバター画像は存在しない。

これに対し、図４（ｂ）に示すように、視聴者１１１_-1が矢印Ｂの方向（矢印Ａに対して９０度左側の方向）を向いていることが方向検出部１６により検出された場合、画像生成部１４は、視聴者１１１_-1の位置を画面下端の中央位置とし、範囲４３で示される方向の３次元空間が広がるような仮想現実空間画像を生成する。そのため、図５（ｂ）に示すように、画像生成部１４により生成される仮想現実空間画像の中には、他の視聴者１１１_-2〜１１１_-6に関するアバター画像が存在する。また、各視聴者１１１_-2〜１１１_-6のアバター画像は、視聴者１１１_-1が存在する画面下端の中央位置を基準として、現実の相対位置関係を反映させた位置に、遠近感を反映させた大きさでそれぞれ表示される。

また、図４（ｃ）に示すように、円弧の真中に位置する視聴者１１１_-3が装着するＨＭＤ１００_-3の画像生成部１４は、３次元空間データによって表現される３次元空間４１の中心位置に視聴者１１１_-3が存在するものとして把握する。また、視聴者１１１_-3の位置を基準として、他の視聴者１１１_-1〜１１１_-2，１１１_-4〜１１１_-6が、相対位置データで示される現実の相対位置関係を反映させた位置にそれぞれ存在するものとして把握する。

ここで、視聴者１１１_-3が矢印Ｃの方向を向いていることが方向検出部１６により検出された場合、画像生成部１４は、視聴者１１１_-3の位置を画面下端の中央位置とし、範囲４４で示される方向の３次元空間が広がるような仮想現実空間画像を生成する。そのため、図５（ｃ）に示すように、画像生成部１４により生成される仮想現実空間画像の中には、他の視聴者１１１_-1〜１１１_-2，１１１_-5〜１１１_-6に関するアバター画像が存在する。また、各視聴者１１１_-1〜１１１_-2，１１１_-5〜１１１_-6のアバター画像は、視聴者１１１_-3が存在する画面下端の中央位置を基準として、現実の相対位置関係を反映させた位置に、遠近感を反映させた大きさでそれぞれ表示される。

以上詳しく説明したように、本実施形態では、仮想現実空間に関する空間データと、現実空間に存在する複数の視聴者のうち自分以外の視聴者の分身であるアバターに関するアバターデータと、複数の視聴者の現実の相対位置関係を表す相対位置データとに基づいて、自分の位置を画面内所定位置とし、当該画面内所定位置を基準として、複数の視聴者の現実の相対位置関係を反映させた位置にアバター画像が存在する仮想現実空間画像を表示させるようにしている。

このように構成した本実施形態によれば、現実空間に存在する複数の視聴者が装着したそれぞれのＨＭＤ１００毎に、各視聴者の自分の位置を基準として、複数の視聴者の相対位置関係を反映させた位置にアバター画像が表示される。これにより、各ＨＭＤ１００に表示される仮想現実空間画像が、各視聴者にとって現実と同じ相対位置に他の視聴者のアバター画像が表示されたものとなり、より現実感のある仮想現実空間画像を提供することができる。

なお、上記実施形態では、３次元空間データをＨＭＤ１００の空間データ記憶部１０１にあらかじめ記憶しておく例について説明したが、本発明はこれに限定されない。例えば、３次元空間データについてもＨＭＤ１００が外部コンピュータ２００から取得するようにしてもよい。この場合も、３次元空間データ、アバターデータおよび相対位置データの取得を同期して行うことは必須でない。例えば、アバターデータおよび相対位置データをあらかじめ取得しておき、ＨＭＤ１００に仮想現実空間画像を表示させる際に、３次元空間データを外部コンピュータ２００から取得しながら再生するようにしてもよい。

また、上記実施形態では、ＨＭＤ１００に本実施形態の仮想現実画像提供装置を実装する例について説明したが、本発明はこれに限定されない。例えば、外部コンピュータ２００に本実施形態の仮想現実画像提供装置を実装するようにしてもよい。この場合、ＨＭＤ１００は、表示制御部１５および方向検出部１６を備える。一方、外部コンピュータ２００は、空間データ記憶部１０１、アバターデータ記憶部１０２および相対位置データ記憶部１０３、空間データ取得部１１、アバターデータ取得部１２、相対位置データ取得部１３および画像生成部１４を備える。

そして、外部コンピュータ２００の空間データ取得部１１、アバターデータ取得部１２および相対位置データ取得部１３が各記憶部１０１〜１０３から３次元空間データ、アバターデータおよび相対位置データをそれぞれ取得し、画像生成部１４が仮想現実空間画像を生成してＨＭＤ１００に送信する。ＨＭＤ１００の表示制御部１５は、外部コンピュータ２００から送信されてきた仮想現実空間画像を表示制御部１５が表示させる。また、ＨＭＤ１００は、方向検出部１６により検出された視聴者の頭の方向を、通信ネットワーク３００を介して外部コンピュータ２００に通知する。外部コンピュータ２００の画像生成部１４は、通知された視聴者の頭の方向に応じて、生成する仮想現実空間画像を変更する。

また、上記実施形態では、アバターデータ取得部１２が、現実空間に存在する複数の視聴者のうち自分以外の視聴者のアバターデータを取得する例について説明したが、本発明はこれに限定されない。例えば、アバターデータ取得部１２が、自分も含めて現実空間に存在する全ての視聴者のアバターデータを取得し、画像生成部１４が自分のアバター画像も含めて仮想現実空間画像を生成するようにしてもよい。

また、上記実施形態において、複数の視聴者のアバター画像を現実の相対位置関係を反映させた位置に表示させることに加えて、現実の視聴者が向いている頭の方向を反映させてアバター画像を生成するようにしてもよい。例えば、図４（ｂ）の例において、円弧の右端にいる視聴者１１１_-6が、視聴者１１１_-1がいる右側を向いていることが方向検出部１６により検出されている場合、視聴者１１１_-1のＨＭＤ１００_-1に表示させる仮想現実空間画像の中の視聴者１１１_-6に対応するアバター画像を、視聴者１１１_-1の方を向いた画像とする。

これを実現するために、各ＨＭＤ１００は、方向検出部１６により検出された視聴者の頭の方向を、通信ネットワーク３００を介して外部コンピュータ２００に通知する。外部コンピュータ２００は、各ＨＭＤ１００から通知された視聴者の頭の方向を、通知元以外のＨＭＤ１００に対して通信ネットワーク３００を介して通知する。画像生成部１４は、外部コンピュータ２００から通知された他の視聴者の頭の方向を考慮して、当該他の視聴者のアバター画像を生成する。

また、上記実施形態では、ＨＭＤ１００に対する仮想現実空間画像（アバター画像を含む）の表示についてのみ言及したが、当該画像の表示と共に音声をスピーカから出力することが可能であることは言うまでもない。この場合、複数の視聴者に共用される外部スピーカから音声を出力するようにしてもよいし、ＨＭＤ１００が搭載するスピーカから音声を出力するようにしてもよい。

図６は、本実施形態による仮想現実画像提供装置を適用したＶＲ画像表示システムの変形例を示す図である。この図６は、仮想現実空間画像の表示に加えて音声の出力に関する構成を含めて示したものである。図６に示すＶＲ画像表示システムは、複数の視聴者に共用される外部スピーカ４００と、ＨＭＤ１００に搭載されるスピーカ（以下、搭載スピーカという）とを備えている。

ここでは図６（ｂ）のように、複数の視聴者が存在する１つの物理的空間（例えば、部屋）の中の複数箇所に複数の外部スピーカ４００_-1〜４００_-4を備える例を示している。ＨＭＤ１００が備える搭載スピーカは、視聴者がＨＭＤ１００を装着したときに両耳付近に位置するように構成されたヘッドホン型のスピーカであってもよいし、両耳付近以外の場所に位置するように構成された小型スピーカであってもよい。また、図６（ｂ）に示すように、ＨＭＤ１００は、ヘッドホン型のスピーカに加えてマイクを有するヘッドセットを備える構成としてもよい。

外部コンピュータ２００は、仮想現実空間画像の表示と同期して音声を再生し、外部スピーカ４００から出力する。複数の視聴者が装着する個々のＨＭＤ１００も、仮想現実空間画像の表示と同期して音声を再生し、搭載スピーカから出力する。例えば、外部スピーカ４００から主音声を出力するとともに、ＨＭＤ１００の搭載スピーカから副音声を出力することが考えられる。具体的には、演出効果の一例として、外部スピーカ４００から大音量の主音声を出力する一方、ＨＭＤ１００の搭載スピーカから小音量の副音声を出力するといったことが考えられる。

なお、ＨＭＤ１００の搭載スピーカから出力する副音声に係る音声データは、ＨＭＤ１００の空間データ記憶部１０１にあらかじめ記憶しておいてもよいし、再生時にＨＭＤ１００が外部コンピュータ２００から取得するようにしてもよい。あるいは、ＨＭＤ１００の搭載スピーカから出力する副音声に係る音声データは、あるＨＭＤ１００のマイクから入力された視聴者の話者音声を外部コンピュータ２００を介して他のＨＭＤ１００に送信したものであってもよい。このようにすれば、視聴者は、外部スピーカ４００から出力される主音声を聞くとともに、他の視聴者の話者音声をＨＭＤ１００の搭載スピーカから副音声として聞くことができるようになる。

あるＨＭＤ１００のマイクから入力された視聴者の話者音声に係る音声データを他のＨＭＤ１００に送信してヘッドホン型の搭載スピーカから出力する場合、その音声データの送信元が、搭載スピーカから話者音声を出力する他のＨＭＤ１００から見て相対的に左側または右側のどちらに位置するかに応じて、左側のスピーカまたは右側のスピーカの何れか一方から話者音声を出力するようにしてもよい。

例えば、図４（ｃ）に示した円弧の中央の視聴者１１１_-3が装着するＨＭＤ１００_-3の搭載スピーカから、円弧の左端に位置する視聴者１１１_-1が装着するＨＭＤ１００_-1から送信された音声データに基づいて視聴者１１１_-1の話者音声を出力する場合、視聴者１１１_-1のＨＭＤ１００_-1は中央のＨＭＤ１００_-3から見て相対的に右側に位置するので、右側のスピーカのみから話者音声を出力するようにする。

図４（ｃ）に示した円弧の中央の視聴者１１１_-3が装着するＨＭＤ１００_-3の搭載スピーカから、円弧の右端に位置する視聴者１１１_-6が装着するＨＭＤ１００_-6から送信された音声データに基づいて視聴者１１１_-6の話者音声を出力する場合、視聴者１１１_-6のＨＭＤ１００_-6は中央のＨＭＤ１００_-3から見て相対的に左側に位置するので、左側のスピーカのみから話者音声を出力するようにする。

このようにすれば、実際に話者がいる方向から音声が聴こえてくるような臨場感を出すことが可能である。また、音声データの送信元のＨＭＤ１００と送信先のＨＭＤ１００との相対距離に応じて、出力する話者音声の音量を調整するようにしてもよい。このようにすれば、実際に話者がいる方向から、実際の相対距離に応じた音量で話者音声が聴こえてくるような感じになるので、臨場感を増すことが可能である。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

１１ 空間データ取得部
１２ アバターデータ取得部
１３ 相対位置データ取得部
１４ 画像生成部
１４Ａ 空間データ再生部
１４Ｂ アバター画像生成部
１５ 表示制御部
１６ 方向検出部
１００ ＨＭＤ
２００ 外部コンピュータ

Claims (9)

1. ヘッドマウントディスプレイに表示させる仮想現実空間画像を提供する仮想現実画像提供装置であって、
   上記ヘッドマウントディスプレイを装着している視聴者の頭が向いている方向を検出する方向検出部と、
   仮想現実空間に関する空間データを取得する空間データ取得部と、
   現実空間に存在する複数の視聴者のうち少なくとも自分以外の視聴者の分身であるアバターに関するアバターデータを取得するアバターデータ取得部と、
   上記複数の視聴者の現実の相対位置関係を表す相対位置データを取得する相対位置データ取得部と、
   上記空間データ、上記アバターデータおよび上記相対位置データに基づいて、上記自分の位置を画面内所定位置とし、当該画面内所定位置を基準として、上記複数の視聴者のうち、上記方向検出部により検出される頭の向きに対応する所定範囲に属する視聴者のみについて、現実の相対位置関係を反映させた位置に上記アバター画像が存在する仮想現実空間画像を生成する画像生成部とを備えたことを特徴とする仮想現実画像提供装置。
2. 上記現実空間に存在する複数の視聴者の位置があらかじめ決められており、上記複数の視聴者の現実の相対位置関係を表す相対位置データがあらかじめ設定されており、
   上記相対位置データ取得部は、上記あらかじめ設定された上記相対位置データを取得することを特徴とする請求項１に記載の仮想現実画像提供装置。
3. 上記空間データ取得部は、上記ヘッドマウントディスプレイが備える記憶媒体から上記空間データを取得し、
   上記アバターデータ取得部および上記相対位置データ取得部は、上記ヘッドマウントディスプレイが接続された外部コンピュータから上記アバターデータおよび上記相対位置データをそれぞれ取得することを特徴とする請求項１または２に記載の仮想現実画像提供装置。
4. 上記空間データ取得部、上記アバターデータ取得部および上記相対位置データ取得部は、上記ヘッドマウントディスプレイが接続された外部コンピュータから上記空間データ、上記アバターデータおよび上記相対位置データをそれぞれ取得することを特徴とする請求項１または２に記載の仮想現実画像提供装置。
5. ヘッドマウントディスプレイに表示させる仮想現実空間画像を提供する仮想現実画像提供用プログラムであって、
   上記ヘッドマウントディスプレイを装着している視聴者の頭が向いている方向を検出する方向検出手段、
   仮想現実空間に関する空間データを取得する空間データ取得手段、
   現実空間に存在する複数の視聴者のうち少なくとも自分以外の視聴者の分身であるアバターに関するアバターデータを取得するアバターデータ取得手段、
   上記複数の視聴者の現実の相対位置関係を表す相対位置データを取得する相対位置データ取得手段、および
   上記空間データ、上記アバターデータおよび上記相対位置データに基づいて、上記自分の位置を画面内所定位置とし、当該画面内所定位置を基準として、上記複数の視聴者のうち、上記方向検出手段により検出される頭の向きに対応する所定範囲に属する視聴者のみについて、現実の相対位置関係を反映させた位置に上記アバター画像が存在する仮想現実空間画像を生成する画像生成手段
   としてコンピュータを機能させるための仮想現実画像提供用プログラム。
6. 上記画像生成部は、
   上記所定範囲に属する視聴者について、上記相対位置データが表す相対位置関係に応じた遠近感を反映させた大きさの上記アバター画像を生成することを特徴とする請求項１から４の何れか１項に記載の仮想現実画像提供装置。
7. 上記画像生成部は、
   上記所定範囲に属する視聴者について、各視聴者の頭の向きを通信により取得し、各視聴者の頭の向きを反映させて上記アバター画像を生成することを特徴とする請求項１から４、６の何れか１項に記載の仮想現実画像提供装置。
8. 上記ヘッドマウントディスプレイには、上記ヘッドマウントディスプレイを装着している視聴者の右耳に対応する右側のスピーカと、左耳に対応する左側のスピーカと、話者音声を収音するマイクとが搭載され、
   上記ヘッドマウントディスプレイは、他のヘッドマウントディスプレイに搭載された他のマイクが収音する話者音声を取得し、上記右側のスピーカまたは上記左側のスピーカから出力可能であり、
   上記ヘッドマウントディスプレイを装着している一の視聴者以外の他の視聴者の話者音声を上記右側のスピーカまたは上記左側のスピーカから出力する際、当該一の視聴者と当該他の視聴者との相対位置関係を反映した一方のスピーカより出力させる
   ことを特徴とする請求項１から４、６、７の何れか１項に記載の仮想現実画像提供装置。
9. 上記ヘッドマウントディスプレイには、音声を出力するスピーカと、話者音声を収音するマイクとが搭載され、
   上記ヘッドマウントディスプレイは、他のヘッドマウントディスプレイに搭載された他のマイクが収音する話者音声を取得し、上記スピーカから出力可能であり、
   上記ヘッドマウントディスプレイを装着している一の視聴者以外の他の視聴者の話者音声を上記スピーカから出力する際、当該一の視聴者と当該他の視聴者との相対距離を反映した音量で上記スピーカより出力させる
   ことを特徴とする請求項１から４、６、７の何れか１項に記載の仮想現実画像提供装置。