JP7735121B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、現実空間の画像に仮想オブジェクトの画像を重畳する情報処理技術に関する。

近年、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ／以下ＭＲと記載）の技術が普及している。ＭＲ技術によれば、ヘッドマウントディスプレイ（ＨＭＤ）のカメラで撮影した現実空間の画像に、コンピュータで生成した仮想画像を重畳して表示することにより、そのＨＭＤを装着しているユーザに対して複合現実感を提供することができる。
また、特許文献１には、複数拠点にいるユーザに対し、仮想空間に表示されている仮想オブジェクトを他のユーザが閲覧している向きで提示する技術が開示されている。特許文献２には、他のユーザのＭＲ空間映像を共有し、さらにそれを個人の端末上で操作可能にする技術が開示されている。

特開２０１７－１２０６５０号公報 特開２０２０－７４０６６号公報

ＭＲ空間に配置された仮想オブジェクトを同時に複数ユーザが閲覧する場合、現実空間内でのユーザの移動や、特定のユーザの仮想空間内で他のユーザの視点位置を移動させなければならなくなることがある。しかしながら、このようなことは現実的ではない。

そこで、本発明は、現実空間内での位置の移動や仮想空間内での視点位置の移動を要せずに、複数のユーザによる仮想オブジェクトの閲覧を可能にすることを目的とする。

本発明は、第１のヘッドマウントディスプレイを装着している第１のユーザの指示を取得する指示取得手段と、前記指示に応じて、第２のユーザが装着している第２のヘッドマウントディスプレイの表示モードを決定するモード決定手段と、前記決定された表示モードに応じて、仮想オブジェクトに対する視点を決定する視点決定手段と、複合現実空間の画像を生成する画像生成手段と、を有し、前記モード決定手段は、前記第１のユーザと前記第２のユーザのうちの特定のユーザによる前記仮想オブジェクトに対する視点を、前記特定のユーザ以外の他のユーザの前記仮想オブジェクトに対する視点として決定する第１の表示モードを使用するか、または前記仮想オブジェクトに対して予め設定された視点を、前記他のユーザの前記仮想オブジェクトに対する視点として決定する第２の表示モードを使用するかを、決定し、前記画像生成手段は、前記第２のヘッドマウントディスプレイで得られる現実空間の画像に、前記第２のユーザの視点と異なる前記決定された視点から見た前記仮想オブジェクトの画像を重畳した画像を、前記第２のヘッドマウントディスプレイに表示する前記複合現実空間の画像として生成することを特徴とする。

本発明によれば、現実空間内での位置の移動や仮想空間内での視点位置の移動を要せずに、複数のユーザによる仮想オブジェクトの閲覧が可能となる。

情報処理装置のハードウェア構成例を示す図である。 情報処理装置の機能構成を示す機能ブロック図である。 複合現実空間の一例を示す図である。 プレゼンター視点共有モードの一例を示す図である。 最適視点共有モードの一例を示す図である。 本実施形態の情報処理の一連の流れを示すフローチャートである。 第１の実施形態の視点決定と画像生成処理のフローチャートである。 第２の実施形態に係る複合現実空間の一例を示す図である。 アバター配置の一例を示す図である。 第２の実施形態の視点決定と画像生成処理のフローチャートである。

以下、本発明に係る実施形態を、図面を参照しながら説明する。以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。以下の各実施形態において、同一の構成には同じ参照符号を付して説明する。

＜第１の実施形態＞
図１は第１の実施形態に係る情報処理装置２０１のハードウェア構成例を示した図であり、図２は本実施形態に係る情報処理装置２０１の機能構成を示した機能ブロック図である。図１と図２の構成について説明する前に、図３～図５を参照して、複合現実（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）空間に配置される仮想オブジェクトを同時に複数ユーザがヘッドマウントディスプレイ（ＨＭＤ）を用いて閲覧する例について説明する。

ここでは、一例として、特定のユーザがプレゼンテーションの発表者となり、現実空間の画像に自動車を表現した仮想オブジェクトの画像を重畳させてＨＭＤに表示することで、参加者であるユーザに対して自動車の説明を行う場面を挙げて説明する。参加者は、特定のユーザ以外の他のユーザであるとする。発表者である特定のユーザは、自動車についてプレゼンテーションを行っている際、参加者のユーザが注目して欲しい箇所を変更したり、注目して欲しい方向を変更したりすることがある。この場合、既存のＭＲ技術では、現実空間内で各ユーザが移動したり、発表者の仮想空間内において参加者が視点位置を移動させたりしなければならず、現実的ではないため、本実施形態の情報処理装置２０１は以下に説明するような情報処理を行う。

本実施形態の情報処理装置２０１は、特定のユーザからの仮想オブジェクトに対する指示に応じて、他のユーザの仮想オブジェクトに対する視点を変更可能とする。本実施形態において仮想オブジェクトに対する視点とは、その視点の位置と向き（方向）を含む。これにより、本実施形態の情報処理装置２０１では、現実空間内での位置の移動や仮想空間内での視点位置の移動を要せずに、複数のユーザによる仮想オブジェクトの閲覧を可能にする。さらに本実施形態の情報処理装置２０１は、特定のユーザの視点位置と向きを他のユーザにおいて共有する第１の表示モードと、仮想オブジェクトに対して予め設定された最適な視点位置と向きを各ユーザにおいて共有する第２の表示モードとを有する。本実施形態では、特定のユーザの視点位置と向きを他のユーザが共有する第１の表示モードを「プレゼンター視点共有モード」と呼ぶ。また、仮想オブジェクトに対して予め設定された最適な視点位置と向きを各ユーザが共有する第２の表示モードを「最適視点共有モード」と呼ぶ。なお本実施形態の場合、最適視点共有モードでは、仮想オブジェクトに対して予め設定された最適な視点位置と向きを、特定のユーザ以外の他のユーザにおいて共有するが、特定のユーザを含む全てのユーザが共有してもよい。

本実施形態の情報処理装置２０１は、それらプレゼンター視点共有モードと最適視点共有モードのいずれかが設定された場合、その設定された表示モードに応じて、仮想オブジェクトに対する各ユーザの視点位置と向きを共有可能とする。なお、プレゼンター視点共有モードまたは最適視点共有モードのいずれの表示モードを用いるかは、事前に設定されていてもよいし、事前に設定されていない場合には表示される仮想オブジェクトに紐づけられた設定に従ってもよい。また、いずれの表示モードを用いるかは、例えば特定のユーザや他のユーザが、マウスやコントローラなどの操作を介して任意に決定することも可能である。つまり、いずれの表示モードが用いられるかは、ユーザごとに任意に決定することができる

図３は、現実空間１００の中にいる複数のユーザ１０１～１０４と、その現実空間１００に対応した仮想空間内に配置された仮想オブジェクト１０５の例を示した図である。仮想オブジェクト１０５は、二つのヘッドライト１０６を有している一般的な自動車を表したものであるとする。ユーザ１０１～１０４は、それぞれがＨＭＤを装着しており、それら各ＨＭＤには撮像装置（カメラ）が搭載されている。そして各ユーザ１０１～１０４のＨＭＤには、現実空間１００を撮影した現実空間画像に仮想オブジェクト１０５が重畳されて表示されているとする。すなわち各ユーザ１０１～１０４は、現実空間内に仮想的に配置されている仮想オブジェクト１０５を、ＨＭＤによって閲覧しているとする。なお、図３には、各ユーザ１０１～１０４のＨＭＤに表示されている画像１０７～１１０も示されている。例えば画像１０７はユーザ１０１のＨＭＤに表示されている画像を示しており、以下同様に、画像１０８はユーザ１０２のＨＭＤの表示画像を、画像１０９はユーザのＨＭＤの表示画像を、画像１１０はユーザ１０４のＨＭＤの表示画像を示している。またこの例では、ユーザ１０１が特定のユーザであってプレゼンテーションの発表者であり、一方、他のユーザ１０２～１０４がプレゼンテーションの参加者であるとする。

ここで、発表者のユーザ１０１が仮想オブジェクト１０５のヘッドライト１０６を、参加者のユーザ１０２～１０４に注目して欲しい箇所として指示したとする。この場合、情報処理装置２０１は、プレゼンター視点共有モードと最適視点共有モードのいずれか設定されている表示モードに応じて、仮想オブジェクトに対する各ユーザの視点位置と向きを共有可能とする。

例えばプレゼンター視点共有モードである場合、情報処理装置２０１は、発表者であるユーザ１０１の仮想オブジェクト１０５に対する仮想空間上の視点位置と向きを取得する。そして情報処理装置２０１は、その視点位置と向きから見える仮想オブジェクト１０５を参加者のユーザ１０２～１０４のＨＭＤのカメラが撮影している現実空間に重畳した画像を生成し、各ユーザ１０２～１０４のＨＭＤに表示させる。これにより、参加者のユーザ１０２～１０４のＨＭＤには、特定のユーザ１０１の視点位置と向きから仮想オブジェクト１０５のヘッドライト１０６を見た画像が表示される。

また例えば最適視点共有モードである場合、情報処理装置２０１は、仮想オブジェクト１０５のヘッドライト１０６が最も見やすい視点位置と向きとして予め設定されている最適な視点位置と向きを取得する。そして情報処理装置２０１は、その視点位置と向きから見える仮想オブジェクト１０５を各ユーザ１０２～１０４のＨＭＤのカメラが撮影している現実空間に重畳した画像を生成し、各ユーザ１０２～１０４のＨＭＤに表示させる。これにより、ユーザ１０２～１０４のＨＭＤには、最適な視点位置と向きから仮想オブジェクト１０５のヘッドライト１０６を見た画像が表示される。なお、最適視点共有モードにおいて、特定のユーザ１０１のＨＭＤでは仮想オブジェクト１０５に対して最適な視点位置と向きを共有しなくてもよいが、本実施形態では特定のユーザ１０１のＨＭＤでも最適な視点位置と向きを共有するものとする。このように、情報処理装置２０１は、設定されている表示モードに応じて、仮想オブジェクトに対する各ユーザの視点位置と向きを共有可能とする。

図４は、プレゼンター視点共有モードの場合の例を示した図である。画像６０１～６０４は、ユーザ１０１～１０４のＨＭＤに表示されている画像を表している。プレゼンター視点共有モードの場合、特定のユーザ１０１が仮想オブジェクト１０５のヘッドライト１０６を指示すると、情報処理装置２０１は、ユーザ１０１の仮想オブジェクト１０５に対する仮想空間上の視点位置と向きを、他のユーザのＨＭＤで共有する。これにより、各ユーザ１０１～１０４のＨＭＤには、現実空間における各ユーザの視点位置と向きから見える現実画像に、発表者である特定のユーザ１０１の視点位置と向きから見える仮想オブジェクト１０５が重畳された画像が表示される。

図５は、最適視点共有モードの説明に用いる図である。画像７０１～７０４は、それぞれ対応したユーザ１０１～１０４のＨＭＤに表示されている画像を表している。視点位置７０５は、仮想オブジェクト１０５のヘッドライト１０６が最も見やすい視点位置と向きを表している。最適視点共有モードにおいて、特定のユーザ１０１が仮想オブジェクト１０５のヘッドライト１０６を指示すると、情報処理装置２０１は、ヘッドライト１０６に対して最適な視点位置７０５を現実空間上のユーザ１０１～１０４のＨＭＤで共有する。これにより、ユーザ１０１～１０４のＨＭＤには、現実空間における各ユーザの視点位置から見える現実画像に、ヘッドライト１０６に対して最適な視点位置７０５と向きから見える仮想オブジェクト１０５が重畳して表示される。

以下、本実施形態の情報処理装置２０１の構成及び動作について説明する。
図１は、情報処理装置２０１のハードウェア構成の一例として、パーソナルコンピュータ（ＰＣ）の構成を示した図である。情報処理装置２０１は、各ユーザ１０１～１０４のＨＭＤに搭載された撮像装置（カメラ）にて撮影された現実空間の画像に、コンピュータグラフィック（ＣＧ）技術で生成した仮想オブジェクトを重畳したＭＲ空間の画像を生成して各ＨＭＤに送信する。なお、ＭＲ技術に関しては既存の技術であるため、ここではその詳細な説明は省略する。

ＣＰＵ２０２は、システム制御部であり情報処理装置全体を制御する。また、ＣＰＵ２０２は、情報処理プログラムの実行によって本実施形態に係る情報処理を実現する。
ＲＯＭ２０３は、基本プログラムや初期データなど、変更を必要としないプログラムやパラメータを格納する読み取り専用のメモリである。ＲＡＭ２０４は、入力情報や情報処理、画像処理における演算結果などを一時的に記憶するためのメモリである。

操作部２１０は、キーボードやマウス、コントローラなどのポインティング操作や各種コマンド等の入力が可能な操作デバイスを含み、ユーザからの操作指示、コマンド等を取得する。本実施形態の場合、操作部２１０からの情報としては、特定のユーザ１０１が仮想オブジェクトを指示した際の指示情報を挙げることができる。特定のユーザ１０１が仮想オブジェクトに対する指示を入力した場合の指示情報は、入力検出部２０６へ送られる。操作部２１０は、ポインティングデバイスによる指示入力を取得する機能だけでなく、音声による指示入力を取得する機能を含んでいてもよい。
入力検出部２０６は、所要のデータ入力を受け付ける。本実施形態の場合、所要のデータとしては、操作部２１０からの操作指示やコマンドなどが挙げられる。

記録部２０５は、種々の情報の書き込みおよび読出しが可能な装置であり、情報処理装置に内蔵若しくは外付けされたハードディスクやメモリカード、或いは情報処理装置から着脱可能なメモリカードやフレキシブルディスク、ＩＣカードなどである。本実施形態に係る情報処理プログラムは、記録部２０５に記録されており、その情報処理プログラムが記録部２０５から読み出されてＲＡＭ２０４に展開され、ＣＰＵ２０２によって実行されるとする。なお情報処理プログラムは、ＲＯＭ２０３に格納されていてもよい。また記録部２０５は、特定のユーザ１０１から入力検出部２０６を介して入力された操作指示の情報や、各ＨＭＤにおいて検出されるユーザ１０１～１０４の位置姿勢の情報、仮想オブジェクトの位置姿勢の情報をも記録することができる。特定のユーザ１０１から入力される指示には、この特定のユーザ１０１が他のユーザ１０２～１０４に対して注目することを望む仮想オブジェクトの箇所の指示や、パーツに分割された仮想オブジェクトのいずれかのパーツの指示などが挙げられる。また本実施形態において、記録部２０５には、仮想オブジェクトに対して予め設定された最適な視点位置および向き（方向）の情報も記録されている。

ＧＰＵボード２０８は、汎用グラフィックボードであり、画像の生成や合成等の処理を行う。本実施形態におけるＧＰＵボード２０８は、ＨＭＤのカメラが撮影した現実空間の画像に、ＣＧ技術で生成した仮想オブジェクトの画像を重畳するような画像生成および合成処理を行うことができる。なお、仮想オブジェクトの画像は予め生成して記録部２０５に記録されていてもよい。

ディスプレイドライバ２０９は、表示部２１１を制御するためのソフトウェアである。
表示部２１１は、ユーザ１０１～１０４の各ＨＭＤに搭載された液晶表示デバイス等の電子ディスプレイデバイスである。本実施形態の表示部２１１では、ディスプレイ上において不図示のマウスカーソルなどによるユーザ指示が可能になされているとともに、記録部２０５の情報を基にＣＰＵ２０２がＧＰＵボード２０８に生成させたＭＲ世界等の画像を表示する。なお図１の例は、ＰＣでの処理を前提にしているため操作部２１０や表示部２１１が外部構成として接続されているが、ＨＭＤが本実施形態に係る情報処理機能を有する場合には操作部２１０や表示部２１１も内部構成として含まれる。

通信Ｉ／Ｆ２０７は、操作デバイスやクラウドなどとデータの送受信を行うことが可能なインターフェース部である。本実施形態の場合、通信Ｉ／Ｆ２０７は、ネットワークを介して、ユーザ１０１～１０４のＨＭＤに備えられているカメラで撮影した現実画像のデータや、ユーザ１０１～１０４のＨＭＤで検出された位置姿勢情報などを受信することができる。

図２は、本実施形態の情報処理装置２０１における機能構成例を表した機能ブロック図である。
情報処理装置２０１は、機能構成として、操作部２１０、オブジェクト指示取得部３０５、モード決定部３０６、視点決定部３０７、画像生成部３０８、および位置姿勢取得部としてのユーザ位置姿勢記録部３０１とオブジェクト位置姿勢記録部３０３とを有する。

ユーザ位置姿勢記録部３０１は、複合現実空間（ＭＲ空間）におけるユーザの位置姿勢を取得して記録する。本実施形態の場合、ユーザ位置姿勢記録部３０１は、ユーザ１０１～１０４が装着している各ＨＭＤから、位置座標と視線ベクトル情報を取得し、それらをユーザ１０１～１０４における位置姿勢情報（ユーザ位置姿勢情報３０２とする）として格納する。ユーザ位置姿勢情報３０２は例えば記録部２０５に格納される。

オブジェクト位置姿勢記録部３０３は、複合現実空間における仮想オブジェクトの位置姿勢を取得して記録する。本実施形態の場合、オブジェクト位置姿勢記録部３０３は、仮想空間における仮想オブジェクトの位置および向き、サイズ等を入手し、それらをオブジェクト位置姿勢情報３０４として格納する。オブジェクト位置姿勢情報３０４は例えば記録部２０５に格納される。

操作部２１０は、ユーザから仮想オブジェクトの選択指示や表示モードの切り替え指示などの各種指示、コマンドを取得する。
オブジェクト指示取得部３０５は、複合現実空間において操作部２１０を介してユーザが仮想オブジェクトに対して行った指示情報を取得する。本実施形態の場合は、オブジェクト指示取得部３０５は、特定のユーザ１０１によって行われた仮想オブジェクトに対する指示を取得するが、他のユーザ１０２～１０４にて行われた指示の取得も可能である。

モード決定部３０６は、プレゼンター視点共有モードまたは最適視点共有モードのいずれの表示モードを適用するかを決定する。モード決定部３０６は、いずれの表示モードを用いるかが事前に設定されている場合には、その設定に応じて表示モードを決定する。またモード決定部３０６は、操作部２１０を介してユーザがいずれかの表示モードを指示した場合には、そのユーザによる指示に応じて表示モードを決定する。またモード決定部３０６は、事前に設定されていない場合やユーザによる指示がない場合には、表示される仮想オブジェクトに紐づけられた設定に従って表示モードを決定する。なお、ユーザが表示モードを指示する場合には、発表者である特定のユーザ１０１が指示を行うが、参加者である他のユーザ１０２～１０４が指示してもよい。

視点決定部３０７は、モード決定部３０６にて決定された表示モードに応じて、複合現実空間の仮想オブジェクトに対する視点を決定する。本実施形態の場合、視点決定部３０７は、ユーザ位置姿勢情報３０２およびオブジェクト位置姿勢情報３０４と、モード決定部３０６にて決定された表示モードとに基づいて、仮想オブジェクトに対する視点としての視点位置と向き（視線の方向）を決定する。例えば表示モードがプレゼンター視点共有モードである場合、視点決定部３０７は、特定のユーザ１０１の仮想オブジェクト１０５に対する仮想空間上の視点位置と向きを、他のユーザ１０２～１０４のＨＭＤで共有する視点位置と向きに決定する。一方、最適視点共有モードである場合、視点決定部３０７は、仮想オブジェクト１０５のヘッドライト１０６が最も見やすいとして予め設定されている最適な視点位置と向きを、各ユーザ１０１～１０４のＨＭＤで共有する視点位置と向きに決定する。また視点決定部３０７は、例えば操作部２１０からの指示を基に、視点位置と方向を共有するユーザを任意に切り替えることも可能である。

画像生成部３０８は、視点決定部３０７にて決定された視点から見た仮想オブジェクト１０５を含む複合現実空間の画像を生成する。本実施形態の場合、画像生成部３０８は、ユーザ位置姿勢情報３０２およびオブジェクト位置姿勢情報３０４と、視点決定部３０７にて決定された視点位置および向きとに応じて、現実空間の画像に仮想オブジェクトの画像を重畳した画像を生成する。そして画像生成部３０８は、各ユーザ１０１～１０４のＨＭＤに対して、それぞれ現実空間の画像に仮想オブジェクトを重畳した画像を送る。これにより各ユーザ１０１～１０４のＨＭＤには、それぞれ現実空間画像に仮想オブジェクトが重畳された画像が表示される。すなわちプレゼンター視点共有モードの場合、他のユーザ１０２～１０４のＨＭＤには、各ユーザのＨＭＤのカメラで撮影した現実空間画像に、特定のユーザ１０１の視点位置と向きから見た仮想オブジェクト１０５を重畳した画像が表示される。最適視点共有モードである場合、各ユーザ１０１～１０４のＨＭＤには、各ユーザのＨＭＤのカメラで撮影した現実空間画像に、予め設定された最適な視点位置と向きから見た仮想オブジェクト１０５を重畳した画像が表示される。

図６は情報処理装置２０１による一連の情報処理の流れを示すフローチャートである。このフローチャートに示す処理は、ＣＰＵ２０２が本実施形態に係る情報処理プログラムを実行することにより実現される。

まずステップＳ４０１において、ユーザ位置姿勢記録部３０１は、各ユーザ１０１～１０４のＨＭＤに搭載されているカメラ（撮像装置）で取得した現実空間画像を既存の自己位置推定技術を使って解析し、各ユーザの位置姿勢情報を取得する。本実施形態の場合、ユーザの位置姿勢情報とはＨＭＤの位置姿勢であり、ＨＭＤの位置姿勢は当該ユーザの視点位置と向きを表すことができる情報である。自己位置推定の手法としては、例えばＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）などが挙げられる。現実空間におけるユーザの位置姿勢（ＨＭＤの位置姿勢）を取得できるのであれば、その手法はＳＬＡＭに限らない。例えば、ＧＰＳやジャイロセンサ、地磁気センサ等でユーザの位置姿勢を取得してもよい。ユーザ位置姿勢記録部３０１は、ステップＳ４０１で取得した情報をユーザ位置姿勢情報３０２として保存する。

次にステップＳ４０２において、ユーザ位置姿勢記録部３０１は、複合現実空間に存在する全てのユーザの位置姿勢情報を取得したか否かを判定する。そしてユーザ位置姿勢記録部３０１は、全ユーザの位置姿勢情報（視点位置、向き）の取得が完了していない場合にはステップＳ４０１へ処理を戻し、未取得のユーザの位置姿勢情報を取得する。一方、取得が完了した場合、情報処理装置２０１の処理はステップＳ４０３へ進む。

ステップＳ４０３に進むと、オブジェクト位置姿勢記録部３０３は、仮想オブジェクトの位置姿勢情報（視点位置と向き）を取得する。ここで、本実施形態では特定のユーザ１０１が発表者であるため、記録部２０５には発表者のＨＭＤのカメラで撮影した現実空間に仮想オブジェクトが重畳された重畳画像が記録されている。オブジェクト位置姿勢記録部３０３は、記録部２０５から当該重畳画像をＲＡＭ２０４に読み出し、その重畳画像のなかで操作部２１０を介して発表者が選択した仮想オブジェクトの仮想空間における位置姿勢情報を取得する。そしてオブジェクト位置姿勢記録部３０３は、その取得した情報をオブジェクト位置姿勢情報３０４として保存する。

次にステップＳ４０４において、オブジェクト指示取得部３０５は、操作部２１０を介した操作入力を基に、発表者である特定のユーザ１０１の仮想オブジェクトに対する指示を取得する。なお、発表者からの指示は、操作部２１０を介した指示ではなく、音声による指示であってもよい。

次にステップＳ４０５において、モード決定部３０６は、オブジェクト指示取得部３０５から受信した仮想オブジェクトについて、プレゼンター視点共有モード、または最適視点共有モードのいずれの表示モードを適用するかを決定する。

次にステップＳ４０６において、視点決定部３０７は、ユーザ位置姿勢情報３０２およびオブジェクト位置姿勢情報３０４と、モード決定部３０６にて決定された表示モードとを基に、各ユーザの仮想オブジェクトに対する視点位置と向きを決定する。視点決定部３０７における表示視点決定処理については、後に図７のフローチャートを用いて詳細に説明する。

次にステップＳ４０７において、画像生成部３０８は、視点決定部３０７で決定された視点位置および向きと、ユーザ位置姿勢情報３０２およびオブジェクト位置姿勢情報３０４とに応じて、現実空間画像に仮想オブジェクトを重畳した画像を生成する。画像生成部３０８による重畳画像生成処理については、後に図７のフローチャートを用いて詳細に説明する。
そして、次のステップＳ４０８において、表示部２１１によって、現実空間画像に仮想オブジェクトを重畳した画像が各ユーザ１０１～１０４のＨＭＤに表示される。

図７は、ステップＳ４０６において視点決定部３０７が行う表示視点決定処理と、ステップＳ４０７で画像生成部３０８が行う重畳画像生成処理の流れを示すフローチャートである。ステップＳ５０１～５０６はステップＳ４０６の処理、ステップＳ５０７と５０８はステップＳ４０７の処理にそれぞれ対応している。

まずステップＳ５０１において、視点決定部３０７は、ステップＳ４０５で決定された表示モードがプレゼンター視点共有モードであるか、あるいは最適視点共有モードであるかを判定する。視点決定部３０７は、ステップＳ５０１でプレゼンター視点共有モードであると判定した場合にはステップＳ５０２に処理を進め、一方、最適視点共有モードであると判定した場合にはステップＳ５０３に処理を進める。

ステップＳ５０２に進んだ場合、視点決定部３０７は、ユーザ位置姿勢情報３０２とオブジェクト位置姿勢情報３０４を基に、発表者である特定のユーザ１０１の視点位置と向きを取得する。その後、視点決定部３０７は、ステップＳ５０４に処理を進める。

ステップＳ５０４に進むと、視点決定部３０７は、発表者である特定のユーザ１０１の視線が対象の仮想オブジェクトから外れたか否かを判定する。そして、発表者の視線が対象の仮想オブジェクトから外れていないと判定した場合、視点決定部３０７は、ステップＳ５０６へ処理を進める。そしてステップＳ５０６において、視点決定部３０７は、そのときの発表者の視点位置と向きを、他のユーザ１０２～１０４のＨＭＤで共有する。

一方、ステップＳ５０４において発表者の視線が対象の仮想オブジェクトから外れたと判定した場合、視点決定部３０７は、ステップＳ５０５の処理に進む。すなわち例えば、発表者が仮想オブジェクト１０５のヘッドライト１０６をポインター等で示しながら説明を行っているような場合に、説明文を読むために仮想オブジェクトから視線を外すようなことがある。この時の発表者の視点位置と向きを他のユーザで共有してしまうと、他のユーザ１０２～１０４の視線も仮想オブジェクトから外れてしまう。つまり、他のユーザ１０２～１０４のＨＭＤ上の表示も仮想オブジェクトから外れてしまう。このため、発表者の視線が対象の仮想オブジェクトから外れたと判定した場合、視点決定部３０７は、ステップＳ５０５に処理を進める。

ステップＳ５０５に進むと、視点決定部３０７は、発表者が仮想オブジェクトを見ていた時点の視点位置と向きを取得し、ステップＳ５０６に処理を進める。すなわちこの場合、ステップＳ５０６において、視点決定部３０７は、発表者が仮想オブジェクトを見ていた時点の視点位置と向きを、他のユーザ１０２～１０４のＨＭＤで共有する。なお、視点決定部３０７は、ステップＳ５０５において、仮想オブジェクトに対して予め設定された視点位置と向きを、他のユーザ１０２～１０４のＨＭＤで共有してもよい。

一方、ステップＳ５０１からステップＳ５０３に進んだ場合、視点決定部３０７は、仮想オブジェクトに対して予め設定された最適な視点位置と向きを取得し、ステップＳ５０６に処理を進める。そしてステップＳ５０６において、視点決定部３０７は、その最適な視点位置と向きを、他のユーザ１０２～１０４のＨＭＤで共有する。

ステップＳ５０６の後は、画像生成部３０８によるステップＳ５０７の処理に進む。ステップＳ５０７に進むと、画像生成部３０８は、ステップＳ５０６で各ユーザに共有された視点位置と向きに基づいて重畳画像を生成する。重畳画像の生成はＨＭＤ上で行ってもよいし、別の構成にて生成した重畳画像をＨＭＤに送信してもよい。

次にステップＳ５０８において、情報処理装置２０１は、特定のユーザ１０１である発表者による発表が終了したか否かを判定する。発表が終了した場合、画像生成部３０８は、発表が終了したことを表す画像やメッセージ等を表示部２１１に送信する。一方、発表が終了していない場合、情報処理装置２０１では、発表が終了するまでステップＳ５０１からステップＳ５０７までの処理を繰り返す。なお、発表中は図５のステップＳ５０１からＳ５０７までの処理が繰り返されている際には、任意に表示モードを切り替えることもできる。

＜第２の実施形態＞
第１の実施形態では、仮想オブジェクトに対する特定のユーザの視点位置と方向、若しくは仮想オブジェクトに対して予め設定された最適な視点位置と方向を共有して生成した重畳画像を各ユーザのＨＭＤに表示している。ここで、ＭＲ空間において複数のユーザが仮想オブジェクトを囲んで閲覧するような場合、それぞれのユーザが異なった位置から仮想オブジェクトを閲覧して議論等を行いたい場合がある。そこで、第２の実施形態では、仮想オブジェクトに対して各ユーザで異なった視点位置と向きを算出し、それら異なった視点位置と向きに応じて生成した重畳画像を各ユーザのＨＭＤに表示する例について説明する。

図８は、発表者である特定のユーザの視点位置と向きを基準としたうえで、他のユーザ１０２～１０４の異なる視点位置と向きを算出する例を示した図である。
図８（ａ）は、仮想空間８００におけるユーザ８０１～８０４の視点位置と向きを表した図である。この例では、特定のユーザがユーザ８０２であり、仮想空間８００上で仮想オブジェクト１０５に対するユーザ８０２の視点位置と向きを基準とする。また仮想空間８００では、各ユーザ８０１～８０４を横並びや扇状などの所定の配置とし、特定のユーザ８０２の基準となる視点位置と向きを基に、所定の配置となる他のユーザ８０１、８０３、８０４の視点位置と向きをそれぞれ算出する。なお、この例では特定のユーザ８０２の視点位置と向きを基準とする例を挙げたが、基準とする視点位置と向きは、任意に選択したユーザの視点位置と向きでもよいし、仮想オブジェクト１０５に対して予め設定された視点位置と向きでもよい。

一方、図８（ｂ）は、第２の実施形態の複合現実空間における現実空間１００内の各ユーザ１０１～１０４と仮想空間内の仮想オブジェクト１０５とを表した図である。図８（ｂ）の画像８０５～８０８は、第２の実施形態において各ユーザ１０１～１０４のＨＭＤに表示される重畳画像を表している。

第２の実施形態の場合、ユーザ１０１～１０４のＨＭＤには、それぞれのカメラで撮影した現実空間の画像に、図８（ａ）に示す仮想空間８００上の配置のユーザ８０１～８０４の視点位置と向きから見た仮想オブジェクトが重畳された画像が表示される。すなわち第２の実施形態の場合、各ユーザ１０１～１０４は、現実空間１００内での立ち位置はそのままで、仮想空間８００の各ユーザ８０１～８０４のように仮想オブジェクト１０５を異なる位置から閲覧しているような状態で議論することが可能となる。また本実施形態において、ユーザ１０１～１０４の各ＨＭＤに表示される重畳画像に対しては、それぞれユーザが操作部２１０を介して独立して、拡大縮小や回転などの各種操作を行うことも可能である。

図９は、第２の実施形態において、図８（ａ）の仮想空間８００内における各ユーザ（例えばユーザ８０２，８０３，８０４）のアバター９０２，９０３，９０４を、現実空間の画像に重畳して表示する例を示した図である。画像９００は、例えばユーザ１０４のＨＭＤに表示されている画像を表している。

このとき画像生成部３０８は、仮想空間８００におけるユーザ８０１～８０４の視点位置と向きに基づいて、ユーザ１０４のＨＭＤに表示する画像に、他のユーザのアバター９０２～９０４を配置して重畳した画像を生成する。これにより、ユーザ１０１～１０４が現実空間上では離れた位置にいても、仮想空間内では他のユーザがあたかも隣にいて仮想オブジェクト１０５に対する議論を行っているかのうな感覚を与えることができる。

なお、このようなアバターは、前述した第１の実施形態で視点決定部３０７が各ユーザ１０１～１０４に対して決定した視点に対応させて生成した画像に重畳してもよい。この場合のアバターは、第１の実施形態における画像生成部３０８により生成される。

図１０は、第２の実施形態において、図６のステップＳ４０６で視点決定部３０７が行う表示視点決定処理と、ステップＳ４０７で画像生成部３０８が行う重畳画像生成処理の流れを示すフローチャートである。ステップＳ１００１～１００３は、図７のステップＳ５０１～Ｓ５０３と同様に、発表者の視点位置と向きを他のユーザで共有するか否かを判定し、その判定結果に応じた視点位置と向きを取得する処理である。

第２の実施形態の場合、Ｓ１００２において、視点決定部３０７は、ユーザ位置姿勢情報３０２とオブジェクト位置姿勢情報３０４から、発表者（特定のユーザ１０１）の視点位置と向きを取得した後、ステップＳ１００４に処理を進める。

ステップＳ１００４に進むと、視点決定部３０７は、ステップＳ１００２またはステップＳ１００３で取得した視点位置と向きから、仮想空間における各ユーザの視点位置と向きを算出する。第２の実施形態の場合、視点決定部３０７は、対象の仮想オブジェクに対して各ユーザの視点位置と向きを扇状や横並び等の所定の配置にした場合の各ユーザの視点位置と向きを算出する。これにより、それぞれのユーザは、異なる角度から仮想オブジェクを閲覧することができることになる。

ステップＳ１００４の後、ステップＳ１００５に進むと、視点決定部３０７は、ステップＳ１００４で算出した各ユーザの仮想空間での仮想オブジェクに対する視点位置と向きを、それぞれ対応したユーザのＨＭＤで共有する。

次にステップＳ１００６において、画像生成部３０８は、第１の実施形態のステップＳ５０６と同様にして、各ユーザに共有された視点位置と向きに基づく画像を生成する。現実空間画像に仮想オブジェクトを重畳した画像の生成は、ＨＭＤ上で行ってもよいし、別の構成で生成した画像をＨＭＤに送信しても構わない。また、各ユーザのＨＭＤで画像を生成する際には、前述した図９で説明したように、仮想空間上の他のユーザの視点位置からアバターを生成して、同時に視野内に配置してもよい。これにより、各ユーザによる議論中の臨場感を向上することができる。

ステップＳ１００６の後、ステップＳ１００７に進むと、情報処理装置２０１は、ステップＳ５０８と同様に発表が終了したかを判定する。そして、発表が終了した場合、画像生成部３０８は、発表が終了したことを表示部２１１に送信する。一方、発表が終了していない場合、情報処理装置２０１では、発表が終了するまでステップＳ１００１からステップＳ１００６までの処理を繰り返す。第２の実施形態の場合も、ステップＳ１００１からＳ１００６までの処理が繰り返されている際には、任意に表示モードを切り替えることもできる。

以上説明したように、第１，第２の実施形態の情報処理装置２０１においては、発表者等の特定のユーザの仮想オブジェクトに対する指示に応じて、他のユーザの仮想オブジェクトに対する視点位置と向きを変更して共有することができる。また第１，第２の実施形態の情報処理装置２０１においては、仮想オブジェクに対して、ユーザが任意に表示モードを切り替えることができるため、特定のユーザが注目することを望む箇所を他のユーザに明確に共有させることができるようになる。

前述した実施形態では、同一現実空間内に複数のユーザが集まって仮想オブジェクトを閲覧している複合現実空間の例を挙げたが、複数のユーザはそれぞれ離れた場所に存在し、それぞれが異なる現実空間内にいてもよい。この場合、各ユーザのＨＭＤ又はＨＭＤに接続されたパーソナルコンピュータがインターネット経由で接続され、ＨＭＤのカメラで取得された画像と音声がサーバー経由でやり取りされて、お互いに意思疎通が行えるシステムへの適用が想定できる。異なる現実空間にいるユーザのＨＭＤには、それぞれの現実空間を撮影した画像に仮想オブジェクトが重畳された画像が表示される。これにより、離れた場所にいる複数ユーザ同士がネットワークを通じて仮想オブジェクトを閲覧することができる。またその際、プレゼンター視点共有モードと最適視点共有モードのいずれかが設定された表示モードと、特定のユーザによる仮想オブジェクトへの指示とに応じて、他のユーザの仮想オブジェクトに対する視点位置と向きの共有が可能になる。

また前述の実施形態では、各ユーザがＨＭＤを装着して現実空間に仮想オブジェクトが重畳された画像を観る例を挙げたが、各ユーザが使用する携帯端末はＨＭＤには限定されず、スマートフォンやタブレット端末などであってもよい。

本発明は、上述の実施形態の一以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、一以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２０１：情報処理装置、３０１：ユーザ位置姿勢記録部、３０３：オブジェクト位置姿勢記録部、３０４：オブジェクト指示取得部、３０６：モード決定部、３０７：視点決定部、３０８：画像生成部

Claims (15)

1. 第１のヘッドマウントディスプレイを装着している第１のユーザの指示を取得する指示取得手段と、
   前記指示に応じて、第２のユーザが装着している第２のヘッドマウントディスプレイの表示モードを決定するモード決定手段と、
   前記決定された表示モードに応じて、仮想オブジェクトに対する視点を決定する視点決定手段と、
   複合現実空間の画像を生成する画像生成手段と、
   を有し、
   前記モード決定手段は、前記第１のユーザと前記第２のユーザのうちの特定のユーザによる前記仮想オブジェクトに対する視点を、前記特定のユーザ以外の他のユーザの前記仮想オブジェクトに対する視点として決定する第１の表示モードを使用するか、または前記仮想オブジェクトに対して予め設定された視点を、前記他のユーザの前記仮想オブジェクトに対する視点として決定する第２の表示モードを使用するかを、決定し、
   前記画像生成手段は、前記第２のヘッドマウントディスプレイで得られる現実空間の画像に、前記第２のユーザの視点と異なる前記決定された視点から見た前記仮想オブジェクトの画像を重畳した画像を、前記第２のヘッドマウントディスプレイに表示する前記複合現実空間の画像として生成することを特徴とする情報処理装置。
2. 前記仮想オブジェクトの位置および姿勢と、前記複合現実空間における前記第１のユーザおよび前記第２のユーザの各々の位置および姿勢とを取得する位置姿勢取得手段を有し、
   前記視点決定手段は、前記仮想オブジェクトの位置および姿勢と、前記第１のユーザと前記第２のユーザの各々の位置および姿勢と、前記仮想オブジェクトに対する前記指示とに基づいて、前記表示モードに応じた前記仮想オブジェクトに対する視点を決定し、
   前記画像生成手段は、前記第１のユーザと前記第２のユーザの各々について取得された現実空間の画像に、前記決定された視点から見た前記仮想オブジェクトの画像を重畳した画像を、前記複合現実空間の画像として生成することを特徴とする請求項１に記載の情報処理装置。
3. 前記モード決定手段で前記第１の表示モードが決定された場合、前記視点決定手段は、前記特定のユーザの前記仮想オブジェクトに対する視点の位置および向きを、前記他のユーザの前記仮想オブジェクトに対する視点の位置および向きとして決定することを特徴とする請求項１に記載の情報処理装置。
4. 前記視点決定手段は、前記特定のユーザの視線が前記仮想オブジェクトから外れた場合、前記特定のユーザが前記仮想オブジェクトに向けていたときの当該特定のユーザの視点の位置および向きを、前記仮想オブジェクトに対する前記視点の位置および向きとして決定することを特徴とする請求項３に記載の情報処理装置。
5. 前記視点決定手段は、前記特定のユーザの視線が前記仮想オブジェクトから外れた場合、予め設定された視点の位置および向きを、前記仮想オブジェクトに対する前記視点の位置および向きとして決定することを特徴とする請求項３に記載の情報処理装置。
6. 前記モード決定手段で前記第２の表示モードが決定された場合、前記視点決定手段は、前記仮想オブジェクトに対して予め設定した視点の位置および向きを、少なくとも前記他のユーザにおける、前記仮想オブジェクトに対する視点の位置および向きとして決定することを特徴とする請求項１に記載の情報処理装置。
7. 前記モード決定手段は、前記特定のユーザからの指示に応じて前記第１の表示モードと前記第２の表示モードを切り替えて決定することを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記モード決定手段は、前記第１のユーザと前記第２のユーザのユーザごとに、前記第１の表示モードと前記第２の表示モードのいずれにするかを決定することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
9. 前記視点決定手段は、前記仮想オブジェクトに対して所定の配置となる視点の位置および向きを、前記仮想オブジェクトに対する前記視点として決定することを特徴とする請求項１に記載の情報処理装置。
10. 前記視点決定手段は、基準となる視点の位置および向きを基に、前記仮想オブジェクトに対して所定の配置となる複数の視点の位置および向きを、前記仮想オブジェクトに対する前記視点として決定することを特徴とする請求項９に記載の情報処理装置。
11. 前記基準の視点の位置および向きは、基準となされるユーザの視点の位置および向き、もしくは予め設定された視点の位置および向きであることを特徴とする請求項１０に記載の情報処理装置。
12. 前記画像生成手段は、前記複合現実空間の前記第１のユーザと前記第２のユーザの各々の視点の位置および向きを基に、前記第１のユーザと前記第２のユーザの各々のユーザのアバターを前記複合現実空間の画像に重畳した画像を生成することを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記第１のユーザと前記第２のユーザの各々が前記仮想オブジェクトに対して独立した操作を行うための操作手段を有することを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 第１のヘッドマウントディスプレイを装着している第１のユーザの指示を取得する指示取得工程と、
    前記指示に応じて、第２のユーザが装着している第２のヘッドマウントディスプレイの表示モードを決定するモード決定工程と、
    前記決定された表示モードに応じて、仮想オブジェクトに対する視点を決定する視点決定工程と、
    複合現実空間の画像を生成する画像生成工程と、
    を有し、
    前記モード決定工程では、前記第１のユーザと前記第２のユーザのうちの特定のユーザによる前記仮想オブジェクトに対する視点を、前記特定のユーザ以外の他のユーザの前記仮想オブジェクトに対する視点として決定する第１の表示モードを使用するか、または前記仮想オブジェクトに対して予め設定された視点を、前記他のユーザの前記仮想オブジェクトに対する視点として決定する第２の表示モードを使用するかを、決定し、
    前記画像生成工程では、前記第２のヘッドマウントディスプレイで得られる現実空間の画像に、前記第２のユーザの視点と異なる前記決定された視点から見た前記仮想オブジェクトの画像を重畳した画像を、前記第２のヘッドマウントディスプレイに表示する前記複合現実空間の画像として生成することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるプログラム。