JP7354186B2 - 表示制御装置、表示制御方法および表示制御プログラム - Google Patents

Description

本発明は表示制御装置、表示制御方法および表示制御プログラムに関する。

近年、インターネットを介して提供されるコンテンツとして、拡張現実（ＡＲ；Augmented Reality）が普及しつつある。このようなＡＲにおいては、たとえば、仮想的な視点から見たＡＲオブジェクトを撮像画像に対して重畳表示する（例えば、特許文献１参照）。

特開２０２０－９５６０２号公報

しかしながら、従来技術では、たとえば、ＡＲコンテンツにおける臨場感の向上を図るうえで改善の余地があった。

本発明は、上記に鑑みてなされたものであって、ＡＲコンテンツにおける臨場感の向上を図ることができる表示制御装置、表示制御方法および表示制御プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る表示制御装置は、推定部と、設定部と、表示制御部とを備える。前記推定部は、周囲に実在する実在オブジェクトのサイズである実在オブジェクトサイズを推定する。前記設定部は、前記推定部によって推定された前記実在オブジェクトサイズと、多視点画像中の仮想オブジェクトに設定されたサイズである仮想オブジェクトサイズとに基づき、前記周囲を撮像した撮像画像に重畳表示する前記仮想オブジェクトの表示サイズを設定する。前記表示制御部は、前記設定部によって設定された前記表示サイズで前記仮想オブジェクトを前記撮像画像に表示する。

本発明によれば、ＡＲコンテンツにおける臨場感の向上を図ることができる。

図１は、実施形態に係る表示制御システムの概要を示す図である。 図２は、実施形態に係る情報処理装置の構成例を示すブロック図である。 図３は、実施形態に係る多視点映像データベースに記憶する情報の一例を示す図である。 図４は、実施形態に係る表示制御装置の構成例を示すブロック図である。 図５は、実施形態に係るサイズ情報記憶部に記憶する情報の一例を示す図である。 図６は、実施形態に係る実在オブジェクトサイズと仮想オブジェクトの表示サイズとの相関関係を示す模式図である。 図７は、実施形態に係る表示面の一例を示す模式図である。 図８は、実施形態に係る仮想オブジェクトと音声発生源との関係性を示す模式図である。 図９は、実施形態に係る情報処理装置が実行する処理手順の一例を示すフローチャートである。 図１０は、実施形態に係る表示制御装置が実行する処理手順の一例を示すフローチャートである。 図１１は、実施形態に係る情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る表示制御装置、表示制御方法および表示制御プログラムを実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る表示制御装置、表示制御方法および表示制御プログラムが限定されるものではない。

［実施形態］
〔１．表示制御処理〕
まず、図１を用いて、実施形態に係る表示制御処理の一例について説明する。図１は、実施形態に係る表示制御処理の一例を示す図である。

図１に示すように、実施形態に係る表示システムＳは、たとえば、情報処理装置１０と、表示制御装置５０とを有する。情報処理装置１０は、各表示制御装置５０に対して、各種、ＡＲ（Augmented Reality）コンテンツを配信する情報処理装置である。情報処理装置１０は、サーバ装置やクラウドシステムにより実現される。

図１に示すように、情報処理装置１０は、多視点映像データベースを有しており、多視点映像データベースに登録された多視点映像をＡＲコンテンツ１００として提供する。ここで、多視点映像とは、３次元モデルを複数の所定の視点からレンダリングした映像、あるいは、実在する被写体の周りに複数台の撮影機材を設置し撮影された映像である。また、多視点映像を構成する一つ一つの画像が多視点画像となる。

表示制御装置５０は、たとえば、カメラやＬｉｄａｒ等を有するスマートフォンやＨＭＤ（Head Mount Display）などといった各種端末装置であり、情報処理装置１０から配信される多視点映像に関するＡＲコンテンツ１００をユーザＵへ視聴可能に提供する。

たとえば、表示制御装置５０は、周囲を撮像した撮像画像Ｇに対して、情報処理装置１０から配信される多視点映像の仮想オブジェクトＯｖを重畳表示したＡＲコンテンツ１００を提供する。すなわち、表示制御装置５０は、いわゆるビデオシースルータイプのＡＲコンテンツ１００を提供する。なお、表示システムＳで提供するＡＲコンテンツ１００は、ビデオシースルータイプに限られず、光学シースルータイプであってもよい。

ところで、たとえば、多視点映像のＡＲコンテンツを提供するにあたり、多視点映像中の仮想オブジェクトのサイズが実際のサイズと乖離するおそれがある。具体的な例を挙げると、たとえば、仮想オブジェクトとして表示する人物をＡＲコンテンツとして表示する場合に、サイズの設定が現実世界に即していないＡＲコンテンツを撮像画像Ｇに対して重畳しようとすると画面からはみ出して大きく表示されたり、あるいは、小さく表示されたりする場合がある。

これら表示サイズの乖離は、よりリアルに近い、すなわち、臨場感の高いＡＲコンテンツを提供するうえで課題となり得る。

そこで、実施形態に係る表示制御装置５０は、周囲に実在する実在オブジェクトＯｒのサイズを示す実在オブジェクトサイズを推定し、推定した実在オブジェクトサイズに基づいて、ＡＲコンテンツ１００における仮想オブジェクトＯｖの表示サイズを制御することとした。

具体的には、図１に示すように、たとえば、表示制御装置５０は、情報処理装置１０から多視点映像の配信を受け付ける（ステップＳ０１）。たとえば、表示制御装置５０は、配信された多視点映像に基づき、いわゆるストリーミング再生を行うことで、ＡＲコンテンツ１００を表示する。

この際、表示制御装置５０は、仮想オブジェクトを任意の視点位置からみた多視点画像に関する情報と、多視点映像中の仮想オブジェクトＯｖ毎に設定された仮想オブジェクトサイズに関する情報等を多視点映像として受け付ける。

つづいて、表示制御装置５０は、実在オブジェクトＯｒのサイズである実在オブジェクトサイズの推定処理を実行する（ステップＳ０２）。表示制御装置５０は、たとえば、カメラによって撮像画像に対する画像認識を行うことで、実在オブジェクトサイズを推定する。

より詳しくは、家具などといった所定の実在オブジェクトＯｒは、種類等によっておおよその大きさが決まっているので、カメラによる撮像画像を用いた画像認識によって家具など基準となる実在オブジェクトＯｒを認識するとともに、認識した実在オブジェクトＯｒの実在オブジェクトサイズを推定する。

また、表示制御装置５０は、たとえば、Ｌｉｄａｒなどの測距センサの測距結果に基づき、実在オブジェクトＯｒまでの距離等を算出する。そして、推定した実在オブジェクトサイズと、表示制御装置５０から実在オブジェクトＯｒまでの距離等に基づき、実在オブジェクトＯｒが実際に存在する空間（以下、実空間）全体の大きさ、配置などといった実空間情報を推定する。

図１では、実在オブジェクトＯｒがカーテンであり、カーテンの高さｈおよび幅ｗを実在オブジェクトとして推定した場合を例示する。つづいて、表示制御装置５０は、ステップＳ２にて推定した実在オブジェクトサイズに基づき、仮想オブジェクトの表示サイズを制御する表示制御処理を行う（ステップＳ０３）。

たとえば、表示制御装置５０は、ステップＳ３の表示制御処理において、実在オブジェクトＯｒの実在オブジェクトサイズと、仮想オブジェクトＯｖの仮想オブジェクトサイズとが整合するように仮想オブジェクトＯｖの表示サイズを制御する。

すなわち、表示制御装置５０は、仮想オブジェクトＯｖを実空間に実際に配置した場合に、仮想オブジェクトＯｖが実際の大きさ(原寸大)となるようにＡＲコンテンツ１００における仮想オブジェクトＯｖの表示サイズを制御する。

これにより、実施形態に係る表示制御装置５０では、よりリアリティーの高いＡＲコンテンツ１００を提供することができるので、ＡＲコンテンツ１００における臨場感の向上を図ることができる。

〔２－１．情報処理装置の構成例〕
次に、図２を用いて、情報処理装置１０の構成例について説明する。図２は、情報処理装置１０の構成例を示すブロック図である。図２に示すように、情報処理装置１０は、通信部２０と、記憶部３０と、制御部４０とを備える。

通信部２０は、たとえば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部２０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、Ｗｉｆｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

記憶部３０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部３０は、多視点映像データベース３１を有する。

多視点映像データベース３１は、多視点映像を記憶するデータベースである。図３は、多視点映像データベース３１に格納された情報の一例を示す図である。図３に示すように、多視点映像データベース３１は、「映像ＩＤ」、「画像群」、「サイズ情報」、「音声」、「音源座標」などといった項目の情報を互いに対応付けて記憶する。

「映像ＩＤ」は、各多視点映像を識別するための識別子であり、「画像群」は、多視点映像として提供するための画像群であり、複数視点から同時に撮影された静止画像あるいは動画像をまとめたデータである。なお、画像群は、３Ｄモデル（たとえば、３次元のグラフィックデータ）に置き換えることにしてもよい。

「サイズ情報」は、多視点映像として撮影されたオブジェクトの実際のサイズに関する情報である。「音声」は、多視点映像とともに流す音声データを示し、「音源座標」は、多視点映像における音声データの音源の座標に関する情報である。

ＡＲコンテンツ１００として、アーティストの歌唱映像を提供する場合において、音声はアーティストが歌っている音源であり、音源座標は、アーティストの頭部（たとえば、口元）となる。

図２の説明に戻り、制御部４０について説明する。制御部４０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図２に示すように、制御部４０は、選択部４１と、配信部４２とを備える。選択部４１は、各表示制御装置５０から受け取った多視点映像の配信要求に基づき、対応する多視点映像を多視点映像データベース３１から選択する。

たとえば、配信要求には、上記の映像ＩＤに関する情報が含まれており、選択部４１は、配信要求に含まれる映像ＩＤに合致する多視点映像を多視点映像データベース３１から選択する。

また、たとえば、多視点映像の配信中において、選択部４１は、ＡＲコンテンツ１００に対するユーザの注視点情報を各表示制御装置５０から受け取り、注視点情報に基づき、多視点映像に対する視点切替処理を行う。

たとえば、注視点情報は、実空間における撮像画像Ｇの撮像範囲や撮像向きに関する情報であり、ＡＲコンテンツ１００として表示される実空間に関する情報である。すなわち、ＡＲコンテンツ１００におけるユーザの注視点に関する情報である。たとえば、ユーザが表示制御装置５０（たとえば、後述する外向きカメラ６１）の位置を変化させた場合に注視点が変化し、変化した向きや変化量などに関する情報が注視点情報となる。

選択部４１は、注視点情報に基づき、多視点映像に対する視点位置を選択することで、視点切替処理を行う。これにより、選択した視点位置から見た仮想オブジェクトＯｖの多視点画像が選択される。その後、選択部４１は、注視点情報の変化に追従させて視点位置を随時切り替える処理を行う。

配信部４２は、選択部４１によって選択された多視点映像を各表示制御装置５０に対して配信する。なお、配信部４２が配信する多視点映像は、時間的に連続する多視点画像であり、配信部４２は、注視点情報に基づいて設定された視点位置から見た多視点画像を連続的に配信する。また、配信部４２は、多視点映像とともに音声等に関する情報をあわせて表示制御装置５０へ配信する。

〔２－２．表示制御装置の構成例〕
次に、図４を用いて、実施形態に係る表示制御装置５０の構成例について説明する。図４は、表示制御装置５０の構成例を示すブロック図である。図４に示すように、表示制御装置５０は、通信部６０、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４、音声出力部６５、記憶部７０および制御部８０を備える。なお、外向きカメラ６１、内向きカメラ６２、センサ群６３、表示部６４および音声出力部６５については、表示制御装置５０とは別の装置であってもよい。

通信部６０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部６０は、４Ｇ（Generation）、５Ｇ、ＬＴＥ（Long Term Evolution）、ＷｉＦｉ（登録商標）若しくは無線ＬＡＮ（Local Area Network）等といった各種の無線通信網若しくは各種の有線通信網といったネットワークを介して、外部装置との間で情報の送受信を行う。

外向きカメラ６１は、表示制御部５０の外側（たとえば、表示部６４の表示面とは逆側）を撮像するカメラであり、実空間を撮像する。たとえば、外向きカメラ６１によって撮像された撮像画像は、ＡＲコンテンツ１００における仮想オブジェクトＯｖの背景画像として用いられる。内向きカメラ６１は、表示制御部５０の内側（たとえば、表示部６４の表示面側）を撮像するカメラであり、ＡＲコンテンツ１００を視聴するユーザＵを撮像する。

センサ群６３は、たとえば、表示制御装置５０の姿勢や、実空間に存在する実在オブジェクトＯｒまでの距離を検出するための各種センサによって構成される。たとえば、センサ群６３には、ジャイロセンサ、Ｌｉｄａｒなどが含まれる。

表示部６４は、たとえば、タッチパネルディスプレイであり、ＡＲコンテンツ１００等の各種映像を表示するとともに、各種ユーザ操作を受け付ける。音声出力部６５は、たとえば、サラウンドスピーカあるいはステレオスピーカであり、ＡＲコンテンツ１００とともに流れる各種音声を出力する。

記憶部７０は、たとえば、ＲＡＭ、フラッシュメモリ等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現される。また、記憶部７０は、マップ情報記憶部７１およびサイズ情報記憶部７２を有する。

マップ情報記憶部７１は、実空間のマップ情報を記憶する。たとえば、マップ情報とは、表示制御部５０の周辺環境を示す環境地図であり、後述する自己位置推定部８１やサイズ推定部８２による処理結果に基づいて作成される。

サイズ情報記憶部７２は、実在オブジェクトＯｒの実在オブジェクトサイズに関する情報を記憶する。図５は、サイズ情報記憶部７２に記憶する情報の一例を示す図である。図５に示すように、サイズ情報記憶部７２は、「オブジェクトＩＤ」、「特徴量」、「サイズ情報」などといった項目の情報を互いに対応付けて記憶する。

「オブジェクトＩＤ」は、実在オブジェクトＯｒを識別するための識別子であり、「特徴量」は、実在オブジェクトＯｒの特徴量を示す。ここでの特徴量は、たとえば、実在オブジェクトＯｒの外見の特徴を示す。

「サイズ情報」は、対応する実在オブジェクトＯｒのサイズに関する情報であり、たとえば、実在オブジェクトＯｒの実寸大のサイズ、すなわち、等身大のサイズに関する情報を示す。なお、サイズ情報は、カタログ値であってもよいし、あるいは、実測値であってもよい。また、表示制御装置５０で計測した値を実測値として用いることにしてもよい。

図４の説明に戻り、制御部８０について説明する。制御部８０は、たとえば、コントローラ（controller）であり、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）等によって、情報処理装置１０内部の記憶装置に記憶されている各種プログラムがＲＡＭを作業領域として実行されることにより実現される。

図４に示すように、制御部８０は、自己位置推定部８１と、サイズ推定部８２と、表示面設定部８３と、表示制御部８４と、音声制御部８５とを備える。自己位置推定部８１は、外向きカメラ６１やセンサ群６３から入力される各種情報に基づき、Ｓｌａｍ（Simultaneous Localization and Mapping）等の技術を用いて実空間の環境地図を作成するとともに、環境地図内における表示制御装置５０の座標（たとえば、ワールド座標）や姿勢を推定する。

また、自己位置推定部８１は、作成した環境地図に関する情報をマップ情報としてマップ情報記憶部７１に格納するとともに、推定した位置や姿勢に関する情報、すなわち、上記の注視点情報を表示面設定部８３へ渡す。また、ＡＲコンテンツ１００の提供中においては、注視点情報は、情報処理装置１０へも送信される。

サイズ推定部８２は、周囲に実在する実在オブジェクトＯｒのサイズである実在オブジェクトサイズを推定する。たとえば、サイズ推定部８２は、外向きカメラ６１によって撮影された撮像画像から実在オブジェクトＯｒを認識するとともに、実在オブジェクトサイズの推定を行う。

たとえば、サイズ推定部８２は、サイズ情報記憶部７２に記憶された各実在オブジェクトＯｒの特徴量と、撮像画像中に含まれる対象物の特徴量とを比較することで、双方の特徴量の一致率から周囲の実在オブジェクトＯｒの種別を認識する。

サイズ推定部８２は、実在オブジェクトＯｒの種別を認識すると、サイズ情報記憶部７２に記憶されたサイズ情報に基づき、実在オブジェクトＯｒの実在オブジェクトサイズを推定する。また、サイズ推定部８２は、たとえば、センサ群６３（たとえばＬｉｄａｒ）の検出結果に基づき、外向きカメラ６１から実在オブジェクトＯｒまでの距離を推定する。

たとえば、サイズ推定部８２は、推定した実在オブジェクトサイズと、対応する実在オブジェクトＯｒまでの距離とに基づき、撮像画像中における実在オブジェクトＯｒの倍率（縮尺）を推定する。

表示面設定部８３は、サイズ推定部８２によって推定された実在オブジェクトサイズと、多視点画像中の仮想オブジェクトＯｖに設定されたサイズである仮想オブジェクトサイズとに基づき、周囲を撮像した撮像画像に重畳表示する仮想オブジェクトＯｖの表示サイズを設定する。たとえば、表示面設定部８３は、ＡＲコンテンツ１００として提供する仮想部ジェクトＯｖのサイズ情報を情報処理装置１０へ問い合わせ、問い合わせたサイズ情報に基づき、表示サイズを設定する。

図６は、実在オブジェクトサイズと仮想オブジェクトＯｖの表示サイズとの相関関係を示す模式図である。図６に示す例では、撮像画像Ｇに映る実在オブジェクトＯｒの手前側に実在オブジェクトＯｒから距離ｄの位置に撮像画像Ｇに重畳表示する仮想オブジェクトＯｖを配置する場合について説明する。

この場合、実在オブジェクトＯｒの高さｈ１に基づき、仮想オブジェクトＯｖをＡＲコンテンツ１００中に表示する際の高さｈ２を設定する。すなわち、実在オブジェクトＯｒと、表示する仮想オブジェクトＯｖとの位置関係、ならびに、実際の大きさの比率に基づき、仮想オブジェクトＯｖの表示サイズとなる高さｈ２を設定する。

換言すれば、表示面設定部８３は、実在オブジェクトＯｒの高さｈ１を基準として、仮想オブジェクトＯｖが原寸大に表示されるように高さｈ２を算出し、多視点映像において、仮想オブジェクトＯｖの高さが高さｈ２となるように仮想オブジェクトＯｖの表示サイズを設定する。

また、表示面設定部８３は、仮想オブジェクトＯｖの表示サイズの設定結果に基づき、撮像画像から仮想オブジェクトＯｖを表示する仮想的な表示面（以下、単に表示面）の初期設定を行う。

図７は、表示面の一例を示す模式図である。図７の例では、２つの仮想オブジェクトＯｖ１、２を表示する場合について説明する。

表示面設定部８３は、たとえば、現在の撮像画像Ｇの撮像空間に基づき、仮想オブジェクトＯｖ１、２を共に内包可能な空間を仮想オブジェクトＯｖ１、２を表示する表示領域Ａとして設定し、表示領域Ａの底面を表示面Ａｐとして表示面Ａｐの初期設定を行う。

言い換えれば、表示面設定部８３は、仮想オブジェクトＯｖ１、２が内包できない空間を表示領域Ａとして設定しない。これにより、たとえば、ＡＲコンテンツ１００において、仮想オブジェクトＯｖが実空間の壁や天井を突き抜けて表示される誤表示をあらかじめ回避することができる。

その後、表示面設定部８３は、設定した表示領域Ａおよび表示面Ａｐの座標情報をマップ情報記憶部７１に書き込む。なお、たとえば、表示面Ａｐは、実空間の床であるが、仮想オブジェクトＯｖの種類に応じて、ユーザの体の一部（たとえば手のひらなど）であってもよい。また、表示領域Ａ自体を実際の床から浮遊させることにしてもよい。また、表示面設定部８３は、仮想オブジェクトＯｖ１、２に対して、それぞれ独立に表示領域Ａおよび表示面Ａｐを設定することにしてもよい。また、たとえば、仮想オブジェクトＯｖ自体がＡＲコンテンツ１００内を移動するコンテンツも考えられるので、表示面設定部８３は、仮想オブジェクトＯｖの移動範囲を包含するように表示領域Ａや表示面Ａｐを設定するようにしてもよい。

その後、表示面設定部８３は、撮像画像Ｇの撮像位置にあわせて表示サイズを更新する。たとえば、表示面設定部８３は、自己位置推定部８１から受け取った注視点情報に基づき、撮像画像Ｇの撮像位置（たとえば、外向きカメラ６１の位置）を認識する。そして、表示面設定部８３は、撮像位置と表示面Ａｐとの位置関係に基づき、表示サイズを設定する。具体的には、表示面設定部８３は、撮像位置と表示面Ａｐとが近くなるにつれて、表示サイズを大きくし、撮像位置と表示面Ａｐとが遠くなるにつれて小さくなるように表示サイズを設定する。

つまり、表示面設定部８３は、仮想オブジェクトＯｖを表示面Ａｐに実在すると仮定した場合に、撮像画像Ｇ内に映る実際の大きさとなるように仮想オブジェクトＯｖの表示サイズを随時更新する。

図４の説明に戻り、表示制御部８４について説明する。表示制御部８４は、表示面設定部８３によって設定された表示サイズで仮想オブジェクトＯｖを撮像画像Ｇに表示する。まず、表示制御部８３は、情報処理装置１０に対して多視点映像の配信要求を行い、情報処理装置１０から多視点映像の取得を開始する。

たとえば、多視点映像を構成するそれぞれの多視点画像は、仮想オブジェクトＯｖの表示サイズが表示面設定部８３によって設定される。表示制御部８４は、表示サイズが設定された仮想オブジェクトＯｖを外向きカメラ６１から取得した撮像画像Ｇに重畳表示することで、ＡＲコンテンツ１００を生成する。そして、表示制御部８４は、ＡＲコンテンツ１００の生成毎に表示部６４に表示する。

ところで、ＡＲコンテンツにおいては、たとえば、多視点映像のうち、一部の仮想オブジェクトＯｖのみを表示したい場合や、仮想オブジェクトＯｖの配置や向きを変更したいといった要望が想定され得る。

そこで、たとえば、表示制御部８４は、たとえば、ユーザ操作によって選択された一部の仮想オブジェクトＯｖのみを表示したり、あるいは、仮想オブジェクトＯｖの配置や向きを変更したりすることにしてもよい。

より具体的な例を挙げると、たとえば、アイドルグループのメンバーそれぞれを独立した仮想オブジェクトＯｖとした場合に、一部のメンバーに対応する仮想オブジェクトＯｖのみを表示したり、仮想オブジェクトＯｖの配置を変更することで、メンバー同士のポジションを変更させたりすることができる。

たとえば、表示制御部８４は、上記のユーザ操作に関する情報を表示部６４から受け取り、受け取ったユーザ操作に関する情報に基づき、一部の仮想オブジェクトＯｖの多視点画像を情報処理装置１０に配信するよう要求する。これにより、一部の仮想オブジェクトＯｖのみを重畳表示したＡＲコンテンツ１００を提供することができる。なお、表示制御部８４は、表示しない仮想オブジェクトＯｖについて所定のマスク処理を施すことで、一部の仮想オブジェクトＯｖのみを表示するようにしてもよい。

また、表示制御部８４は、ユーザ操作に関する情報に基づき、対応する仮想オブジェクトＯｖの配置や向きを変更することで、仮想オブジェクトＯｖの配置や向きが変更されたＡＲコンテンツ１００を提供することができる。

その他、表示制御部８４は、たとえば、ユーザ操作に基づき、ＡＲコンテンツ１００として表示する仮想オブジェクトＯｖの追加を行うようにしてもよい。たとえば、異なるライブで撮影された複数の多視点映像からユーザが選択したメンバーに対応する仮想オブジェクトＯｖを組み合わせたＡＲコンテンツ１００を提供することができる。

すなわち、複数のライブ映像からユーザが選抜したメンバーのＡＲコンテンツ１００を提供することにしてもよい。この際、たとえば、選抜された仮想オブジェクトＯｖは同一人物であってもよく、異なる人物であってもよい。

また、ＡＲコンテンツ１００の再生時において、表示制御部８４は、ユーザ操作に基づき、一部の仮想オブジェクトＯｖのみを一時停止したり、再生速度を変更したりすることにしてもよい。すなわち、表示制御部８４は、ＡＲコンテンツ１００内で仮想オブジェクトＯｖ毎に複数の時間軸を設定することにしてもよい。また、表示制御部８４は、仮想オブジェクトＯｖに対するサイズ変更を受け付けることにしてもよい。

音声制御部８５は、撮像画像Ｇの撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する。図８は、仮想オブジェクトＯｖと音声発生源との関係性を示す模式図である。図８には、３軸の直交座標を示し、外向きカメラ６１と仮想オブジェクトＯｖの位置関係を示すワールド座標系に対応する。

図８に示すように、たとえば、仮想オブジェクトＯｖの頭部に音声発生源Ｓｓが設定される。すなわち、図８に示す例では、音声制御部８５は、仮想オブジェクトＯｖから音声が発生されるように音声出力を制御する。

ここで、たとえば、外向きカメラ６１の撮像位置が変化すると、ＡＲコンテンツ１００における仮想オブジェクトＯｖの位置が変化し、これに伴い音声発生源Ｓｓの位置が変化することになる。

そのため、音声制御部８５は、これらの位置関係に基づき、音声出力部６５の出力を制御することで、ＡＲコンテンツ１００における音声発生源Ｓｓの位置を一致させる処理を行う。具体的には、たとえば、撮像画像Ｇにおいて仮想オブジェクトＯｖか右側に表示される場合、ユーザの右側から音声が聞こえるように音声出力部６５を制御し、撮像画像Ｇにおいて仮想オブジェクトＯｖが手前側に表示される場合には、手前側から音声が聞こえるように音声出力部６５を制御する。

このように、音声制御部８５は、音声発生源Ｓｓの位置変化にあわせて音声制御をコントロールすることで、リアリティーの高いＡＲコンテンツ１００を提供することができる。なお、上記の例では、音声発生源Ｓｓが一つである場合について示したが、音声発生源Ｓｓは複数であってもよい。この場合、音声制御部８５は、音声発生源Ｓｓ毎に位置関係に基づき、音声制御を行う。

また、たとえば、音声制御部８５は、音声発生源Ｓｓが複数である場合には、音声発生源Ｓｓ毎に音量等の各種調整や、音声発生源Ｓｓの統合などを行うことにしてもよい。また、音声制御部８５は、たとえば、音声発生源Ｓｓの位置を変更する操作を受け付けることにしてもよい。この場合、たとえば、当初設定された音声発生源Ｓｓとは別の任意の座標に音声発生源Ｓｓを設定することにしてもよい。

また、音声制御部８５は、たとえば、ユーザ操作に基づき、音声の削除、追加等を行うことにしてもよい。すなわち、複数の多視点映像から任意の音声を組み合わせて出力することにしてもよい。この場合、たとえば、異なる歌手が歌っている音声を他の歌手の仮想オブジェクトＯｖが歌っているかのようなＡＲコンテンツ１００などを提供することができる。

〔３．処理手順〕
次に、図９および図１０を用いて、実施形態に係る情報処理装置１０および表示制御装置５０が実行する処理手順について説明する。まず、図９を用いて、情報処理装置１０が実行する処理手順について説明する。図９は、情報処理装置１０が実行する処理手順を示すフローチャートである。なお、以下に示す処理手順は、情報処理装置１０の制御部４０によって配信要求の取得毎に繰り返し実行される。

図９に示すように、まず、情報処理装置１０は、配信要求を受け付ける（ステップＳ１０１）。つづいて、情報処理装置１０は、受け付けた配信要求に基づき、多視点映像を配信し（ステップＳ１０２）、処理を終了する。

なお、多視点映像の配信時において、情報処理装置１０は、注視点情報に基づき、視点位置を変更した仮想オブジェクトＯｖの多視点画像を随時選択し、選択した多視点画像を配信する。

次に、図１０を用いて、表示制御装置５０が実行する処理手順について説明する。図１０は、表示制御装置５０が実行する処理手順の一例を示すフローチャートである。なお、以下に示す処理手順は、ＡＲコンテンツ１００の提供毎に表示制御装置５０の制御部８０によって実行される。

図１０に示すように、まず、表示制御装置５０は、たとえば、周囲を撮像した撮像画像等に基づき、周囲に実在する実在オブジェクトＯｒの実在オブジェクトサイズを推定する（ステップＳ２０１）。

つづいて、表示制御装置５０は、推定した実在オブジェクトサイズに基づき、仮想オブジェクトＯｖを表示する際の仮想オブジェクトサイズを決定する（ステップＳ２０２）。つづいて、表示制御装置５０は、決定した仮想オブジェクトサイズに基づき、仮想オブジェクトＯｖの表示領域Ａを設定する（ステップＳ２０３）。

その後、表示制御装置５０は、情報処理装置１０から多視点映像を取得し（ステップＳ２０４）、取得した多視点映像を撮像画像Ｇに重畳表示したＡＲコンテンツ１００を表示し（ステップＳ２０５）、処理を終了する。

〔４．変形例〕
上述した表示制御システムＳは、上記実施形態以外にも種々の異なる形態にて実施されてもよい。そこで、以下では、表示制御システムＳの他の実施形態について説明する。

たとえば、表示制御装置５０は、カメラ（外向きカメラ６１および内向きカメラ６２）と分離した構成であってもよい。また、表示制御装置５０が提供するコンテンツは、ＡＲコンテンツ１００に限られず、たとえば、撮像画像Ｇに基づき、実空間をアニメーション等に変換したＶＲ（Virtual Reality）コンテンツを提供することにしてもよい。

〔５．効果〕
上述してきたように、実施形態に係る表示制御装置５０は、周囲に実在する実在オブジェクトＯｒのサイズである実在オブジェクトサイズを推定するサイズ推定部８２（推定部の一例）と、サイズ推定部８２によって推定された実在オブジェクトサイズと、多視点画像中の仮想オブジェクトＯｖに設定されたサイズである仮想オブジェクトサイズとに基づき、周囲を撮像した撮像画像Ｇに重畳表示する仮想オブジェクトＯｖの表示サイズを設定する表示面設定部８３（設定部の一例）と、表示面設定部８３によって設定された表示サイズで仮想オブジェクトを撮像画像Ｇに表示する表示制御部８４とを備える。

したがって、実施形態に係る表示制御装置５０によれば、仮想オブジェクトＯｖの表示サイズを適切（実寸大）に表示することができるので、ＡＲコンテンツ１００における臨場感の向上を図ることができる。

また、実施形態に係る表示制御装置５０において、表示面設定部８３は、撮像画像Ｇの撮像位置にあわせて表示サイズを設定する。これにより、実施形態に係る表示制御装置５０は、ＡＲコンテンツ１００における実世界の視点位置にあわせて適切な表示サイズに仮想オブジェクトＯｖを設定することができる。

また、実施形態に係る表示制御装置５０において、表示制御部８４は、多視点画像中の複数の仮想オブジェクトＯｖのうち、選択された一部の仮想オブジェクトＯｖを撮像画像Ｇに重畳表示し、選択されなかった仮想オブジェクトＯｖを撮像画像Ｇに重畳表示しない。したがって、実施形態に係る表示制御装置５０によれば、ユーザによるＡＲコンテンツ１００のカスタマイズを容易にすることができる。

また、実施形態に係る表示制御装置５０において、表示制御部８４は、複数の多視点画像から選択した仮想オブジェクトＯｖを組み合わせて撮像画像Ｇに重畳表示する。したがって、実施形態に係る表示制御装置５０によれば、複数のコンテンツを組み合わせたＡＲコンテンツ１００を容易に生成することができる。

また、実施形態に係る表示制御装置５０において、表示制御部８４は、多視点画像中の複数の仮想オブジェクトＯｖのうち、選択された一部の仮想オブジェクトＯｖの配置を変えて撮像画像Ｇに重畳表示する。したがって、実施形態に係る表示制御装置５０によれば、ユーザによるＡＲコンテンツ１００のカスタマイズを容易にすることができる。

また、実施形態に係る表示制御装置５０は、撮像画像の撮像位置と、多視点画像において設定された音声発生源との位置関係に基づき、音声出力を制御する音声制御部８５を備える。したがって、実施形態に係る表示制御装置５０によれば、音声発生源Ｓｓと仮想オブジェクトＯｖとを一致させることができるので、より臨場感の高いＡＲコンテンツ１００を提供することができる。

実施形態に係る表示制御装置５０において、音声制御部８５は、複数の多視点画像に対応付けられた音声を同じ画像内で出力する。したがって、実施形態に係る表示制御装置５０によれば、別々に収録した音声を同一のＡＲコンテンツ１００として提供することができるので、ユーザによるＡＲコンテンツ１００のカスタマイズを容易にすることができる。

また、実施形態に係る表示制御方法は、コンピュータが実行する表示制御方法であって、周囲に実在する実在オブジェクトＯｒのサイズである実在オブジェクトサイズを推定する推定工程と、推定工程によって推定された実在オブジェクトサイズと、多視点画像中の仮想オブジェクトＯｖに設定されたサイズである仮想オブジェクトサイズとに基づき、周囲を撮像した撮像画像Ｇに重畳表示する仮想オブジェクトＯｖの表示サイズを設定する設定工程と、設定工程によって設定された表示サイズで仮想オブジェクトＯｖを撮像画像Ｇに表示する表示制御工程とを含む。したがって、実施形態に係る表示制御方法によれば、仮想オブジェクトＯｖの表示サイズを適切（実寸大）に表示することができるので、ＡＲコンテンツ１００における臨場感の向上を図ることができる。

また、実施形態に係る表示制御プログラムは、周囲に実在する実在オブジェクトＯｒのサイズである実在オブジェクトサイズを推定する推定手順と、推定手順によって推定された実在オブジェクトサイズと、多視点画像中の仮想オブジェクトＯｖに設定されたサイズである仮想オブジェクトサイズとに基づき、周囲を撮像した撮像画像Ｇに重畳表示する仮想オブジェクトＯｖの表示サイズを設定する設定手順と、設定手順によって設定された表示サイズで仮想オブジェクトＯｖを撮像画像Ｇに表示する表示制御手順とをコンピュータに実行させる。したがって、実施形態に係る表示制御プログラムによれば、仮想オブジェクトＯｖの表示サイズを適切（実寸大）に表示することができるので、ＡＲコンテンツ１００における臨場感の向上を図ることができる。

〔６．ハードウェア構成〕
また、上述してきた実施形態に係る表示制御装置５０は、例えば図１１に示すような構成のコンピュータ１０００によって実現される。図１１は、実施形態に係る表示制御装置５０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、ネットワーク（通信ネットワーク）Ｎを介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータをネットワークＮを介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置（図１０では、出力装置および入力装置を総称して「入出力装置」と記載する）を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が実施形態に係る表示制御装置５０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、制御部１２０の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置からネットワークＮを介してこれらのプログラムを取得してもよい。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

〔７．その他〕
また、上記実施形態及び変形例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上述してきた実施形態及び変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、自己位置推定部８１は、自己位置推定部手段や自己位置推定部回路に読み替えることができる。

１０ 情報処理装置
２０ 通信部
３０ 記憶部
３１ 多視点映像データベース
４０ 制御部
４１ 選択部
４２ 配信部
５０ 表示制御部
７０ 記憶部
７１ マップ情報記憶部
７２ サイズ情報記憶部
８０ 制御部
８１ 自己位置推定部
８２ サイズ推定部（推定部の一例）
８３ 表示面設定部（設定部の一例）
８４ 表示制御部
８５ 音声制御部
１００ ＡＲコンテンツ
Ｇ 撮像画像
Ｏｒ 実在オブジェクト
Ｏｖ 仮想オブジェクト

Claims (8)

1. 周囲に実在する実在オブジェクトのサイズである実在オブジェクトサイズを推定する推定部と、
   前記推定部によって推定された前記実在オブジェクトサイズと、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトに設定されたサイズである仮想オブジェクトサイズとに基づき、前記周囲を撮像した撮像画像に重畳表示する前記仮想オブジェクトの表示サイズを設定する設定部と、
   前記設定部によって設定された前記表示サイズで前記仮想オブジェクトを前記撮像画像に表示する表示制御部と
   を備え、
   前記設定部は、
   前記仮想オブジェクトが再生中に移動する移動範囲を内包する空間であって、再生中に仮想オブジェクトがすべての前記実在オブジェクトと衝突しない空間を前記仮想オブジェクトの表示領域として設定し、
   前記表示制御部は、
   前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトと前記実在オブジェクトとの位置関係の変化に応じた前記表示サイズで前記仮想オブジェクトを表示する
   ことを特徴とする表示制御装置。
2. 前記設定部は、
   前記撮像画像の撮像位置にあわせて前記表示サイズを設定すること
   を特徴とする請求項１に記載の表示制御装置。
3. 前記表示制御部は、
   前記多視点画像中の複数の前記仮想オブジェクトのうち、選択された一部の前記仮想オブジェクトを前記撮像画像に重畳表示し、選択されなかった前記仮想オブジェクトを前記撮像画像に重畳表示しないこと
   を特徴とする請求項１または２に記載の表示制御装置。
4. 前記表示制御部は、
   複数の前記多視点画像中の前記仮想オブジェクトを組み合わせて前記撮像画像に重畳表示すること
   を特徴とする請求項１、２または３に記載の表示制御装置。
5. 前記表示制御部は、
   前記多視点画像中の複数の前記仮想オブジェクトのうち、選択された一部の前記仮想オブジェクトの配置を変えて前記撮像画像に重畳表示すること
   を特徴とする請求項１～４のいずれか一つに記載の表示制御装置。
6. 前記表示制御部は、
   前記仮想オブジェクト毎に前記表示サイズの変更、再生、一時停止を受け付けること
   を特徴とする請求項１～５のいずれか一つに記載の表示制御装置。
7. コンピュータが実行する表示制御方法であって、
   周囲に実在する実在オブジェクトのサイズである実在オブジェクトサイズを推定する推定工程と、
   前記推定工程によって推定された前記実在オブジェクトサイズと、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトに設定されたサイズである仮想オブジェクトサイズとに基づき、前記周囲を撮像した撮像画像に重畳表示する前記仮想オブジェクトの表示サイズを設定する設定工程と、
   前記設定工程によって設定された前記表示サイズで前記仮想オブジェクトを前記撮像画像に表示する表示制御工程と
   を含み、
   前記設定工程は、
   前記仮想オブジェクトが再生中に移動する移動範囲を内包する空間であって、再生中に仮想オブジェクトがすべての前記実在オブジェクトと衝突しない空間を前記仮想オブジェクトの表示領域として設定し、
   前記表示制御工程は、
   前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトと前記実在オブジェクトとの位置関係の変化に応じた前記表示サイズで前記仮想オブジェクトを表示する
   ことを特徴とする表示制御方法。
8. 周囲に実在する実在オブジェクトのサイズである実在オブジェクトサイズを推定する推定手順と、
   前記推定手順によって推定された前記実在オブジェクトサイズと、実在するオブジェクトを多視点から撮影した多視点画像として表示される仮想オブジェクトに設定されたサイズである仮想オブジェクトサイズとに基づき、前記周囲を撮像した撮像画像に重畳表示する前記仮想オブジェクトの表示サイズを設定する設定手順と、
   前記設定手順によって設定された前記表示サイズで前記仮想オブジェクトを前記撮像画像に表示する表示制御手順と
   をコンピュータに実行させ、
   前記設定手順は、
   前記仮想オブジェクトが再生中に移動する移動範囲を内包する空間であって、再生中に仮想オブジェクトがすべての前記実在オブジェクトと衝突しない空間を前記仮想オブジェクトの表示領域として設定し、
   前記表示制御手順は、
   前記撮像画像の撮像位置の変化に応じた視点位置からみた前記仮想オブジェクトを表示するとともに、前記仮想オブジェクトと前記実在オブジェクトとの位置関係の変化に応じた前記表示サイズで前記仮想オブジェクトを表示する
   ことを特徴とする表示制御プログラム。

Images