JP7349793B2 - 画像処理装置および画像処理方法、プログラム - Google Patents

Description

本発明は、画像処理装置および画像処理方法、プログラムに関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該同期撮影により得られた複数視点画像を用いて、カメラ設置位置からの画像だけでなく任意の視点から観察される仮想視点画像を生成する技術が注目されている。このような仮想視点画像の生成及び閲覧は、複数のカメラが撮影した画像をサーバ装置などの画像処理部に集約し、この画像処理部にて、視点に基づくレンダリングなどの処理を施し、ユーザ端末に仮想視点画像を表示することで実現できる。

特許文献１では、二次元のディスプレイ上に視線方向が同じである２つの仮想視点画像を重ねて表示する技術について開示されている。

特開２０１８－０３６９５６号公報

しかしながら、特許文献１に記載の技術では、ユーザがある仮想視点に応じた仮想視点画像を見ながら、その仮想視点とは独立して指定可能な別の仮想視点に応じた仮想視点画像を確認することができなかった。例えば、ヘッドマウントディスプレイ（以下、ＨＭＤ）の左右のディスプレイに視差のある仮想視点画像を表示することにより、ＨＭＤ装着者は仮想視点画像で構築された三次元仮想空間の中にいるかのような体験が可能になる。このような仮想視点画像で構築された三次元仮想空間の中で、ＨＭＤ装着者が指定した別の仮想視点に応じた仮想視点画像を確認することはできなかった。

本発明は、ある仮想視点に応じた仮想視点画像を見ながら、当該仮想視点とは別に指定される仮想視点に応じた仮想視点画像を見ることを可能にする技術を提供する。

本発明の一態様による画像処理装置は以下の構成を備える。すなわち、
複数の撮像装置による撮像により取得される複数の画像に基づいて仮想視点画像を生成する画像処理装置であって、
第１操作部材に対する操作に基づいて第１仮想視点の位置および前記第１仮想視点からの視線方向を示す第１視線情報と、前記第１操作部材と異なる第２操作部材に対する操作に基づいて第２仮想視点の位置および前記第２仮想視点からの視線方向を示す第２視線情報と、を取得する取得手段と、
前記第１視線情報に基づいて第１仮想視点画像を生成し、前記第１仮想視点画像と共に表示される第２仮想視点画像を、前記第２視線情報に基づいて生成する生成手段と、を備える。

本発明によれば、ある仮想視点に応じた仮想視点画像を見ながら、当該仮想視点とは別に指定される仮想視点に応じた仮想視点画像を見ることが可能になる。

第１実施形態による画像生成装置のハードウェア構成例を示すブロック図。 第１実施形態による画像生成装置の機能構成例を示すブロック図。 第１実施形態の画像生成装置による画像生成処理を示すフローチャート。 第二の仮想視点に基づくレンダリング処理を示すフローチャート。 第一の仮想視点に基づくレンダリング処理を示すフローチャート。 仮想ディスプレイの表示位置制御を示すフローチャート。 三次元物理空間と三次元仮想空間の対応関係を示す模式図。 仮想ディスプレイの位置を制御した結果を示す模式図。 パブリックビューイングへの適用を示す模式図。 ＨＭＤとコントローラ（仮想カメラ）に対応する仮想視点を説明する模式図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜第１実施形態＞
第1実施形態では、仮想視点画像で構築された三次元仮想空間において、仮想視点画像のカメラワークを行う場合について説明する。

図１は第1実施形態に係る画像生成装置１００のハードウェア構成例を示すブロック図である。ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）は、各種処理のための演算や論理判断などを行い、システムバス１０９に接続された各構成要素を制御する。画像生成装置１００には、プログラムメモリとデータメモリを含むメモリが搭載されている。例えば、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２は、プログラムメモリであって、後述する各種処理手順を含むＣＰＵによる制御のためのプログラムを格納する。また、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３は、データメモリであり、ＣＰＵ１０１の上記プログラムのワーク領域、エラー処理時のデータの退避領域、上記制御プログラムのロード領域などを有する。なお、画像生成装置１００に接続された外部記憶装置などからＲＡＭ１０３にプログラムをロードすることで、プログラムメモリを実現しても構わない。

ＨＤＤ１０４は、第1実施形態に係る複数の電子データやプログラムを記憶しておくためのハードディスクである。同様の役割を果たすものとして、上述した外部記憶装置が用いられてもよい。外部記憶装置は、例えば、メディア（記録媒体）と、当該メディアへのアクセスを実現するための外部記憶ドライブとで実現することができる。このようなメディアとしては、例えば、フレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤ、ＵＳＢメモリ、ＭＯ、フラッシュメモリ等が知られている。また、外部記憶装置は、ネットワークで接続されたサーバ装置などであってもよい。

ヘッドマウントディスプレイ（以下、ＨＭＤ１０５）は、左右の目の位置に配置されたディスプレイに画像生成装置１００の出力を表示するためのデバイスである。また、ＨＭＤ１０５は、ユーザの頭部の位置を画像生成装置１００に入力するためのデバイスとしても機能する。第１実施形態では、視差を利用した三次元仮想空間を構築するため、左右の目の位置に配置されたディスプレイには、視差を考慮して得られた左目用と右目用の２種類の仮想視点画像が表示される。通信Ｉ／Ｆ１０６は、公知の通信技術によって、複数のカメラ１０８と有線あるいは無線で接続し撮影データを受信するとともに、放送局などに生成した仮想視点画像を送信する。コントローラ１０７は、例えば、ユーザが手に保持して携帯可能な入力デバイスであり、自身の位置および姿勢を画像生成装置１００に出力する。

図７は、本実施形態における三次元物理空間と三次元仮想空間との関係を示した模式図である。図７（ａ）は、三次元物理空間を示した模式図である。三次元物理空間にいるユーザ７０１は、ＨＭＤ１０５を装着し、コントローラ１０７を手に保持している。図７（ｂ）は、三次元仮想空間を示した模式図である。ユーザ７０１は、ＨＭＤ１０５を介して三次元仮想空間７０２を観察する。また、ユーザ７０１が保持している三次元物理空間におけるコントローラ１０７（図７（ａ））は、三次元仮想空間７０２では仮想カメラ７０３として観察される。また、仮想カメラ７０３に付帯する仮想ディスプレイ７０４が、ＨＭＤ１０５を介して仮想的に表示されている。

仮想ディスプレイ７０４の表示領域７０５には、仮想カメラ７０３によって仮想的に撮影された三次元仮想空間７０２の仮想視点画像が表示されている。すなわち、仮想カメラ７０３に付帯している仮想ディスプレイ７０４には、仮想カメラ７０３によって特定される仮想視点を基に生成された仮想視点画像が、仮想的に表示される。ここで仮想的に表示されるというのは、ＨＭＤ１０５を介してユーザ７０１には仮想ディスプレイ７０４の表示領域７０５に仮想視点画像が表示されているように見えるという意味である。７０６、７０７、７０８は三次元仮想空間に存在し前景として表示される選手等のオブジェクトである。７０９は、仮想カメラ７０３の画角（撮影範囲の境界）を仮想視点画像で構築された三次元仮想空間に表示したガイド線である。図７（ｂ）では、ガイド線７０９が４本の二重線で表示されている。ガイド線７０９により、ユーザ７０１は、仮想ディスプレイ７０４を常時見続けることなく仮想カメラ７０３の画角を知ることができる。

図２は、第１実施形態に係る画像生成装置１００の機能構成の一例を示すブロック図である。画像生成装置１００が有する各機能部は、ＣＰＵ１０１が、ＲＯＭ１０２に格納されたプログラムをＲＡＭ１０３に展開し、後述する各フローチャートに従った処理を実行することで実現される。なお、各機能部は、少なくともその一部またはすべてが専用のハードウェアによって実現されてもよい。以下、機能部について説明する。

画像取得部２０１は、複数のカメラ１０８の同期撮影により得られた複数の画像を取得する。前景・背景分離部２０２は、画像取得部２０１が取得した画像を、動きのある前景と動きのない背景に分離する。前景と背景の分離には既存の手法を用いることができる。たとえば、複数のフレームにわたり画素の変化がないまたは少ない領域を背景とし、画素が変化する領域を前景として分離してもよい。たとえばサッカーの場合、前景は選手やボールに相当し、背景はフィールドや観客席に相当する。

前景形状生成部２０３は、前景・背景分離部２０２が切り出した前景に基づいてオブジェクト（選手やボール）の三次元形状および３Ｄ仮想空間での位置を推定する。前景は、複数のカメラ１０８で様々な角度から撮影したオブジェクトの画像である。三次元形状の推定にはビジュアルハルなどの方法を用いるのが一般的である。背景形状生成部２０４は、前景・背景分離部２０２が切り出した背景に基づいてオブジェクト（スタジアムなど）の三次元形状を推定する。スタジアムなど建造物の場合は三次元形状を別途用意することも可能である。その場合は事前にＨＤＤ１０４に背景モデルを保存しておき、それを読み出すものとする。

入力データ取得部２０５は、ユーザが装着するＨＭＤ１０５の位置／姿勢を特定するためのセンシングデータと、ＨＭＤ１０５に表示する仮想視点画像の画角データとを取得する。また、入力データ取得部２０５は、ユーザが保持するコントローラ１０７の位置／姿勢を特定するためのセンシングデータを取得する。上述したように、コントローラ１０７は、三次元仮想空間では仮想カメラとして観察される。入力データ取得部２０５は、さらに仮想カメラに付帯する仮想ディスプレイに表示する仮想視点画像の画角データを取得する。ＨＭＤ１０５はコントローラ１０７などのデバイスの位置／姿勢をセンシングする方法としては、既存の技術を利用することができる。例えば、加速度センサ、地磁気センサ、赤外線、レーダ、ビーコンの利用、画像処理によりデバイスの位置／姿勢を特定することがあげられる。

位置／姿勢算出部２０６は、入力データ取得部２０５が取得したセンシングデータを基に、デバイスが存在する場所における座標系（以下、デバイス座標系と呼ぶ）でのデバイスの位置／姿勢を算出する。本例において、デバイスとはＨＭＤ１０５およびコントローラ１０７である。仮想視点算出部２０７は、位置／姿勢算出部２０６が算出したデバイスの位置／姿勢を基に、仮想視点の位置と方向を決定する。

図１０（ａ）は、ＨＭＤ１０５の位置／姿勢を基にＨＭＤ１０５の左右のディスプレイに表示する仮想視点画像の仮想視点を算出する様子を示した模式図である。図１０（ａ）において、ＨＭＤ１０５の位置／姿勢は、ベクトル１００１で表現されている。ベクトル１００１の始点がＨＭＤ１０５の位置を、矢印がＨＭＤ１０５の姿勢（方向）を意味している。図１０（ａ）では、ＨＭＤ１０５の前方にベクトルが向いている様子が分かる。ＨＭＤ１０５の位置／姿勢を基に、ＨＭＤ１０５の右目用のディスプレイ１００２、左目用のディスプレイ１００５の位置および方向（ベクトル１００４，１００７）がＨＭＤ１０５の形状データに基づいてそれぞれ算出される。

より具体的には、仮想視点算出部２０７は、ＨＭＤ１０５の位置／姿勢に基づいて決定されるベクトル１００１を基準に、右目用のディスプレイ１００２の中心位置１００３と左目用のディスプレイ１００５の中心位置１００６を算出する。計算に必要なＨＭＤ１０５の形状データは事前に取得されているものとする。仮想視点算出部２０７は、中心位置１００３を右目用の仮想視点の位置に設定し、これを視点としてベクトル１００１と平行な方向を右目用の仮想視点の方向に設定する。結果、ベクトル１００４で表される右目用の仮想視点が得らえる。同様に、仮想視点算出部２０７は、中心位置１００６を左目用の仮想視点の位置に設定し、ベクトル１００７で表される左目用の仮想視点を得る。

以上のようにして、左右それぞれの仮想視点の位置と方向が決定される。但し、決定された仮想視点はデバイス座標系における仮想視点なので、仮想視点算出部２０７は、これをスタジアム座標系の仮想視点に変換する。なお、スタジアム座標系とは、複数のカメラ１０８により撮影される空間について設定されている座標系の一例である。本実施形態では、複数のカメラ１０８の撮影対象がスタジアムであるためスタジアム座標系という名称を用いる。ただし、複数のカメラ１０８の撮影対象はスタジアムに限定されず、例えばライブステージなどであってもよい。撮影対象がスタジアムでない場合も、デバイス座標系から撮影対象の場所に応じた座標系への変換が行われる。このような座標系の変換は一般的な方法を用いることができる。デバイス座標系とスタジアム座標系のどちらも物理空間なので、スケールは同じでよく、各軸の方向を合わせておけば単純なシフト移動によって座標系の変換を行うことが可能である。

同様に、仮想視点算出部２０７は、位置／姿勢算出部２０６が算出したコントローラ１０７の位置／姿勢を基に、仮想カメラ７０３の仮想視点を算出する。図１０（ｂ）は、コントローラ１０７の位置／姿勢を示した模式図である。ベクトル１００８の始点がコントローラ１０７の位置、矢印がコントローラ１０７の姿勢を表している。図１０（ｃ）は、三次元仮想空間で観察される仮想カメラ７０３の模式図である。仮想ディスプレイ７０４が、仮想カメラ７０３に付帯している。ベクトル１００９は、仮想カメラ７０３の位置／姿勢を示すベクトルであるとともに、仮想カメラ７０３により特定される仮想視点を表すベクトルでもある。コントローラ１０７と仮想カメラ７０３の位置と方向は、例えばベクトル１００８とベクトル１００９により事前に対応付けされている。

仮想視点算出部２０７は、コントローラ１０７のセンシングされた位置／姿勢を基に、仮想カメラ７０３による仮想視点を決定する。こうして決定された仮想視点はデバイス座標系の仮想視点であるため、仮想視点算出部２０７は、これをスタジアム座標系の仮想視点に変換する。座標系の変換は、ＨＭＤによる仮想視点について上述したとおりである。なお、仮想ディスプレイ７０４には、仮想カメラ７０３の仮想視点を基に生成した仮想視点画像が仮想的に表示される。

図２に戻り、レンダリング処理部２０９は、仮想視点算出部２０７が算出したＨＭＤ１０５による第一の仮想視点（ベクトル１００４，１００７）から観察される、第一の仮想視点画像を生成する。また、レンダリング処理部２０９は、仮想視点算出部２０７が算出したコントローラ１０７による第二の仮想視点（ベクトル１００９）から観察される第二の仮想視点画像を生成する。それぞれの仮想視点画像は、仮想視点と、前景形状生成部２０３および背景形状生成部２０４が生成した三次元形状と、カメラ１０８が撮影した撮影データに基づいて生成される。生成された仮想視点画像は、画像保持部２１０に保持される。

レンダリング処理部２０９は、ＨＭＤ１０５による仮想視点から観察される第一の仮想視点画像を画像保持部２１０から読み出し、三次元仮想空間の画像として描画する。また、レンダリング処理部２０９は、コントローラ１０７の位置／姿勢に応じて仮想カメラ７０３および仮想ディスプレイ７０４を三次元仮想空間内に描画する。仮想物体モデル保持部２０８には、仮想カメラ７０３及び仮想ディスプレイ７０４の三次元形状モデルが保持されており、レンダリング処理部２０９はこれらのモデルを用いることができる。さらに、レンダリング処理部２０９は、画像保持部２１０が保持している第二の仮想視点画像を読み出し、仮想ディスプレイ７０４の画面のテクスチャとして利用する。こうして、三次元仮想空間における仮想カメラ７０３の仮想ディスプレイ７０４に、仮想カメラ７０３により撮影された仮想視点画像が表示される。

画像保持部２１０は、レンダリング処理部２０９が生成した仮想視点画像を保持する。画像出力部２１１は、レンダリング処理部２０９が生成した仮想視点画像をＨＭＤ１０５に出力することで、ＨＭＤ１０５の表示部に仮想視点画像を表示させる。また、画像出力部２１１は、画像保持部２１０が保持する仮想視点画像を放送局などに出力する。なお、画像取得部２０１、前景・背景分離部２０２、前景形状生成部２０３、背景形状生成部２０４のいずれかあるいはすべてが画像生成装置１００の外部の構成であってもよい。また、レンダリング処理部２０９の機能のうち、第一の仮想視点画像と第二の仮想視点画像を生成する機能を外部装置に持たせるようにしてもよい。

図３は、第１実施形態に係る画像生成装置１００の処理の流れを示すフローチャートである。図３のフローチャートでは１フレーム分の仮想視点画像を生成・出力する処理の流れを示す。したがって、図３に示される処理を１秒間に６０回繰り返すことで６０フレーム／秒の仮想視点画像が生成される。

ステップＳ３０１において、画像取得部２０１は、複数のカメラ１０８が撮影した複数の画像を取得する。取得した画像は時間同期して撮影されたものである。ステップＳ３０２において、前景／背景分離部２０２は、画像取得部２０１が取得した複数の画像それぞれに対して、前景と背景を分離する画像処理を行う。前景／背景分離は背景差分法などの一般的な方法で実現可能である。例えば、背景差分法では、前景がない状態で撮影した画像を保持しておき、その画像との差分をとることで前景を得ることができる。

ステップＳ３０３において、背景形状生成部２０４は、前景／背景分離部２０２が分離した背景に基づいて背景の形状モデルを生成する。ステップＳ３０４において、前景形状生成部２０３は、前景／背景分離部２０２が分離した前景に基づいて前景の形状モデルを生成する。これらの形状モデルの生成には、例えば、ビジュアルハルやフォトハルなどの一般的な技術を用いることができる。なお、背景モデルは、例えば、事前に用意したスタジアムの形状モデルから取得されてもよいし、スタジアムの形状をレーザースキャナー等で測定することにより取得されてもよい。

ステップＳ３０５において、レンダリング処理部２０９は第二の仮想視点に基づいてレンダリングを行うことで第二の仮想視点画像を生成する。上述したように、第二の仮想視点とは、ユーザが保持するコントローラ１０７を仮想カメラに見立てた場合の仮想視点（図１０（ｃ）のベクトル１００９）を意味する。ステップＳ３０５で生成される第二の仮想視点画像は、後述のステップＳ３０６において、仮想ディスプレイ７０４のテクスチャとしてレンダリングに利用される。ステップＳ３０５の詳細な処理のフローチャートに関しては後述する。

ステップＳ３０６において、レンダリング処理部２０９は第一の仮想視点に基づいてレンダリングを行うことで第一の仮想視点画像を生成する。第一の仮想視点とは、ユーザが装着するＨＭＤ１０５の左右ディスプレイの位置に基づく仮想視点を意味する。この場合、左右にそれぞれディスプレイが存在するので、２つの第一の仮想視点が存在（図１０（ａ）のベクトル１００４と１００７）する。結果、左目用と右目用の２つの第一の仮想視点画像が存在する。

ステップＳ３０７において、画像出力部２１１は、レンダリング処理部２０９が生成した２つの第一の仮想視点画像をＨＭＤ１０５の左右のディスプレイにそれぞれ出力する。こうして、レンダリング処理部２０９および画像出力部２１１は、第一の仮想視点画像内に第二の仮想視点画像を表示させる表示制御を行う。また、画像出力部２１１は、画像保持部２１０が保持する仮想視点画像を放送局などに出力し、処理を終了する。なお、画像保持部２１０が保持する仮想視点画像のうち、第一の仮想視点画像はＨＭＤ１０５にのみ出力され、第二の仮想視点画像が放送局や外部の記憶装置へ出力されてもよい。すなわち、第一の仮想視点画像と第二の仮想視点画像との出力先が異なっていてもよい。また、第一の仮想視点画像の出力先はＨＭＤ１０５に限定されず、その他の液晶ディスプレイなどであってもよい。また、第一の仮想視点画像を表示する装置と、第一の仮想視点画像に対応する仮想視点を指定するための操作部とが、別の装置として構成されていてもよい。

図４は、図３のステップＳ３０５における第二の仮想視点に基づくレンダリング処理の流れを示すフローチャートである。先に述べたように、第二の仮想視点とは、ユーザが保持するコントローラ１０７を仮想カメラ７０３に見立てた場合の仮想カメラの仮想視点（図１０（ｃ）のベクトル１００９）を意味する。

ステップＳ４０１において、入力データ取得部２０５は、仮想カメラ７０３の位置／姿勢を特定するためのセンシングデータをコントローラ１０７から取得する。また、入力データ取得部２０５は、仮想カメラ７０３に付帯する仮想ディスプレイ７０４に表示する仮想視点画像の画角データ（仮想カメラ７０３の画角）を取得する。なお、仮想視点画像の画角データは事前に用意しておくものとするが、もちろんこれに限定されるものではない。例えば、ユーザがコントローラ１０７などを介して、仮想カメラ７０３の画角を設定するようにしてもよい。

ステップＳ４０２において、位置／姿勢算出部２０６は、入力データ取得部２０５が取得したコントローラ１０７のセンシングデータを基に、デバイス座標系でのコントローラ１０７の位置／姿勢を算出する。続いて、仮想視点算出部２０７は、仮想物体モデル保持部２０８が保持する仮想カメラのモデルを基に、コントローラ１０７の位置／姿勢をデバイス座標系での仮想カメラの位置／姿勢（仮想視点）に変換する。さらに、デバイス座標系からスタジアム座標系に座標変換することで、スタジアム座標系での第二の仮想視点と画角を得る。

ステップＳ４０３において、レンダリング処理部２０９は、第二の仮想視点からみた場合の仮想視点画像の背景をレンダリングする。背景のレンダリングには、背景形状生成部２０４が生成した背景モデル、および、画像取得部２０１が取得した撮影画像が利用される。ステップＳ４０４において、レンダリング処理部２０９は、第二の仮想視点からみた場合の仮想視点画像の前景をレンダリングする。前景のレンダリングには、前景形状生成部２０３が生成した前景モデル、および、画像取得部２０１が取得した撮影画像が利用される。以上のように、レンダリング処理部２０９は、複数の撮影画像と第二の仮想視点に基づいて第二の仮想視点画像を生成する。

ステップＳ４０５において、レンダリング処理部２０９は、ステップＳ４０３による背景レンダリングの結果にステップＳ４０４による前景レンダリングの結果を重畳することで、第二の仮想視点から見た第二の仮想視点画像を生成する。そして、レンダリング処理部２０９は、第二の仮想視点画像を画像保持部２１０に保存する。

図５は、図３のステップＳ３０６における第一の仮想視点に基づくレンダリング処理を示すフローチャートである。先に述べたように、第一の仮想視点とは、ユーザが装着するＨＭＤ１０５の左右ディスプレイの位置に基づく仮想視点を意味する。この場合、左右にそれぞれディスプレイが存在するので、第一の仮想視点は２つ存在（図１０（ａ）のベクトル１００４と１００７）し、生成される第一の仮想視点画像も２つ存在する。

入力データ取得部２０５および仮想視点算出部２０７は、複数のカメラ１０８が撮影した複数の撮影画像により再現可能な三次元仮想空間における仮想視点画像を生成するための第一の仮想視点を指定する第一の指定部の一例である。まず、ステップＳ５０１において、入力データ取得部２０５は、ＨＭＤ１０５の位置／姿勢を特定するためのセンシングデータをＨＭＤ１０５から取得する。また、入力データ取得部２０５は、ＨＭＤ１０５の左右のディスプレイに表示する仮想視点画像の画角データを取得する。ディスプレイに表示する仮想視点画像の画角データは事前に用意しておくものとするがこれに限定されるものではない。例えば、ユーザがコントローラ１０７などを介して、画角を設定するようにしてもよい。

ステップＳ５０２において、位置／姿勢算出部２０６は、入力データ取得部２０５が取得したＨＭＤ１０５のセンシングデータを基に、デバイス座標系でのＨＭＤ１０５の位置／姿勢を算出する。さらに、仮想視点算出部２０７は、算出したＨＭＤ１０５の位置／姿勢と仮想物体モデル保持部２０８が保持するＨＭＤ１０５のモデルを基に、ＨＭＤ１０５の左右ディスプレイの位置と方向をそれぞれ算出する。仮想視点算出部２０７は、算出した左右のディスプレイの位置と方向をデバイス座標系での仮想視点（ベクトル１００４，１００７）とする。さらに、仮想視点算出部２０７は、デバイス座標系からスタジアム座標系に座標変換することで、スタジアム座標系での第一の仮想視点と画角を得る。

ステップＳ５０３において、レンダリング処理部２０９は、第一の仮想視点からみた場合の仮想視点画像の背景をレンダリングする。背景のレンダリングには、背景形状生成部２０４が生成した背景モデル、および、画像取得部２０１が取得した撮影画像を利用する。ステップＳ５０４において、レンダリング処理部２０９は、第一の仮想視点からみた場合の仮想視点画像の前景をレンダリングする。前景のレンダリングには、前景形状生成部２０３が生成した前景モデル、および、画像取得部２０１が取得した撮影画像を利用する。以上の処理により、レンダリング処理部２０９は、複数の撮影画像と第一の仮想視点に基づいて第一の仮想視点画像を生成する。

以上のように、レンダリング処理部２０９は、ステップＳ５０３～Ｓ５０４で第一の仮想視点画像を取得し、ステップＳ４０３～Ｓ４０４で第二の仮想視点画像を取得する。すなわち、レンダリング処理部２０９は、第一の仮想視点に対応する第一の仮想視点画像と、第一の仮想視点を指定するための操作（ＨＭＤの操作）とは独立した操作（コントローラの操作）により指定された第二の仮想視点に対応する第二の仮想視点画像とを取得する取得部の一例である。なお、上述したように、第一の仮想視点画像および第二の仮想視点画像の少なくとも何れかが外部装置から取得されるようにしてもよい。また、本実施形態では、第一の仮想視点は例えばＨＭＤ１０５により、第二の仮想視点は例えばコントローラ１０７により指定される。

次に、ステップＳ５０５において、入力データ取得部２０５は、仮想カメラ７０３の位置／姿勢を特定するためのセンシングデータをコントローラ１０７から取得する。ステップＳ５０６において、位置／姿勢算出部２０６は、入力データ取得部２０５が取得したコントローラ１０７のセンシングデータを基に、デバイス座標系でのコントローラ１０７の位置／姿勢を算出する。続いて、仮想視点算出部２０７は、仮想物体モデル保持部２０８に保持されている仮想カメラのモデルデータを基に、コントローラ１０７の位置／姿勢をデバイス座標系での仮想カメラ７０３の位置／姿勢に変換する。得られた仮想カメラ７０３の位置／姿勢は、デバイス座標系で表されているので、さらに座標系をデバイス座標系からスタジアム座標系に変換する。こうして、スタジアム座標系での仮想カメラの位置／姿勢が算出される。

ステップＳ５０７において、レンダリング処理部２０９は、仮想カメラ７０３のレンダリングを行う。レンダリング処理部２０９は、仮想物体モデル保持部２０８が保持する仮想カメラ７０３のモデルデータを用いて、第一の仮想視点から見た場合の仮想カメラ７０３をレンダリングする。なお、仮想カメラ７０３は実際には存在しないものなので、事前にＣＧを作成しておく、または、既存のカメラの写真などを利用してテクスチャを用意しておくものとする。

ステップＳ５０８において、レンダリング処理部２０９は、仮想カメラ７０３に付帯する、仮想の表示領域の一例である仮想ディスプレイ７０４の、スタジアム座標系における位置を算出する。これには、ステップＳ５０５で入力データ取得部２０５が取得したコントローラ１０７の位置／姿勢を特定するセンシングデータと、仮想物体モデル保持部２０８が保持する仮想カメラ７０３のモデルデータが用いられる。本実施形態では、仮想カメラ７０３のモデルデータには仮想ディスプレイ７０４のモデルデータが含まれているものとする。レンダリング処理部２０９は、仮想カメラ７０３のモデルデータとスタジアム座標系における位置／姿勢とに基づいて仮想ディスプレイ７０４の位置／姿勢を算出する。以上のステップＳ５０５～Ｓ５０８を実行するレンダリング処理部２０９は、三次元仮想空間に仮想の表示領域を設定する設定部として機能する構成の一例である。

ステップＳ５０９において、レンダリング処理部２０９は、画像保持部２１０が保持する第二の仮想視点に基づく仮想視点画像を読み出す。第二の仮想視点画像は、ステップＳ４０５において画像保持部２１０に保持されたものである。ステップＳ５１０において、レンダリング処理部２０９は、ステップＳ５０８で算出された仮想ディスプレイ７０４の位置／姿勢に従って決定される表示領域７０５に、第二の仮想視点画像をレンダリングする。すなわち、仮想ディスプレイ７０４が有する画面（表示領域７０５）のテクスチャとして、第二の仮想視点に基づく第二の仮想視点画像を利用することになる。

上述のステップＳ５０３、Ｓ５０４，Ｓ５０７、Ｓ５１０では、それぞれ背景、前景、仮想カメラ、仮想ディスプレイのレンダリングが行われる。このレンダリング結果は、これらの処理の順に仮想視点画像として重畳される。重畳に際しては、各オブジェクトの前後関係が考慮されオクルージョン処理が施される。よって、ステップＳ５１０のレンダリングが完了した時点で、第一の仮想視点から見た仮想視点画像が完成することになる。以上のように、レンダリング処理部２０９は、第一の仮想視点画像と仮想の表示領域を描画し、仮想の表示領域に第二の仮想視点画像を描画する描画部として機能する構成の一例である。

以上説明したように、第１実施形態では、第二の仮想視点からみた第二の仮想視点画像を作成し、これを第一の仮想視点から見た第一の仮想視点画像を作成する際のテクスチャとして利用（ステップＳ５０８～Ｓ５１０）する。これにより、第一の仮想視点画像内に第二の仮想視点画像が表示される。そのため、仮想視点画像で構築された三次元仮想空間の中であっても、別の仮想視点画像を確認することが可能になる。

なお、上記実施形態では、仮想ディスプレイ７０４の位置が仮想カメラ７０３の一部として固定されている場合について説明したが、これに限定されるものではなく、状況に応じて仮想ディスプレイ７０４の位置を制御するようにしてもよい。仮想視点画像のスムーズなカメラワークを実現するためには、仮想カメラ７０３を動かしながらも前景（選手やボール）の動きを確認し続ける必要がある。しかしながら、仮想カメラ７０３との前景の位置関係から、仮想ディスプレイ７０４が前景を隠してしまう場合があり、カメラワークに支障が生じる可能性がある。よって、前景を隠さない位置に仮想ディスプレイ７０４を表示することができれば、仮想視点画像を得る際のスムーズなカメラワークの一助となり得る。

上記ステップＳ５０８では、コントローラ１０７の位置／姿勢に基づいて仮想ディスプレイ７０４（仮想の表示領域）の位置、方向が一意に算出される。これに対し、第一の仮想視点画像に存在する前景の位置に応じて仮想ディスプレイ７０４（仮想の表示領域）の位置が決定されるようにしてもよい。図６は、ステップＳ５０８において、前景の位置関係に応じて仮想ディスプレイ７０４の位置を制御するための処理の一例を示すフローチャートである。

ステップＳ６０１において、レンダリング処理部２０９は、ステップＳ５０２で算出した第一の仮想視点の位置と方向を取得する。ステップＳ６０２において、レンダリング処理部２０９は、前景形状生成部２０３から前景の位置を取得する。ステップＳ６０３において、レンダリング処理部２０９は、位置／姿勢算出部２０６から取得したコントローラ１０７の位置に基づいて、スタジアム座標系での仮想ディスプレイ７０４の位置候補を算出する。このとき、本実施形態における仮想ディスプレイ７０４の位置候補は、仮想カメラ７０３の上、右、左の３か所とする。なお、仮想ディスプレイ７０４の候補位置を示す情報は、仮想カメラ７０３のモデルデータに含まれており、仮想物体モデル保持部２０８に保持されているものとする。

ステップＳ６０４において、仮想ディスプレイの位置候補の中で未処理の位置候補を一つ選択する。未処理の位置候補が残ってない場合、処理はステップＳ６１０に移る。ステップＳ６０５において、レンダリング処理部２０９は隠れ判定を行う。隠れ判定とは、ステップＳ６０１で取得した第一の仮想視点から見た場合に、仮想ディスプレイ７０４によってステップＳ６０２で取得した前景が隠れるか否かを判定することである。仮想ディスプレイ７０４によって前景が隠れると判定された場合（ステップＳ６０６でＹＥＳ）、処理はステップＳ６０４に戻り、次の位置候補を選択する。他方、仮想ディスプレイ７０４によって前景が隠れないと判定された場合（ステップＳ６０６でＮＯ）、処理はステップＳ６０７に進む。すなわち、前景に隠れが生じる仮想ディスプレイ７０４の位置は候補から除外され、前景に隠れが生じない仮想ディスプレイ７０４の位置に関しては、ステップＳ６０７以降の表示の見づらさ判定に進むことになる。結果、第一の仮想視点画像に存在する前景を隠さないように仮想ディスプレイ７０４の位置が決定される。

ステップＳ６０７において、レンダリング処理部２０９は、ステップＳ６０４で選択した仮想ディスプレイ７０４の位置／姿勢を取得する。ステップＳ６０８において、レンダリング処理部２０９は、第一の仮想視点から見た仮想ディスプレイ７０４の表示の見づらさを判定する。表示の見づらさの判定には、第一の仮想視点から見た仮想ディスプレイ７０４の位置と方向を考慮する。まず、位置に関しては、画角の中央に近ければ見やすく、離れるにしたがって見づらいと判定する。また、方向に関しては、正対している場合は見やすいと判定し、正対している状態から角度がつくにつれて見づらいと判定する。これらの位置と方向の見づらさを数値化してトータルの見づらさを判定する。ステップＳ６０９において、ステップＳ６０４で選択された仮想ディスプレイ７０４の位置候補に対する数値化した見づらさの値を保持する。その後、処理はステップＳ６０４に戻る。

ステップＳ６１０において、レンダリング処理部２０９は、ステップＳ６０９で保持された仮想ディスプレイ７０４の各位置候補に対する見づらさの値に基づいて、仮想ディスプレイ７０４の位置を決定する。こうして、レンダリング処理部２０９は、仮想ディスプレイ７０４の複数の位置候補から、見づらさの値が最も小さい位置候補（もっとも見やすい位置候補）を仮想ディスプレイ７０４の位置として決定する。以上のように、本実施形態によれば、仮想の表示領域の面が第一の仮想視点と正対するほど、および、仮想の表示領域の位置が第一の仮想視点画像の中央にあるほど高くなる評価値が算出され、評価値に基づいて仮想の表示領域が設定される。

なお、ステップＳ６１０で決定した仮想ディスプレイ７０４の位置に対する見づらさの値が閾値を超えている場合に、見づらさが閾値を下回るようにレンダリング処理部２０９が仮想ディスプレイ７０４の方向を変更するステップを設けてもよい。例えば、第一の仮想視点から見た仮想ディスプレイ７０４の方向（法線方向）が正対から４５度以上の角度にならないように制御することで、見づらさを低減することが可能である。また、評価値として仮想の表示領域の位置と方向を考慮したが、何れか一方を考慮するようにしてもよい。例えば、第一の仮想視点の視線方向と仮想の表示領域の面の法線方向の差が閾値以下となるように制限するようにしてもよい。

また、ステップＳ６０３では、仮想ディスプレイ７０４の位置の候補を取得する場合について説明したがこれに限定されるものではなく、例えば、大きさ、向き、形などの候補を取得するように構成してもよい。

図８は、第一の仮想視点に基づく第一の仮想視点画像の一例を示す模式図である。図８では、第一の仮想視点画像８０１に、前景（選手）８０２、８０３、８０４、ユーザの仮想的な手８０５が表示された状態が示されている。仮想的な手８０５は、仮想物体モデル保持部２０８に保持されているものとする。仮想的な手８０５を表示することでユーザが自身で仮想カメラを制御していることへの理解を高める効果がある。仮想カメラ７０３、仮想ディスプレイ７０４、表示領域７０５については、上述したとおりである。

図８（ａ）は、仮想カメラ７０３の上に仮想ディスプレイ７０４が配置された場合を示す模式図である。この位置に仮想ディスプレイ７０４が配置されることで、前景である選手８０２の足が隠れてしまっている。上記実施形態によれば、前景と仮想ディスプレイ７０４との位置関係を考慮して仮想ディスプレイ７０４が配置される。図８（ｂ）は、仮想カメラ７０３の右に仮想ディスプレイ７０４が配置された場合を示す模式図である。この位置に仮想ディスプレイ７０４が配置されることで、図８（ａ）と比べて、前景である選手８０２を隠すことなく第二の仮想視点に基づく仮想視点画像を確認することができている。

以上説明したように、前景の位置関係に応じて仮想ディスプレイの位置を制御することにより、仮想ディスプレイによって前景を隠すことがなくなり、スムーズなカメラワークの一助となる。なお、上記の例では仮想ディスプレイの位置が仮想カメラの位置に基づいて決まるものとしたが、これに限定されない。例えば、第二の仮想視点画像が第一の仮想視点画像内の所定位置（四隅など）に固定して表示されてもよいし、複数の所定位置の中から前景の位置等に基づいて選択された位置に表示されてもよい。また例えば、仮想ディスプレイの位置が第一の仮想視点画像に対応する三次元仮想空間７０２内の所定位置に固定されていてもよい。

＜第２実施形態＞
なお、第１実施形態では、共通の三次元仮想空間において、別の仮想視点からの仮想視点画像を観察可能とする構成に関し、仮想視点画像のカメラワークを行う例を説明したが、これに限定されるものではない。例えば、第二の仮想視点画像が、第一の仮想視点画像を生成するための複数のカメラ１０８からなる第一の集合とは異なる、複数のカメラからなる第二の集合により得られる複数の撮影画像と第二の仮想視点とに基づいて生成されるようにしてもよい。第２実施形態では、任意の仮想視点画像で構築される三次元仮想空間の中に設けられた仮想スクリーンに、別の仮想視点画像を表示するようにして三次元仮想空間におけるパブリックビューイングを実現する例を説明する。

図９は、第１実施形態に関連する技術をパブリックビューイングに適用した例を示す模式図である。図９（ａ）は、ユーザ９０１が仮想視点画像で構築された三次元仮想空間９０２の中で、仮想スクリーン９０３（仮想の表示領域）に表示された仮想視点画像を見ている様子を表している。点線は仮想視点画像を表すものとする。図９（ｂ）は、スタジアムＡ９０４で行われている競技を、第一の集合に属する複数のカメラ９０５で撮影している様子を示す模式図である。図９（ａ）において、９０２は、複数のカメラ９０５で同期撮影した画像を基に生成した仮想視点画像で構築された三次元仮想空間を示す。

図９（ｃ）は、スタジアムＢ９０６で行われている競技を、上記第一の集合とは異なる第二の集合に属する複数のカメラ９０７で撮影している様子を示す模式図である。複数のカメラ９０７で同期撮影した画像を基に生成された仮想視点画像が図９（ａ）の仮想スクリーン９０３に表示される。この場合、第一の仮想視点はユーザ９０１が装着するＨＭＤに対応付けられ、第二の仮想視点は図９（ｃ）のスタジアムＢ９０６に配置された仮想カメラ（図示せず）に対応付けられる。したがって、第２実施形態では、第一の仮想視点を生成する三次元仮想空間と第二の仮想視点を生成する三次元仮想空間は、別個のものとなる。なお、ユーザ９０１がスタジアムＢ９０６に配置された仮想カメラの位置、姿勢を指示できるようにしてもよい。

このようにすることで、ユーザ９０１は、仮想スクリーンを用いたパブリックビューイングによりスタジアムＢ９０６で行われている競技を観戦し、スタジアムＡ９０４で行われている競技を三次元仮想空間で観戦することが可能になる。つまり、スタジアムＡ９０４で行われている競技を仮想視点画像で構築された三次元仮想空間の中で三次元的に見ることができ、スタジアムＢ９０６で行われている競技を同じ三次元仮想空間の中で大型ビジョンに表示された仮想視点画像として見ることができる。

なお、第二実施形態の構成は第１実施形態（図１~図２）と同様である。但し、第二実施形態では、複数のカメラ１０８の第一の集合と、複数のカメラからなる第二の集合を有することになる。また、画像取得部２０１、前景・背景分離部２０２、前景形状生成部２０３、背景形状生成部２０４は、それぞれ、第一の集合のカメラ群と第二の集合のカメラ群について別々に処理を行うことになる。また、仮想物体モデル保持部２０８は、仮想スクリーン９０３のモデルデータを保持する。さらに、レンダリング処理部２０９は、第一、第二の仮想視点画像を、第一の集合と第二の集合のそれぞれのカメラ群から得られた撮影画像に基づいて生成する。

以上説明したように、上記各実施形態によれば、生成した仮想視点画像をテクスチャの一部としてレンダリングすることにより、仮想視点画像で構築された三次元仮想空間の中で仮想視点画像を確認することが可能になる。

なお、本発明は、仮想視点画像で構築される三次元仮想空間の中で仮想視点画像を確認する構成であり、上述したパブリックビューイングのほかに様々な用途への適用が考えられる。例えば、ゴルフや野球のフォーム比較、対戦型競技におけるトレーニング時の相手目線の確認、仮想ドローンの操縦などにも適用できる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

２０１：画像取得部、２０２：前景・背景分離部、２０３：前景形状生成部、２０４：背景形状生成部、２０５：入力データ取得部、２０６：位置／姿勢算出部、２０７：仮想視点算出部、２０８：仮想物体モデル保持部、２０９：レンダリング処理部、２１０：画像保持部、２１１：画像出力部

Claims (19)

1. 複数の撮像装置による撮像により取得される複数の画像に基づいて仮想視点画像を生成する画像処理装置であって、
   第１操作部材に対する操作に基づいて第１仮想視点の位置および前記第１仮想視点からの視線方向を示す第１視線情報と、前記第１操作部材と異なる第２操作部材に対する操作に基づいて第２仮想視点の位置および前記第２仮想視点からの視線方向を示す第２視線情報と、を取得する取得手段と、
   前記第１視線情報に基づいて第１仮想視点画像を生成し、前記第１仮想視点画像と共に表示される第２仮想視点画像を、前記第２視線情報に基づいて生成する生成手段と、
   を備えることを特徴とする画像処理装置。
2. さらに、前記第１仮想視点画像と前記第２仮想視点画像を表示する制御を行う表示制御手段を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記表示制御手段は、前記第１仮想視点画像内に前記第２仮想視点画像を表示する制御を行うことを特徴とする請求項２に記載の画像処理装置。
4. 前記表示制御手段は、前記第１仮想視点画像に含まれる被写体の位置に基づいて前記第２仮想視点画像の表示位置を決定することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示制御手段は、前記第１仮想視点画像に含まれる被写体と重畳しない位置に前記第２仮想視点画像を表示する制御を行うことを特徴とする請求項４に記載の画像処理装置。
6. 前記表示制御手段は、前記第１仮想視点画像に対応する仮想空間に設けられた表示領域に前記第２仮想視点画像を表示することを特徴とする請求項３に記載の画像処理装置。
7. 前記表示制御手段は、前記第１仮想視点画像と前記第２仮想視点画像を前記第１操作部材の表示画面に表示する制御を行うことを特徴とする請求項２乃至６の何れか１項に記載の画像処理装置。
8. 前記第１操作部材は、ヘッドマウントディスプレイであることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。
9. 前記取得手段は、前記ヘッドマウントディスプレイの位置および姿勢に基づいて、前記第１視線情報を取得することを特徴とする請求項８に記載の画像処理装置。
10. 前記第２操作部材は、コントローラであることを特徴とする請求項１乃至９の何れか１項に記載の画像処理装置。
11. 前記取得手段は、前記コントローラの位置および姿勢に基づいて、前記第２視線情報を取得することを特徴とする請求項１０に記載の画像処理装置。
12. 前記第１仮想視点画像は、前記第２操作部材に対応する仮想オブジェクトを含むことを特徴とする請求項１乃至１１の何れか１項に記載の画像処理装置。
13. 前記仮想オブジェクトは、仮想カメラであることを特徴とする請求項１２に記載の画像処理装置。
14. 前記第２仮想視点画像は、前記第１仮想視点画像の生成に用いられる前記複数の画像に対応する第１の撮像装置群と異なる第２の撮像装置群が撮像することにより取得される複数の画像と、前記第２視線情報とに基づいて生成されることを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
15. 複数の撮像装置による撮像により取得される複数の画像に基づいて生成される仮想視点画像を表示する制御を行う画像処理装置であって、
    第１操作部材に対する操作に基づいて第１仮想視点の位置および前記第１仮想視点からの視線方向を示す第１視線情報と、前記第１操作部材と異なる第２操作部材に対する操作に基づいて第２仮想視点の位置および前記第２仮想視点からの視線方向を示す第２視線情報と、を取得する取得手段と、
    前記第１視線情報に基づいて生成される第１仮想視点画像と、前記第２視線情報に基づいて生成される第２仮想視点画像とを共に表示する制御を行う表示制御手段と、
    を備えることを特徴とする画像処理装置。
16. 前記取得手段は、前記第１操作部材の位置および姿勢に基づいて前記第１視線情報を取得し、前記第２操作部材の位置および姿勢に基づいて前記第２視線情報を取得することを特徴とする請求項１または１５に記載の画像処理装置。
17. 複数の撮像装置による撮像により取得される複数の画像に基づいて仮想視点画像を生成する画像処理方法であって、
    第１操作部材に対する操作に基づいて第１仮想視点の位置および前記第１仮想視点からの視線方向を示す第１視線情報と、前記第１操作部材と異なる第２操作部材に対する操作に基づいて第２仮想視点の位置および前記第２仮想視点からの視線方向を示す第２視線情報と、を取得する取得工程と、
    前記第１視線情報に基づいて第１仮想視点画像を生成し、前記第１仮想視点画像と共に表示される第２仮想視点画像を前記第２視線情報に基づいて生成する生成工程と、
    を備えることを特徴とする画像処理方法。
18. 複数の撮像装置による撮像により取得される複数の画像に基づいて生成される仮想視点画像を表示する制御を行う画像処理方法であって、
    第１操作部材に対する操作に基づいて第１仮想視点の位置および前記第１仮想視点からの視線方向を示す第１視線情報と、前記第１操作部材と異なる第２操作部材に対する操作に基づいて第２仮想視点の位置および前記第２仮想視点からの視線方向を示す第２視線情報と、を取得する取得工程と、
    前記第１視線情報に基づいて生成される第１仮想視点画像と、前記第２視線情報に基づいて生成される第２仮想視点画像とを共に表示する制御を行う表示制御工程と、
    を備えることを特徴とする画像処理方法。
19. 請求項１乃至１６の何れか１項に記載された画像処理装置の各手段としてコンピュータを機能させるためのプログラム。

Images