JP7791226B2 - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Description

本発明は、仮想視点画像に係る画像処理装置、制御方法、およびプログラムに関する。

近年、複数のカメラを異なる位置に設置して多視点で同期撮影し、当該撮影により得られた複数視点画像を用いて、カメラ設置位置の画像だけでなく任意の１以上の視点での仮想視点画像を生成する技術がある。仮想視点画像を用いたサービスでは、例えば、サッカーやバスケットボールの試合を撮影した映像から、映像制作者によって迫力のある視点のコンテンツを制作できる。また、コンテンツを視聴しているユーザ自身が自由に視点を移動しながら試合を視聴することが可能になり、ユーザがあらゆる地点から仮想視点画像を視聴することができる。

特許文献１では、仮想カメラの操作者が望む構図を実現するための仮想カメラの位置を制御する手法が開示されている。

特開２０１２－１０９７１９号公報

しかしながら、特許文献１に記載の技術では、複数の人で仮想視点画像の連携を行うことが考慮されていなかった。例えば、バスケットボールの試合を撮影した映像から生成された仮想視点画像を用いてコーチが選手に対して指導する場合に、コーチと選手とが別々のデバイスで仮想視点画像を視聴しているユースケースが考えられる。この場合、コーチは、コーチが選手に対して指導のために見せたい場面を選手側の仮想視点画像に反映させつつも、ある程度は選手に仮想視点画像を操作させて周囲の状況を把握させる、といったような、仮想視点画像の連携を行うことが難しかった。

そこで本発明は、仮想視点画像の連携を容易にすることを目的とする。

画像処理装置は、複数の撮像装置が撮影した複数の画像を取得する取得手段と、第１の情報処理装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定手段と、前記第１の情報処理装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定手段と、前記複数の画像と前記第１の仮想カメラのカメラパラメータと前記再生位置とに基づき第１の仮想視点画像を生成する第１の画像生成手段と、前記第１の情報処理装置からの入力値と第２の情報処理装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定手段と、前記複数の画像と前記第２の仮想カメラのカメラパラメータと前記再生位置とに基づき第２の仮想視点画像を生成する第２の画像生成手段とを有する。

本発明により、仮想視点画像の連携を容易にすることができる。

第一の実施形態における仮想視点画像生成システムの構成図の一例を示す図である。 第一の実施形態における情報処理装置および画像処理装置のハードウェア構成の一例を示すブロック図である。 第一の実施形態における画像処理システムの機能構成の一例を示す図である。 第一の実施形態における仮想視点画像の表示形態の一例を示す図である。 第一の実施形態における画像処理装置の処理の一例を示すフローチャートである。 第一の実施形態の変形例における仮想視点画像の表示形態の一例を示す図である。 第二の実施形態における画像処理システムの機能構成の一例を示す図である。 第二の実施形態における画像処理装置の処理の一例を示すフローチャートである。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略することがある。

＜第一の実施形態＞
本実施形態では、複数の撮像装置による撮像に基づく複数の画像と、指定された仮想視点とに基づいて、指定された仮想視点からの見えを表す仮想視点画像を生成するシステムに関して説明を行う。本実施形態における仮想視点画像は、ユーザが自由に（任意に）指定した視点に対応する画像に限定されず、例えば複数の候補からユーザが選択した視点に対応する画像なども仮想視点画像に含まれる。また、本実施形態では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。

また、本実施形態では、仮想カメラという用語を用いて説明を行う。仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。

［仮想視点画像生成システムの構成］
まず、図１（Ａ）、（Ｂ）を参照して本実施形態に係る仮想視点画像生成システムの構成を説明する。

本実施形態の仮想視点画像生成システムは、センサシステム１０１ａからセンサシステム１０１ｎのｎ個のセンサシステムを有し、各センサシステムは少なくとも１台の撮影装置であるカメラを有する。以降では特に説明がない限り、ｎ台のセンサシステムを区別せず、複数のセンサシステム１０１と表記する。

図１（Ａ）は、複数のセンサシステム１０１の設置例を示す図である。複数のセンサシステム１０１は、撮影の対象領域である領域１２０を囲むように設置され、それぞれ異なる方向から領域１２０を撮影する。本実施形態の例では、撮影対象の領域１２０をサッカーの試合が行われるスタジアムのフィールドとし、フィールドを囲むようにｎ台（例えば１００台）のセンサシステム１０１が設置されるものとして説明を行う。しかしながら、設置されるセンサシステム１０１の数は限定されず、撮影対象の領域１２０はスタジアムのフィールドに限らない。たとえば、領域１２０にスタジアムの客席が含まれてもよいし、領域１２０が屋内のスタジオや舞台等であってもよい。

また、複数のセンサシステム１０１は領域１２０の全周にわたって設置されていなくてもよく、設置場所の制限等によっては領域１２０の周囲の一部にのみ設置されてもよい。また、複数センサシステム１０１が有する複数のカメラには、望遠カメラと広角カメラなど機能が異なる撮影装置が含まれていてもよい。

複数のセンサシステム１０１が有する複数のカメラは同期して撮影を行う。これらのカメラの撮影により得られる複数の画像を多視点画像と呼ぶ。なお、本実施形態における多視点画像のそれぞれは、撮影画像であってもよいし、撮影画像に対して例えば所定の領域を抽出する処理などの画像処理を行うことで得られた画像であってもよい。

なお、複数のセンサシステム１０１は、カメラに加えてマイク（不図示）を有してもよい。複数のセンサシステム１０１それぞれのマイクは同期して音声を収音する。この収音された音声に基づいて、画像表示装置１０４における画像の表示と共に再生される音響信号を生成することができる。以降では説明の簡略化のため、音声についての記載を省略するが、基本的に画像と音声は共に処理されるものとする。

画像処理システム１は、画像処理装置２０、第１の情報処理装置１００、および第２の情報処理装置２００等から構成され、複数のセンサシステム１０１から多視点画像を取得し、撮影に使用したタイムコードと合わせてデータベース（不図示）に記憶する。タイムコードとは撮影装置が撮影した時刻を一意に識別するための情報であって、例えば、『日：時：分：秒．フレーム番号』のような形式で指定可能である。そして、画像処理装置２０は、これらの記憶された多視点画像から仮想視点画像を生成する。

第１の情報処理装置１００は、画像処理装置２０から受信した仮想視点画像を第１の表示装置３０によって表示する。また、第１の情報処理装置１００は、仮想カメラに対するユーザの手動操作を第１の入力装置１０によって受け付け、画像処理装置２０に提供する。第２の情報処理装置２００は、画像処理装置２０から受信した仮想視点画像を第２の表示装置５０によって表示する。また、第２の情報処理装置２００は、仮想カメラに対するユーザの手動操作を第２の入力装置４０によって受け付け、画像処理装置２０に提供する。ここで、第１の情報処理装置１００および第２の情報処理装置２００は、例えば、タブレット端末やスマートフォン、ヘッドマウントディスプレイ（ＨＭＤ）等の携帯可能な端末である。

仮想カメラ１１０は、領域１２０に関連付けられた仮想空間内に設定され、複数のセンサシステム１０１のどのカメラとも異なる視点に設定が可能である。ここで、第１の情報処理装置１００に提供される仮想視点画像および第２の情報処理装置２００に提供される仮想視点画像では、それぞれ異なる仮想カメラが設定される。画像処理装置２０が生成する仮想視点画像は仮想カメラ１１０からの見えを表す画像である。なお、実施形態における仮想視点画像は自由視点映像とも呼ばれるものである。

なお、本実施形態では、仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

［画像処理装置および情報処理装置の構成］
次に、本実施形態における情報処理装置および画像処理装置のハードウェア構成の一例について、図２（Ａ）（Ｂ）を用いて説明する。

図２（Ａ）は情報処理装置のハードウェア構成の一例である。ここでは、第１の情報処理装置１００について説明するが、第２の情報処理装置２００も同様の構成である。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及び／又はハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１２を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。

ＨＤＤインターフェース（Ｉ／Ｆ）１０４は、情報処理装置と、ＨＤＤ１０５や光ディスクドライブ、ＳＳＤ、フラッシュメモリなどの二次記憶装置と、を接続する、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインターフェースである。本実施形態では、二次記憶装置の一例として、ＨＤＤ１０５が用いられる。ＣＰＵ１０１は、ＨＤＤインターフェース（Ｉ／Ｆ）１０４を介した、ＨＤＤ１０５からのデータ読み出し、およびＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、プログラムの実行により得られたＲＡＭ１０２上の各種データをＨＤＤ１０５に保存することが可能である。

入力インターフェース（Ｉ／Ｆ）１０６は、１又は複数の座標を入力するためのタッチパネル、キーボード、マウス、デジタルカメラ、スキャナなどの入力デバイス１０７と情報処理装置とを接続する。入力インターフェース（Ｉ／Ｆ）１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインターフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。本実施形態では、入力インターフェース１０６と第１の入力装置１０とが接続される。

出力インターフェース（Ｉ／Ｆ）１０８は、ディスプレイなどの出力デバイス１０９と情報処理装置とを接続する。出力インターフェース（Ｉ／Ｆ）１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インターフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９に仮想視点画像に係るデータを送ることで、仮想視点画像の表示を実行させることができる。ネットワークインターフェース（Ｉ／Ｆ）１１０は、情報処理装置と外部サーバ１１１とを接続する、例えばＬＡＮカードなどのネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して外部サーバ１１１からデータを読み込むことが可能である。本実施形態では、出力インターフェース１０８と第１の表示装置３０とが接続される。

図２（Ｂ）は画像処理装置２０のハードウェア構成の一例である。ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、後述する各構成を制御する。

通信部２０４は、情報処理装置と接続し、データ通信を行う。通信部２０４は、例えばイーサネットやＩＥＥＥ８０２．１１（いわゆる無線ＬＡＮ）などの通信規格に従って通信を行う。ＣＰＵ２０１は、通信部２０４を介して情報処理装置などの外部装置からデータの送受信を行う。

入出力部２０５は、入力インターフェースや出力インターフェースを介してデータの入出力を行う。入出力部２０５には、マウス、キーボード、ディスプレイ、およびデジタルカメラ等のデバイスが接続される。

ＧＰＵ２０６は、画像処理に特化した演算装置あるいはプロセッサである。ＧＰＵ２０６は、複数のセンサシステム１０１から入力された画像から仮想視点画像を生成するなどの画像処理を行う。

［画像処理システムの説明］
次に、本実施形態における画像処理システム１の機能構成の一例について、図３および図４を用いて説明する。本実施形態では、第１の表示装置３０を利用するユーザが第２の表示装置５０に表示される仮想視点画像も操作可能なユースケースを説明する。このユースケースは、例えば、第１の表示装置３０をスポーツ競技のコーチが利用し、第２の表示装置５０をそのコーチから指導を受ける選手が利用する形態を想定している。このような場合、コーチは選手に対して指導のために見せたい場面を選手側の仮想視点画像に反映させつつも、ある程度は選手に仮想視点画像を操作させて周囲の状況を把握させることが想定される。そこで、本実施形態では、そのようなコーチングに特に適した画像処理システムについて説明する。

再生位置決定部３０１は、第１の情報処理装置１００の第１の入力装置１０から入力された指示に従って、仮想視点画像の再生位置を決定する。再生位置は、例えばタイムコードである。

第１の視点決定部３０２は、第１の情報処理装置１００の第１の入力装置１０から入力された指示に従って、仮想視点カメラのカメラパラメータを決定する。仮想視点カメラのカメラパラメータは、例えば、位置および姿勢である。仮想カメラの位置は、例えば、（ｘ，ｙ，ｚ）の３次元座標で表される。仮想カメラの姿勢は、例えば、（ｐａｎ，ｔｉｌｔ，ｒｏｌｌ）の３方向で表される。

第１の映像生成部３０３は、再生位置決定部３０１によって決定された再生位置と、第１の視点決定部３０２で決定された仮想カメラの位置及び姿勢とから仮想視点画像を生成する。第１の映像生成部３０３によって生成された仮想視点画像は、第１の情報処理装置１００の第１の表示装置３０にて表示される。

第２の視点決定部３０４は、第２の情報処理装置２００の第２の入力装置４０から入力された指示に従って、仮想視点カメラの位置および姿勢を決定する。仮想カメラの位置は、例えば、（ｘ，ｙ，ｚ）の３次元座標で表される。仮想カメラの姿勢は、例えば、（ｐａｎ，ｔｉｌｔ，ｒｏｌｌ）の３方向で表される。

第２の映像生成部３０５は、再生位置決定部３０１によって決定された再生位置と、第１の視点決定部３０２で決定された仮想カメラの位置及び姿勢と、第２の視点決定部３０４で決定された仮想カメラの位置及び姿勢とから仮想視点画像を生成する。ここで、第２の映像生成部３０５は、第１の映像生成部３０３と異なり、複数の視点決定部によって決定された仮想カメラの位置及び姿勢の情報を利用して仮想視点画像を生成する。第２の映像生成部３０５によって生成された仮想視点画像は、第１の情報処理装置１００の第１の表示装置３０および第２の情報処理装置２００の第２の表示装置５０にて表示される。

なお、本実施形態では、再生位置決定部３０１によって決定された再生位置を用いて、第１の映像生成部３０３と第２の映像生成部３０５は仮想視点画像を生成したが、再生位置決定部はそれぞれの生成部に対して用意されてもよい。すなわち、本実施形態の例では、再生位置決定部が２つ用意され、それぞれの再生位置決定部によって決定された再生位置を用いて第１の映像生成部３０３と第２の映像生成部３０５は、それぞれ仮想視点画像を生成してもよい。

次に図４（Ａ）～（Ｄ）を用いて第１の表示装置３０および第２の表示装置５０に表示される仮想視点画像およびグラフィカルユーザインタフェース（ＧＵＩ）について説明する。以下、本実施形態では、第１の表示装置３０がコーチに利用され、第２の表示装置５０が選手に利用される形態について説明する。ここで、図４（Ａ）～（Ｄ）では、バスケットボールゲームの試合映像が示されており、直方体の物体は人間を簡易的に模した図形であり、球体はバスケットボールを模した図形である。

図４（Ａ）は、第１の表示装置３０に表示されるＧＵＩの一例である。図４（Ｂ）～（Ｄ）は、それぞれ、第２の表示装置５０に表示されるＧＵＩの一例である。第２の表示装置５０に表示されるＧＵＩは、第２の情報処理装置２００の装置構成や装置種類、あるいは、第２の情報処理装置２００からウィンドウモードかフルスクリーンモードなどのモード選択に応じて切り替えることが可能である。

仮想視点画像４０１は、第１の表示装置３０および第２の表示装置５０の両方に表示される仮想視点画像である。仮想視点画像４０２は、第１の表示装置３０のみに表示される画像である。すなわち、仮想視点画像４０１は選手とコーチの両方が視聴する仮想視点画像であり、仮想視点画像４０２は、コーチのみが視聴する仮想視点画像である。

コーチが操作を行っていない場合、仮想視点画像４０１の仮想カメラの位置は、選手の操作によらず固定される。これは、コーチの指定した位置が、選手にコーチングを行うために見せたい視点の位置だと考えられるためである。しかし、仮想視点画像４０１の仮想カメラの姿勢は、選手の操作によって変更可能である。例えば、選手は、第２の入力装置４０がタッチパネルである場合、スワイプ操作によって仮想視点画像４０１の仮想カメラの姿勢が変更可能である。ほかにも、例えば、選手は、第２の入力装置４０がマウスである場合、ドラッグ操作によって仮想視点画像４０１の仮想カメラの姿勢が変更可能である。これにより、コーチは選手に対して指導のために見せたい場面を選手側の仮想視点画像に反映させつつも、ある程度は選手に仮想視点画像を操作させることが可能になる。なお、仮想カメラの位置は固定ではなく、コーチの指定した仮想カメラ位置を中心とした所定の範囲内で変更可能にしてもよい。

また、仮想視点画像４０２は、コーチが次に選手に見せたい仮想視点画像を準備するための仮想視点画像である。コーチは、第１の入力装置１０によって、仮想視点画像４０２の仮想カメラの位置および姿勢を変更することが可能である。例えば、コーチは、第１の入力装置１０がタッチパネルである場合、スワイプ操作によって仮想視点画像４０２の仮想カメラの姿勢が変更可能である。ほかにも、例えば、コーチは、第１の入力装置１０がマウスである場合、ドラッグ操作によって仮想視点画像４０２の仮想カメラの姿勢が変更可能である。

ここで、コーチは視点共有ボタン４０８を第１の入力装置１０によって選択した場合、仮想視点画像４０２の仮想カメラの位置および姿勢が、仮想視点画像４０１の仮想視点カメラの位置および姿勢に対して適用される。これにより、コーチは選手に見せるための仮想視点画像を切り替えることができる。また、コーチはスワップボタン４０９を第１の入力装置１０によって選択した場合、仮想視点画像４０２の仮想カメラの位置および姿勢と、仮想視点画像４０１の仮想視点カメラの位置および姿勢とが交換される。これにより、例えば、対戦相手の選手の視界を交えつつコーチングするなど、コーチは複数の仮想視点を切り替えながら、選手に仮想視点画像を視聴させることが可能になる。

なお、視点共有ボタン４０８が選択された場合に、仮想視点画像４０２の仮想カメラのカメラパラメータは仮想視点画像４０１の仮想カメラに即座に適用されなくてもよい。例えば、コーチが視点共有ボタン４０８を選択した後、仮想視点画像４０２の仮想カメラのカメラパラメータが仮想視点画像４０１の仮想カメラに適用される前に、仮想視点画像４０１に視点の切り替わりを予告するメッセージが数秒程度表示されてもよい。これにより、仮想視点画像４０１の仮想視点の位置と姿勢が急激に変化することによる視聴者の混乱を防ぐことが出来る。なお、この処理はスワップボタン４０９が選択された場合にも適用可能である。

なお、視点共有ボタン４０８が選択された場合に、仮想視点画像４０１に、仮想視点画像４０２の仮想カメラのカメラパラメータを適用するか否かを選択可能なボタンを重畳表示してもよい。そして、仮想視点画像４０１に表示されたボタンにより、仮想視点画像４０１に、仮想視点画像４０２の仮想カメラのカメラパラメータを適用することが承諾された場合に、視点共有のための処理が実行される。これにより、選手の意図しないタイミングでの仮想視点の切り替わりを防止することが可能となる。なお、この処理はスワップボタン４０９が選択された場合にも適用可能である。

なお、第１の情報処理装置１００はコーチが指定した複数の仮想カメラの位置と姿勢を記憶して、記憶したリストから選択して仮想視点を決定してもよい。これにより、コーチは毎回新たに仮想カメラの視点操作をしなくても所望の視点に変更することが可能となる。例えば、バスケットコートのゴール下など、注目頻度の高い場所の仮想カメラの位置と姿勢を記憶することで、コーチは必要に応じてリストから選択するのみで所望の視点の仮想視点画像に切り替えることができる。このような操作方法を用意することにより、ユーザが行う操作を簡略化できる。

また、画像処理システム１は、一連の仮想カメラのカメラパラメータを保存し、仮想カメラの経路（カメラパス）として記憶してもよい。なお、画像処理システム１は、この方法に限らず、基本となるフレームにおけるカメラパラメータを複数指定し、キーフレーム間のカメラパラメータを自動補間してカメラパスを作成して記憶してもよい。画像処理システム１は、上述したカメラパスに基づき仮想カメラの経路を再現した仮想視点画像４０１を生成する。これにより、コーチは選手に見せたい視点を複数フレームにまたがって設定することが可能となる。

シークバー４０３は、仮想視点画像４０２の再生位置（タイムコード）を示すＧＵＩである。コーチは、シークバー４０３の位置を選択することで、任意の再生位置を選択可能である。逆再生ボタン４０４は、仮想視点画像４０２を逆再生する制御を行うためのボタンである。一時停止／再生再開ボタン４０５は、仮想視点画像４０２を一時停止または再生再開する制御を行うためのボタンである。順再生ボタン４０６は、仮想視点画像４０２を順再生するためのボタンである。再生速度４０７は、仮想視点画像４０２の再生速度を変更するための項目である。コーチは、直接入力やプルダウンによって提示される選択肢から仮想視点画像４０２の再生速度を変更できる。例えば、再生速度４０７に１が選択されている場合は、通常速度で仮想視点画像４０２が再生される。再生速度４０７に１未満の数値が選択されている場合、仮想視点画像４０２はスロー再生される。再生速度４０７に１より大きい数値が選択されている場合、仮想視点画像４０２は高速再生される。

図４（Ｂ）は、第２の表示装置５０に表示されるＧＵＩの一例である。このＧＵＩは、例えば、第２の情報処理装置２００がＰＣやタブレット端末などにおいて表示されるＧＵＩである。

シークバー４１３は、仮想視点画像４０１の再生位置（タイムコード）を示すＧＵＩである。選手は、シークバー４１３の位置を選択することで、任意の再生位置を選択可能である。逆再生ボタン４１４は、仮想視点画像４０１を逆再生する制御を行うためのボタンである。一時停止／再生再開ボタン４１５は、仮想視点画像４０１を一時停止または再生再開する制御を行うためのボタンである。順再生ボタン４１６は、仮想視点画像４０１を順再生するためのボタンである。再生速度４１７は、仮想視点画像４０１の再生速度を変更するための項目である。選手は、直接入力やプルダウンによって提示される選択肢から仮想視点画像４０１の再生速度を変更できる。例えば、再生速度４１７に１が選択されている場合は、通常速度で仮想視点画像４０１が再生される。再生速度４１７に１未満の数値が選択されている場合、仮想視点画像４０１はスロー再生される。再生速度４１７に１より大きい数値が選択されている場合、仮想視点画像４０１は高速再生される。

なお、図４（Ｂ）において、シークバー４１３によって変更できる再生位置の時間幅は、シークバー４０３によって変更できる再生位置の時間幅よりも小さくしてもよい。これにより、コーチは選手に対して指導したい場面（再生位置）から異なる場面（再生位置）に選手によって変更されることを防ぐことが可能になる。

図４（Ｃ）は、第２の表示装置５０に表示されるＧＵＩの一例である。このＧＵＩは、例えば、第２の情報処理装置２００がスマートフォンやタブレット端末などの携帯装置において表示されるＧＵＩである。ここで、図４（Ｃ）のＧＵＩでは、図４（Ｂ）に示されるＧＵＩと異なり、仮想視点画像４０１を制御するためのＧＵＩが表示されていない。このような場合、選手は第２の情報処理装置２００が有するタッチパネルや加速度センサによって仮想視点画像４０１の仮想カメラの姿勢を変更することはできるが、他の操作はできない。コーチは図４（Ｂ）に示すＧＵＩと図４（Ｃ）に示すＧＵＩとを、第１の情報処理装置１００から指示をして適宜切り替えることによって、コーチングの目的に応じたＧＵＩを第２の情報処理装置２００に表示することができる。

図４（Ｄ）は、第２の表示装置５０に表示されるＧＵＩの一例である。このＧＵＩは、例えば、第２の情報処理装置２００がＨＭＤなどの装着型デバイスにおいて表示されるＧＵＩである。あるいは、第２の情報処理装置２００において、図４（Ｂ）または図４（Ｃ）に示すＧＵＩからフルスクリーンモードに遷移させることによって図４（Ｄ）のＧＵＩが表示される。図４（Ｄ）では、仮想視点画像４０１が全画面表示されており、操作ＧＵＩなどは表示されていないＧＵＩである。

なお、図４（Ｃ）および図４（Ｄ）に示すＧＵＩが第２の表示装置５０に表示されている場合、仮想視点画像４０１の再生位置は、第１の表示装置３０に表示されているシークバー４０３によって変更される。また、この場合、仮想視点画像４０１の再生状態は、逆再生ボタン４０４、一時停止／再生再開ボタン４０５、順再生ボタン４０６、および再生速度４０７によって制御される。

なお、本実施形態では、仮想視点画像４０１の仮想カメラの姿勢のみの変更は、第１の入力装置１０からは操作できないようにしてもよい。例えば、選手がＨＭＤによって仮想視点画像４０１を視聴している場合、コーチによって仮想カメラの姿勢だけが変更されてしまうと、選手はどこを見ているかがわからなくなり、仮想視点画像の視聴に集中できない状況が生じる可能性があるためである。

なお、第１の情報処理装置１００から第２の情報処理装置に表示されるＧＵＩ（図４（Ｂ）～（Ｄ）のいずれか）を選択できるようにしてよい。これにより、コーチは指導したい内容によって選手が利用する第２の情報処理装置２００に表示される内容を制御することができる。

なお、本実施形態では、仮想視点画像４０１および仮想視点画像４０２は、ループ再生される。これにより、コーチまたは選手が操作しなくとも同じ場面を繰り返し視聴することが可能になる。

なお、仮想視点画像４０２が一時停止中において、再生速度４０７が変更された場合、仮想視点画像４０２は自動的に再生を再開してもよい。これにより、ユーザは再生ボタンを押す手間を削減することができる。同様に、仮想視点画像４０１が一時停止中において、再生速度４１７が変更された場合、仮想視点画像４０１は自動的に再生を再開してもよい。

［画像処理装置２０の処理］
以下、図５に示すフローチャートを用いて画像処理装置２０の処理の一例について説明する。この画像処理装置２０の処理は、ＲＯＭ２０３に記録されたソフトウェアをＲＡＭ１０２に展開してＣＰＵ２０１またはＧＰＵ２０６が実行することで実現される。

Ｓ５０１では、ＣＰＵ２０１は、第１の情報処理装置１００から入力された第１の入力値に基づいて第１の仮想視点画像の再生位置を決定する。第１の仮想視点画像は、例えば、仮想視点画像４０２である。本ステップの処理の対象となる第１の入力値は、例えば、第１の入力装置１０によって、シークバー４０３に対して入力された操作に応じた制御値である。この制御値は、具体的にはタイムコードである。なお、第１の入力値が再生位置に関する入力値ではなかった場合、本ステップの処理は実行されず、次のステップの処理が実行される。

Ｓ５０２では、ＣＰＵ２０１は、第１の情報処理装置１００から入力された第１の入力値に基づいて第１の仮想視点画像の第１の仮想視点を決定する。第１の仮想視点は、例えば、仮想視点画像４０２の仮想カメラの位置および姿勢である。本ステップの処理の対象となる第１の入力値は、例えば、第１の入力装置１０によって第１の情報処理装置１００に入力された、仮想視点画像４０２の仮想カメラの位置または姿勢の変更操作に応じた制御値である。なお、スワップボタン４０９が選択された場合では、第１の仮想視点として、第２の仮想視点と同様のパラメータが設定される。なお、第１の入力値が第１の仮想視点に関する入力値ではなかった場合、本ステップの処理は実行されない。

Ｓ５０３では、ＣＰＵ２０１は、第２の情報処理装置２００から入力された第２の入力値に基づいて第２の仮想視点画像の再生位置を決定する。第２の仮想視点画像は、例えば、仮想視点画像４０１である。本ステップの処理の対象となる第２の入力値は、例えば、第２の入力装置４０によって、シークバー４１３に対して入力された操作に応じた制御値である。この制御値は、具体的にはタイムコードである。なお、第２の情報処理装置２００において、シークバー４１３等の再生位置を制御するためのＵＩが存在しない場合、ＣＰＵ２０１は、第２の仮想視点画像の再生位置をＳ５０１で決定された再生位置と同じ再生位置に決定する。なお、第２の入力値が再生位置に関する入力値ではなかった場合、本ステップの処理は実行されず、次のステップの処理が実行される。

Ｓ５０４では、ＣＰＵ２０１は、第１の情報処理装置１００から入力された第１の入力値と第２の情報処理装置２００から入力された第２の入力値とに基づいて第２の仮想視点画像の第２の仮想視点を決定する。第２の仮想視点は、例えば、仮想視点画像４０１の仮想カメラの位置および姿勢である。本ステップの処理の対象となる第１の入力値は、例えば、第１の入力装置１０によって第１の情報処理装置１００に入力された、仮想視点画像４０１の仮想カメラの位置の変更操作に応じた制御値である。本ステップの処理の対象となる第２の入力値は、例えば、第２の入力装置４０によって第２の情報処理装置２００に入力された、仮想視点画像４０１の仮想カメラの姿勢の変更操作に応じた制御値である。なお、スワップボタン４０９が選択された場合では、第２の仮想視点として、Ｓ５０２の処理が実行される直前の第１の仮想視点と同様のパラメータが設定される。なお、第２の入力値が第２の仮想視点に関する入力値ではなかった場合、本ステップの処理は実行されない。なお、本ステップで、仮想カメラの位置を第１の入力装置１０の入力値に基づき決定したが、これに限らず、第２の入力装置４０の入力値に基づき決定されてもよい。その場合、第１の入力値は無視され、第２の入力値のみに基づいて第２の仮想視点画像の第２の仮想視点が決定される。

Ｓ５０５では、ＣＰＵ２０１は、Ｓ５０１で決定された再生位置とＳ５０２で決定された第１の仮想視点とに基づき、ＧＰＵ２０６によって第１の仮想視点画像を生成する。

Ｓ５０６では、ＣＰＵ２０１は、第１の入力値からトリガを検出したか否かを判定する。このトリガは、第１の仮想視点画像の仮想視点を第２の仮想視点画像に反映させることである。例えば、ＣＰＵ２０１は、図４（Ａ）の視点共有ボタン４０８やスワップボタン４０９が選択された場合に、トリガを検出する。第１の入力値からトリガを検出された場合、Ｓ５０７の処理が実行される。第１の入力値からトリガを検出されなかった場合、Ｓ５０８の処理が実行される。

Ｓ５０７では、ＣＰＵ２０１は、Ｓ５０１で決定された再生位置と、Ｓ５０２で決定された第１の仮想視点に基づき、ＧＰＵ２０６によって第２の仮想視点画像を生成する。Ｓ５０８では、ＣＰＵ２０１は、Ｓ５０３で決定された再生位置と、Ｓ５０４で決定された第２の仮想視点に基づき、ＧＰＵ２０６によって第２の仮想視点画像を生成する。

Ｓ５０９では、ＣＰＵ２０１は、第１の仮想視点画像と第２の仮想視点画像を出力する。例えば、ＣＰＵ２０１は、入出力部２０５を介して、第１の仮想視点画像を第１の情報処理装置１００へ、第２の仮想視点画像を第２の情報処理装置２００へ出力する。

Ｓ５１０では、ＣＰＵ２０１は、本フローチャートの処理を終了するか否かを判定する。例えば、仮想視点画像を再生するためのアプリケーションが終了された場合、ＣＰＵ２０１は本フローチャートの処理を終了すると判定する。本フローチャートの処理を終了しない場合Ｓ５１１の処理が実行される。

Ｓ５１１では、ＣＰＵ２０１は、再生位置を変更する。例えば、順再生の場合、ＣＰＵ２０１は、再生位置を１フレーム分進める。逆再生の場合、ＣＰＵ２０１は、再生位置を１フレーム分戻す。本処理の終了後Ｓ５０１から本フローチャートの処理が繰り返される。

以上、図５を用いて画像処理装置２０の処理について説明した。この処理により、複数の仮想視点画像の連携を容易にすることが可能になる。例えば、コーチは、コーチが選手に対して指導のために見せたい場面を選手側の仮想視点画像に反映させつつも、ある程度は選手に仮想視点画像を操作させて周囲の状況を把握させることが可能になる。

なお、ＣＰＵ２０１は、仮想視点画像の再生、一時停止、再生速度の変更などの再生処理については、上述のフローチャートの処理中において割り込み処理によって随時実行する。

なお、本実施形態では画像処理装置２０が第１の仮想視点画像（仮想視点画像４０２）および第２の仮想視点画像（仮想視点画像４０１）の両方を生成したが、これに限られない。例えば、画像処理装置２０を２台用意し、それぞれが、第１の仮想視点画像と第２の仮想視点画像とをそれぞれ生成してもよい。この場合、２台の画像処理装置２０は、お互いに通信を行い、それぞれの仮想視点画像の仮想カメラのカメラパラメータおよび仮想視点画像の再生位置を送受信する。

＜第一の実施形態の変形例＞
本実施形態では、第１の情報処理装置１００における仮想視点画像の表示および制御、並びに、画像処理装置２０の処理について説明する。図１の仮想視点画像生成システムと、図２画像表示装置１０４を含む、第一の実施形態と同様の構成、処理、機能は同一の参照符号を使用し、説明を省略する。

図６は第１の表示装置３０に表示されるＧＵＩの一例である。図４（Ａ）のＧＵＩに対し、仮想視点画像６０１が新たに表示されている。

仮想視点画像６０１は、競技場（バスケットボールコート）を俯瞰するように仮想視点が設定されている仮想視点画像である。ここで黒い直方体はプレイ中の選手を模した図形である。仮想視点画像６０１を表示することで、コーチは試合中の選手同士の位置関係を容易に把握しやすくなる。なお、本実施形態では仮想視点画像６０１の仮想視点は固定であり変更されない。

さらに、仮想視点画像６０１に、絵記号やアイコンが重畳表示されてもよい。アイコン６０２は仮想視点画像４０１の仮想カメラの位置と姿勢を表現する。アイコン６０３は仮想視点画像４０２の仮想カメラの位置と姿勢を表現する。アイコン６０２とアイコン６０３を区別するために、色や柄を異なるように設定してもよい。アイコン６０２およびアイコン６０３が仮想視点画像６０１に重畳表示されることで、コーチは自分と選手が仮想視点の位置と姿勢をそれぞれ確認できる。

ここで、仮想視点画像４０２の仮想カメラの位置を変更する場合、コーチは仮想視点画像６０１上の位置を選択（左クリック等）することで変更可能である。これにより、例えば競技場の端から端まで仮想カメラの位置を移動させる場合においても、瞬間的に仮想カメラを移動させることが容易になる。また、コーチは仮想視点画像６０１上の位置を選択（右クリック等）して注視点６０４を設定してもよい。そして、コーチが注視点６０４を設定した場合、コーチが注視点６０４を設定する方法とは異なる選択方法（左クリック等）で仮想カメラの位置を新たに設定すると、仮想カメラの視線方向は注視点６０４を向くよう水平左右方向（パン方向）に回転する。例えばゴール下に注視点６０４を設定した場合、コート内のサイドラインの任意の地点に仮想カメラの位置を設定すると、サイドライン上の仮想カメラの視線方向がゴール下に自動的に変更される。なお、さらに、注視点６０４の位置が変更されたことに応じて、現在の仮想カメラの視線方向が注視点６０４を向くよう自動的に回転してもよい。なお、ここでは仮想カメラの姿勢（視線方向）が回転する例を説明したが、仮想カメラの視線方向は、仮想カメラの位置が決定されたときに、注視点６０４を向くように同時に設定されてもよい。

これにより、ユーザは注目箇所をあらかじめ設定することで、任意の場所に仮想カメラの位置を設定するだけで即座に注目箇所を視聴できる。なお、コーチは、第１の入力装置１０がタッチパネルである場合、位置の選択をタップで、注視点の選択をダブルタップで行ってもよい。

また、この場合、図５のフローチャートにおいては、Ｓ５０２の処理において、ＣＰＵ２０１は以下のように処理行う。

Ｓ５０２では、ＣＰＵ２０１は、第１の入力値として、仮想視点画像６０１において選択された座標を取得する。ここで、ＣＰＵ２０１が取得する座標は、地面に水平な面（ｘｙ平面）の２次元座標であり、地面に垂直な方向（ｚ軸方向）の座標は取得されない。そして、ＣＰＵ２０１は、その取得した２次元座標を現在の第１の仮想視点の座標に対して適用する。すなわち、第１の仮想視点画像は視点の高さおよび姿勢はそのままに平行移動することになる。

また、Ｓ５０２では、ＣＰＵ２０１は、第１の入力値として、仮想視点画像６０１において選択された注視点６０４の座標を取得する。ここで、ＣＰＵ２０１が取得する座標は、地面に水平な面（ｘｙ平面）の２次元座標であり、地面に垂直な方向（ｚ軸方向）の座標は取得されない。そして、ＣＰＵ２０１は、その取得した２次元座標に向くよう第１の仮想視点の姿勢を設定する。すなわち、第１の仮想視点画像は仮想視点の姿勢のチルトとロールはそのままで注視点６０４を向くようパン方向に回転することになる。なお、ＣＰＵ２０１は、第一の仮想視点の姿勢を地面と平行になるよう、パン方向だけでなく、チルト方向にも仮想視点の姿勢を回転してもよい。

これにより、コーチは選手に対してより指導が行いやすくなる。

＜第二の実施形態＞
第一の実施形態では、仮想視点画像４０２の仮想カメラの位置および姿勢を所定のトリガに基づいて仮想視点画像４０１の仮想カメラの位置および姿勢に反映させる処理を説明した。次に、所定のトリガに基づき、仮想視点画像４０２の仮想カメラの一部パラメータを仮想視点画像４０１に、また仮想視点画像４０１の仮想カメラの一部パラメータを仮想視点画像４０２の仮想カメラに相互に反映する態様を、第二の実施形態として説明する。なお、第一の実施形態と同様の構成、処理、機能などは同一の参照符号を使用し、説明を省略する。

図７は本実施形態に係る、画像処理システム１の機能構成の一例を示す図である。画像処理装置７０は、再生位置決定部３０１、第１の視点決定部７０２、第１の映像生成部３０３，第２の視点決定部７０４、第２の映像生成部３０５から構成される。

第１の視点決定部７０２は、第１の情報処理装置１００の第１の入力装置１０からの入力値、および第２の視点決定部７０４からの仮想カメラの位置および姿勢の一部パラメータに基づき、仮想カメラのカメラパラメータを決定する。例えば、第１の視点決定部７０２は、入力装置１０からの入力値に基づきカメラパラメータを算出し、その後、第２の視点決定部７０４から取得した仮想カメラの視点の高さを、算出したカメラパラメータに適用する。この適用処理は、常に行われてもよいし、第１の入力装置１０からの入力値から、例えば視点共有ボタン４０８の押下などのトリガが検出された場合のみ行われてもよい。この適用処理について、本実施形態では図８を用いて、第１の入力装置１０からの入力値からトリガが検出された場合を後述する。

第１の視点決定部７０２は、第２の視点決定部７０４から適用したパラメータ（視点の高さ）を除く生成したカメラパラメータを第２の映像生成部３０５に出力する。第２の映像生成部３０５は、第１の視点決定部７０２から取得したカメラパラメータ以外のカメラパラメータを第２の視点決定部７０４から取得し仮想視点画像を生成する。これにより、バスケットコート内を等身大で視聴する第２の表示装置５０にＨＭＤを使ったＶＲ視聴を行う場合でも、仮想視点が高所や地中に配置されるような意図しない視点位置となることを防ぐことが可能になる。さらには、このような処理によって、視聴者の目線の高さを維持することが可能となる。なお、第１の視点決定部７０２が第２の視点決定部７０４から取得するカメラパラメータパラメータは視点の高さに限らず、姿勢情報（チルト等）でもよい。

また、第１の視点決定部７０２は、第１の入力装置１０からの入力値からトリガが検出された場合に、仮想カメラの一部のパラメータを特定の初期値にリセットしてもよい。例えば、第１の視点決定部７０２は、仮想カメラのチルトおよびロールを地面と平行にリセットし、第１の視点決定部７０２はリセットしたパラメータを除く仮想カメラのカメラパラメータを第２の映像生成部３０５に出力する。これにより、第２の表示装置５０としてＨＭＤに表示される仮想視点画像の仮想カメラのチルトとロールはコーチの仮想視点の姿勢の影響を受けない。これにより、ＶＲ視聴者の頭の姿勢と仮想カメラの姿勢の不一致を防ぎ、平衡感覚のずれから生じる視聴者のＶＲ酔い等を低減することが出来る。

さらに、第１の視点決定部７０２は、仮想カメラの一部のカメラパラメータの変更を制限してもよい。例えば、第１の視点決定部７０２は、仮想視点のロールを地面と平行の状態のまま変更不可にしてもよい。この場合、第１の視点決定部は、制限されたパラメータを除く仮想カメラパラメータを第２の映像生成部３０５に出力する。これによりＶＲ視聴者の映像と頭の姿勢のずれを低減することが出来る。なお、制限されるパラメータはロールに限らずチルトも加えてよい。また、制限するパラメータをコーチが選択可能なようにＵＩが第１の表示装置３０に表示されてもよい。

第２の視点決定部７０４は、第一の実施形態と同様の構成を有する。さらに、上述のように、本実施形態の第２の視点決定部７０４は、第２の情報処理装置２００の第２の入力装置４０からの入力値に基づき仮想カメラのカメラパラメータを決定し、第１の視点決定部７０２に出力する。

図８は、本実施形態に係る、所定のトリガに基づき仮想視点画像４０１と仮想視点画像４０２の仮想カメラのカメラパラメータを相互に反映する処理の流れを示すフローチャートである。なお、図８のフローは第一の実施形態の図５のフローに対して、Ｓ５０５の処理がＳ８０２に移動し、Ｓ８０１が新たに追加されている。その他の処理は第一の実施形態と同様である。

Ｓ８０１では、ＣＰＵ２０１は、第２の視点決定部７０４が決定した仮想カメラの位置および姿勢の一部パラメータに基づき、第１の視点決定部７０２により決定された第１の仮想視点画像の仮想カメラのカメラパラメータを変更する。

Ｓ８０２では、ＣＰＵ２０１は、Ｓ５０１で決定された再生位置とＳ５０２で決定された第１の仮想視点とに基づき、ＧＰＵ２０６によって第１の仮想視点画像を生成する。なお、本ステップの処理は第一の実施形態の図５のＳ５０５の処理と同様である。

以上、本実施形態に係る、所定のトリガに基づき仮想視点画像４０１と仮想視点画像４０２の仮想カメラのカメラパラメータを相互に反映する処理について説明した。このような処理によれば、コーチの意図しない視点を選手に反映することを防ぎ、また選手がＶＲ視聴する場合、頭の位置姿勢と仮想カメラの位置姿勢の不一致から生じるＶＲ酔いを低減することが出来る。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

Claims (11)

1. 複数の撮像装置が撮影した複数の画像を取得する取得手段と、
   第１の情報処理装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定手段と、
   前記第１の情報処理装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定手段と、
   前記複数の画像と、前記第１の仮想カメラのカメラパラメータと、前記再生位置とに基づき第１の仮想視点画像を生成する第１の画像生成手段と、
   前記第１の情報処理装置からの入力値と第２の情報処理装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定手段と、
   前記複数の画像と、前記第２の仮想カメラのカメラパラメータと、前記再生位置とに基づき第２の仮想視点画像を生成する第２の画像生成手段と
   を有することを特徴とする画像処理装置。
2. 前記第１の視点決定手段は、前記第１の情報処理装置からの入力値に基づいて前記第１の仮想カメラの位置および姿勢を決定し、
   前記第２の視点決定手段は、前記第１の情報処理装置からの入力値に基づいて前記第２の仮想カメラの位置を決定し、前記第２の情報処理装置からの入力値に基づいて前記第２の仮想カメラの姿勢を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の情報処理装置へ前記第１の仮想視点画像および前記第２の仮想視点画像を出力し、前記第２の情報処理装置へ前記第２の仮想視点画像を出力する出力手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
4. 前記出力手段は、前記第１の情報処理装置の指示に基づいて、前記第２の情報処理装置へ出力される仮想視点画像を前記第２の仮想視点画像から前記第１の仮想視点画像に切り替えることを特徴とする請求項３に記載の画像処理装置。
5. 前記第２の視点決定手段は、前記第１の情報処理装置の指示に基づいて、前記第２の仮想カメラのパラメータを前記第１の仮想カメラのパラメータに変更することを特徴とする請求項３に記載の画像処理装置。
6. 前記第１の視点決定手段と前記第２の視点決定手段とは、前記第１の情報処理装置の指示に基づいて、前記第１の仮想カメラのパラメータと前記第２の仮想カメラのパラメータとを交換することを特徴とする請求項３に記載の画像処理装置。
7. 前記第１の情報処理装置の指示に基づいて、前記第１の仮想視点画像および前記第２の仮想視点画像の再生速度を変更する変更手段をさらに有することを特徴とする請求項３に記載の画像処理装置。
8. 前記第１の視点決定手段は、前記第１の情報処理装置からの入力値に基づいて前記第１の仮想カメラの位置および姿勢を決定し、
   前記第２の視点決定手段は、前記第２の情報処理装置からの入力値に基づいて前記第２の仮想カメラの姿勢および位置の高さを決定し、前記第１の情報処理装置からの入力値に基づいて前記第２の仮想カメラのその他の位置を決定する
   ことを特徴とする請求項１に記載の画像処理装置。
9. 前記第１の情報処理装置はタブレット端末であり、前記第２の情報処理装置はヘッドマウントディスプレイであることを特徴とする請求項１に記載の画像処理装置。
10. 複数の撮像装置が撮影した複数の画像を取得する取得工程と、
    第１の情報処理装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定工程と、
    前記第１の情報処理装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定工程と、
    前記複数の画像と、前記第１の仮想カメラのカメラパラメータと、前記再生位置とに基づき第１の仮想視点画像を生成する第１の画像生成工程と、
    前記第１の情報処理装置からの入力値と第２の情報処理装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定工程と、
    前記複数の画像と、前記第２の仮想カメラのカメラパラメータと、前記再生位置とに基づき第２の仮想視点画像を生成する第２の画像生成工程と
    を有することを特徴とする画像処理方法。
11. 複数の撮像装置が撮影した複数の画像を取得する取得工程と、
    第１の情報処理装置からの入力値に基づき第１の仮想カメラのカメラパラメータを生成する第１の視点決定工程と、
    前記第１の情報処理装置からの入力値に基づき再生する仮想視点画像の再生位置を決定する再生位置決定工程と、
    前記複数の画像と、前記第１の仮想カメラのカメラパラメータと、前記再生位置とに基づき第１の仮想視点画像を生成する第１の画像生成工程と、
    前記第１の情報処理装置からの入力値と第２の情報処理装置からの入力値とに基づき第２の仮想カメラのカメラパラメータを生成する第２の視点決定工程と、
    前記複数の画像と、前記第２の仮想カメラのカメラパラメータと、前記再生位置とに基づき第２の仮想視点画像を生成する第２の画像生成工程と
    を画像処理装置に実行させるためのプログラム。