JP7360366B2 - 仮想視点映像レンダリング装置、方法およびプログラム - Google Patents

Description

本発明は、仮想視点映像レンダリング装置、方法及びプログラムに係り、特に、仮想視点映像を合成する際に一部のカメラのテクスチャのみがマッピングされたレンダリング途中の合成映像を視聴可能とすることで、全てのカメラのテクスチャが揃う前でも実用品質の仮想視点映像を提供できる仮想視点映像レンダリング装置、方法及びプログラムに関する。

自由視点映像技術は、視点の異なる複数のカメラ映像に基づいて、カメラが存在しない仮想視点も含めた任意の視点からの映像視聴を可能とする技術である。仮想視点映像を実現する一手法として、非特許文献１に示される視体積交差法に基づく3Dモデルベースの自由視点画像生成手法が存在する。

視体積交差法は、図８に示したように各カメラ映像から被写体の部分だけを抽出した２値のシルエット画像を入力として、各カメラのシルエット画像を3D空間に投影し、その積集合となる部分のみを残すことで3Dモデルを生成する手法である。

近年、このような3Dモデルを生成する手法は高速化が進んでいる。非特許文献２には、視体積交差法で3Dボクセルモデルを生成する際に、初めに粗いボクセルモデルの生成を行い、次に粗いボクセルの形成位置のみに対して細かいボクセルグリッドを構成して二度目の視体積交差法を実施して細かいボクセルモデルを生成することで、3Dモデル生成を大幅に高速化する技術が開示されている。このような技術を用いることで、近年では3Dモデル生成をリアルタイムで行うことも可能になってきた。

3Dモデルが計算された状態で仮想視点映像の視聴を行う際に、ユーザは自由に任意の視点を選択する。この視点からの映像を生成するために、3Dモデルに対して単一あるいは複数のカメラから3Dモデルに色付け（これ以降、テクスチャマッピングと表現する場合もある）を行い、任意視点からの2D画像を得る処理はレンダリングと呼ばれる。

レンダリングには、3Dモデルの各ポリゴンの色を決定していく静的なテクスチャマッピング手法と、仮想視点の位置が決定された後に、その視点および向きに基づいてテクスチャマッピングを施す視点依存のテクスチャマッピング手法とがある。非特許文献２では視点依存のテクスチャマッピングが施されている。

仮想視点映像のレンダリングにおいてテクスチャマッピングを施す場合、スポーツ映像における選手等のような複数の被写体が3Dモデル化される環境において、あるカメラ映像から見たときにマッピングを施したい被写体が他の被写体の3Dモデルによって覆い隠されるようなオクルージョンが発生する場合がある。

この場合、そのカメラを避けて他のカメラから色付けを行うような技術を適用することで、遮蔽を考慮したテクスチャマッピングが可能になる。しかしながら、視点選択後に各オブジェクトと各カメラとの遮蔽関係を毎回計算し直すことは計算負荷が大きいことから、特許文献２では、各カメラから3Dモデルを見た際にオクルージョンが発生するか否かを、3Dモデルの頂点ごとに計算しておき、オクルージョン情報として保存しておく技術が開示されている。

特開2010-20487号公報 特願2019-136729号

Laurentini, A. "The visual hull concept for silhouette based image understanding.", IEEE Transactions on Pattern Analysis and Machine Intelligence, 16, 150-162, (1994). J. Chen, R. Watanabe, K. Nonaka, T. Konno, H. Sankoh, S. Naito, "A Fast Free-viewpoint Video Synthesis Algorithm for Sports Scenes", 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2019), WeAT17.2, (2019).

近年、3Dモデル生成が高速化されてきていることから、仮想視点の視聴に際し、3Dモデルの生成ではなく、テクスチャの受信やエンコードされたカメラ映像のデコードの処理時間がボトルネックになるケースが存在する。

例えば、自由視点映像を用いたサービスの実施形態として、図９のように複数のサーバや装置に各機能を分散して処理を行い、仮想視点映像の視聴を実現することが考えられる。図９において、キャプチャサーバ２はカメラ画像を常にキャプチャし続け、3Dモデル制作サーバ３は被写体の3Dモデル（の形状）を計算する。レンダリング装置（PC）は自由視点のレンダリングを行い、自由視点ビュア４などのアプリケーション上で自由視点の視聴を可能とする計算機である。

図９には、レンダリング装置１を操作する運用者が自由視点ビュア４で仮想視点映像を見ながら、サッカーのゴールシーンなどの見どころシーンが発生した際に臨場感のあるカメラワークを決定し、そのカメラワークのリプレイ動画を作成してスタジアムの大型ビジョン５などに表示する場合の構成例が示されている。

キャプチャサーバ２からレンダリング装置１へのデータのやり取りについては、キャプチャサーバ２がキャプチャしたカメラ映像を既存の動画圧縮方式などでエンコードして送信し、受信先のレンダリング装置１がデコードをすることでテクスチャを得る（圧縮せずに送ることも可能だが、非圧縮テクスチャは膨大なデータ量となるためネットワーク負荷や配信遅延が大きい）。

例えば、１００台の4Kカメラで撮影した仮想視点映像などにおいては、4K１００台分のテクスチャを受信してデコード処理を行う必要がある。このため、ネットワークの帯域が狭い場合やデコーダのスペックが足りていない場合には、3Dモデル制作サーバ３にて3Dモデルの生成を行い、更にレンダリング装置１で3Dモデルを受信する時間よりも、テクスチャをレンダリング装置１に配置するまでの時間の方が大きくなるケースがあった。

このように、3Dモデルが先に受信されるもののテクスチャが全て揃っていないようなケースでは、本来必要であるはずのテクスチャが揃っていないことから、不適切なマッピングが成される可能性があった。

特に、特許文献２のように複数台のカメラから自由視点の3Dモデル生成を行い、オクルージョン情報を生成し、仮想視点のレンダリングの際にはオクルージョン情報を参照してテクスチャマッピングを施す場合、オクルージョン情報が当該カメラは遮蔽状態になっていないためマッピングに使用することを示しているのにも関わらず当該カメラのテクスチャが未受信・未デコードとなることがある。このような場合、テクスチャが存在せずに読み込めないため適切なマッピングが成されないケースが発生する。そのため、従来は全てのカメラのテクスチャが全て揃うのを待ってからレンダリングを開始する必要があった。

一方、スタジアムの大型ビジョン５などに映し出すリプレイ動画を生成するようなケースでは、運用者が自由視点ビュア４でレンダリング結果を確認しながら臨場感のあるリプレイカメラワークの検討を行うことが想定される。

このような大型ビジョンやテレビの中継映像でのリプレイの再生は、当該シーンの発生から大きく時間が経過しないうちにワークを決定し、ワーク動画の生成を完成させることが求められる。しかしながら、テクスチャのデコード完了を待ってワークの検討を開始すると即時性が失われるという問題があった。

また、スマートフォンなどのモバイル端末で自由視点レンダリングを行い、リアルタイムに仮想視点を視聴するようなケースでは、途中のネットワーク帯域が狭い場合に、全てのカメラテクスチャがリアルタイムで配信されないケースなども考えられる。このような状況下で、フレームごとにリアルタイムで受信できるテクスチャのカメラ台数が変化する場合などに、フレームごとに使うテクスチャの枚数を変化させながらマッピングを行うような機能については、特許文献１，２に代表されるテクスチャマッピング手法では開示されていなかった。

本発明の目的は、上記の技術課題を解決し、仮想視点映像を合成する際に一部のカメラのテクスチャのみがマッピングされたレンダリング途中の合成映像を視聴可能とすることで、全てのカメラのテクスチャが揃う前でも、目的に見合った実用品質の仮想視点映像を提供できる仮想視点映像レンダリング装置、方法及びプログラムを提供することにある。

上記の目的を達成するために、本発明は、視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング装置において、以下の構成を具備した点に特徴がある。

(1) カメラ映像を取得する手段と、カメラ映像に基づいて制作された3Dモデルを取得する手段と、仮想視点を選択する手段と、各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手段と、一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手段とを具備した。

(2) 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手段を具備した。

(3) 各カメラに仮想視点に基づく優先度を設定する手段を具備し、マッピングする手段は優先度に基づく順序で各カメラ映像のテクスチャをカメラ単位で順次にマッピングするようにした。

(4) カメラ映像が符号化圧縮されており、カメラ映像をデコードする手段を具備し、デコード手段は優先度に基づく順序でカメラ映像をデコードするようにした。

(5) デコード手段は優先度が上位のカメラ映像から順に所定数ずつデコードし、マッピングする手段はデコードされたカメラ映像のテクスチャを、優先度が上位のカメラ映像から順に所定数ずつマッピングするようにした。

(6) カメラ映像の提供元へ優先度に応じた順序でカメラ映像を転送させる手段をさらに具備した。

(7) 3Dモデルがポリゴンモデルであり、カメラ映像を取得する手段は、3Dモデルと共に当該3Dモデルの各ポリゴンが各カメラから可視／不可視のいずれであるかを記録したオクルージョン情報を取得し、テクスチャマッピングに用いないカメラのオクルージョン情報を不可視に書き替えるようにした。

(1) 一部のカメラから取得したカメラ映像のみを用いて合成したレンダリング途中の仮想視点映像を視聴できるようにしたので、視聴ユーザに対して用途に応じて十分な実用品質を備えた仮想視点映像を早い段階で提供できるようになる。

(2) 仮想視点に基づいてカメラに優先度を設定し、優先度の高い一部のカメラ映像を用いて合成したレンダリング途中の仮想視点映像を視聴できるようにしたので、品質の高い仮想視点映像を視聴ユーザへ提供できるようになる。

(3) 符号化カメラ映像が優先度に応じた順序でデコードされるので、デコード速度がボトルネックとなる場合でも、視聴ユーザに対して用途に見合った十分な実用品質を備えた仮想視点映像を短時間で提供できるようになる。

(4) キャプチャサーバとレンダリング装置とを接続するネットワーク帯域が不十分であり、3Dモデルが取得されるタイミングで全てのカメラ映像を取得できないような場合でも、視聴ユーザに対して用途に見合った十分な実用品質を備えた仮想視点映像を短時間で提供できるようになる。

本発明を適用した仮想視点映像レンダリングシステムの第１実施形態の機能ブロック図である。 オクルージョン情報をカメラ決定部の決定結果に応じて書き換える例を示した図である。 本発明を適用した仮想視点映像レンダリングシステムの第２実施形態の機能ブロック図である。 カメラ（映像）に優先度を設定する例を示した図である。 本発明を適用した仮想視点映像レンダリングシステムの第３実施形態の機能ブロック図である。 第３実施形態のタイムチャートである。 本発明を適用した仮想視点映像レンダリングシステムの第４実施形態の機能ブロック図である。 視体積交差法による3Dモデルの形成方法を示した図である。 従来の仮想視点映像レンダリングシステムの機能ブロック図である。

以下、図面を参照して本発明の実施の形態について詳細に説明する。ここではサッカーを代表としたスポーツシーンのリプレイ映像をスタジアムの大型ビジョンなどに映し出す用途で、運用者が自由視点ビュア上でカメラワークを決定し、臨場感のあるリプレイワークを制作する場合を例にして説明する。

図１は、本発明を適用した仮想視点映像レンダリングシステムの第１実施形態の構成を示した機能ブロック図であり、仮想視点映像を合成するレンダリング装置１が、視点の異なる複数台（本実施形態では、１６台）のカメラCam1～Cam16で撮影したカメラ映像をキャプチャするキャプチャサーバ２およびこれらのカメラ映像に基づいて被写体の3Dモデルを制作する3Dモデル制作サーバ３とLAN等のネットワークで相互に接続される。

キャプチャサーバ２は、自由視点ビュア４を操作する運用者に要求された映像期間のカメラ映像を3Dモデル制作サーバ３およびレンダリング装置１へ送信する。レンダリング装置１は前記映像期間の仮想視点映像を大型ビジョン５に表示する。

3Dモデル制作サーバ３は、背景差分計算部３０１，3Dモデル形状取得部３０２およびオクルージョン情報生成部３０３を含む。背景差分計算部３０１は、視点の異なるカメラ映像ごとに各画素を前景または背景に識別する。識別結果は単純な空舞台画像であってもよいし、シルエットマスクのように二値化された情報であってもよい。あるいは許容できる時間的な揺らぎの分散値を統計化した情報であってもよい。

なお、この背景差分計算部３０１は3Dモデル制作サーバ３ではなく、キャプチャサーバ２に実装されていてもよい。この場合、キャプチャサーバ２はキャプチャ処理だけではなく、各カメラの背景差分の計算を常にリアルタイムで行い、結果として抽出されるシルエットマスク画像を自ら保存しておく。そして、自由視点ビュア４を操作する運用者に要求された映像期間のシルエットマスク画像を3Dモデル制作サーバ３へ送信する。

この場合、キャプチャサーバ２と3Dモデル制作サーバ３の間は2値のシルエットマスクが伝送されることから、伝送されるデータ量を大幅に削減することができる。一方、キャプチャサーバ２はキャプチャだけでなく、シルエットマスクの抽出をリアルタイムで実施し、保存しておく計算機スペックを有する必要がある。

3Dモデル形状取得部３０２は、シルエットマスク等を利用した視体積交差法により被写体の3Dモデルを生成する。本実施例では、3Dモデルが三角形パッチの集合であるポリゴンモデルとして制作される。このような3Dモデルは、各頂点の３次元位置と各三角形パッチがいずれのポリゴンのいずれの頂点で構成されるかというインデックス情報とで定義される。

オクルージョン情報生成部３０３は、3Dモデルの各頂点を可視のカメラと不可視のカメラとに分別するオクルージョン情報を生成する。本実施形態のように１６台のカメラが存在する環境では、3Dモデルの頂点ごとに１６個のオクルージョン情報が計算され、可視のカメラには「1」、不可視のカメラには「0」などの情報が記録される。

サッカーの競技シーンで選手が二人重なり、あるカメラ画像において選手Aが選手Bを覆い隠す場合、選手Bの3Dモデルに選手Aのテクスチャが映り込まないようにテクスチャをマッピングする必要がある。このような場合、選手Bの3Dモデルの遮蔽される部分の頂点に関しては、当該カメラに関するオクルージョン情報が「不可視」として記録されている。このオクルージョン情報は、例えば特許文献１のようなデプスマップを用いた手法等を用いて計算される。

レンダリング装置１において、カメラ映像取得部１０１は自由視点ビュア４から要求された仮想視点映像の開始時刻および終了時刻をキャプチャサーバ２へ通知し、当該映像期間のカメラ映像を取得する。3Dモデル取得部１０２は3Dモデル制作サーバ３が制作した被写体の3Dモデルを取得する。仮想視点決定部１０３は自由視点ビュア４における運用者の視点選択操作に基づいて仮想視点Pvを選択する。

カメラ決定部１０４はレンダリングに用いるカメラの台数Nとして、3Dモデル制作サーバ３が3Dモデルの制作に用いるカメラ台数（本実施形態では１６台）よりも少ない台数Nを決定する。台数Nは最初に固定的に決定しても良いし、所定の周期、例えばフレーム単位で適応的に決定しても良い。

マッピング部１０５は、決定されたカメラ台数Nのカメラ映像を用いて、3Dモデルおよび仮想視点Pvの位置ならびに向きに基づいてテクスチャマッピングを行う。マッピングに用いるN台のカメラはランダムに選択しても良いが、仮想視点Pvから大きく異なる視点、例えば被写体を挟んで対向する側（裏側）の視点ばかりが選択されてしまうと用途を見合った実用品質の仮想視点映像を得られなくなる可能性がある。したがって、N台のカメラは仮想視点Pvに近い視点から選択することが望ましい。あるいはN台のカメラが相互に遠くなる（分散する）ように選択することで、仮想視点Pvにかかわらず常にある程度の品質の仮想視点映像が得られるようにしても良い。

本実施形態では、まず仮想視点p_v近傍の２台のカメラ（c1, c2）を選択し、これらのカメラ画像を各3Dモデルの各ポリゴンgにマッピングするが、その前処理として、各ポリゴンgを構成する３頂点のオクルージョン情報を用いて、当該ポリゴンの可視判定を行う（３頂点は3Dモデルが三角ポリゴンで形成される場合であり、実際にはそれぞれのポリゴンgを構成する頂点数に依存する）。

例えば、カメラcam1に対するgの可視判定フラグをg (c1)と表現する場合、ポリゴンgを構成する３頂点すべてが可視であればg (c1)は可視、３頂点のうちいずれか一つでも不可視であればg (c1)は不可視とし、カメラごとの各ポリゴンの可視判定の結果に応じて以下のようにテクスチャマッピングを行う。

ケース１：ポリゴンgに関するカメラc₁，c₂の可視判定フラグg_c1，g_c2がいずれも「可視」の場合
次式(1)に基づいてアルファブレンドによるマッピングを行う。

ここで、texturec1(g)，texturec2(g)はポリゴンgがカメラc1，c2において対応するカメラ画像領域を示し、texture(g)は当該ポリゴンにマッピングされるテクスチャを示す。アルファブレンドの比率aは仮想視点pvと各カメラ位置p_(c_1 ), p_(c_2 )との距離（アングル）の比に応じて算出される。

ケース２：可視判定フラグg_c1，g_c2の一方のみが可視の場合
ポリゴンgを可視であるカメラのテクスチャのみを用いてレンダリングを行う。すなわち上式(1)において、可視であるカメラのtexture_(c_i )に対応する比率aの値を１とする。あるいは仮想視点p_vからみて次に近い第3のカメラc_3を不可視である一方のカメラの代わりに参照し、ケース１の場合と同様に上式(1)に基づくアルファブレンドによりマッピングを行う。

ケース３：可視判定フラグg_c1，g_c2のいずれもが不可視の場合
仮想視点p_v近傍（一般には、アングルが近いもの）の他のカメラを選択することを、少なくとも一方の可視判定フラグが可視となるまで繰り返し、各カメラ画像の参照画素位置のテクスチャを、ケース１の場合と同様に上式(1)に基づくアルファブレンドによりポリゴンgにマッピングする。

なお、上記の実施形態では初期参照する近傍カメラ台数を２台としているが、ユーザ設定により変更してもよい。その際は、初期参照カメラ台数ｂに応じて、上式(1)はｂ台のカメラの線形和（重みの総和が１）とする拡張が行われる。また、全てのカメラにおいて不可視となったポリゴンについてはテクスチャをマッピングしない。

さらに、本実施形態ではカメラ決定部１０４が決定したN台のカメラのみをテクスチャマッピングに利用することから、オクルージョン情報の一部をカメラ決定部１０４の決定結果に応じて予め書き換えるようにしても良い。

本実施形態では、ポリゴンの頂点ごとに１６台のカメラのオクルージョン情報が登録されるので、一つの頂点に注目すると、そのオクルージョン情報は図２に示したように16ビットで表現され、「１」はオクルージョンが生じておらず「可視」を表し、「０」はオクルージョンが生じているために「不可視」を表している。

このようなオクルージョン情報に対して、例えばカメラ決定部１０４が決定したN台のカメラが、奇数のカメラIDを割り当てられた８台であれば、カメラIDが偶数の残り８台のカメラのオクルージョン情報を全て「０」に書き換える。このようにすれば、選択されていないカメラは全て遮蔽状態として扱われるため、マッピング部１０５はN台のカメラを意識することなくテクスチャマッピングを行うことができる。

途中映像出力部１０６は、自由視点ビュア４を操作する運用者からの要求に応答して、N台のカメラのカメラ映像から取得したテクスチャのみしかマッピングされていないレンダリング途中の仮想視点映像を自由視点ビュア４へ提供する。

このような仮想視点レンダリング装置１は、CPU、メモリ、インタフェースおよびこれらを接続するバス等を備えた汎用のコンピュータやモバイル端末に、後述する各機能を実現するアプリケーション（プログラム）を実装することで構成できる。あるいは、アプリケーションの一部をハードウェア化またはプログラム化した専用機や単能機としても構成できる。

自由視点ビュア４では、運用者がレンダリング途中の仮想視点映像を参照しながらリプレイ映像のカメラワークを決定するための作業を行う。したがって、カメラ決定部１０４はカメラワークを決定するという用途に見合った十分な実用品質を備えた仮想視点映像を運用者へ提供できるようにカメラ台数Nを決定することが望ましい。ワーク映像出力部１０７は、運用者が決定したカメラワークに基づいて生成したリプレイシーン入りの映像を大型ビジョン５へ出力する。

本実施形態によれば、一部のカメラから取得したカメラ映像のみを用いて合成したレンダリング途中の仮想視点映像を自由視点ビュア４へ出力できる。したがって、仮想視点映像の見え方を概ね確認できてカメラワークを決定する作業には十分な実用品質を備えた映像を、運用者に対して早い段階で提供できるので、リプレイシーン入りの映像を視聴者に迅速に提供できるようになる。

図３は、本発明を適用した仮想視点映像レンダリングシステムの第２実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態では、レンダリング装置１が前記カメラ決定部１０４に代えて優先度設定部１０４ａを具備した点に特徴がある。

優先度設定部１０４ａは、仮想視点Pvの選択結果に基づいて各カメラに優先度を設定する。図４は、前記優先度設定部１０４ａによる優先度の設定方法を模式的に示した図であり、ここでは等間隔で配置された１６台のカメラCam1～Cam16を対象に優先度を設定する方法を説明する。

本実施形態では、仮想視点Pvから最も近いカメラCam12の優先度を最も高くし [同図 (a)]、当該優先度が最も高いカメラCam12から最も遠いカメラCam4の優先度を次に高くし [同図 (b)]、以降、優先度を設定済みの各カメラCam12，Cam4から遠いカメラほど優先度が高くなるように、各カメラCam8 [同図 (c)]、Cam16 [同図 (d)]に優先度を順次に設定する。

あるいは、図示は省略するが仮想視点Pvから最も近いカメラCam12の優先度を最も高くし、当該優先度が最も高いカメラCam12から最も近いカメラCam11の優先度を次に高くし、以降、優先度を設定済みの各カメラCam12，Cam11から近いカメラほど優先度が高くなるように、各カメラCam13，Cam10に優先度を順次に設定しても良い。

マッピング部１０５は、前記優先度に基づく順序で、最初は優先度が最も高いカメラCam12で撮影したカメラ画像を用いて、3Dモデルおよび仮想視点Pvの位置ならびに向きに基づいてテクスチャマッピングを行う。次いで、優先度が2番目に高いカメラCam12で撮影したカメラ画像を用いてテクスチャマッピングを行い…というように、優先度の高いカメラ画像からのテクスチャマッピングを順次に繰り返すことで、仮想視点Pvから見込んだ仮想視点映像をカメラ単位で段階的に合成する。そして、優先度が高い上位所定数のカメラ画像のテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を自由視点ビュア４へ提供する。

本実施形態によれば、仮想視点に基づいてカメラに優先度を設定し、優先度の高い一部のカメラ映像を用いて合成したレンダリング途中の仮想視点映像を自由視点ビュア４へ出力するので、選択視点からの映像品質が高い仮想視点映像を運用者へ提供できるようになる。

図５は、本発明を適用した仮想視点映像レンダリングシステムの第３実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。本実施形態ではキャプチャサーバ２がエンコード部２０１を具備し、キャプチャしたカメラ映像を符号化圧縮し、圧縮カメラ映像としてレンダリング装置１へ提供する。

レンダリング装置１はキャプチャサーバ２から受信した圧縮カメラ映像を復号するデコード部１０８を具備する。前記デコード部１０８は、受信済みの圧縮カメラ映像を前記優先度設定部１０４ａが設定した優先度順で復号する。前記マッピング部１０５は、復号済みのカメラ映像のテクスチャをカメラ単位で前記優先度に応じた順序でマッピングする。

カメラ映像の圧縮にはAVCやHEVCなどの既存の動画像符号化方式を用いることができる。一般に、既存の動画像符号化方式で圧縮されたファイルは途中のフレームから復号することが難しいことから、各カメラの映像は１秒区切りなどの細かい単位に区切られ、この単位ごとに符号化圧縮して保存してもよい。このようにしておくことで、試合中映像キャプチャが継続的に行われている際に、ゴールシーンなどの見どころシーンが登場して仮想視点制作を行う必要が生じた際に、当該シーンの映像だけをレンダリング装置１へ送って復号することが可能になる。

図６は、3Dモデル制作サーバ３による3Dモデルの制作タイミング、デコード部１０８によるテクスチャのデコードタイミングおよびマッピング部１０５におけるテクスチャマッピングの各タイミングを時系列で示したタイムチャートである。

本実施形態では、時刻t1で3Dモデルの取得が完了しており、デコード部１０８は１６本のカメラ映像を優先度が高い順に４本ずつデコードすることを４回繰り返すことで全てのカメラ映像をデコードする。図示の例では、優先度が最も高い上位４本のデコードが時刻t1で完了し、次の４本のデコードが時刻t2で完了し、次の４本のデコードが時刻t3で完了し、優先度が最も低い４本のデコードが時刻t4で完了している。

マッピング部１０５は、時刻t1で優先度が最も高い上位４本のデコードが完了すると、当該４本のカメラ画像を用いたテクスチャマッピングを開始して時刻t1からt2の間は当該4本のカメラ画像でテクスチャマッピングを行い、仮想視点映像をレンダリングする途中映像出力部１０６は、４本のカメラ画像のテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を自由視点ビュア４へ出力して運用者に提示する。運用者は、当該仮想視点映像に基づいて、リプレイシーンにおけるカメラワークの検討を早い段階で開始することが出来る。

その後、時刻t2で優先度が次に高い４本のデコードが完了すると、マッピング部１０５は、これまでにデコード済みの８本のカメラ画像を用いたテクスチャマッピングを開始する。時刻t2からt3までの間は当該8本のカメラ画像でテクスチャマッピングを行い、仮想視点映像をレンダリングする。時刻t3までは、途中映像出力部１０６は、８本のカメラ画像がテクスチャマッピングされることで品質が向上したレンダリング途中の仮想視点映像を自由視点ビュア４へ出力して運用者に提示する。

その後、時刻t3で優先度が次に高い４本のデコードが完了し、さらに時刻t4で優先度が最も低い４本のデコードが完了すると、マッピング部１０５は、これまでにデコード済みの１２本、ないし１６本のカメラ画像を用いたテクスチャマッピングを開始する。時刻t4以後は１６本のカメラ画像がテクスチャマッピングされることで品質が更に向上したレンダリング途中の仮想視点映像を自由視点ビュア４へ出力して運用者に提示する。

本実施形態によれば、符号化カメラ映像が優先度に応じた順序でデコードされるので、デコード速度がボトルネックとなる場合でも、運用者に対して、カメラワークを決定する作業には十分な実用品質を備えた仮想視点映像を短時間で提供することができ、リプレイシーン入りの映像を視聴者に素早く提供できるようになる。

なお、上記の第３実施形態は、優先度設定部１０４ａに代えて第１実施形態のカメラ決定部１０４を用いた場合にも適用できる。この場合はテクスチャマッピングに用いるカメラ（映像）を当該時点でデコードが完了しているカメラ映像の中からランダムに複数台ずつ複数回に分けて順次に選択すれば良い。

図７は、本発明を適用した仮想視点映像レンダリングシステムの第４実施形態の構成を示した機能ブロック図であり、前記と同一の符号は同一または同等部分を表しているので、その説明は省略する。

上記の各実施形態では、キャプチャサーバ２とレンダリング装置１とを接続するネットワーク帯域が十分であり、3Dモデルが取得されるタイミングでは全てのカメラ映像が取得済みであり、レンダリング装置１は任意のカメラ映像からテクスチャマッピングを開始できるものとして説明した。

しかしながら、ネットワーク帯域が不十分であると、3Dモデルが取得されるタイミングでは一部のカメラ映像しか取得することができず、優先度順に復号し、テクスチャマッピングを行うことが叶わない場合がある。そこで、本実施形態ではレンダリング装置１がキャプチャサーバ２に対して優先度を通知し、当該優先度順でカメラ映像を転送させるようにしている。

レンダリング装置１において、優先度通知部１０９はキャプチャサーバ２に対してカメラ（映像）の優先度を通知する。キャプチャサーバ２において、転送順序制御部２０２は、レンダリング装置１から通知された優先度順でカメラ映像が転送されるようにカメラ映像の転送順序を制御し、また第２実施形態への適用であればエンコード部２０１に対してカメラ映像のエンコードを前記優先度順で行うように制御する。

本実施形態によれば、キャプチャサーバ２とレンダリング装置１とを接続するネットワーク帯域が不十分であり、3Dモデルが取得されるタイミングでは全てのカメラ映像を取得できないような場合でも、運用者に対して、カメラワークを決定する作業には十分な実用品質を備えた仮想視点映像を短時間で提供することができ、リプレイシーン入りの映像を視聴者に素早く提供できるようになる。

なお、上記の各実施形態では原則としてレンダリング装置の処理能力が十分に高い場合を例にして説明したが、本発明はこれのみに限定されるものではなく、レンダリング装置としてスマートフォンのように処理能力が低いモバイル端末を用いるのであれば、優先度とは無関係に一部のカメラ映像のみを用いてレンダリングを行うようにしても良い。

このとき、レンダリングに用いるカメラ台数をキャプチャサーバ２へ通知し、レンダリングに必要なカメラ映像のみを取得するようにすれば、モバイル端末とキャプチャサーバ２との間のトラフィック量を削減でき、モバイル端末の処理負荷お軽減できる。

１…レンダリング装置，２…キャプチャサーバ，３…3Dモデル制作サーバ，４…自由視点ビュア，５…大型ビジョン，１０１…カメラ映像取得部，１０２…3Dモデル取得部，１０３…仮想視点決定部，１０４…カメラ決定部，１０４ａ…優先度設定部，１０５…マッピング部，１０６…途中映像出力部，１０７…ワーク映像出力部，１０８…デコード部，１０９…優先度通知部，２０１…エンコード部，２０２…転送順序制御部，３０１…背景差分計算部，３０２…3Dモデル形状取得部，３０３…オクルージョン情報生成部

Claims (10)

1. 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング装置において、
   カメラ映像を取得する手段と、
   カメラ映像に基づいて制作された3Dモデルを取得する手段と、
   仮想視点を選択する手段と、
   各カメラに前記仮想視点に基づく優先度を設定する手段と、
   前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手段と、
   一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手段とを具備し、
   前記優先度を設定する手段は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くすることを特徴とする仮想視点映像レンダリング装置。
2. 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手段を具備したことを特徴とする請求項１に記載の仮想視点映像レンダリング装置。
3. 前記カメラ映像を取得する手段が取得するカメラ映像が符号化圧縮されており、
   前記カメラ映像をデコードする手段を具備し、
   前記デコードする手段は前記優先度に基づく順序でカメラ映像をデコードすることを特徴とする請求項１または２に記載の仮想視点映像レンダリング装置。
4. 前記デコード手段は前記優先度が上位のカメラ映像から順に所定数ずつデコードし、
   前記マッピングする手段はデコードされたカメラ映像のテクスチャを、前記優先度が上位のカメラ映像から順に所定数ずつマッピングすることを特徴とする請求項３に記載の仮想視点映像レンダリング装置。
5. カメラ映像の提供元へ前記優先度に応じた順序でカメラ映像を転送させる手段をさらに具備したことを特徴とする請求項１ないし４のいずれかに記載の仮想視点映像レンダリング装置。
6. 前記3Dモデルがポリゴンモデルであり、
   前記カメラ映像を取得する手段は、3Dモデルと共に当該3Dモデルの各ポリゴンが各カメラから可視／不可視のいずれであるかを記録したオクルージョン情報を取得し、
   テクスチャマッピングに用いないカメラのオクルージョン情報を不可視に書き替えることを特徴とする請求項１ないし５のいずれかに記載の仮想視点映像レンダリング装置。
7. コンピュータが視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリング方法において、
   カメラ映像を取得し、
   カメラ映像に基づいて制作された3Dモデルを取得し、
   仮想視点を選択し、
   各カメラに前記仮想視点に基づく優先度を設定し、
   前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングし、
   一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させ、
   前記優先度は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くすることを特徴とする仮想視点映像レンダリング方法。
8. 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定することを特徴とする請求項７に記載の仮想視点映像レンダリング方法。
9. 視点の異なる複数のカメラ映像に基づいて仮想視点映像をレンダリングする仮想視点映像レンダリングプログラムにおいて、
   カメラ映像を取得する手順と、
   カメラ映像に基づいて制作された3Dモデルを取得する手順と、
   仮想視点を選択する手順と、
   各カメラに前記仮想視点に基づく優先度を設定する手順と、
   前記優先度に基づく順序で各カメラ映像のテクスチャを仮想視点および3Dモデルに基づいてカメラ単位で順次にマッピングする手順と、
   一部のカメラのテクスチャのみがマッピングされたレンダリング途中の仮想視点映像を視聴させる手順と、
   をコンピュータに実行させ、
   前記優先度を設定する手順は、仮想視点から最も近いカメラの優先度を最も高くし、当該優先度が最も高いカメラから最も遠いカメラの優先度を次に高くし、以降、優先度を設定済みの各カメラから遠いカメラほど優先度を高くする仮想視点映像レンダリングプログラム。
10. 前記一部のカメラの台数として、3Dモデルの制作に用いるカメラの台数よりも少ない台数を決定する手順を含むことを特徴とする請求項９に記載の仮想視点映像レンダリングプログラム。

Images