JP7500512B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本開示は、二次元画像と三次元コンピュータグラフィックスとを合成する画像処理技術に関する。

いわゆるゲームエンジンと呼ばれる、三次元コンピュータグラフィックス（３ＤＣＧ）をリアルタイムにレンダリングするビデオゲーム作成用プラットフォームがある。近年このゲームエンジンの高画質化技術の向上が進んでおり、リアルタイムに写実的な合成映像による表現が行えるようになってきている（特許文献１を参照）。これを受けて、映像制作の分野においてもゲームエンジンを用いた３ＤＣＧ製作が利用されてきている。その一つの活用方法として、グリーンバックスタジオで撮像した二次元の動画像（２Ｄ映像）と３ＤＣＧとをリアルタイムに合成した映像を生成・配信するスタジオ（一般に「バーチャルスタジオ」と呼ばれる。）などで利用されている。

特開２０１８－７４２９４号公報

２Ｄ映像と３ＤＣＧとの合成においては、３ＤＣＧ空間上の予め決まった位置にスクリーンが設けられ、カメラで撮像された被写体（オブジェクト）の画像を当該スクリーンに順次投影してレンダリングすることで合成映像が得られる。そのため、撮像中にカメラ（視点）を大きく動かしたり、オブジェクトが大きく移動したりすると、スクリーンに対する位置ずれやＣＧで作成された背景との前後関係の不整合などが起きてしまい、不自然な合成画像となることがあった。

本開示の技術に係る画像処理システムは、特定の視点に対応する前景オブジェクトを含む二次元画像と、前記二次元画像を得る際の条件を規定するパラメータと、前記二次元画像に含まれる前景オブジェクトの三次元位置及び形状を表す位置形状データを取得する取得手段と、背景オブジェクトを示す三次元データを含む仮想空間に配置された、前記位置形状データに基づくスクリーンと、前記二次元画像に含まれる前記前景オブジェクトの画像とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを含む合成画像を生成する生成手段と、を有し、前記二次元画像は、複数の撮像画像に基づいて生成される、指定された仮想視点に対応する仮想視点画像であり、前記パラメータは、前記仮想視点画像を生成する際の条件を表す仮想視点パラメータである、ことを特徴とする。

本開示の技術によれば、二次元画像に含まれる前景オブジェクトと三次元コンピュータグラフィックス空間に含まれる背景オブジェクトとが調和した自然な合成画像を得ることができる。

仮想視点画像を生成するための画像処理システムの構成の一例を示す図。 画像処理装置のハードウェア構成の一例を示す図。 実施形態１に係る、画像処理装置の内部構成の一例を示す図。 合成部における処理の流れを示すフローチャート。 （ａ）は背景モデルが配置された３ＤＣＧ空間の一例を示す図、（ｂ）は背景モデルが配置された３ＤＣＧ空間内にスクリーンと疑似的な影が形成された状態を示す図。 （ａ）はクロマキー処理を説明する図、（ｂ）は３ＤＣＧ空間上に生成されたスクリーンに切抜き画像が投影された状態を示す図。 合成画像の一例を示す図。 （ａ）はカメラが大きく移動した一例を示す図、（ｂ）は３ＤＣＧ空間上に生成されたスクリーンに切抜き画像が投影された状態を示す図。 （ａ）は投影視点及びレンダリング視点を撮像視点に合わせない場合の一例を示す図、（ｂ）は前景オブジェクトのサイズを大きくした場合の一例を示す図。 （ａ）はスクリーンのマスク画像の一例を示す図、（ｂ）はマスク画像から得られる切り抜き画像の一例を示す図。 （ａ）は変形例に係るレンダリング画像の一例を示す図、（ｂ）は変形例に係る合成画像の一例を示す図。 実施形態２に係る、仮想視点画像生成システムの内部構成の一例を示す図。 合成画像の一例を示す図。

実施形態１

＜システム構成＞
図１は、本実施形態に係る、仮想視点画像を生成するための画像処理システムの構成の一例を示す図である。画像処理システム１００は、撮像装置（カメラ）１１０、計測装置１２０、画像処理装置１３０及び表示装置１４０を有する。画像処理システム１００では、カメラ１１０で撮像した映像を、画像処理装置１２０にて三次元コンピュータグラフィックスに合成して表示装置１４０に表示する。

カメラ１１０は、例えばクロマキー撮影可能なグリーンバックやブルーバックのスタジオにて、前景となる演者等のオブジェクト（以下、「前景オブジェクト」と呼ぶ。）を時間的に連続して撮像し、得られた撮像画像（動画像）を出力する。カメラ１１０は、例えば、シリアルデジタルインタフェイス（ＳＤＩ）に代表される映像信号インタフェイスを備えたデジタル方式のビデオカメラにより実現される。カメラ１１０は、出力する映像信号に対しタイムコードに代表される時刻情報を付加して、画像処理装置１３０に送信する。この際、カメラの三次元位置（x，y，z）、姿勢（パン、チルト、ロール）、画角、レンズ歪、焦点距離、解像度などを規定する、撮像パラメータも併せて送信する。この撮像パラメータは、公知のカメラキャリブレーションを行って予め算出し、メモリ等に記憶しておく。例えばカメラの三次元位置や姿勢は、カメラ１１０にマーカーを設置し、それを撮像空間上に複数配置された光学センサで検出することで、取得可能である。また、カメラ１１０がクレーンやロボットアームなどに取り付けられている場合は、クレーンやロボットアームの位置及び姿勢を基にカメラ１１０の位置及び姿勢を求めてもよい。

計測装置１２０は、スタジオ等の現実の撮像空間に存在する前景オブジェクトの位置とその大まかな形状を測定する。本実施形態の計測装置１２０は撮像機能を有しており、複数の方向から前景オブジェクトを撮像して得られた複数の画像を解析することによってその位置と大まかな形状を測定する。例えば２つのカメラを用いてマーカーレスでリアルタイムに人物等の位置及び姿勢などを検出する。これにより、撮像空間における前景オブジェクトの位置と概略形状を示すデータ（以下、「位置形状データ」と呼ぶ。）を生成し出力する。本実施形態では、前景オブジェクトに外接する直方体の各頂点の三次元位置（x，y，z）及び当該直方体の各辺の長さを記述した位置形状データが生成・出力されるものとする。ただし、計測装置１２０の構成は上述の例に限定されず、無線LANやBluetoothなどを用いたローカル位置測位システムなどでもよい。また、例えば人物等にセンサを取り付け、GPSを用いてその三次元位置を検出してもよい。その場合、予め調べておいた人物等の大凡の大きさの情報を加えて、位置形状データとすればよい。この際のオブジェクト形状に関しては簡易なものでよく、当該オブジェクトに外接する多面体などで構わない。

画像処理装置１３０は、カメラ１１０で得た前景オブジェクトの画像を３ＤＣＧ空間に投影し、それを撮像時と同じ視点からレンダリングすることで、前景オブジェクトが３ＤＣＧ空間に存在するかのような合成画像を生成する。画像処理装置１３０の機能の詳細は後述する。

表示装置１４０は、例えば液晶ディスプレイ等であり、画像処理装置１３０から送られてくる画像データ（グラフィカルユーザインタフェイスのためのＵＩ画面のデータや合成画像のデータ）を取得して表示する。

なお、本実施形態では、カメラ１１０は１台を想定しているが、例えば複数のカメラ１１０を用いた構成でもよい。例えば、画像処理装置１３０もカメラ１１０と同じ数だけ持ち、それぞれのシステムで得られた合成画像を切り替え器のようなもので切り替えて出力してもよい。或いは、複数のカメラ１１０からそれぞれ入力された撮像画像のうち３ＤＣＧとの合成に使用する撮像画像を画像処理装置１３０内部で切り替えて処理してもよい。

＜ハードウェア構成について＞
図２は、画像処理装置１３０のハードウェア構成の一例を示す図である。情報処理装置である画像処理装置１３０は、ＣＰＵ２１１、ＲＯＭ２１２、ＲＡＭ２１３、補助記憶装置２１４、操作部２１５、通信Ｉ／Ｆ２１６、及びバス２１７を有する。

ＣＰＵ２１１は、ＲＯＭ２１２またはＲＡＭ２１３に格納されているコンピュータプログラムおよびデータを用いて画像処理装置１３０の全体を制御することで、画像処理装置１３０の各機能を実現する。なお、画像処理装置１３０は、ＣＰＵ２１１とは異なる専用の１又は複数のハードウェアあるいはＧＰＵ（Graphics Processing Unit）を有していてもよい。そして、ＣＰＵ２１１による処理の少なくとも一部をＧＰＵあるいは専用のハードウェアが行うようにしても良い。専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ２１２は、変更を必要としないプログラムなどを格納する。ＲＡＭ２１３は、補助記憶装置２１４から供給されるプログラムやデータ、及び通信Ｉ／Ｆ２１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置２１４は、例えばハードディスクドライブ等で構成され、画像データや音声データなどの種々のデータを記憶する。

操作部２１５は、例えばキーボードやマウス等で構成され、ユーザによる操作を受けて各種の指示をＣＰＵ２１１に入力する。ＣＰＵ２１１は、表示装置１０４を制御する表示制御部、及び操作部２１５を制御する操作制御部として動作する。通信Ｉ／Ｆ２１６は、画像処理装置１３０の外部の装置との通信に用いられる。例えば、画像処理装置１３０が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ２１６に接続される。画像処理装置１３０が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ２１６はアンテナを備える。

バス２１７は、画像処理装置１３０の各部を繋いで情報を伝達する。なお、本実施形態では、撮像装置１１０、計測装置１２０及び表示装置１４０を外部装置として設けているが、いずれも画像処理装置１３０の機能部の１つとして内在する形で設けてもよい。

＜画像処理装置の内部構成＞
図３は、本実施形態に係る、カメラ１１０で得た前景オブジェクトの撮像画像を３ＤＣＧに合成する画像処理装置１３０の内部構成の一例を示す図である。画像処理装置１３０は、データ取得部３０１、同期部３０２、合成部３０３、データ出力部３０８の各機能部を有する。そして、合成部３０３、背景保持部３０４、前処理部３０５、投影部３０６、レンダリング部３０７を有する。なお、画像処理装置１３０は、複数の電子機器によって構成されてもよい。以下、各機能部について説明する。

データ取得部３０１は、前景オブジェクトの撮像画像データを撮像パラメータと共にカメラ１１０から受信して取得する。また、データ取得部３０１は、前景オブジェクトの位置形状データを計測装置１２０から取得する。データ取得部３０１が取得したデータは、同期部３０２に入力される。撮像画像データと位置形状データとは、互いに同期したタイミングで取得されることが望ましいが必須ではない。両データの取得周期（サンプリング周期）が異なる場合、例えば取得されたデータの変動量に基づいて撮像画像データに同期させた位置形状データを別途生成してもよい。撮像パラメータは、撮像画像データと同じタイミングで送信（または受信）されてもよいし、別のタイミングで送信（または受信）されてもよい。また、撮像パラメータは、変更された際に送信（または受信）されるようにしてもよい。この場合には、送信（または受信）されるデータ量を低減することができる。撮像パラメータの送信（または受信）の頻度、周期、フレームレートは、撮像画像データ送信（または受信）の頻度、周期、フレームレートよりも小さくてもよい。

同期部３０２は、入力された各データそれぞれの生成・伝送・取得のタイミングが異なることによるデータ間の遅延時間の調整を行う。具体的には、それぞれのデータに対して可変長のバッファを設けておき、バッファを介して同期させた各データを合成部３０３に出力する。データ間の同期を取る際には、それぞれのデータに付与されている時刻情報を用い、最も入力が遅いデータに合わせて他のデータのバッファ段数を変更することで出力時の時刻がデータ間で一致するように遅延時間を調整する。

合成部３０３は、撮像画像データ及び前景オブジェクトの位置形状データに基づき、前景オブジェクトの画像を３ＤＣＧ空間に投影して、３ＤＣＧ空間に前景オブジェクトが存在しているかのような合成画像を生成する。合成部３０３の詳細については後述する。

データ出力部３０８は、合成部３０３によって生成された合成画像のデータを、表示装置１４０等の外部装置に出力する。

以上が、本実施形態に係る画像処理装置の機能構成である。なお、本実施形態では、撮像画像データ、撮像パラメータ、位置形状データの３つのデータ間の同期を１つの同期部３０２で調整しているが、このような構成に限定されない。例えば、撮像装置１１０及び計測装置１２０それぞれに内部バッファを持たせ、同じタイミングで画像処理装置１３０にデータ送信するような構成でもよい。

＜合成部の詳細＞
図３に示すように合成部３０３は、背景保持部３０４、前処理部３０５、投影部３０６及びレンダリング部３０７部を有する。図４のフローチャートを参照して、合成部３０３の機能の詳細について説明する。なお、図４のフローチャートが示す一連の処理は、ＣＰＵ２１１が、ＲＯＭ２１２又は補助記憶装置２１４等に格納された制御プログラムを読み出してＲＡＭ２１３に展開し、これを実行することで実現される。なお、以下の説明において記号「Ｓ」はステップを意味する。

同期部３０２から上述の各データが合成部３０３に入力されると、まずＳ４０１にて、レンダリング部３０７が、背景保持部３０４から背景オブジェクトのＣＧデータを読み出し、ＣＧによる背景オブジェクトを３ＤＣＧ空間に配置する。ここで、背景保持部３０４が保持するＣＧデータは、柱や備品といった３ＤＣＧ空間に配される前景オブジェクト以外の背景となるオブジェクトそれぞれの三次元形状とテクスチャ（色や質感など）を示すデータである。ＣＧデータは、３ＤＣＧ空間における三次元位置情報を有していてもよい。また、ＣＧデータは、実空間の三次元位置情報を有していてもよい。図５（ａ）は、ＣＧの背景オブジェクトが配置された３ＤＣＧ空間の一例を示す図であり、この例では実線の直方体で示す４つの背景オブジェクト５０１ａ～５０１ｄが３ＤＣＧ空間に配置されている。なお、３ＤＣＧ空間内のどの位置に配置するかは、背景オブジェクト毎に予め決められているものとする。次のＳ４０２～Ｓ４０７の各処理は、入力された撮像画像データのフレーム単位で実行される。

次のＳ４０２では、前処理部３０５が、同期部３０２から入力された位置形状データに基づき、処理対象フレームにおける前景オブジェクトの画像を投影するためのスクリーンを３ＤＣＧ空間内に配置する。また、前処理部３０５は、前景オブジェクトの疑似的な影を３ＤＣＧ空間内に形成する。図５（ｂ）は、上述の図５（ａ）に示す３ＤＣＧ空間内に、破線で示す３つのスクリーン５０２ａ～５０２ｃが配置され、さらに、ハッチングで示す疑似的な影５０３ａ～５０３ｃが形成された状態を示している。本実施形態では、スクリーンとして、前景オブジェクトに外接する直方体に対応する透明なバウンディングボックスを３ＤＣＧ空間に配置している。スクリーンを直方体で表現する理由は、三次元形状の前景オブジェクトを囲う最も簡単な立体であることに因る。スクリーンを二次元平面とした場合、正面からは問題なく投影できるが、側面や上面から投影する場合に面が形成されず適切な投影像が得られない。そのため、本実施形態ではスクリーンを直方体としている。なお、スクリーンを“投影時の視点に常に正対する面”と定義することも可能であるが、例えば前景オブジェクトが人間のような複雑な形状をしている場合、見る方向によりその面積が大きく変わるので、その都度計算が必要となってしまう。一方、直方体であれば、当該直方体の各点の三次元位置を示す座標（x，y，z）の最大値と最小値を取ればその中に前景オブジェクトの投影像が必ず収まるので都度の計算は不要となる。また、直方体であればデータ量も抑制でき、伝送等の処理負荷を小さくできるというメリットもある。なお、透明化する理由は、合成画像においてユーザがスクリーンを視認できないようにするためである。このような理由から本実施形態では、スクリーンとして、透明なバウンディングボックスを採用している。そして、投影された前景オブジェクトの像が接地しているように見せるには影の表現が重要となるが、本実施形態の位置形状データには前景オブジェクトの詳しい形状や姿勢の情報を含まないため、光源に基づく正確な影の表現が困難である。そこで、簡素な形状の疑似的な影を描画することで接地感の向上を図っている。具体的には、位置形状データが示す概略形状と大きさに応じた半透明の黒またはグレーの楕円形を、スクリーンとしてのバウンディングボックスの底面近辺に描画する。これにより、前景オブジェクトの移動と連動するように疑似的な影が表示され、３ＤＣＧ空間において前景オブジェクトが接地しているような自然な合成画像が得られる。またこの疑似的な影は、例えば光源に向かって伸びるといった不自然なものにならないよう、スクリーンとしてのバウンディングボックスの底面周辺に光源に基づき形成することが望ましい。なお、仮想的な光源の位置によっては、バウンディングボックスの外に疑似的な影が形成されてもよい。例えば、図５（ｂ）において、背景オブジェクト５０１ｄ側から背景オブジェクト５０１ａ側に向かって光が射すような場合である。また、背景オブジェクトについても疑似的な影が形成されてもよい。

次のＳ４０３では、投影部３０６が、処理対象フレームの撮像パラメータに基づき、前景オブジェクトの画像を上述のスクリーンに投影する際の条件（投影パラメータ）を設定する。具体的には、投影を行う際の視点、姿勢及び画角などを、処理対象フレームが撮像されたときの条件に合わせ、両者が一致するように設定する。

そして、Ｓ４０４にて、投影部３０６は、処理対象フレームの画像を、Ｓ４０２にて生成されたスクリーンに対して投影する。この際、スクリーンには、処理対象フレームの画像にクロマキー処理を行って得られた、前景オブジェクトに対応する画像領域のみを切り抜いた部分画像（切り抜き画像）が投影される。図６（ａ）はクロマキー処理を説明する図である。図６（ａ）の例では人物６０１～６０３それぞれに対応する３つの切り抜き画像が処理対象フレーム６００から抽出されることになる。図６（ｂ）は、３ＤＣＧ空間上に生成された各スクリーン（図５（ｂ）を参照）に対し、対応する切抜き画像がそれぞれ投影された状態を示している。なお、スクリーンは上述のとおり透過処理されているため、切り抜き画像を投影した後のスクリーンの余白がユーザに視認されることはない。

次のＳ４０５では、レンダリング部３０７が、処理対象フレームの撮像パラメータに基づき、切り抜き画像が投影された３ＤＣＧ空間を対象としてレンダリングを行う際の条件（レンダリングパラメータ）を設定する。上述の図６（ｂ）において、視点マーク６１０が、カメラ１１０の撮像視点に合わせて設定されたレンダリング視点を示している。つまり、レンダリング視点は、その位置、姿勢及び画角などが、処理対象フレームが撮像されたときのカメラ１１０と一致するように設定されている。

そして、Ｓ４０６にて、レンダリング部３０７は、前景オブジェクトの切り抜き画像が透明なスクリーンに投影された状態の３ＤＣＧ空間を対象としたレンダリング処理を、Ｓ４０５で設定されたレンダリングパラメータに従い実行する。レンダリング処理では、設定されたレンダリング視点から各オブジェクトまでの距離に基づき、レンダリング視点により近い方の色値（画素値）を採用する処理が画素単位で行われる。例えば、判明している前景オブジェクト及び背景オブジェクトの三次元位置の情報から、レンダリング視点から各オブジェクトまでの距離を示すデプス画像をまず生成し、これを参照して合成画像を構成する画素の値を順次決定する処理が行われる。これにより図７に示すような、３ＤＣＧ空間上で例えば前景オブジェクトより前にある背景オブジェクトは前景オブジェクトの前に表示される等、オブジェクト間の遮蔽関係を反映した合成画像７００が得られることになる。こうして、現実の三次元空間（撮像空間）に存在した前景オブジェクトが３ＤＣＧ空間に存在するかのような自然な合成画像が得られる。

Ｓ４０７では、映像生成の停止の指示がなされたかの判定を行う。映像生成の停止がなされるまで、Ｓ４０２に戻って入力された処理対象フレームを逐一処理し続ける。

以上が、合成部３０３における処理の内容である。合成部３０３は上述した機能構成により、カメラ１１０で撮像した前景オブジェクトの画像を、前景オブジェクトやカメラ１１０の動きに追随させつつ３ＤＣＧに高精度で合成することができる。例えば図８（ａ）の視点マーク６１０’に示すようにカメラ１１０が演者の斜め後ろの方向へと大きく移動したとする。この場合、図８（ｂ）に示すように、３ＤＣＧ空間上のスクリーンに対し、移動後のカメラ１１０と同じ視点から各前景オブジェクトの切り抜き画像６１１’、６１２’、６１３’が投影される。こうして、カメラ１１０やオブジェクトが大きく移動しても、オブジェクトどうしの遮蔽関係等を正しく表した合成画像を得ることができる。

＜変形例＞
カメラ１１０による前景オブジェクトの撮像を、クロマキー処理を前提としていわゆるグリーンバックやブルーバックの環境で行なう場合を説明したが、そのような環境下での撮像は必須ではない。例えば通常のスタジオにて撮像を行って得られた撮像画像からオブジェクト認識技術によって演者とそれ以外の背景とを判別し、演者に対応する画像領域だけを切り抜くような画像処理を行って、投影に用いてもよい。

また、投影用のスクリーンとして、前景オブジェクトに外接するバウンディングボックスを採用する場合を説明したが、スクリーンの形状は直方体に限定されない。例えば、前景オブジェクトを複数方向から撮像して得た画像を利用して当該前景オブジェクトの姿勢を推定し、推定された姿勢を表したメッシュモデルを生成して、前景オブジェクトの姿勢に合った三次元形状のスクリーンを採用してもよい。これにより、例えば演者についてその時々の姿勢を模したマネキン人形のようなスクリーンを３ＤＣＧ空間に配置することができる。

また、上述の実施形態では、投影視点及びスクリーンの座標系（x，y，z）と、背景モデルを配置した３ＤＣＧ空間の座標系（x’，y’，z’）とを一致させていたが、これらは本実施形態において必須の条件ではない。前景オブジェクトと撮像視点との相対的な位置関係、及び、スクリーンと投影視点とレンダリング視点との相対的な位置関係が一致していればよい。これら相対的な位置関係が一致していれば、スクリーン、投影視点及びレンダリング視点を３ＤＣＧ空間上の任意の座標に移動させてもよいし、向きを変更してもよい。また、スクリーンの変倍率と相対距離の変倍率とを合わせて変更することで、前景オブジェクトと３ＤＣＧ空間との大きさの関係を変更してもよい。図９（ａ）は、投影視点及びレンダリング視点を撮像視点より遠くに設定すると共に、各スクリーンを手前に配置した場合の一例である。また、図９（ｂ）は、さらに各スクリーンの変倍率と相対距離の変倍率を合わせて変更して前景オブジェクトのサイズを大きくした場合の一例である。なお、図９（ｂ）の場合、座標系それ自体の大きさを変えることになる（例えば元の画像では１ｃｍが実空間の１ｍに相当する場合、画像上の１ｃｍが実空間の５０ｃｍに相当するように変更）ため、投影視点の絶対的な距離は遠くなる。このように、前景オブジェクトが移動したような表現や、小さくなったり大きくなったりする表現も可能である。

また、スクリーンに前景オブジェクトの切り抜き画像を投影し、それをレンダリングしていたが、必ずしもこのような処理順に限定するものではない。例えば、レンダリング視点から見たときの遮蔽関係なども考慮した、例えば図１０（ａ）に示すような、スクリーンのマスク画像を取得する。そして、図６（ａ）の撮像画像に対して図１０（ａ）のマスク画像を適用し、前景オブジェクトの部分を切り抜いた図１０（ｂ）に示すような切り抜き画像１００１及び１００２を生成する。そして、図５（ａ）に示す背景オブジェクトのＣＧのみが配置された３ＤＣＧ空間を対象にレンダリングを行って図１１（ａ）に示すレンダリング画像１１００を生成し、これに対して図１０（ｂ）に示す切り抜き画像１００１及び１００２を重畳させることで、図１１（ｂ）に示す合成画像１１０１を得てもよい。ただし、この手法の場合、レンダリング時に前景オブジェクトの三次元的な距離情報を用いないため、被写界深度を正確に表すことや、遠景時の霞みなどを表現することが困難である。よって、実施形態中で説明した手法の方が、より品質の高い合成画像が得られる。

以上のとおり本実施形態によれば、カメラで撮像した前景オブジェクトの２Ｄ映像とＣＧで作成された背景とが調和した自然な合成画像を容易に得ることができる。

実施形態２

次に、３ＤＣＧに合成する二次元画像として仮想視点画像を用いる形態を、実施形態２として説明する。図１２は、画像処理装置１３０に入力される仮想視点画像を生成するシステムの構成の一例を示す図である。

図１２に示す通り、本実施形態においては、仮想視点画像生成システム１２００から出力される仮想視点パラメータ、仮想視点画像及び前景モデルが画像処理装置１３０へと入力される。つまり、本実施形態の仮想視点パラメータ及び仮想視点画像が、実施形態１においてカメラ１１０から出力される撮像パラメータ及び撮像画像に相当し、本実施形態の前景モデルが実施形態１において計測装置１２０から出力される位置形状データに相当する。以下、実施形態１との差分を中心に、本実施形態について説明する。

仮想視点画像生成システム１２００は、複数の撮像装置１２０１、画像処理サーバ１２０２及びコントローラ１２０６で構成される。そして、画像処理サーバ１２０２は、三次元形状推定部１２０３、素材データ蓄積部１２０４及び仮想視点画像生成部１２０５の各機能部を有する。

複数の撮像装置１２０１は、前景オブジェクトを取り囲むように配置され、複数の方向から前景オブジェクトを撮像する。また、これら複数の撮像装置１２０１の撮像タイミングは図示しないタイムサーバからの同期信号に基づき同期されている。複数の撮像装置１２０１によって複数の異なる視点から撮像された画像（以下、「複数視点画像」と呼ぶ。）のデータは、各撮像装置の位置・姿勢及び光学特性などを示す撮像パラメータと共に画像処理サーバ１２０２に送られ、三次元形状推定部１２０３に入力される。

三次元形状推定部１２０３は、入力された複数視点画像を構成する撮像画像それぞれから前景オブジェクトのシルエットを抽出した上で、視体積交差法などを用いて前景オブジェクトの三次元形状を表すデータ（以下、「前景モデル」と呼ぶ。）を生成する。この前景モデルには、撮像時における三次元位置を表す情報が付与される。生成された前景モデルは元になった複数視点画像（撮像パラメータを含む）と共に素材データ蓄積部１２０４に送られる。

素材データ蓄積部１２０４は、仮想視点画像の素材として、三次元形状推定部１２０３から入力された前景モデル、複数視点画像及び撮像パラメータの各データを保存・蓄積する。

コントローラ１２０６は、撮像空間において任意の位置に仮想的な撮像視点を設定するためのジョイスティックや、焦点距離や画角などの数値を指定するためのキーボードなどを有し、それらを介したユーザ入力に基づき、仮想視点パラメータを生成する。ここで、仮想視点パラメータには、仮想視点の位置・姿勢などを表すカメラの外部パラメータに相当する情報、焦点距離や画角といったカメラの内部パラメータに相当する情報、仮想視点画像の生成対象となるフレームを特定する時刻情報などを含む。生成された仮想視点パラメータは、画像処理サーバ１２０２に送られ、仮想視点画像生成部１２０５に入力される。

仮想視点画像生成部１２０５は、入力された仮想視点パラメータに含まれる時刻情報に基づき、素材データ蓄積部１２０４から該当する時刻における前景モデル及び撮像画像のデータをまず取得する。そして、取得した前景モデルに対し、指定された仮想視点に応じた色付けを撮像画像に基づき行って、当該仮想視点からの見えを表す仮想視点画像を生成する。生成された仮想視点画像のデータは、生成に用いた仮想視点パラメータ及び前景モデルと共に画像処理装置１３０へ出力される。

＜画像処理装置の動作＞
本実施形態の画像処理装置１３０は、実施形態１のカメラ１１０による撮像画像の切り抜き画像に代えて、画像処理サーバ１２０２で生成された仮想視点画像の切り抜き画像を３ＤＣＧに合成する。そのためにデータ取得部３０１は、仮想視点パラメータに含まれる仮想視点の位置・姿勢、焦点距離、画角といった情報を、実施形態１の撮像パラメータとして扱う。すなわち、仮想視点をカメラ１１０と見做し、仮想視点の位置・姿勢や画角などの光学情報を、前述の撮像パラメータにおけるカメラ１１０の位置・姿勢や画角などの光学情報と見做して、データ取得部３０１はこれらの情報を同期部３０２に出力する。また、本実施形態のデータ取得部３０１は、仮想視点パラメータに含まれる又は仮想視点画像に埋め込まれた時刻情報に基づいて各フレームに対応する前景モデルを、実施形態１の位置形状データと見做して、同期部３０２に出力する。このとき、後段の合成部３０３で処理が行いやすいように、前景モデルに対して形状を簡略化してデータ量を削減する処理を行った上で出力してもよい。形状簡略化処理としては、例えば、前景モデルが表す三次元形状に外接する直方体（バウンディングボックス）の情報に変換したり、三次元形状を表現する点群やメッシュを間引いたりする処理が考えられる。なお、フォーマット変換などデータ間の整合性を取るための処理が必要に応じて行われるなされることは言うまでもない。

本実施形態の同期部３０２は、実施形態１と同様、データ取得部３０１から入力された仮想視点画像、仮想視点パラメータ、前景モデルの３つのデータの同期をとって、合成部３０３に出力する。

本実施形態の合成部３０３は、同期部３０２から入力された仮想視点画像と３ＤＣＧとを合成した合成映像を生成する。具体的には、前処理部３０５が、背景オブジェクトのＣＧが配置された３ＤＣＧ空間に投影用スクリーンと疑似的な影を前景モデルに基づき生成する（Ｓ４０１、Ｓ４０２）。次に投影部３０６が、仮想視点パラメータに合わせた投影パラメータを設定し（Ｓ４０３）、仮想視点画像から前景オブジェクトの切り抜き画像を生成してスクリーンに投影する（Ｓ４０４）。そして、レンダリング部３０７が、仮想視点パラメータに合わせたレンダリングパラメータを設定し（Ｓ４０５）、仮想視点画像の切り抜き画像が投影された状態の３ＤＣＧ空間を対象としたレンダリング処理を、所定のフレーム分実行する（Ｓ４０６）。

＜変形例＞
本実施形態では、仮想視点画像、仮想視点パラメータ、前景モデルの３つのデータの同期を、実施形態１と同様、画像処理装置１３０内で取っているがこれに限定されない。例えば、これらデータの同期を仮想視点画像生成システム内で取った上で例えば圧縮等を行って１つにまとめファイル化した上で画像処理装置１３０に送信する構成でもよい。このような構成の場合、画像処理装置１３０内の同期部３０２は不要となる。そして、データ取得部３０１にて、受信したデータファイルを展開して、仮想視点画像、仮想視点パラメータ、前景モデルの各データを取得して合成部３０３に入力すればよい。このような構成により画像処理装置側で同期をとる必要がなくなるとともに、データ伝送の煩雑性も解消することができる。

また、本実施形態では、データ取得部３０１が、仮想視点パラメータに含まれる又は仮想視点画像に埋め込まれた時刻情報に基づき、対応する前景モデルを取得するとしたが必ずしもこれに限定するものではない。例えば画像処理サーバ１２０２において、仮想視点画像生成部１１３０５が素材データ蓄積部１２０４から取得した前景モデルを、対応する仮想視点画像のフレームと対応付けた上で、画像処理装置１３０に送る構成としてもよい。この場合、画像処理装置１３０のデータ３０１は、時刻情報を用いなくても、各フレームに対応する前景モデルを取得することができる。

また、本実施形態では、データ取得部３０１が、画像処理サーバ１２０２から入力された前景モデルから概略形状を導出する簡略化処理を行っているがこれに限定されない。例えば、画像処理サーバ１２０２側にて簡略化処理までを行って、簡略化された（すなわち、データ量が削減された）前景モデルを画像処理装置１３０に入力するようにしてもよい。例えば、三次元形状推定部１２０２にて通常の形状推定を行って前景モデルを生成した後、さらに当該前景モデルから概略形状を導出する処理を行って簡易版の前景モデルを生成するようにする。そして、通常の前景モデルに加えて簡易版の前景モデルも素材データ蓄積部１２０４に保存・蓄積して、画像処理装置１３０には簡易版の前景モデルを送信するようにする。こうすることにより、画像処理装置１３０側で前景モデルに対する形状の簡略化処理を省くことができ、データ伝送の負荷も減らすことができる。

また、本実施形態では、形状推定の結果である前景モデルに対し点群データを間引いたり、バウンディングボックスに置き換えるなどして簡易な形状にすると説明したが、形状の簡略化はこれらに限定されない。例えば形状推定結果から、メッシュモデルや深度画像、姿勢情報などを生成し、これらを利用して簡易な形状を得る構成でもよい。さらには、形状推定結果を一定の高さ間隔で分割し、当該分割された部分それぞれのバウンディングボックスを生成し、それらの集合を簡易な形状としてもよい。

また、疑似的な影を上述の姿勢情報を用いて生成してもよい。例えば、演者の姿勢情報から得た前述の人型スクリーンの底面に演者の簡易形状に応じた影を投影してもよい。これにより演者等の動きに沿った疑似的な影を表現できる。さらには、推定結果である前景モデルが表す三次元形状のうち床面に近い部分（例えば床面から３０ｃｍの領域）の位置形状データを別途取得し、これを用いて疑似的な影を描画してもよい。この手法であれば、実際の前景オブジェクトのシルエットまでは把握できないバウンディングボックスのような簡易形状データからであっても、例えば図１３に示す合成画像１３００のように、演者の足元付近にだけ疑似的な影１３０１を生成することができる。また、この手法の場合、前景オブジェクトの姿勢を検出する必要がないため処理量が少なくて済むという利点もある。

本実施形態によれば、実際のカメラ位置に縛られない仮想的なカメラ視点からの見えを表す２Ｄ映像とＣＧで作成された背景とが調和した自然な合成画像を容易に得ることができる。また、仮想視点画像を生成する際の素材データを合成にも利用するので、効率がよい。さらには、データ間の同期や前景オブジェクトの三次元位置の取得の高精度化がより容易に行うことができ、高品質な合成が可能となる。

（その他の実施例）
本開示の技術は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１３０ 画像処理装置
３０１ データ取得部
３０３ 合成部
３０５ 前処理部
３０６ 投影部
３０７ レンダリング部

Claims (13)

1. 特定の視点に対応する前景オブジェクトを含む二次元画像と、前記二次元画像を得る際の条件を規定するパラメータと、前記二次元画像に含まれる前景オブジェクトの三次元位置及び形状を表す位置形状データを取得する取得手段と、
   背景オブジェクトを示す三次元データを含む仮想空間に配置された、前記位置形状データに基づくスクリーンと、前記二次元画像に含まれる前記前景オブジェクトの画像とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを含む合成画像を生成する生成手段と、
   を有し、
   前記二次元画像は、複数の撮像画像に基づいて生成される、指定された仮想視点に対応する仮想視点画像であり、
   前記パラメータは、前記仮想視点画像を生成する際の条件を表す仮想視点パラメータである、
   ことを特徴とする画像処理システム。
2. 前記位置形状データは、前記複数の撮像画像に基づいて生成される、前記前景オブジェクトの三次元形状データに基づくデータであることを特徴とする請求項１に記載の画像処理システム。
3. 前記スクリーンは、三次元の形状である、ことを特徴とする請求項１又は２に記載の画像処理システム。
4. 前記スクリーンは、透明なバウンディングボックスである、ことを特徴とする請求項３に記載の画像処理システム。
5. 前記位置形状データは、前記前景オブジェクトに外接する直方体の各頂点の三次元位置及び当該直方体の各辺の長さを記述したデータである、ことを特徴とする請求項４に記載の画像処理システム。
6. 前記生成手段は、前記仮想空間に、前記前景オブジェクトの疑似的な影を、前記位置形状データに基づいて生成し、前記合成画像を生成する、ことを特徴とする請求項１乃至５のいずれか一項に記載の画像処理システム。
7. 前記疑似的な影は、半透明の黒またはグレーの楕円形である、ことを特徴とする請求項６に記載の画像処理システム。
8. 前記生成手段は、前記パラメータに基づき設定された視点から各前景オブジェクトまでの距離に基づいて、前記合成画像の画素の色を決定する、ことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理システム。
9. 前記生成手段は、
   前記スクリーンへの前記前景オブジェクトの投影を行う際の条件を、前記パラメータによって規定される前記二次元画像を得る際の条件に合わせて設定し、
   前記合成画像の画素の色を決定する際の条件を、前記パラメータによって規定される前記二次元画像を得る際の条件に合わせて設定する、
   ことを特徴とする請求項８に記載の画像処理システム。
10. 前記特定の視点に対応した二次元画像は動画像を構成するフレームであり、
    前記位置形状データの取得周期と前記動画像を構成するフレームの取得周期とが異なる場合、前記動画像の各フレームに同期させた位置形状データを生成する同期手段をさらに有することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理システム。
11. 前記特定の視点に対応した二次元画像は動画像を構成するフレームであり、
    前記取得手段は、前記位置形状データを、前記動画像を構成するフレームと同期したタイミングで取得することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理システム。
12. 特定の視点に対応する前景オブジェクトを含む二次元画像と、前記二次元画像を得る際の条件を規定するパラメータと、前記二次元画像に含まれる前景オブジェクトの三次元位置及び形状を表す位置形状データを取得する取得ステップと、
    背景オブジェクトを示す三次元データを含む仮想空間に配置された、前記位置形状データに基づくスクリーンと、前記二次元画像に含まれる前記前景オブジェクトの画像とに基づいて、前記前景オブジェクトと前記背景オブジェクトとを含む合成画像を生成する生成ステップと、
    を含み、
    前記二次元画像は、複数の撮像画像に基づいて生成される、指定された仮想視点に対応する仮想視点画像であり、
    前記パラメータは、前記仮想視点画像を生成する際の条件を表す仮想視点パラメータである、
    ことを特徴とする画像処理方法。
13. コンピュータに、請求項１２に記載の画像処理方法を実行させるためのプログラム。

Images