JP6482580B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関し、特に、撮像画像を監視するために用いて好適なものである。

近年、複数の撮像装置を異なる位置に設置し、複数の撮像装置が同期して被写体を撮像し、当該撮像により得られた複数の視点の画像を用いて、撮像装置の設置位置の画像だけでなく任意の視点の画像を仮想視点画像として生成する技術が注目されている。
複数の視点の画像に基づく仮想視点画像の生成および閲覧は、次のようにして実現することができる。まず、複数の撮像装置が撮像した画像をサーバなどの画像生成装置に集約する。そして、画像生成装置は、複数の撮像装置が撮像した画像を用いて、仮想視点に基づくレンダリングなどの処理を施して仮想視点画像を生成し、ユーザの視聴端末に仮想視点画像を表示する。

仮想視点画像を用いれば、例えば、画像生成装置は、サッカーやバスケットボールの試合を撮像した画像から、画像コンテンツ制作者により指定された視点に応じた仮想視点画像を生成することにより迫力のある視点のコンテンツを制作することができる。また、コンテンツを視聴しているユーザ自身が視聴端末に備えたコントローラやタブレット等を使用して自由に視点を移動し、画像生成装置がその視点に応じた仮想視点画像を表示することにより、ユーザは、自身の好みの視点で、試合を観戦することができる。従って、仮想視点画像を用いたサービスでは、従来の撮像画像と比較してユーザにその場面にいるような臨場感を与えることができる。

一方で、仮想視点画像の画質は、「注視する対象物」の画質に大きく依存する。「注視する対象物」とは、例えば、サッカーやバスケットボールの試合であれば、選手やボールである。こうした「注視する対象物」の画質を高めるためには、その画像の元となるカメラの撮像画像を監視し、「注視する対象物」やその周辺に、異常が発生していないか確認することが求められる。具体的には、例えば、「注視する対象物」に、応援旗などの障害物が映り込んでいないことや、適正な露出状態になっていることを確認することが求められる。

注視する対象物を確認するための技術として特許文献１に記載の技術がある。特許文献１に記載の技術では、まず、注視する対象物としての見守り対象者を撮像した撮像画像から、見守り対象者を前景画像として抽出する。そして、前景画像と背景画像との深度の差分情報から、見守り対象者の位置や行動を推定する。

特開２０１４−２３６８９６号公報

しかしながら、特許文献１に記載の技術では、注視する対象物の位置や行動を監視するのみである。従って、特許文献１に記載の技術では、仮想視点画像を生成するシステムの様に、多数の撮像装置を設置し、撮像画像に複数の対象物が存在する場合、障害物の有無や露出オーバー／露出アンダーの発生などを、低負荷で且つ高い精度で監視することは容易でない。
本発明は、かかる課題に鑑みてなされたものであり、その目的は、複数の撮像画像の監視負担を低減しつつも高い精度で撮像画像の監視を行うことができるようにすることを目的とする。

本発明の情報処理装置は、複数の撮像装置により取得された複数の撮像画像に基づいて生成されるオブジェクトの三次元形状データを用いて仮想視点の位置及び方向に応じた仮想視点画像を生成するシステムにおける、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像を表示させる情報処理装置であって、前記複数の撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得する取得手段と、前記取得手段により取得されたオブジェクトの画像を、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像として表示画面上に表示させる表示制御手段と、を有することを特徴とする。

本発明によれば、複数の撮像画像の監視負担を低減しつつも高い精度で撮像画像の監視を行うことができるようになる。

画像監視システムの構成を示す図である。 撮像装置の配置を示す図である。 撮像装置のハードウェアの構成を示す図である。 撮像装置の機能的な構成の第１の例を示す図である。 撮像装置の動作の第１の例を示すフローチャートである。 前景画像データおよび背景画像データを示す図である。 画像生成装置のハードウェアの構成を示す図である。 画像生成装置の機能的な構成の第１の例を示す図である。 画像生成装置の動作を示すフローチャートである。 画像監視装置の機能的な構成の第１の例を示す図である。 画像監視装置の動作の第１の例を示すフローチャートである。 画像監視装置により表示される表示イメージの第１の例を示す図である。 表示イメージの生成処理の第１の例を示すフローチャートである。 撮像装置の機能的な構成の第２の例を示す図である。 サイズ判定部の処理の一例を示すフローチャートである。 撮像装置の機能的な構成の第３の例を示す図である。 注視点エリアを示す図である。 撮像装置の動作の第２の例を示すフローチャートである。 撮像装置の機能的な構成の第４の例を示す図である。 画像生成装置の機能的な構成の第２の例を示す図である。 ２次元配置情報を示す図である。 ２次元配置情報を説明する図である。 撮像装置の動作の第３の例を示すフローチャートである。 画像監視装置の機能的な構成の第２の例を示す図である。 画像監視装置により表示される表示イメージの第２の例を示す図である。 表示イメージの生成処理の第２の例を示すフローチャートである。

以下、図面を参照して、本発明の実施形態を説明する。
（第１の実施形態）
まず、第１の実施形態を説明する。本実施形態では、各撮像装置から前景画像データのみを画像監視装置へ伝送し、画像監視装置で、撮像装置毎に、前景画像データを表示する場合を例に挙げて示す。
図１は、本実施形態の画像監視システムの構成の一例を示す図である。本実施形態の画像監視システムは、複数の撮像装置１００−１、１００−２、・・・１００−ｎを有する撮像装置群１００と、画像生成装置２００と、ユーザ端末３００と、画像監視装置４００と、分配装置５００とを有する。各々の装置は、画像や制御情報を伝送する為の伝送ケーブルを介して相互に通信可能に接続される。伝送ケーブルの具体例としては、Ｅｔｈｅｒｎｅｔ（登録商標）であるＩＥＥＥ標準準拠のＧｂＥ（ギガビットイーサーネット）や１０ＧｂＥが挙げられる。ただし、伝送ケーブルは、これらに限定されず、他の種別のケーブルであってもよい。また、各々の装置は、無線通信を行ってもよい。

撮像装置群１００は、ｎ個の撮像装置（撮像装置１００−１、１００−２、・・・、１００−ｎ）を有する。以下、特定の撮像装置を示さない場合、撮像装置１００−１、１００−２、・・・、１００−ｎを、撮像装置１００−ｘと称する。

相互に隣り合う位置にある撮像装置１００−ｘ同士は、伝送ケーブルを介して相互に接続される。撮像装置１００−ｘは、撮像画像やそれに付随するメタ情報を画像生成装置２００および画像監視装置４００へ伝送する。図１では、撮像装置１００−１は、撮像装置１００−２と相互に接続される。また、撮像装置１００−２は、撮像装置１００−１に加え、撮像装置１００−２と隣り合う位置にある不図示のもう１つの撮像装置と相互に接続される。そして、撮像装置１００−ｎは、撮像装置１００−ｎと隣り合う位置にある不図示の撮像装置と相互に接続される。また、撮像装置１００−ｎは、分配装置５００と相互に接続される。

撮像装置１００−ｘは、サッカー場などの競技場や特定の被写体を取り囲むように配置される。図２は、撮像装置１００−ｘの配置の一例を示す図である。図２に示す例では、サッカー場などの競技場２１０の全てまたは一部の範囲が複数の撮像装置１００−ｘで撮像されるように、複数の撮像装置１００−ｘが配置される。
複数の撮像装置１００−ｘは、例えばデジタルカメラであり、外部の不図示の同期装置からの同期信号に基づき、同じタイミングで撮像を行う。撮像装置１００−ｘにより撮像された画像は、伝送ケーブルを介して、分配装置５００を通り、画像生成装置２００および画像監視装置４００に伝送される。撮像装置１００−ｘは、静止画像を撮像するカメラであっても、動画像を撮像するカメラであっても、静止画像および動画像の双方を撮像するカメラであってもよい。

画像生成装置２００は、分配装置５００を介して撮像装置１００−ｘと相互に接続される。また、画像生成装置２００は、ユーザ端末３００とも相互に接続される。画像生成装置２００は、撮像装置１００−ｘにより撮像された画像を蓄積する。画像生成装置２００は、ユーザ端末３００の操作に基づく仮想視点情報を入力した場合、複数の撮像装置１００−ｘにより撮像された画像を用いて、仮想視点情報に対応した仮想視点画像を生成する。画像生成装置２００は、生成した仮想視点画像を、ユーザ端末３００に伝送する。ここで、仮想視点情報には、位置情報と方向情報とが少なくとも含まれる。位置情報は、撮像した競技場２１０の中央などの所定位置に対する相対的な位置（例えば、所定位置を基準とした場合の、前後方向、左右方向、および左右方向の位置）を示す情報である。方向情報は、その所定位置からの向き（例えば、所定の位置を原点とし、前後方向、左右方向、上下方向を軸とする３次元直交座標系での各軸からの角度）を示す情報である。

画像生成装置２００は、例えば、サーバ装置であり、データベース機能（画像保存部２０２として後述）や、画像処理機能（仮想視点画像生成部２０３として後述）を有する。画像生成装置２００が用いるデータベースは、競技の開始前の競技会場の場面など、予め被写体が存在しない状態の競技会場の場面を撮像した画像を背景画像データとして、予め保持する。
ユーザ端末３００は、操作用のコントローラを有する。ユーザ端末３００は、ユーザのコントローラの操作に基づいて、例えば、表示位置の移動、表示方向の変更、および視点の切り替えの指示を受け付け、その内容を示す伝送信号を画像生成装置２００へ伝送する。また、ユーザ端末３００は、画像生成装置２００から受信した仮想視点画像をユーザ端末３００に備えた表示画面に表示する。仮想視点画像は、静止画像であっても動画像であってもよい。ここで、ユーザ端末３００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、およびタッチパネルの少なくとも１つを有する。ユーザは、これらのコントローラを操作する。

画像監視装置４００は、分配装置５００を介して撮像装置１００−ｘと相互に接続される。画像監視装置４００は、撮像装置１００−ｘにより撮像された撮像画像を受信し、後述する表示画面（表示部４０３）に表示する。画像監視装置４００には、通常、監視担当者がつく。監視担当者は、表示画面に表示された撮像画像などを用いて、撮像装置群１００や画像生成装置２００の状態を定常的に監視する。
分配装置５００は、撮像装置１００−ｘからの同一の撮像画像を、画像生成装置２００および画像監視装置４００に分配する。

次に、撮像装置１００−ｘの構成の一例について説明する。
図３は、撮像装置１００−ｘのハードウェアの構成の一例を示す図である。
被写体からの光を撮像光学系３０１（光学レンズ系）で撮像素子３０２に結像する。結像された光は撮像素子３０２で電気信号に変換され、その電気信号がＡ／Ｄコンバータ３０３でデジタル信号に変換され、画像処理回路３０４に入力される。尚、撮像素子３０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。

システムコントローラ３０８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを有する。システムコントローラ３０８は、ＲＯＭに記憶されたコンピュータプログラムを実行すること等により撮像装置１００−ｘを制御する。
画像処理回路３０４は、Ａ／Ｄコンバータ３０３から入力したデジタル信号（画像信号）に対して各種の画像処理を行う。画像処理としては、例えば、例えば、ホワイトバランス調整、色補正、およびガンマ補正などが含まれる。画像処理回路３０４により画像処理された画像信号は記録媒体３０７に保存されたり、表示装置３０５により表示されたりする。また、画像処理回路３０４は、撮像部１０２から入力された撮像画像（ＲＡＷ画像）のうち、競技場２１０で競技中に撮像された画像から選手などの被写体を抽出する処理を実行する。
撮像光学系制御回路３０６は、システムコントローラ３０８からの制御信号に基づいて、撮像光学系３０１に含まれるレンズなどを駆動する。なお、表示装置３０５は撮像装置１００−ｘに必須の構成ではない。

図４は、本実施形態の撮像装置１００−ｘの機能的な構成の一例を示す図である。図５は、本実施形態の撮像装置１００−ｘの動作の一例を説明するフローチャートである。尚、図５のフローチャートは、例えば、撮像装置１００−ｘで撮像画像が得られる度に実行される。撮像装置１００−ｘは、レンズ部１０１、撮像部１０２、前景背景分離部１０３、メタ情報合成部１０４、出力部１０５、および制御部１０６を有する。これらは、内部バス１０７によって相互に接続され、制御部１０６による制御の下、相互にデータを送受信することができる。なお、図４のレンズ部１０１は、例えば、図３の撮像光学系３０１及び撮像光学系制御回路３０６に対応し、図４の撮像部１０２は、例えば、図３の撮像素子３０１及びＡ／Ｄコンバータ３０３に対応する。また、図４の前景背景分離部１０３が実行すべき処理は、例えば、図３の画像処理回路３０４により実行される。また、図４のメタ情報合成部１０４、出力部１０５、及び制御部１０６の機能は、例えば、図３のシステムコントローラ３０８により実現される。また、図５の処理は、例えば、図３のシステムコントローラ３０８が記憶媒体３０７に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の構成の一例を詳細に説明する。

レンズ部１０１は、撮像部１０２の前段に設置されており、撮像対象からの入射光を撮像部１０２へ結像する。
撮像部１０２は、レンズ部１０１により結像された入射光の露出動作を行い電気信号に変換する。また、撮像部１０２は、変換後の信号に対して、センサの欠陥やレンズ光学バラつきの補正などの信号処理を施し、ＲＡＷ画像に変換する。ＲＡＷ画像は、前景背景分離部１０３へ出力される。本実施形態では、以上のようにして撮像画像（ＲＡＷ画像）が取得される（Ｓ５０１）。

前景背景分離部１０３は、撮像部１０２から入力された撮像画像（ＲＡＷ画像）のうち、競技場２１０で競技中に撮像された画像から選手などの被写体を抽出し、「前景画像データ」として後段のメタ情報合成部１０４へ出力する。また、前景背景分離部１０３は、競技の開始前の競技場２１０の場面など、予め被写体が存在しない状態の競技場２１０の場面を撮像した画像を「背景画像データ」として、メタ情報合成部１０４へ出力する。以下、前景背景分離していない撮像画像を、「前景画像データ」および「背景画像データ」と区別するために「前景背景分離前画像データ」と称する。

図６は、「前景背景分離前画像データ」、「前景画像データ」、および「背景画像データ」の一例を示すイメージ図である。図６（ａ）は、「前景背景分離前画像データ」の一例を示す図である。ここでは、前景背景分離前画像データは、競技場２１０であるサッカー場で、２人の選手６１１、６１２と、サッカーボール６２０と、サッカーゴール６３０とを含む撮像画像である。図６（ｂ）は、「前景画像データ」の一例を示す図である。ここでは、２人の選手６１１、６１２と、サッカーボール６２０とが「前景画像データ」として抽出される場合を例に挙げて示す。これらは、それぞれ別の「前景画像データ」として扱われる。つまり図６（ｂ）では、３つの前景画像データが生成される。尚、本実施形態では、「前景画像データ」を矩形データとして扱う（図６（ｂ）の破線を参照）。図６（ｃ）は、「背景画像データ」の一例を示す図である。サッカーゴール６３０など、競技中ほとんど時間変化のない被写体は「背景画像データ」として扱われる。

被写体である前景の分離方法として、例えば、オブジェクト抽出を含む画像処理を用いた方法を用いることができる。オブジェクト抽出は、撮像画像と背景画像との差分を抽出することにより行われる。尚、前景は、競技する選手だけでなく、例えば、他の特定人物（例えば、控え選手、監督、審判の少なくとも何れか１人）であってもよい。また、前景は、ボールやゴールなど、画像パターンが予め定められている物体であってもよい。また、前景を検出するその他の方法として、例えば、動体が検出されるようにしてもよい。

尚、前景背景分離部１０３は、「前景画像データ」および「背景画像データ」をＲＡＷ画像のままメタ情報合成部１０４に出力する。ただし、必ずしもこのようにする必要はない。例えば、前景背景分離部１０３は、「前景画像データ」および「背景画像データ」に対して現像処理を施し、現像処理を施した「前景画像データ」および「背景画像データ」をメタ情報合成部１０４に出力してもよい。
本実施形態では、以上のようにして「前景画像データ」および「背景画像データ」が取得される（Ｓ５０２）。

メタ情報合成部１０４は、前景背景分離部１０３から出力された「前景画像データ」に対して、その画像を識別するための識別情報（以下、メタ情報と称する）を付加する（Ｓ５０３）。本実施形態では、メタ情報には少なくとも以下の情報が含まれる。
・前景画像データの座標情報
・前景画像データのサイズ
・前景画像データの識別情報
・撮像装置１００−ｘの識別情報

「前景画像データの座標情報」とは、「前景背景分離前画像データ」上の「前景画像データ」の表示場所を示す。図６（ａ）を例に挙げて説明すると、「前景背景分離前画像データ」の左上を原点とした時の各「前景画像データ」の矩形の左上の座標が、「前景画像データの座標情報」として付加される。
「前景画像データのサイズ」とは、「前景背景分離前画像データ」に対する「前景画像データ」の大きさである。図６（ａ）および図６（ｂ）を例に挙げて説明すると、画素数で「前景画像データ」の大きさを表す。図６（ａ）のように、「前景背景分離前画像データ」が、４０９６×２１６０ピクセルの画像の場合、図６（ｂ）に示したサッカーボールの「前景画像データ」のサイズは、３００×３００ピクセルである。

「前景画像データの識別情報」とは、前景画像データ自体を識別するための情報である。図６（ｂ）を例に挙げて説明すると、２人の選手６１１、６１２とサッカーボール６２０との其々に、それらを一意に識別するための情報が個別に付加される。
「撮像装置の識別情報」とは、撮像装置１００−ｘ自体を識別するための情報である。前述の通り、「撮像装置１００−１」、「撮像装置１００−２」、および「撮像装置１００−ｎ」等の各撮像装置１００−ｘを一意に識別するための情報が、当該撮像装置の識別情報として付加される。

尚、メタ情報合成部１０４は、この他に、「前景画像データ」に対して、「前景画像データに対応する背景画像データの識別情報」を更に付加しても良い。「前景画像データに対応する背景画像データの識別情報」は、図６（ｃ）に示した背景画像データを一意に識別するための情報である。「前景画像データ」に対して、「前景画像データに対応する背景画像データの識別情報」を付加する場合、メタ情報合成部１０４は、背景画像データに対しても、それ自体を一意に識別するための情報を付加する。

出力部１０５は、メタ情報合成部１０４から出力された「前景画像データ」を、分配装置５００を介して、画像生成装置２００および画像監視装置４００へ所定のフレームレートで出力する（Ｓ５０４）。また、出力部１０５は、「背景画像データ」を、分配装置５００を介して、画像生成装置２００へ所定のフレームレートで出力する（Ｓ５０４）。尚、これらのフレームレートは異なっていてもよい。
制御部１０６は、不図示のユーザＩ／Ｆ部からの制御情報に基づき、撮像装置１００−ｘの各部に制御指示を出す。例えば、制御部１０６は、ユーザＩ／Ｆ部から、アイリスやＩＳＯなどの露出調整のための調整パラメータを受信すると、撮像部１０２に対して、当該露出制御を行う。

次に、画像生成装置２００の構成の一例について説明する。
図７は、画像生成装置２００のハードウェアの構成の一例を示す図である。
画像生成装置２００は、コントローラユニット７００、操作ユニット７０９、および表示装置７１０を含む。

コントローラユニット７００は、ＣＰＵ７０１を有する。ＣＰＵ７０１は、ＲＯＭ７０２に格納されているブートプログラムによりＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）を起動する。ＣＰＵ７０１は、このＯＳ上で、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）７０４に格納されているアプリケーションプログラムを実行する。ＣＰＵ７０１は、アプリケーションプログラムの実行によって各種処理を実現する。ＣＰＵ７０１の作業領域としてはＲＡＭ７０３が用いられる。ＨＤＤ７０４は、アプリケーションプログラムなどを格納する。

ＣＰＵ７０１は、システムバス７０８を介して、ＲＯＭ７０２、ＲＡＭ７０３、操作部Ｉ／Ｆ７０５、表示部Ｉ／Ｆ７０６、および通信Ｉ／Ｆ７０７と相互に接続される。操作部Ｉ／Ｆ７０５は、操作ユニット７０９とのインタフェースである。操作部Ｉ／Ｆ７０５は、操作ユニット７０９によってユーザにより入力された情報をＣＰＵ７０１に送出する。操作ユニット７０９は、例えば、マウスおよびキーボードなどを有する。表示部Ｉ／Ｆ７０６は、表示装置７１０に表示すべき画像データを表示装置７１０に対して出力する。表示装置７１０は、コンピュータディスプレイを有する。通信Ｉ／Ｆ７０７は、伝送ケーブルに接続される。通信Ｉ／Ｆ７０７は、伝送ケーブルを介して、外部装置（ユーザ端末３００、画像監視装置４００、分配装置５００）との間で情報の入出力を行う。なお、図７で示した構成のすべてが画像生成装置２００において必須の構成とは限らない。例えば表示装置７１０は必須の構成ではない。画像生成装置２００は、ケーブルやネットワークを介して接続された外部の表示装置７１０に画像を表示させることも可能である。

図８は、本実施形態の画像生成装置２００の機能的な構成の一例を示す図である。図９は、本実施形態の画像生成装置２００の動作の一例を説明するフローチャートである。画像生成装置２００は、画像入力部２０１、画像保存部２０２、仮想視点画像生成部２０３、出力部２０４、制御部２０５、およびユーザ入力部２０６を有する。これらは、内部バス２０７によって相互に接続され、制御部２０５による制御の下、相互にデータを送受信することができる。なお、図８の画像入力部２０１は、例えば、図７の通信Ｉ／Ｆ７０７に対応し、図８のユーザ入力部２０６は、例えば、図７の操作部Ｉ／Ｆ７０５に対応し、図８の出力部２０４は、例えば、図７の表示部Ｉ／Ｆ７０６及び通信Ｉ／Ｆ７０７に対応する。また、図８の画像保存部２０２は、例えば、図７のＲＯＭ７０２、ＲＡＭ７０３、ＨＤＤ７０４に対応し、制御部２０５は、例えば、ＣＰＵ７０１に対応する。また、図９の処理は、例えば、図７のＣＰＵ７０１がＲＯＭ７０３に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の一例を詳細に説明する。

画像入力部２０１は、撮像装置１００−ｘから出力された「前景画像データ」および「背景画像データ」を、分配装置５００を介して、各々異なる所定のフレームレートで入力する（Ｓ９０１）。そして、画像入力部２０１は、入力した「前景画像データ」および「背景画像データ」を画像保存部２０２へ出力する。尚、撮像装置１００−ｘから出力された「前景画像データ」および「背景画像データ」を入力していない場合、Ｓ９０２を省略して後述のＳ９０３に進む。

画像保存部２０２は、データベースであり、画像入力部２０１から入力された「前景画像データ」および「背景画像データ」を保存する（Ｓ９０２）。また、画像保存部２０２は、後述の仮想視点画像生成部２０３から指定された「前景画像データ」および「背景画像データ」を仮想視点画像生成部２０３へ出力する。

仮想視点画像生成部２０３は、制御部２０５から仮想視点情報を入力したか否かを判定する（Ｓ９０３）。仮想視点情報の生成方法の一例については後述する。この判定の結果、制御部２０５から仮想視点情報を入力していない場合、Ｓ９０１に戻る。一方、制御部２０５から仮想視点情報を入力している場合、仮想視点画像生成部２０３は、仮想視点情報に対応する「前景画像データ」および「背景画像データ」を、画像保存部２０２から取得する（Ｓ９０４）。

そして、仮想視点画像生成部２０３は、画像保存部２０２から取得した「前景画像データ」および「背景画像データ」を画像処理により合成することで仮想視点画像を生成し、出力部１０５に出力する（Ｓ９０５）。仮想視点画像生成部２０３は、仮想視点画像を生成する際、「前景画像データ」と「背景画像データ」に付加されているメタ情報を使用してもよい。

仮想視点画像を生成する方式として、例えば、モデルベースレンダリング（Ｍｏｄｅｌ−Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）を用いる方式が挙げられる。ＭＢＲとは、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルを用いて仮想視点画像を生成する方式である。具体的にＭＢＲは、視体積交差法、Ｍｕｌｔｉ−Ｖｉｅｗ−Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し，仮想視点からのシーンの見えを画像として生成する技術である。尚、仮想視点画像の生成方法は、ＭＢＲを用いる方法に限定されず、ＭＢＲ以外のレンダリング手法を用いてもよい。

出力部２０４は、仮想視点画像生成部２０３から入力した仮想視点画像をユーザ端末３００へ伝送可能な伝送信号に変換して出力する（Ｓ９０６）。
前述したようにユーザ端末３００は、ユーザ端末３００に接続されたコントローラのユーザによる操作に基づいて、表示位置の移動、表示方向の変更、および視点の切り替えの指示を受け付ける。そして、ユーザ端末３００は、その内容を示す伝送信号を画像生成装置２００へ伝送する。ユーザ入力部２０６は、このようにしてユーザ端末３００を通して入力された伝送信号を所定の操作情報に変換する。そして、ユーザ入力部２０６は、その操作情報を制御部２０５に出力する。
制御部２０５は、ユーザ入力部２０６からの操作情報に基づき、画像生成装置２００の各部に制御指示を出す。例えば、ユーザ入力部２０６から、仮想視点の操作情報を受信すると、その操作情報を仮想視点情報に変換し、仮想視点画像生成部２０３に制御情報として送信する。前述したように、仮想視点画像生成部２０３は、仮想視点情報を入力すると、仮想視点画像を生成して出力する。

ユーザ端末３００は、画像生成装置２００から受信した仮想視点画像をユーザ端末３００に備えた表示画面に表示する。このようにすることで、ユーザは、自身の操作に基づく視点でコンテンツを視聴する。前述したように、ユーザ端末３００は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットであり、コントローラは、例えば、マウス、キーボード、６軸コントローラ、タッチパネルである。ユーザは、これらを用いて操作し、ユーザ端末３００に備えた表示画面に静止画像や動画像を表示させる。尚、ユーザ端末３００のハードウェアは、例えば、図７に示した構成で実現することができるので、ここでは、その詳細な説明を省略する。

次に、画像監視装置４００の構成の一例について説明する。図１０は、本実施形態の画像監視装置４００の機能的な構成の一例を示す図である。図１１は、本実施形態の画像監視装置４００の動作の一例を説明するフローチャートである。尚、画像監視装置４００のハードウェアは、例えば、図７に示した構成で実現することができるので、ここでは、その詳細な説明を省略する。画像監視装置４００は、メタ情報に基づいて前景の画像を分類することを含む処理を行う情報処理装置の一例である。画像監視装置４００は、画像入力部４０１、画像生成部４０２、表示部４０３、制御部４０４、およびユーザ入力部４０５を有する。これらは、内部バス４０６によって相互に接続され、制御部４０４による制御の下、相互にデータを送受信することができる。なお、図１０の画像入力部４０１は、例えば、図７の通信Ｉ／Ｆ７０７に対応し、図１０のユーザ入力部４０５は、例えば、図７の操作部Ｉ／Ｆ７０５に対応し、図１０の表示部４０３は、例えば、図７の表示部Ｉ／Ｆ７０６に対応する。また、図１０の画像生成部４０２及び制御部２０５は、例えば、ＣＰＵ７０１に対応する。また、図１１の処理は、例えば、図７のＣＰＵ７０１がＲＯＭ７０３に記憶された各種プログラムを読み出して各部の制御を実行することにより実現される。以下、各部の構成の一例を詳細に説明する。

画像入力部４０１は、撮像装置１００−ｘから出力された「前景画像データ」を、分配装置５００を介して、所定のフレームレートで入力する（Ｓ１１０１）。そして、画像入力部４０１は、入力した「前景画像データ」を画像生成部４０２へ出力する。
画像生成部４０２は、画像入力部４０１から出力された各撮像装置１００−ｘの全ての「前景画像データ」とそれに付加されるメタ情報とに基づき、画像入力部４０１と同等のフレームレートで、表示部４０３に表示する表示イメージを生成する（Ｓ１１０２）。この表示イメージの生成は、制御部４０４からの表示イメージ種別を指定する指示に従って行われる。表示イメージを生成する際のフローの一例については後述する。

表示部４０３は、フレームバッファおよび表示パネルを有する。表示部４０３は、画像生成部４０２から出力された表示イメージをフレームバッファに格納する（上書きする）。そして、表示部４０３は、フレームバッファに格納した表示イメージを所定のリフレッシュレートで読み出して表示パネルにて表示する（Ｓ１１０３）。表示パネルとは、例えば、液晶パネルや有機ＥＬパネルである。

制御部４０４は、ユーザ入力部４０５からの操作情報に基づき、画像監視装置４００の各部に制御指示を出す。例えば、制御部４０４は、ユーザ入力部４０５から、表示イメージ種別の切替指示を示す操作情報を受信すると、その操作情報を該当する表示イメージ種別に変換し、画像生成部４０２に送信する。
本実施形態では、以下の表示イメージ種別があるものとする。
・撮像装置別前景表示イメージ
表示イメージの具体的な内容の一例については後述する。

ユーザ入力部４０５は、不図示のコントローラから入力された操作情報を受け付け、制御部４０４に出力する。コントローラは、例えば、マウス、キーボード、６軸コントローラ、およびタッチパネルの少なくとも何れか１つである。

図１２は、本実施形態の画像監視装置４００により表示される表示イメージの一例を示す図である。図１２では、前述した「撮像装置別前景表示イメージ」（表示イメージ種別）の一例を示す。表示部４０３は、撮像装置１００−ｘ毎に同一のタイミングで撮像された前景のみを一覧で表示し、前述した不図示の同期装置からの同期信号と同じ周期で、表示イメージを更新する。つまり、表示部４０３は、撮像装置１００−ｘ毎に、「前景背景分離前画像データ」から「背景画像データ」を差し引いた撮像画像（「前景画像データ」）の一覧を動画像として表示する。図１２では、撮像装置１００−１〜撮像装置１００−１６までの１６台の撮像装置１００−ｘで撮像された画像から得られる「前景画像データ」の一覧が表示される場合を例に挙げて示す。

次に、表示イメージを生成する際の画像監視装置４００の処理の一例について表示イメージ種別が「撮像装置別前景表示イメージ」である場合を例に挙げて説明する。図１３は、表示イメージを生成する際の画像監視装置４００の処理の一例を説明するフローチャートである。
画像生成部４０２は、少なくとも撮像装置１００−ｘの数だけワークメモリを確保する（Ｓ１３０１）。例えば、撮像装置１００−ｘが全部で計１６台ある場合、画像生成部４０２は、ワークメモリを少なくとも１６個確保する。このワークメモリは、各撮像装置１００−ｘの撮像画像を再現するためのフレームバッファである。また、このワークメモリは、撮像装置１００−ｘの撮像画像と同等の解像度／色深度を再現できるサイズを有する。

その後、画像生成部４０２は、画像入力部４０１から、撮像装置１００−ｘの「前景画像データ」を受信する。そうすると、画像生成部４０２は、受信した「前景画像データ」に付加されているメタ情報（「撮像装置の識別情報」）から、当該「前景画像データ」が、どの撮像装置１００−ｘの「前景画像データ」であるのかを特定する（Ｓ１３０２）。例えば、画像生成部４０２が特定した撮像装置１００−ｘが、撮像装置１００−１であるとする。この場合、以下のＳ１３０３以降の処理は、撮像装置１００−１のワークメモリに対して行われる。

次に、画像生成部４０２は、特定した撮像装置１００−ｘの「前景画像データ」のうち、未選択の「前景画像データ」を１つ取得する（Ｓ１３０３）。
次に、画像生成部４０２は、取得した「前景画像データ」のメタ情報（「前景画像データの座標情報」および「前景画像データのサイズ」）から、当該「前景画像データ」をワークメモリ上のどの場所に貼りつければよいのかを特定する（Ｓ１３０４）。
本実施形態の「前景画像データ」はＲＡＷ画像である。そのため、画像生成部４０２は、「前景画像データ」に現像処理を施す。そして、画像生成部４０２は、現像処理を施した「前景画像データ」を、Ｓ１３０４で特定された撮像装置１００−ｘのワークメモリに貼りつける（Ｓ１３０５）。

Ｓ１３０３〜Ｓ１３０５の処理は、Ｓ１３０１で特定した撮像装置１００−ｘの残りの「前景画像データ」に対しても繰り返し行われる。従って、画像生成部４０２は、Ｓ１３０２で特定した撮像装置１００−ｘの全ての「前景画像データ」をワークメモリに貼り付けたか否かを判定する（Ｓ１３０６）。この判定の結果、Ｓ１３０２で特定した撮像装置１００−ｘの全ての「前景画像データ」をワークメモリに貼り付けられていない場合、処理は、Ｓ１３０２に戻る。そして、Ｓ１３０２で特定した撮像装置１００−ｘの全ての「前景画像データ」がワークメモリに貼り付けられるまで、Ｓ１３０３〜Ｓ１３０６の処理が繰り返し実行される。Ｓ１３０２で特定した撮像装置１００−ｘの全ての「前景画像データ」がワークメモリに貼り付けられると、Ｓ１３０７に進む。

そして、画像生成部４０２は、画像監視装置４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」をワークメモリに貼り付けたか否かを判定する（Ｓ１３０７）。この判定の結果、画像監視装置４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられていない場合、処理は、Ｓ１３０２に戻る。そして、画像監視装置４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられるまで、Ｓ１３０２〜Ｓ１３０７の処理が繰り返し実行される。画像監視装置４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられると、Ｓ１３０８に進む。

そして、画像生成部４０２は、全てのワークメモリに再現された撮像画像（「前景画像データ」）を、表示部４０３のフレームバッファに転送することで表示イメージを作成する（Ｓ１３０８）。この際、画像生成部４０２は、表示部４０３のフレームバッファのサイズに合わせて、撮像画像（「前景画像データ」）に対して縮小処理を施す。前述の通り、図１２が、フレームバッファに作成された表示イメージの一例である。
Ｓ１３０２〜Ｓ１３０８の処理は、少なくとも画像入力部４０１が入力する「前景画像データ」のフレームレートの期間内に終えるようにする。そして、画像生成部４０２は、制御部４０４からの終了指示があったか否かを判定する（Ｓ１３０９）。この判定の結果、制御部４０４からの終了指示があった場合、図１３のフローチャートによる処理が終了する。一方、制御部４０４からの終了指示がない場合、「前景画像データ」のフレームレートの期間が終了すると、処理は再度Ｓ１３０２に戻り、前述したＳ１３０２〜Ｓ１３０９の処理が繰り返される。

以上のように本実施形態では、画像監視装置４００は、複数の撮像装置１００−ｘで撮像された撮像画像から「前景画像データ」を抽出して撮像装置１００−ｘ毎に分類し、「前景画像データ」のみを表示した表示イメージを撮像装置１００−ｘ毎に表示する。従って、複数の撮像装置１００−ｘを備えた画像監視システムにおいて、ユーザが着目する選手やボールなどの「前景画像データ」に限定して、個々の撮像装置１００−ｘの撮像映像の表示ができる。そのため、障害物の有無や露出オーバー／露出アンダーの発生等を低負荷かつ効率的に監視することできる。よって、複数の撮像装置１００−ｘにより撮像された個々の画像の監視負担を低減しつつも十分に行き届いた監視を行うことができる。

また、本実施形態では、前景背景分離部１０３は「前景画像データ」を「背景画像データ」と分離するが、この分離が常に適切に行われるとは限らない。「前景画像データ」の一部が欠けてしまう、或いは「背景画像データ」とすべき物体を「前景画像データ」としてしまう、などの不具合が発生する虞がある。本実施形態では、このような不具合の発見も効率的に行うことができる。
また、本実施形態では、各撮像装置１００−ｘを数珠つなぎで接続する形態である。このような形態は、サッカー場などの競技場２１０では、伝送ケーブルの敷設作業やコストを軽減できるメリットがある一方で、撮像画像の伝送帯域に限りがある。このような場合でも本実施形態では、「前景画像データ」に限定した伝送・監視を行うことで、伝送帯域の負荷の軽減を図ることができる。

本実施形態は、仮想視点画像を生成しないシステムにも適用可能である。しかし、前述の通り、画像生成装置２００が生成する仮想視点画像の画質は、「前景画像データ」の画質に大きく依存する。そのため、本実施形態は、仮想視点画像を生成するシステムに特に好適な形態となる。

（第２の実施形態）
次に、第２の実施形態を説明する。第１の実施形態では、各撮像装置１００−ｘは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置２００および画像監視装置４００に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置から伝送する「前景画像データ」を所定のサイズ範囲内に限定することで、第１の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第１の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１３に付した符号と同一の符号を付すなどして詳細な説明を省略する。

本実施形態の画像監視システムの構成は、第１の実施形態と同様である。また、画像生成装置２００、ユーザ端末３００、画像監視装置４００、および分配装置５００の構成も第１の実施形態と同様である。
図１４は、本実施形態の撮像装置１４００−ｘの機能的な構成の一例を示す図であり、図４に示した第１の実施形態の撮像装置１００−ｘと対比されるものである。尚、本実施形態の撮像装置１４００−ｘのハードウェアは、第１の実施形態の撮像装置１００−ｘのハードウェアと同様である。

撮像装置１４００−ｘは、レンズ部１０１、撮像部１０２、前景背景分離部１０３、メタ情報合成部１０４、出力部１０５、制御部１０６、およびサイズ判定部１４０１を有する。これらは、内部バス１０７によって相互に接続され、制御部１０６による制御の下、相互にデータを送受信することができる。なお、サイズ判定部１４０１の機能は、例えば、画像処理回路３０４により実現される。

撮像装置１４００−ｘの、サイズ判定部１４０１以外の部分は、撮像装置１００−ｘと同様である。ただし、前景背景分離部１０３は、「前景背景分離前画像データ」から分離した「前景画像データ」をメタ情報合成部１０４ではなく、サイズ判定部１４０１へ出力するところが、第１の実施形態と異なる。また、メタ情報合成部１０４は、「前景画像データ」を前景背景分離部１０３ではなく、サイズ判定部１４０１から入力するところが、第１の実施形態と異なる。

サイズ判定部１４０１は、前景背景分離部１０３から出力された「前景画像データ」のサイズを判定し、所定のサイズ範囲内の「前景画像データ」のみをメタ情報合成部１０４へ出力する。
図１５は、撮像装置１４００−ｘのサイズ判定部１４０１の処理の一例を説明するフローチャートである。図１５のフローチャートは、例えば、図５のＳ５０２とＳ５０３の間で行われる。

サイズ判定部１４０１は、前景背景分離部１０３から出力された「前景画像データ」毎に所定のサイズ範囲内か否かを判定する（Ｓ１５０１）。所定サイズは、固定値でもよいし、制御部１０６を通して動的に変更される可変値でもよい。例えば、画像生成装置２００が、ＭＢＲを用いて仮想視点画像を生成する場合、サイズ判定部１４０１は、三次元形状を作成するために求められるサイズの要件に基づいて、所定サイズを算出することができる。また、サイズ判定部１４０１は、「前景画像データ」の判定に加えて、例えば、「前景画像データ」の合焦の度合を判定してもよい。

その後、サイズ判定部１４０１は、所定のサイズ範囲内の「前景画像データ」のみを、メタ情報合成部１０４へ出力する（Ｓ１５０２）。この際、所定のサイズ範囲内の「前景画像データ」であっても合焦の度合いが所定値よりも低い「前景画像データ」をメタ情報合成部１０４へ出力しないようにしてもよい。こうすることで、撮像装置１４００−ｘの目前に障害物が発生している場合、その障害物を前景として伝送してしまうリスクを低減できる。

サイズ判定部１４０１は、Ｓ１５０１〜Ｓ１５０２の処理を、前景背景分離部１０３から出力された全ての「前景画像データ」に対して行ったか否かを判定する。この判定の結果、Ｓ１５０１〜Ｓ１５０２の処理を、全ての「前景画像データ」に対して行っていない場合、処理は、Ｓ１５０１に戻る。そして、Ｓ１５０１〜Ｓ１５０２の処理が、全ての「前景画像データ」に対して行われるまで、Ｓ１５０１〜Ｓ１５０２の処理が繰り返し行われる。そして、Ｓ１５０１〜Ｓ１５０２の処理が、全ての「前景画像データ」に対して行われると、図１５のフローチャートによる処理が終了する。

以上のように本実施形態では、サイズ判定部１４０１は、前景背景分離部１０３から出力された「前景画像データ」のうち、サイズに関する所定の条件を満たす「前景画像データ」のみをメタ情報合成部１０４に出力する。従って、第１の実施形態で説明した効果に加え、画像生成装置２００が生成する仮想視点画像にとって優先度の高い画像の監視を行うことができる。よって、第１の実施形態で説明した効果を得つつ、伝送帯域の負荷をより一層低減することができる。
本実施形態では、「前景画像データ」のサイズの判定を撮像装置１４００−ｘで行う場合を例に挙げて説明した。しかしながら、伝送帯域に十分な余裕がある場合、「前景画像データ」のサイズの判定を画像監視装置４００側で行ってもよい。
尚、本実施形態においても第１の実施形態で説明した変形例を採用することができる。

（第３の実施形態）
次に、第３の実施形態を説明する。第１の実施形態では、各撮像装置１００−ｘは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置２００および画像監視装置４００に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置は、注視点エリアを撮像している場合にのみ「前景画像データ」を画像生成装置２００および画像監視装置４００に伝送することで、第１の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第１の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１３に付した符号と同一の符号を付すなどして詳細な説明を省略する。

本実施形態の画像監視システムの構成は、第１の実施形態と同様である。また、画像生成装置２００、ユーザ端末３００、画像監視装置４００、および分配装置５００の構成も第１の実施形態と同様である。
図１６は、本実施形態の撮像装置１６００−ｘの機能的な構成の一例を示す図であり、図４に示した第１の実施形態の撮像装置１００−ｘと対比されるものである。尚、本実施形態の撮像装置１６００−ｘのハードウェアは、第１の実施形態の撮像装置１００−ｘのハードウェアと同様である。

撮像装置１６００−ｘは、レンズ部１０１、撮像部１０２、前景背景分離部１０３、メタ情報合成部１０４、出力部１０５、制御部１０６、およびエリア情報入力部１６０１を有する。これらは、内部バス１０７によって相互に接続され、制御部１０６による制御の下、相互にデータを送受信することができる。なお、エリア情報入力部１６０１の機能は、例えば、システムコントローラ３０８により実現される。すなわち、システムコントローラ３０８が外部装置と通信を行うことで、後述するエリア情報を取得する。
撮像装置１６００−ｘの、エリア情報入力部１６０１以外の部分は、撮像装置１００−ｘと同様である。エリア情報入力部１６０１は、外部から入力された注視点エリア情報を、制御部１０６へ出力する。
図１７は、注視点エリアの一例を示すイメージ図である。図１７において、競技場２１０（サッカー場）に円形で示したところが注視点エリア１７０１、１７０２になる。注視点エリア１７０１、１７０２は、予め設定されている領域の一例である。撮像装置１６００−ｘは、少なくとも１つ以上ある注視点エリア１７０１、１７０２のうち、何れか１つの注視点エリアの中心を、撮像画像の中心とし、そこに焦点を合わせて撮像する。

図１７では、２つの注視点エリア１７０１、１７０２がある場合を例に挙げて示す。撮像装置１６００−１、撮像装置１６００−２、および撮像装置１６００−３は、注視点エリア１７０１の中心に撮像画像の中心を合わせている。一方、撮像装置１６００−４、撮像装置１６００−５、および撮像装置１６００−６は、注視点エリア１７０２の中心に撮像画像の中心を合わせている。注視点エリア情報とは、この注視点エリア１７０１、１７０２を一意に識別する識別情報を示す。
図１８は、本実施形態の撮像装置１６００−ｘの動作の一例を説明するフローチャートである。尚、図１８のフローチャートは、例えば、撮像装置１００−ｘで撮像画像が得られる度に実行される。

まず、制御部１０６は、エリア情報入力部１６０１を介して外部装置から注視点エリア情報を入力する（Ｓ１８０１）。ここで外部装置とは、例えば、画像監視装置４００である。この場合、画像監視装置４００は、例えば、画像監視装置４００に付随するコントローラを用いた監視担当者の操作に基づいて注視点エリア情報を入力し、伝送ケーブルを介して各撮像装置１６００−ｘに、当該注視点エリア情報を伝送する。

次に、撮像部１０２は、第１の実施形態と同様に、「前景背景分離前画像データ」を取得する（Ｓ１８０２）。次に、前景背景分離部１０３は、「前景背景分離前画像データ」から「前景画像データ」を１つ取得する（Ｓ１８０３）。このとき、前景背景分離部１０３は、第１の実施形態と同様に、「背景画像データ」を取得してもよい。

制御部１０６には、予め自身の撮像装置１６００−ｘが、どの注視点エリアを撮像するのかを示す情報が設定されているものとする。制御部１０６は、この情報に基づいて、Ｓ１８０１で入力された注視点エリア情報が、自身の注視点エリアの情報であるか否かを判定する（Ｓ１８０４）。この判定の結果、Ｓ１８０１で入力された注視点エリア情報が、自身の注視点エリアの情報でない場合、制御部１０６は、画像監視装置４００への「前景画像データ」の出力を停止する（Ｓ１８０５）。

一方、Ｓ１８０１で入力された注視点エリア情報が、自身の注視点エリアの情報である場合、メタ情報合成部１０４は、前景背景分離部１０３で取得された「前景画像データ」にメタ情報を付加する（Ｓ１８０６）。
次に、制御部１０６は、出力部１０５に対して、「前景画像データ」の出力を指示する。出力部１０５は、この指示に基づき、メタ情報合成部１０４から出力された「前景画像データ」を、画像生成装置２００および画像監視装置４００へ所定のフレームレートで出力する（Ｓ１８０７）。
以上のようにして「前景画像データ」の出力の有無が決定された後、制御部１０６は、Ｓ１８０１で取得された「前景背景分離前画像データ」から全ての「前景画像データ」が取得されたか否かを判定する（Ｓ１８０８）。この判定の結果、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されていない場合、処理は、Ｓ１８０３に戻る。そして、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されるまで、ステップＳ１８０３〜Ｓ１８０８の処理が繰り返し実行される。そして、「前景背景分離前画像データ」から全ての「前景画像データ」が取得されると、図１８のフローチャートによる処理が終了する。

以上のように本実施形態では、各撮像装置１６００−ｘは、注視点エリア１７０１、１７０２を撮像している場合にのみ「前景画像データ」を画像生成装置２００および画像監視装置４００に伝送する。従って、監視担当者は、ユーザがより着目していると想定される注視点エリアを監視することができる。よって、第１の実施形態で説明した効果を得つつ、伝送帯域の負荷をより一層低減することができる。例えば、競技場２１０（サッカー場）において、注視点エリア１７０１にボールがある場合、大半のユーザは、注視点エリア１７０１の仮想視点映像を視聴する。そのため、「前景画像データ」の画質がより重要になる注視点エリア１７０１を撮像する撮像装置１６００−ｘから得られた「前景画像データ」を優先的に監視することで、撮像画像の監視の負荷の低減と、伝送帯域の負荷の低減との両立を図れる。

本実施形態では、ユーザが着目する注視点エリアを、監視担当者が画像監視装置４００に付随するコントローラを用いて指定する場合を例に挙げて説明した。しかしながら、注視点エリアを指定する方法は、このような方法に限定されない。例えば、画像監視装置４００は、注視点エリア１７０１、１７０２毎に前景の数をカウントし、そのカウント数の多い注視点エリアの情報を、注視点エリア情報として撮像装置１６００−ｘに直接伝送してもよい。また、画像監視装置４００に、ボールなどの特定オブジェクトを認識する手段を設け、画像監視装置４００が、特定オブジェクトを含む注視点エリアを抽出し、抽出した注視点エリアの情報を、注視点エリア情報として撮像装置１６００−ｘに直接伝送してもよい。撮像装置１６００−ｘは、Ｓ１８０１において、このようにして伝送された注視点エリア情報を設定した上で図１８の以降の処理を実施する。

また、第２の実施形態と本実施形態とを組み合わせてもよい。即ち、各撮像装置１６００−ｘは、注視点エリア１７０１、１７０２を撮像している場合であって、「前景画像データ」がサイズに関する所定の条件を満たす場合に「前景画像データ」を画像生成装置２００および画像監視装置４００に伝送してもよい。
尚、本実施形態においても第１〜第２の実施形態で説明した変形例を採用することができる。

（第４の実施形態）
次に、第４の実施形態を説明する。第１の実施形態では、各撮像装置１００−ｘは、「前景背景分離前画像データ」から分離した「前景画像データ」を無条件で画像生成装置２００および画像監視装置４００に伝送する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置は、サッカーボールなどユーザが着目する特定のオブジェクトとの距離が所定値以下である「前景画像データ」のみを画像生成装置２００および画像監視装置４００に伝送する。本実施形態では、このようにすることで、第１の実施形態と同程度の効果を得つつも、より一層の伝送帯域の負荷の軽減を図る。このように本実施形態と第１の実施形態とは、撮像装置から「前景画像データ」を伝送する際の処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分については、図１〜図１３に付した符号と同一の符号を付すなどして詳細な説明を省略する。

本実施形態の画像監視システムの構成は、第１の実施形態と同様である。また、ユーザ端末３００、画像監視装置４００、および分配装置５００の構成も第１の実施形態と同様である。
図１９は、本実施形態の撮像装置１９００−ｘの機能的な構成の一例を示す図であり、図４に示した第１の実施形態の撮像装置１００−ｘと対比されるものである。尚、本実施形態の撮像装置１９００−ｘのハードウェアは、第１の実施形態の撮像装置１００−ｘのハードウェアと同様である。

撮像装置１９００−ｘは、レンズ部１０１、撮像部１０２、前景背景分離部１０３、メタ情報合成部１０４、出力部１０５、制御部１０６、前景距離判定部１９０１、および２次元配置情報入力部１９０２を有する。これらは、内部バス１０７によって相互に接続され、制御部１０６による制御の下、相互にデータを送受信することができる。なお、２次元配置情報入力部１９０２の機能は、例えば、システムコントローラ３０８により実現される。すなわち、システムコントローラ３０８は、外部装置と通信を行うことで、後述する２次元配置情報を取得する。また、前景背景判定部１９０１の機能は、例えば、システムコントローラ３０８により実現される。
撮像装置１９００−ｘの前景距離判定部１９０１および２次元配置情報入力部１９０２以外の部分は、撮像装置１００−ｘと同様である。

前景距離判定部１９０１は、「前景画像データ」（以下、これを比較対象先オブジェクトと称する）と、比較元なる別の特定の「前景画像データ」（以下、これを比較対象元オブジェクトと称する）との距離情報を制御部１０６から取得する。前景距離判定部１９０１は、この距離情報に基づいて、当該「前景画像データ」をメタ情報合成部１０４へ出力するか否かを判定する。この処理の詳細の一例については後述する。
２次元配置情報入力部１９０２は、後述する画像生成装置２０００の２次元配置情報出力部２００１から伝送された「２次元配置情報」を入力し、制御部１０６へ出力する。「２次元配置情報の一例については後述する。

図２０は、本実施形態の画像生成装置２０００の機能的な構成の一例を示す図であり、図８に示した第１の実施形態の画像生成装置２００と対比されるものである。尚、画像生成装置２０００のハードウェアは、第１の実施形態の画像生成装置２００と同様である。画像生成装置２０００は、画像入力部２０１、画像保存部２０２、仮想視点画像生成部２０３、出力部２０４、制御部２０５、ユーザ入力部２０６、および２次元配置情報出力部２００１を有する。これらは、内部バス２０７によって相互に接続され、制御部２０５の制御の下、相互にデータを送受信することができる。なお、２次元配置情報出力部２００１の機能は、例えば、通信Ｉ／Ｆ７０７により実現される。

画像生成装置２０００の、２次元配置情報出力部２００１以外の部分は、画像生成装置２００と同様である。２次元配置情報出力部２００１は、仮想視点画像生成部２０３から２次元配置情報を受信して、その２次元配置情報を各撮像装置１９００−ｘへ出力する。これに先立ち、仮想視点画像生成部２０３は、被写体を複数の方向から撮像した複数の撮像画像に基づいて生成される三次元モデルから２次元配置情報を生成する。
図２１は、２次元配置情報の書式例を示す図である。また、図２２は、サッカー場を例に挙げて、図２１に示す２次元配置情報を説明する図である。２次元配置情報には少なくとも、「前景画像データ」毎に以下の情報が含まれる。
・前景種別
・前景画像データの識別情報
・前景画像データの座標情報

「前景種別」とは、「比較先」か「比較元」かの何れかを示す情報である。ここで「比較元」とは、「比較対象元オブジェクト」を示す。「比較先」とは、「比較対象先オブジェクト」である。図２２の例では、「比較元」である比較対象元オブジェクト２２０１がボールである。また、「比較先」である比較対象先オブジェクト２２０２、２２０３が選手である。

「前景画像データの識別情報」は、第１の実施形態で説明した「前景画像データの識別情報」と同様である。「前景画像データの座標情報」も、第１の実施形態で説明した「前景画像データの座標情報」と同様である。ただし、本実施形態では、「前景画像データの座標情報」は、矩形である「前景画像データ」の左上でなく、中心の座標であってもよい。図２１では、撮像画像を４０９６×２１６０ピクセルとした時の座標情報を例に挙げて、２次元配置情報を示す。

図２３は、本実施形態の撮像装置１９００−ｘの動作の一例を説明するフローチャートである。図２３のフローチャートは、例えば、撮像装置１９００−ｘで撮像画像が得られる度に実行される。
まず、制御部１０６は、２次元配置情報入力部１９０２を介して画像生成装置２０００から２次元配置情報を入力する（Ｓ２３０１）。２次元配置情報は、画像生成装置２０００から所定のフレームレートで入力される。

次に、撮像部１０２は、第１の実施形態と同様に、「前景背景分離前画像データ」を取得する（Ｓ２３０２）。このとき、前景背景分離部１０３は、第１の実施形態と同様に、「背景画像データ」を取得してもよい。次に、前景背景分離部１０３は、「前景背景分離前画像データ」から「前景画像データ」を１つ取得する（Ｓ２３０３）。

次に、制御部１０６は、前景背景分離部１０３で取得された前景画像データを比較対象先オブジェクトとして、比較対象元オブジェクトとの距離を導出し、前景距離判定部１９０１へ出力する（Ｓ２３０４）。前景距離判定部１９０１は、制御部１０６から受信した距離情報に基づいて、前景背景分離部１０３で取得された前景画像データ（比較対象先オブジェクト）と比較対象元オブジェクトとの距離が所定の距離以上であるか否かを判定する（Ｓ２３０５）。この判定の結果、前景画像データ（比較対象先オブジェクト）と比較対象元オブジェクトとの距離が所定の距離以上の場合、制御部１０６は、その「前景画像データ」の出力を停止する（Ｓ２３０６）。

一方、前景画像データ（比較対象先オブジェクト）と比較対象元オブジェクトとの距離が所定の距離以上でない場合、メタ情報合成部１０４は、前景背景分離部１０３で取得された「前景画像データ」にメタ情報を付加する（Ｓ２３０７）。
次に、制御部１０６は、出力部１０５に対して、「前景画像データ」の出力を指示する。出力部１０５は、この指示に基づき、メタ情報合成部１０４から出力された「前景画像データ」を、画像生成装置２０００および画像監視装置４００へ所定のフレームレートで出力する（Ｓ１８０７）。

以上のように本実施形態では、撮像装置１９００−ｘは、ユーザが最も着目している「比較対象元オブジェクト」に着目して、その「比較対象元オブジェクト」との距離が近い「比較対象先オブジェクト」を優先して出力する。従って、監視担当者は、ユーザがより着目していると想定される「比較対象先オブジェクト（前景データ）」を監視することができる。よって、第１の実施形態で説明した効果を得つつ、伝送帯域の負荷をより一層低減することができる。例えば、競技場２１０（サッカー場）において、「比較対象元オブジェクト」とはボールである。このボールに近い「比較対象元オブジェクト」である選手を大半のユーザは視聴する。こうしたボールに近い選手をより優先的に監視することで、撮像画像の監視の負荷の低減と、伝送帯域の負荷の低減との両立を図れる。

また、本実施形態と、第２の実施形態および第３の実施形態の少なくとも何れか一方とを組み合わせてもよい。本実施形態と第２の実施形態とを組み合わせる場合、各撮像装置１９００−ｘは、「比較対象元オブジェクト」との距離が所定の距離以下の「前景画像データ」のうち、サイズに関する所定の条件を満たす「前景画像データ」を伝送する。本実施形態と第３の実施形態とを組み合わせる場合、各撮像装置１９００−ｘは、注視点エリア１７０１、１７０２内の「前景画像データ」のうち、「比較対象元オブジェクト」との距離が所定の距離以下の「前景画像データ」を伝送する。
尚、本実施形態においても第１〜第３の実施形態で説明した変形例を採用することができる。

（第５の実施形態）
次に、第５の実施形態について説明する。第１〜第４の実施形態では、画像監視装置４００は、撮像装置毎に、同一のタイミングで撮像された前景のみを分類して一覧で表示する場合を例に挙げて説明した。これに対し、本実施形態では、各撮像装置から前景画像データのみを画像監視装置へ伝送し、画像監視装置が、同一の前景を１つのグループとして一覧で表示する場合を例に挙げて説明する。このように本実施形態と、第１〜第４の実施形態は、前景を表示する方法が異なることによる処理が主として異なる。従って、本実施形態の説明において、第１〜第４の実施形態と同一の部分については、図１〜図２３に付した符号と同一の符号を付すなどして詳細な説明を省略する。

本実施形態の画像監視システムの構成は、第１の実施形態と同様である。また、撮像装置１００−ｘ、ユーザ端末３００、および分配装置５００の構成も、第１の実施形態と同様である。また、画像生成装置２０００は、第４の実施形態と同様である。画像生成装置２０００と、後述する画像監視装置２４００は、分配装置５００を介して、後述する「２次元配置情報」を伝送することができる。

図２４は、本実施形態の画像監視装置２４００の機能的な構成の一例を示す図であり、第１の実施形態の画像監視装置４００と対比されるものである。尚、画像監視装置２４００のハードウェアは、第１の実施形態の画像監視装置４００と同様である。画像監視装置２４００は、メタ情報に基づいて前景の画像を分類することを含む処理を行う情報処理装置の一例である。画像監視装置２４００は、画像入力部４０１、画像生成部４０２、表示部４０３、制御部４０４、ユーザ入力部４０５、２次元配置情報入力部２４０１、および前景特定部２４０２を有する。これらは、内部バス４０６によって相互に接続され、制御部４０４による制御の下、相互にデータを送受信することができる。以下、各部の構成の一例を詳細に説明する。尚、画像監視装置２４００の、２次元配置情報入力部２４０１および前景特定部２４０２以外の部分は、画像監視装置４００と同様である。また、２次元配置情報入力部２４０１の機能は、例えば、通信Ｉ／Ｆ７０７により実現される。また、前景特定部２４０２の機能は、例えば、ＣＰＵ７０１により実現される。

２次元配置情報入力部２４０１は、画像生成装置２０００の２次元配置情報出力部２００１から伝送された「２次元配置情報」を入力し、制御部４０４へ出力する。
「２次元配置情報」は、第４の実施形態で説明した図２１と同様であり、「前景画像データ」毎に、少なくとも「前景種別」、「前景画像データの識別情報」、および「前景画像データの座標情報」を含む。ただし、「２次元配置情報」の「前景画像データの識別情報」には、各撮像装置１００−ｘが付加した「前景画像データの識別情報」が全て含まれる。例えば、「２次元配置情報」の「前景画像データ」の一つにサッカーボールがある場合、「２次元配置情報」の「前景画像データの識別情報」には、以下の情報が全て含まれる。即ち、「２次元配置情報」の「前景画像データの識別情報」には、各撮像装置１００−ｘがサッカーボールの「前景画像データ」に付加した「前景画像データの識別情報」が全て含まれる。また、本実施形態の制御部４０４は、２次元配置情報入力部２４０１により入力された「２次元配置情報」をそのまま後述の前景特定部２４０２に出力するものとする。

前景特定部２４０２は、制御部４０４から出力された「２次元配置情報」と、画像入力部４０１から出力された各撮像装置１００−ｘの全ての「前景画像データ」およびそれに付加されるメタ情報に基づいて、どの「前景画像データ」が同一の前景かを特定する。例えば、各撮像装置１００−ｘの撮像画像に、サッカーボールの「前景画像データ」が映っている場合、前景特定部２４０２は、これらの「前景画像データ」を同一の前景と特定する。前景特定部２４０２は、同一と特定した「前景画像データ」に共通の識別情報を付加して、画像生成部４０２へ出力する。また、本実施形態では、以下の表示イメージ種別があるものとする。
・前景グループ表示イメージ

次に、本実施形態の画像監視装置２４００の動作の一例について説明する。図２５は、本実施形態の画像監視装置２４００により表示される表示イメージの一例を示す図である。表示部４０３は、撮像装置１００−ｘ毎に同一のタイミングで撮像された前景のみを一覧で表示し、前述した不図示の同期装置からの同期信号と同じ周期で、表示イメージを更新する。つまり、表示部４０３は、撮像装置１００−ｘ毎に、「前景背景分離前画像データ」から「背景画像データ」を差し引いた撮像画像（「前景画像データ」）の一覧を動画像として表示する。図２５では、前景種別が「前景１」〜「前景８」の「前景画像データ」の一覧が、同一の前景種別を同一のグループとしてグループ表示される場合を例に挙げて示す。図２５において、前景２は、ボールである。それ以外の前景は、特定の人物である。

次に、表示イメージを生成する際の画像監視装置２４００の処理の一例について表示イメージ種別が「前景グループ表示イメージ」である場合を例に挙げて説明する。図２６は、表示イメージを生成する際の画像監視装置２４００の処理の一例を説明するフローチャートである。
前景特定部２４０２は、制御部４０４を介して、「２次元配置情報」を入力する（Ｓ２６０１）。
次に、画像生成部４０２は、撮像装置１００−ｘのうち、未選択の撮像装置１００−ｘを１つ選択する（Ｓ２６０２）。次に、画像生成部４０２は、画像入力部４０１から、Ｓ２６０２で選択した撮像装置１００−ｘの「前景画像データ」のうち、未選択の「前景画像データ」と、そのメタ情報を１つ取得する（Ｓ２６０３）。

次に、前景特定部２４０２は、「前景画像データ」が「２次元配置情報」のどの「前景画像データ」であるのかを特定する（Ｓ２６０４）。前述の通り本実施形態の「２次元配置情報」の「前景画像データの識別情報」には、各撮像装置１００−ｘが付加した「前景画像データの識別情報」が全て含まれる。前景特定部２４０２は、「前景画像データの識別情報」に基づいて、Ｓ２６０３で取得した「前景画像データ」と「２次元配置情報」との関係を特定する。

次に、前景特定部２４０２は、Ｓ２６０４で特定した内容を示す情報を画像生成部４０２へ出力する（Ｓ２６０５）。
次に、画像生成部４０２は、「前景画像データ」毎にワークメモリを確保し（Ｓ２６０６）、そのワークメモリにＳ２６０３で取得した「前景画像データ」を貼りつける（Ｓ２６０７）。このワークメモリは、撮像装置１００−ｘの撮像画像と同等の解像度／色深度を再現できるサイズを有する。また、本実施形態の「前景画像データ」はＲＡＷ画像である。そのため、画像生成部４０２は、「前景画像データ」に対して現像処理を施し、現像処理を施した「前景画像データ」をワークメモリに貼りつける。

Ｓ２６０３〜Ｓ２６０７の処理は、Ｓ２６０２で選択した撮像装置１００−ｘの残りの「前景画像データ」に対しても繰り返し行われる。従って、画像生成部４０２は、Ｓ２６０２で選択した撮像装置１００−ｘの全ての「前景画像データ」をワークメモリに貼り付けたか否かを判定する。この判定の結果、Ｓ２６０２で選択した撮像装置１００−ｘの全ての「前景画像データ」がワークメモリに貼り付けられていない場合、処理は、Ｓ２６０３に戻る。そして、Ｓ２６０２で選択した撮像装置１００−ｘの全ての「前景画像データ」がワークメモリに貼り付けられるまで、Ｓ２６０３〜Ｓ２６０８の処理が繰り返し実行される。Ｓ２６０２で選択した撮像装置１００−ｘの全ての「前景画像データ」がワークメモリに貼り付けられると、Ｓ２６０９に進む。

そして、画像生成部４０２は、画像監視装置２４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」をワークメモリに貼り付けたか否かを判定する（Ｓ２６０９）。この判定の結果、画像監視装置２４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられていない場合、処理は、Ｓ２６０２に戻る。そして、画像監視装置２４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられるまで、Ｓ２６０２〜Ｓ２６０９の処理が繰り返し実行される。画像監視装置２４００に予め設定されている全ての撮像装置１００−ｘについて、全ての「前景画像データ」がワークメモリに貼り付けられると、Ｓ２６１０に進む。

画像生成部４０２は、同一の前景であると特定されたワークメモリに再現された撮像画像（「前景画像データ」）を一纏めにして、表示部４０３のフレームバッファに転送することで表示イメージを作成する（Ｓ２６１０）。この際、画像生成部４０２は、表示部４０３のフレームバッファのサイズに合わせて、撮像画像（「前景画像データ」）に対して縮小処理を施す。前述の通り、図２５が、フレームバッファに作成された表示イメージの一例である。
Ｓ２６０１〜Ｓ２６１０の処理は、少なくとも画像入力部４０１が入力する「前景画像データ」のフレームレートの期間内に終えるようにする。そして、画像生成部４０２は、制御部４０４からの終了指示があったか否かを判定する（Ｓ２６１１）。この判定の結果、制御部４０４からの終了指示があった場合、図２６のフローチャートによる処理が終了する。一方、制御部４０４からの終了指示がない場合、「前景画像データ」のフレームレートの期間が終了すると、処理は再度Ｓ２６０１に戻り、前述したＳ２６０１〜Ｓ２６１１の処理が繰り返される。

以上のように、同一の前景を一つのグループとして纏めて表示するようにしても、第１の実施形態で説明した効果を得ることができる。
本実施形態では、第１の実施形態の撮像装置１００−ｘを用いる場合を例に挙げて説明した。しかしながら、第２〜第４の実施形態の撮像装置１４００−ｘ、１６００−ｘ、１９００−ｘを用いてもよい。
尚、本実施形態においても第１〜第４の実施形態で説明した変形例を採用することができる。

尚、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

（その他の実施例）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：撮像装置群、２００：画像生成装置、３００：ユーザ端末、４００：画像監視装置、５００：分配装置

Claims (27)

1. 複数の撮像装置により取得された複数の撮像画像に基づいて生成されるオブジェクトの三次元形状データを用いて仮想視点の位置及び方向に応じた仮想視点画像を生成するシステムにおける、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像を表示させる情報処理装置であって、
   前記複数の撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得する取得手段と、
   前記取得手段により取得されたオブジェクトの画像を、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像として表示画面上に表示させる表示制御手段と、を有することを特徴とする情報処理装置。
2. 前記表示制御手段は、前記複数の撮像装置のそれぞれに対応する前記表示画面上の複数の表示領域のうちの特定の表示領域に、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項１に記載の情報処理装置。
3. 前記表示制御手段は、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を、前記特定の表示領域における当該オブジェクトの画像の位置が、前記特定の表示領域に対応する撮像装置により取得された撮像画像における、三次元形状データの生成対象であるオブジェクトの位置に応じた位置となるように表示させることを特徴とする請求項２に記載の情報処理装置。
4. 前記表示制御手段は、撮像画像における大きさが所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項１乃至３のうち、何れか１項に記載の情報処理装置。
5. 前記取得手段は、撮像画像における大きさが前記所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を取得し、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項４に記載の情報処理装置。
6. 前記複数の撮像装置は、複数の撮像装置群に分類され、
   前記表示制御手段は、前記複数の撮像装置群のうち、第１撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記第１撮像装置群とは異なる第２撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項１乃至３のうち、何れか１項に記載の情報処理装置。
7. 前記取得手段は、前記第１撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得し、前記第１撮像装置群とは異なる第２撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項６に記載の情報処理装置。
8. 前記複数の撮像装置群の中から前記第１撮像装置群を決定する決定手段を有し、
   前記表示制御手段は、前記決定手段により決定された前記第１撮像装置群に属する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項６又は７に記載の情報処理装置。
9. 前記決定手段は、操作者の指定に基づいて前記複数の撮像装置群の中から前記第１撮像装置群を決定することを特徴とする請求項８に記載の情報処理装置。
10. 前記決定手段は、各撮像装置群により撮像される領域に含まれるオブジェクトの数に基づいて前記複数の撮像装置群の中から前記第１撮像装置群を決定することを特徴とする請求項８に記載の情報処理装置。
11. 前記決定手段は、各撮像装置群により撮像される領域に特定オブジェクトが含まれることに基づいて前記複数の撮像装置群の中から前記第１撮像装置群を決定することを特徴とする請求項８に記載の情報処理装置。
12. 前記第１撮像装置群に属する撮像装置は、第１位置を撮像するように撮像方向及び焦点距離が設定された撮像装置であり、第２撮像装置群に属する撮像装置は、前記第１位置とは異なる第２位置を撮像するように撮像方向及び焦点距離が設定された撮像装置であることを特徴とする請求項６乃至１１のうち、何れか１項に記載の情報処理装置。
13. 前記表示制御手段は、特定オブジェクトから所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を前記表示画面上に表示させ、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を前記表示画面上に表示させないことを特徴とする請求項１乃至３のうち、何れか１項に記載の情報処理装置。
14. 前記取得手段は、前記特定オブジェクトから前記所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を取得し、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を取得しないことを特徴とする請求項１３に記載の情報処理装置。
15. 前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、オブジェクトの種別ごとに配置して表示させることを特徴とする請求項１乃至１４のうち、何れか１項に記載の情報処理装置。
16. 前記取得手段は、三次元形状データの生成対象であるオブジェクトの画像に対応するオブジェクトを識別するためのオブジェクト識別子を取得し、
    前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、前記オブジェクト識別子に応じた配置で表示させることを特徴とする請求項１乃至１５のうち、何れか１項に記載の情報処理装置。
17. 前記取得手段は、三次元形状データの生成対象であるオブジェクトの画像を撮像した撮像装置を識別するための撮像装置識別子を取得し、
    前記表示制御手段は、三次元形状データの生成対象であるオブジェクトの画像を、前記撮像装置識別子に応じた配置で表示させることを特徴とする請求項１乃至１６のうち、何れか１項に記載の情報処理装置。
18. 三次元形状データの生成対象であるオブジェクトの画像は、動体を含む画像であることを特徴とする請求項１乃至１７のうち、何れか１項に記載の情報処理装置。
19. 三次元形状データの生成対象であるオブジェクトの画像は、人物とボールのうち少なくとも一方を含む画像であることを特徴とする請求項１乃至１８のうち、何れか１項に記載の情報処理装置。
20. 複数の撮像装置により取得された複数の撮像画像に基づいて生成されるオブジェクトの三次元形状データを用いて仮想視点の位置及び方向に応じた仮想視点画像を生成するシステムにおける、三次元形状データの生成対象であるオブジェクトの撮像状態を表す画像を表示させる情報処理装置が行う情報処理方法であって、
    前記複数の撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を取得する取得工程と、
    前記取得工程において取得されたオブジェクトの画像を、三次元形状データの生成対象である前記オブジェクトの撮像状態を示す画像として表示画面上に表示させる表示制御工程と、
    を有することを特徴とする情報処理方法。
21. 前記表示制御工程において、前記複数の撮像装置のそれぞれに対応する前記表示画面上の複数の表示領域のうちの特定の表示領域に、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させることを特徴とする請求項２０に記載の情報処理方法。
22. 前記表示制御工程において、前記特定の表示領域に対応する撮像装置により取得された撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を、前記特定の表示領域における当該オブジェクトの画像の位置が、前記特定の表示領域に対応する撮像装置により取得された撮像画像における、三次元形状データの生成対象であるオブジェクトの位置に応じた位置となるように表示させることを特徴とする請求項２１に記載の情報処理方法。
23. 前記表示制御工程において、撮像画像における大きさが所定範囲内の三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記所定範囲外の三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項２０乃至２２のうち、何れか１項に記載の情報処理方法。
24. 前記複数の撮像装置は、複数の撮像装置群に分類され、
    前記表示制御工程において、前記複数の撮像装置群のうち、第１撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象であるオブジェクトの画像を表示させ、前記第１撮像装置群とは異なる第２撮像装置群に属する撮像装置により取得された複数の撮像画像から抽出される、三次元形状データの生成対象ではないオブジェクトの画像を表示させないことを特徴とする請求項２０乃至２２のうち、何れか１項に記載の情報処理方法。
25. 前記表示制御工程において、特定オブジェクトから所定距離内に位置する、三次元形状データの生成対象であるオブジェクトの画像を前記表示画面上に表示させ、前記特定オブジェクトから前記所定距離内に位置しない、三次元形状データの生成対象ではないオブジェクトの画像を前記表示画面上に表示させないことを特徴とする請求項２０乃至２２のうち、何れか１項に記載の情報処理方法。
26. 前記表示制御工程において、三次元形状データの生成対象であるオブジェクトの画像を、オブジェクトの種別ごとに配置して表示させることを特徴とする請求項２０乃至２５のうち、何れか１項に記載の情報処理方法。
27. コンピュータを請求項１乃至１９のうち、何れか１項に記載の情報処理装置の各手段として動作させるためのプログラム。

Images