JP6952456B2 - 情報処理装置、制御方法、及びプログラム - Google Patents

Description

本発明は、１つ以上の映像を用いて表示する映像を形成する映像処理技術に関する。

近年、複数のカメラによる撮像映像を用いて、１つの視点を中心として周囲の連続した視界の映像や、被写体を中心として連続した周囲の視点からその被写体を見た時の視界の映像を生成するシステムの検討が進んでいる。特許文献１には、視聴者の視点位置と複数のカメラの位置情報とからその視点位置に対応するカメラが複数選択され、選択されたカメラで撮像された複数の映像と視聴者の視点に基づいて、その視点から見た被写体の映像を生成して表示する技術が記載されている。

特開２０１５−１２５４９３号公報

複数のカメラで撮像された映像を、閲覧機器において連続した映像として表示するには、連続した映像として表示する場合のこれらの映像間の重複領域を高精度に特定し、重複領域を削除または重畳して合成表示する必要がある。このとき、各カメラ映像の位置や画角についての高精度な情報に基づいて重複領域を認識して繋ぎ合わせることが可能であるが、重複領域の高精度な認識及び複数の映像の違和感のない合成を行うことは必ずしも容易ではない。また、閲覧機器が、映像を解析して隣接する２つの映像の重複領域を判断することを前提とすると、閲覧機器に高い処理能力が要求され、また、閲覧機器ごとに（例えば異なる解析手法を用いることにより）異なる判断結果が出てしまう場合がありうる。このため、閲覧機器によっては映像を見ることができず、また、閲覧機器ごとに表示される映像にばらつきが出てしまいうる。

本発明は上記課題に鑑みなされたものであり、一部において重複する領域を含む２つ以上の映像を、閲覧機器において低負荷かつ高精度に繋ぎ合わせて表示させることを可能とする技術を提供することを目的とする。

上記目的を達成するため、本発明の一態様に係る情報処理装置は、互いに重複する重複領域を含み連結合成される２つ以上の映像について、前記重複領域を示す重複領域情報を生成する生成手段と、前記２つ以上の映像を連結した映像を生成する他の装置に対して、前記２つ以上の映像のそれぞれを取得するための取得情報と前記重複領域情報とが記述された情報を送信する送信手段と、を有し、前記生成手段は、前記２つ以上の映像を連結した映像における前記重複領域に対応する領域の画素値の特定に当該２つ以上の映像のうちのいずれの画素値が優先して用いられるべきかを示す優先度であって、優先して用いられるべきであるほど高い値を示す前記優先度に応じて、前記優先度の高い１つの映像については前記重複領域情報を生成せず、前記優先度の低い他の映像について前記重複領域情報を生成することを特徴とする。

本発明によれば、一部において重複する領域を含む２つ以上の映像を、閲覧機器において低負荷かつ高精度に繋ぎ合わせて表示させることができる。

システムの構成例を示す図。 サーバ装置の構成例を示すブロック図。 再生装置の構成例を示すブロック図。 ２つの映像と、それらの重複領域と、連結後の映像との関係を示す概念図。 システムで実行される処理の流れの例を示す図。 サーバ装置におけるＭＰＤ生成処理の流れの第１の例を示すフローチャート。 ＭＰＤの記述内容の例を示す図。 再生装置における映像の生成処理の流れの例を示すフローチャート。 サーバ装置におけるＭＰＤ生成処理の流れの第２の例を示すフローチャート。

以下、添付の図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、以下の実施形態で説明する構成や手順は一例に過ぎず、本発明を説明される形態に限定することを意図していない。すなわち、本発明は、実装される装置の構成や各種条件によって、以下の形態から適宜修正または変更されてもよい。例えば、以下の実施形態では、撮影視点を中心として外方向に多数のカメラを配置する全方位映像配信システムを例として説明するが、これに限られない。すなわち、被写体を中心に周辺に多数のカメラを配置する全周囲映像配信システムや、一列にカメラが配置される構成等、様々なシステムにおいて、以下の手法を適用することができる。

（システム構成）
まず、本実施形態に係るシステムの構成例について、図１を用いて説明する。自由視点映像の撮影対象である被写体１０１が、それぞれがネットワーク１０４に接続された、カメラ１０２及び１０３等の複数のカメラによって撮影される。複数のカメラによって撮像された映像は、ネットワーク１０４を介して、ネットワークに接続可能な機器へと配信される。なお、カメラによって撮像された映像は、一時的にサーバ等の記憶装置に格納されてその装置からネットワーク１０４を介して各種機器へと伝送されてもよいし、カメラからネットワーク１０４を介して各種機器へと直接伝送されてもよい。なお、カメラは、映像データを一時的に保持するバッファやバッファ内の映像データを送信する能力を有してもよく、各種機器は、このバッファにアクセスすることによって、カメラで撮像された映像を取得しうる。ここで、複数のカメラのそれぞれから直接映像が配信される場合等、映像を配信する装置を分散することにより、多数の機器が一斉に映像を取得する場合等の配信元装置の負荷を分散することができる。ネットワーク１０４は、ローカルエリアネットワーク（ＬＡＮ）、インターネット、ロングタームエボリューション（ＬＴＥ）やＬＴＥ−Ａｄｖａｎｃｅｄ等のセルラ通信ネットワークなど、任意のネットワークでありうる。ネットワーク１０４に対しては、さらに、サーバ装置２００と、再生装置３００とが接続する。

サーバ装置２００は、複数のカメラから取得される映像ストリームを合成してユーザの所望の視界に対応する画像を再生装置３００が生成できるようにするための情報を生成して再生装置３００へ送信するように構成される情報処理装置である。サーバ装置２００は、例えば、ユーザの所望の視界を指定する情報から、その視界の映像を生成するための１つ以上のカメラ（この場合、カメラ１０２及びカメラ１０３）を特定する。そして、サーバ装置２００は、それらのカメラのうちの隣接する２つが撮像した映像が共通して含んでいる領域（重複領域）を特定するための情報を生成して再生装置３００へ送信する。この重複領域は、例えば、図１の例では、領域１０５に対応する撮像された映像中の領域である。領域１０５は、カメラ１０２とカメラ１０３とによって重複して撮像され、カメラ１０２で撮像される映像のうちの右側の一部に、また、カメラ１０３で撮像される映像のうちの左側の一部に、それぞれ対応する。

また、サーバ装置２００は、再生装置３００に対して、ユーザの所望の視界の映像を生成するために特定されたカメラが撮像した映像を取得するためのアクセス先等の情報を送信しうる。このとき、サーバ装置２００は、このアクセス先等の情報と、重複領域を特定するための情報とを１つの信号として再生装置３００へと送信することができる。

再生装置３００は、再生すべき映像ストリームの配信元（例えばカメラ１０２及びカメラ１０３、又はそれらのカメラが撮像した映像を記憶する記憶装置）にアクセスして、再生対象の映像を取得することができる。なお、再生装置３００は、この配信元へのアクセスを例えばサーバ装置２００から取得したアクセス先等の情報に基づいて行ってもよいし、例えばユーザ操作等によって指定された情報に基づいて行ってもよい。なお、再生装置３００がアクセスする配信元に関する情報は、サーバ装置２００が知っている必要がある。このため、再生装置３００は、例えばユーザ操作等に基づいてサーバ装置２００を介さずに配信元へアクセスする場合は、この配信元の情報をサーバ装置２００へ通知する。この場合、サーバ装置２００は、通知された配信元から得られる映像について重複領域を特定してその重複領域に関する情報を再生装置３００へと通知する。

再生装置３００は、所望の視界に対応する画像を生成可能とするためにサーバ装置２００によって生成された情報に基づいて、取得した映像を合成して、所望の視界に対応する映像を表示する。なお、再生装置３００は、例えば外部の表示装置へ表示させるための映像の生成までの処理を実行してもよく、その場合は画面等の表示機能を有しなくてもよい。すなわち、再生装置３００は、少なくとも映像の表示制御を実行する表示制御装置としての機能を含み、場合によっては映像を表示することができる表示装置でもありうる。

なお、図１には、１つの再生装置３００が記載されているが、多数の再生装置が存在してもよい。また、サーバ装置２００は、例えば複数の分散配置された装置によって置き換えられてもよく、１つの装置ではなく複数の装置がネットワークを介して互いに通信しながら、全体で所定の処理を実行するようにしてもよい。

ここで、再生装置３００への映像伝送方式としてＭＰＥＧ−ＤＡＳＨが用いられる場合の例について説明する。ＭＰＥＧ−ＤＡＳＨは、多数の映像から視聴する映像を視聴者側が選択する形の映像伝送方式の規格である。ここで、「ＭＰＥＧ」及び「ＤＡＳＨ」は、それぞれ、「Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ」及び「Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ」の頭字語である。ＭＰＥＧ−ＤＡＳＨでは、ＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）と呼ばれる、ダウンロード対象の映像データのリストの記述方式が定義されている。ＭＰＤには、上述のアクセス先等の情報に対応する１つ以上の映像のダウンロードＵＲＬと、各映像の再生時間やデータレート、階層符号化、映像間の関連などの情報が記載される。

サーバ装置２００は、このＭＰＤに、再生装置３００の所望の視界に対応して特定されたカメラが撮像した映像を取得するためのアクセス先の情報を格納し、再生装置３００へ送信する。なお、サーバ装置２００は、再生装置３００が所望する視界に応じた映像のみをＭＰＤ内のリストに含めてもよいし、その所望の視界が変化する場合に対応するために、一定の範囲の視界の変化に対応可能なようにより多くの映像をリストに含めてもよい。また、映像データを取得するためのアクセス先は、サーバ装置２００であってもよいが、例えばカメラ１０２及び１０３又はこれらのカメラが撮像した映像を記憶する記憶装置などの他の装置でありうる。そして、再生装置３００は、状況に応じて、ＭＰＤに含まれる映像データのリストのうちの１つを選択及び取得して表示し、又は、リストに含まれる複数の映像を取得して、その複数の映像を合成して表示する。

本実施形態に係るサーバ装置２００は、ＭＰＤに、再生装置３００が複数の映像を合成する際に用いる、これらの複数の映像のそれぞれにおける重複領域を示す情報を含める。これにより、再生装置３００は、複数の映像を合成する際に、映像を解析することなく、重複領域を特定することができる。再生装置３００は、２つの映像について、例えばいずれかから重複領域の画素を削除して連結することによって合成する。また、再生装置３００は、２つの映像について、例えば重複領域の画素について平均又は加重平均等を計算して表示すべき画素値を特定し、重複領域の画素値についてはその特定された画素値で置き換えてから連結して合成してもよい。なお、再生装置３００は、所望する視界によっては映像の合成を行わなくてもよく、この場合、サーバ装置２００は、重複領域がないことを示す情報を再生装置３００へ送信してもよいし、重複領域に関する情報を送信しなくてもよい。

なお、映像を再生する装置が複数の映像を連結合成して表示する場合に、それらの複数の映像の重複領域をその再生装置へと通知可能なシステムであれば、上述の構成に限られない。例えば、ＭＰＥＧ−ＤＡＳＨが採用されるシステムであっても、ＭＰＤを用いて重複領域を特定する情報が送受信されなくてもよく、例えば、ＭＰＤとは別の情報として重複領域を特定する情報が送受信されてもよい。また、必ずしもＭＰＥＧ−ＤＡＳＨが用いられなくてもよい。

このように、本実施形態では、合成対象の複数の映像について、その撮像範囲が重複している場合に、サーバ装置２００が、撮像された映像中の重複領域を特定する情報を再生装置３００に通知する。そして、再生装置３００は、その情報に基づいて複数の映像の重複領域を特定して、複数の映像を連結した映像を取得する。これによれば、サーバ装置２００が重複領域を特定する情報を取得した再生装置は、自身で映像を解析することなく、複数の映像を連結して表示させることができる。このため、再生装置は、映像解析を行う能力を有しなくてもよく、また、複数の再生装置で異なる映像解析を行って異なる解析結果を得ることもなくなる。このため、再生装置は、自身の能力によらず、他の再生装置と同じ連結結果の映像を得ることができるようになる。

以下では、上述のようなサーバ装置２００及び再生装置３００の構成とそれぞれが実行する処理の流れについて説明する。

（サーバ装置の構成）
サーバ装置２００の構成例について、図２を用いて説明する。サーバ装置２００は、例えば、処理部２０１及び通信部２０２を含んで構成される。処理部２０１は、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサで構成される制御部２０３と、ＲＡＭ、ＲＯＭ、ハードディスクドライブ等の記憶装置等の１つ以上により構成される記憶部２０４とを含んで構成される。処理部２０１は、記憶部２０４に記憶されたプログラムを処理部２０１が実行することによって、様々な処理を実行することができる。すなわち、サーバ装置２００は、例えば一般的なコンピュータが有するＣＰＵとメモリとを含んだ処理部２０１を有し、一般的なサーバ装置が実行可能な様々な演算を実行することができる。なお、制御部２０３は、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、ＤＳＰ（デジタルシグナルプロセッサ）等の様々なプロセッサで構成されてもよい。また、記憶部２０４は、例えば所望の処理を実行させるためのプログラムを記憶した着脱可能な外部記憶装置であってもよい。この場合、制御部２０３は、記憶部２０４が所定のインタフェースに接続されたことに応じて、記憶部２０４に記憶されたプログラムを実行するように構成されうる。本実施形態では、制御部２０３は、例えば記憶部２０４に記憶されたＭＰＤ生成用のプログラム２０５を実行する。なお、ＭＰＤ生成に関する処理等の特定の処理が専用のハードウェアによって実行されてもよい。

通信部２０２は、ネットワーク１０４を介して外部の装置と通信するための機能を実現するための通信回路及びコネクタ等のインタフェースを含んで構成される。例えば、通信部２０２は、サーバ装置２００から外部に送信されるデータについて、宛先の情報等のヘッダ情報を含めてパケットを生成して送信する機能を有する。また、通信部２０２は、外部からサーバ装置２００へ送信されたパケットを受信すると、そのパケットから必要なデータを取り出す機能を有する。通信部２０２は、例えば処理部２０１による処理の結果の情報や記憶部２０４に記憶された情報を外部へ送信し、外部から受信したデータを記憶部２０４に記憶させるために、処理部２０１と接続される。なお、通信部２０２の通信は、処理部２０１の制御下で行われうる。

通信部２０２は、ネットワーク１０４を介して、再生装置３００からＭＰＤ送信要求を受信すると、そのＭＰＤ送信要求を処理部２０１へと転送する。そして、処理部２０１は、このＭＰＤ送信要求に応じて、制御部２０３に、記憶部２０４からＭＰＤ生成用のプログラム２０５を読み出させて実行させることにより、ＭＰＤを生成する。そして、処理部２０１は生成したＭＰＤを通信部２０２に転送し、通信部２０２は、このＭＰＤを含み再生装置３００へ宛てられた信号を生成して、ネットワーク１０４へと送出する。ネットワーク１０４へ送出された信号は、例えばネットワーク１０４内のルータ等のノードが再生装置３００の宛先情報に基づいて順次転送し、再生装置３００へと届けられる。

ここで、記憶部２０４は、ＭＰＤ生成処理のために、複数のカメラのそれぞれが配置されている位置を示すカメラ配置情報２０６と、互いに隣接するカメラについて、それぞれが撮影する映像における重複領域を示す重複領域情報２０７とを記憶しておく。制御部２０３は、例えば、再生装置３００に対してアクセス先が通知される映像データを生成する１つ以上のカメラについて、互いに隣接するか否かをカメラ配置情報２０６に基づいて判定し、隣接するカメラについて重複領域情報２０７を取得する。そして、制御部２０３は、再生装置３００が取得すべき１つ以上の映像の取得のためのアクセス先の情報と、その１つ以上の映像についての重複領域情報とを含んだＭＰＤを生成する。なお、制御部２０３は、例えばＭＰＤ送信要求に、再生装置３００が所望する視界の情報が含まれる場合は、その視界の情報とカメラの位置とに基づいて、その視界に対応する１つ以上のカメラを特定する。そして、制御部２０３は、その１つ以上のカメラが撮像する映像データを取得できるアクセス先を特定して、ＭＰＤに含めることができる。なお、再生装置３００が、ＭＰＤによらずに映像データを取得する場合、サーバ装置２００は、例えば、取得される映像データの情報に基づいて、重複領域を特定して、再生装置３００へと通知してもよい。

なお、制御部２０３は、例えば、複数のカメラのそれぞれがＧＰＳ等で測定した位置情報を取得して、カメラ配置情報２０６を構成しうる。また、制御部２０３は、例えば、複数のカメラのそれぞれを用いて撮像された映像のそれぞれについて、重複領域が存在するか否かを判定して、重複領域が存在する場合にその重複領域を含んだ映像を撮像した２つ以上のカメラが隣接関係にあると特定してもよい。そして、制御部２０３は、この特定した情報に基づいて、相対的なカメラ配置情報２０６を特定して記憶しておいてもよい。なお、他の方法によって、カメラ配置情報２０６が特定されてもよい。例えばカメラ配置情報２０６によって管理している複数のカメラから、撮像された映像データを取得して、画像を解析して重複領域を特定し、特定した情報を重複領域情報２０７として記憶部２０４に記憶させうる。なお、制御部２０３は、この処理を定期的に実行して、重複領域情報２０７を定期的に更新してもよい。これにより、サーバ装置２００は、例えばカメラが外的要因によって動いた場合等であっても、撮像された映像について、他のカメラによって撮像された映像との正確な重複領域の情報を再生装置３００へと通知することができる。なお、画像解析による重複領域の特定は、例えば相関検出等の従来技術を用いて実行可能であるため、ここでの詳細な説明については省略する。

（再生装置の構成）
再生装置３００の構成例について、図３を用いて説明する。再生装置３００は、例えば、処理部３０１及び通信部３０２を含んで構成される。なお、処理部３０１及び通信部３０２は、処理部３０１がプロセッサ等の制御部３０３とメモリ等の記憶部３０４とを含んで構成される点を含め、規模等は異なりうるが、サーバ装置２００の処理部２０１及び通信部２０２と同様のハードウェア構成を有する。このため、処理部３０１及び通信部３０２のハードウェアに関する詳細な説明については省略する。

処理部３０１では、制御部３０３が再生制御３０５用のプログラムを記憶部３０４から読み出して実行し、通信部３０２に対して、ＭＰＥ送信要求をサーバ装置へ送信するように指示する。なお、この指示には、例えば再生装置３００のユーザが所望する視界を特定する情報が含まれうる。通信部３０２は、この指示に応じて、ＭＰＤ送信要求をサーバ装置２００へ送信する。なお、視界を特定する情報が指示に含まれる場合、ＭＰＤ送信要求にその情報が含まれてもよい。すなわち、視界を指定したＭＰＤ送信要求が送信されてもよい。なお、視界を特定する情報は、サーバ装置２００において、ＭＰＤ内のリストに含められる映像データを、すなわち、再生装置３００が映像データを取得すべきカメラを、特定するのに用いられうる。また、視界を特定する情報は、例えば、どの地点から見るかを示す視点情報（例えば視点の座標）と、視点からどの方向を見るかを示す視線方向の情報（例えば視線を示すベクトル）とを含みうる。なお、視点が固定の場合、視界を特定する情報は、視線方向の情報のみを含んでもよい。また、視界を特定する情報は、例えば右目と左目とのそれぞれについて特定されてもよい。この場合、後述の処理は、右目用の映像と左目用の映像とのそれぞれについて行われる。そして、通信部３０２は、その要求への応答として、サーバ装置２００からＭＰＤを受信すると、そのＭＰＤを処理部３０１へと渡す。

そして、処理部３０１では、制御部３０３が、再生制御３０５用のプログラムを記憶部３０４から読み出して実行し、例えば、ＭＰＤ内のリストに基づいて、映像データを取得するように、通信部３０２を制御する。なお、処理部３０１は、例えばユーザ操作によって取得すべき映像データが定まっている場合は、その映像データを取得するように通信部３０２を制御しうる。この場合、処理部３０１は、併せて、その取得する映像データに関する情報（例えば映像データの配信元を特定する情報）を、サーバ装置２００へと送信し、取得する映像データについての重複領域に関する情報を取得しうる。通信部３０２は、取得された映像データを処理部３０１へと渡し、処理部３０１は、記憶部３０４に、その映像データ３０８を記憶させる。また、処理部３０１は、例えばＭＰＤに含められた又は取得する映像データの情報をサーバ装置２００へと通知して取得した、重複領域情報３０９を、記憶部３０４に記憶させる。

制御部３０３は、その後、復号制御３０６用のプログラムを記憶部３０４から読み出して実行することにより、記憶部３０４に記憶された映像データ３０８に対して復号処理を行う。そして、制御部３０３は、描画制御３０７用のプログラムを記憶部３０４から読み出して実行することにより、復号後のデータを用いた映像の描画処理を行う。このとき、制御部３０３は、復号された映像データと、重複領域情報３０９とに基づいて、互いに重複する２つ以上の映像データを連結合成して、表示すべき映像を生成する。例えば、制御部３０３は、２つの互いに重複する映像データについて、その一方の重複領域の画素値を除去して、他方の映像をその領域にはめ込むことにより、２つの重複する映像データを連結合成する。また、制御部３０３は、２つの互いに重複する映像データについて、それらの２つの映像データの重複領域の画素値の平均又は加重平均を計算することにより、合成後の重複領域に対応する領域の画素値を決定して、２つの映像データを連結合成してもよい。なお、２つの映像データのうちの一方に関する重複領域の画素値を削除する処理は、加重平均におけるその一方の映像データの重みを０としたものと同等であることに留意されたい。

図４は、隣接する２つの映像と重複領域、及び連結合成された映像の関係を示す。図４には、カメラ１０２により撮影された映像４０１と、カメラ１０３により撮影された映像４０２とが示されている。映像４０１及び映像４０２は、共に、レンズ特性による周囲湾曲により矩形映像ではなく、この湾曲により重複領域１０５の形状も矩形形状ではない。再生装置３００において、重複領域１０５の情報に基づいて連結合成されて湾曲が矩形映像に変換され、全体映像４０３が生成される。

（処理の流れ）
続いて、上述のサーバ装置２００及び再生装置３００が実行する処理の流れについて説明する。図５は、再生装置３００とサーバ装置２００との間で実行される処理の流れの例を示している。

本処理では、まず、再生装置３００が、ユーザ（視聴者）の所望する視界を決定し（Ｓ５０１）、その視界情報を指定してＭＰＤ送信要求を、サーバ装置２００へと送信する（Ｓ５０２）。ここで、ユーザの所望する視界は、例えばユーザ操作を受け付けたことに応じて決定されてもよいし、例えば再生装置３００の位置姿勢に応じて決定されてもよい。なお、再生装置３００の位置姿勢は、例えば加速度センサ、ジャイロセンサ等の様々なセンサを用いて特定されうる。また、ここでの視界情報の指定の仕方は、どのような方法が用いられてもよい。例えば、視点を特定する座標と、視線の方向を特定するベクトルと、場合によっては視野角を指定する数値とが、視界情報として指定されうる。サーバ装置２００は、ＭＰＤ送信要求を受信すると（Ｓ５０３）、後述の方法でＭＰＤを生成し（Ｓ５０４）、その生成したＭＰＤを再生装置３００へ返信する（Ｓ５０５）。再生装置３００は、ＭＰＤを受信すると（Ｓ５０６）、そのＭＰＤに記述された２つ以上の映像の間で互いに重複する領域を示す重複領域情報３０９を、記憶部３０４に記憶させる（Ｓ５０７）。次に、再生装置３００は、ＭＰＤに記述された映像データを取得するためのアクセス先へとアクセスして、映像データを取得し（Ｓ５０８）、取得した映像データ３０８を記憶部３０４に記憶させる。再生装置３００は、その後、記憶部３０４に記憶されている映像データに対して復号制御３０６を実行する。そして、再生装置３００は、復号によって得られた映像について、例えば視界に対応する映像が２つの映像から構成される場合等の必要な場合に、重複領域情報３０９に基づいて連結合成し（Ｓ５０９）、合成された映像を再生する（Ｓ５１０）。

なお、上述の処理の流れは一例に過ぎず、一部の処理の流れの順序が逆転してもよいし、一部の処理が実行されなくてもよいし、また、さらなる処理が実行されてもよい。例えば、再生装置３００は、重複領域情報の保存（Ｓ５０７）と映像の取得（Ｓ５０８）とを並行して実行してもよいし、映像の取得の方が先に実行されてもよい。また、再生装置３００は、ＭＰＥＧ−ＤＡＳＨに従わなくてもよく、例えばユーザが選択した複数の映像を取得しながら、その複数の映像についての重複領域情報をサーバ装置２００へと要求してもよい。この場合、サーバ装置２００は、重複領域情報の要求に従って、その複数の映像についての重複領域情報を事前に保持している場合はその情報を再生装置３００へと送信する。一方、サーバ装置２００は、その複数の映像についての重複領域情報を事前に保持していない場合は、映像解析等によって重複領域情報を生成して、再生装置３００へと送信しうる。

ここで、図６を用いて、サーバ装置２００が実行するＭＰＤ生成処理（Ｓ５０４）の詳細な流れの例について説明する。サーバ装置２００は、まず、Ｓ５０２で再生装置３００から受信したＭＰＤ送信要求に含まれている視界情報を取得する（Ｓ６０１）。そして、サーバ装置２００は、その視界情報で指定された視界領域に対応し、その視界における映像を表示するのに必要な映像を撮像する１つ以上のカメラを、カメラ配置情報２０６から検索して選択する（Ｓ６０２）。サーバ装置２００は、選択された１つ以上のカメラについてカメラ配置情報２０６を参照して、隣接しており、撮像領域が重複するカメラを特定する（Ｓ６０３）。そして、サーバ装置２００は、撮像領域が重複するカメラによって撮像される映像についての重複領域の情報を、重複領域情報２０７から取得する（Ｓ６０４）。そして、サーバ装置２００は、ＭＰＤに含められる映像データのリストにおいて、その映像データの情報として重複領域の情報を記述して、ＭＰＤを生成し（Ｓ６０５）、処理を終了する。

ここで、図７（ａ）及び図７（ｂ）を用いて、ＭＰＤの記述内容の例について説明する。図７（ａ）は、重複領域の範囲が矩形である場合の例を、図７（ｂ）は、重複領域の範囲が矩形以外の場合を含む場合の例を、それぞれ示している。図７（ａ）及び図７（ｂ）に示すように、ＭＰＤでは、映像のＩＤを示すタグ（Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄタグ）ごとに、その映像のセグメントに関するダウンロード元のＵＲＬの情報等を含んで構成される。図７（ａ）及び図７（ｂ）では、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄが「１」の映像（「第１の映像」と呼ぶ。）の情報７０１と、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄが「２」の映像（「第２の映像」と呼ぶ。）の情報７０２が、ＭＰＤに含まれている。なお、ＭＰＤには、図７（ａ）及び図７（ｂ）に示すように、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄが「３」以降の情報も含まれている。なお、Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄは、１、２、３などのような通し番号で表される必要はなく、ＭＰＤ内で映像を一意に特定できる文字又は文字列で表されてもよい。

本実施形態に係るＭＰＤには、さらに、映像ごとに他の映像との重複領域が記述されるＯｖｅｒｌａｐＲａｎｇｅタグが含められる。図７（ａ）の例では、第１の映像に関して、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３が与えられ、第２の映像に関して、ＯｖｅｒｌａｐＲａｎｇｅタグ７０４が与えられている。図７（ｂ）の例では、第１の映像に関してＯｖｅｒｌａｐＲａｎｇｅタグ７０５及び７０６が与えられ、第２の映像に関してＯｖｅｒｌａｐＲａｎｇｅタグ７０７が与えられている。

ＯｖｅｒｌａｐＲａｎｇｅタグのうち、「ｎｅｉｇｈｂｏｒＩＤ」は、そのタグに係る映像が、どの映像との間で重複領域を有しているかを示す情報である。例えば、第１の映像と第２の映像とが互いに重複しているものとする場合、図７（ａ）に示すように、第１の映像についての情報７０１のＯｖｅｒｌａｐＲａｎｇｅタグ７０３では、ｎｅｉｇｈｂｏｒＩＤとして「２」が指定される。また、第２の映像についての情報７０２のＯｖｅｒｌａｐＲａｎｇｅタグ７０４では、ｎｅｉｇｈｂｏｒＩＤとして「１」が指定される。同様に、図７（ｂ）に示すように、第１の映像についての情報７０１のＯｖｅｒｌａｐＲａｎｇｅタグ７０５では、ｎｅｉｇｈｂｏｒＩＤとして「２」が指定される。また、第２の映像についての情報７０２のＯｖｅｒｌａｐＲａｎｇｅタグ７０７では、ｎｅｉｇｈｂｏｒＩＤとして「１」が指定される。なお、１つの映像が２つ以上の映像との間で重複領域を有する場合は、それぞれ異なるｎｅｉｇｈｂｏｒＩＤが指定された複数のＯｖｅｒｌａｐＲａｎｇｅタグを１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄに関する情報として含んでもよい。例えば図７（ｂ）の例では、第１の映像が、第２の映像及びＲｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄが「３」の映像との間で重複領域を示す例を示している。この場合、情報７０１は、ｎｅｉｇｈｂｏｒＩＤが「２」のＯｖｅｒｌａｐＲａｎｇｅタグ７０５と、ｎｅｉｇｈｂｏｒＩＤが「３」のＯｖｅｒｌａｐＲａｎｇｅタグ７０６との２つのＯｖｅｒｌａｐＲａｎｇｅタグを含む。

ＯｖｅｒｌａｐＲａｎｇｅタグのうち、「ｔｙｐｅ」は、重複領域がどのように表現されるかを示す情報である。「ｔｙｐｅ」が「ｒｅｃｔ」の場合、重複領域が矩形領域として表現されていることが示され、「ｔｙｐｅ」が「ｆｒｅｅ−ｆｏｒｍ」の場合、重複領域が自由形状で表現されていることが示される。

「ｔｙｐｅ」が「ｒｅｃｔ」の場合、重複領域を具体的に示す値として、「ｘ」「ｙ」「ｗ」及び「ｈ」が指定される。「ｘ」及び「ｙ」は、重複領域の左上の頂点を指定する座標値である。なお、ここでの座標は、画素に対応し、例えばｘ＝１８２０は、（一番左の画素を「０画素目」とする場合）映像中の左から１８２１画素目を示す。「ｗ」及び「ｈ」は、それぞれ、重複領域の幅と高さを示している。例えば、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３は、第１の映像中の座標（１８２０，０）を左上の頂点とし、幅１００画素、高さ１０８０画素の矩形領域が、第２の映像との重複領域であることを示している。同様に、ＯｖｅｒｌａｐＲａｎｇｅタグ７０４は、第２の映像中の座標（０，０）を左上の頂点とし、幅１００画素、高さ１０８０画素の矩形領域が、第１の映像との重複領域であることが示されている。ここで、例えば、互いに隣接する第１の映像及び第２の映像が共に１９２０×１０８０画素の映像である場合、この情報によって、重複領域が映像の縦方向の全画素にわたっていることが分かる。このとき、例えば横方向又は縦方向に全画素で重複することを示す場合は、「ｗ」又は「ｈ」の値を「０」に設定してもよい。すなわち、実際に重複領域の幅又は高さが０の場合は重複領域が存在しないため、「ｗ」又は「ｈ」が「０」とされることはない。このため、「ｗ」又は「ｈ」を「０」とすることによって、例えば「全画素」などの所定の情報が通知されるようにしてもよい。

ここで、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３から、第１の映像の右端の領域が、第２の映像との重複領域であると分かる。そして、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３で示される情報に対応して、第２の映像の左端の同じサイズの領域が、第１の映像との重複領域であることを特定することができる。このため、例えば、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３がＭＰＤに含められた場合には、ＯｖｅｒｌａｐＲａｎｇｅタグ７０４はＭＰＤに含められなくてもよい。なお、例えば、解像度や画角の違い等により、第１の映像の右端の高さ方向の全画素が重複領域であっても、第２の映像の左端の高さ方向の一部の画素のみが重複領域である場合がありうる。同様に、第２の映像の左端の高さ方向の全画素が重複領域であっても、第１の映像の右端の高さ方向の一部の画素のみが重複領域である場合がありうる。例えば、第１の映像の高さ方向の画素数が１０８０で、第２の映像が、高さ方向において画素数が１４４０でより広い範囲を映している場合、第１の映像における重複領域を特定しても、直ちに第２の映像における重複領域を特定することはできない。このような場合を想定して、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３とＯｖｅｒｌａｐＲａｎｇｅタグ７０４との両方がＭＰＤに含められてもよい。なお、この場合であっても、ＯｖｅｒｌａｐＲａｎｇｅタグ７０４が存在すれば、ＯｖｅｒｌａｐＲａｎｇｅタグ７０３が存在しなくても第１の映像における重複領域を特定することができる。このため、いずれのＯｖｅｒｌａｐＲａｎｇｅタグを含めれば重複領域を一意に特定できるかが判定されて、一方のＯｖｅｒｌａｐＲａｎｇｅタグのみがＭＰＤに含められるようにしてもよい。

「ｔｙｐｅ」が「ｆｒｅｅ−ｆｏｒｍ」の場合、重複領域を具体的に示す値として、映像中の、複数の座標を特定する「ｓｈａｐｅ」が指定される。ｓｈａｐｅの値は、映像中のｘ軸（横方向）の座標とｙ軸（縦方向）の座標との組み合わせを複数含んだ形式で指定される。例えば、図７（ｂ）のＯｖｅｒｌａｐＲａｎｇｅタグ７０５におけるｓｈａｐｅの値は「１９２０ ０ １８６０ ４０ ・・・」となっているが、これは、複数の座標（１９２０，０）、（１８６０，４０），・・・を示している。同様に、ＯｖｅｒｌａｐＲａｎｇｅタグ７０７におけるｓｈａｐｅの値「０ ０ ６０ ４０ ・・・」は、複数の座標（０，０）、（６０，４０），・・・を示している。そして、重複領域は、これらの座標を、例えば直線によって接続して囲まれる領域として定義されうる。なお、座標間を結ぶ線と交わる画素は重複領域として含まれてもよいし含まれなくてもよいが、再生装置３００は、この座標間を結ぶ線と交わる画素についてどう取り扱うべきかの情報を事前に知っているものとする。このようにして、「ｆｒｅｅ−ｆｏｒｍ」で特定される重複領域は、座標の指定によって自由形状をとることができる。これにより、映像が矩形でない条件下で、適切に重複領域を指定することが可能となる。例えばカメラ映像にはカメラのレンズ特性に応じた湾曲が映像の周辺部に発生しうるが、自由形状を指定可能とすることにより、このような湾曲を考慮して重複領域を適切に表現することが可能となる。

なお、「ｆｒｅｅ−ｆｏｒｍ」で重複領域を特定する場合、少なくとも実際に重複していない画素が重複領域として指定されないように座標が選択される。なお、重複領域が正確に指定できる範囲で指定される座標の数を設定してもよいし、重複領域を概ね近似できる範囲まで指定される座標の数を減らしてもよい。また、自由形状で特定される第１の映像における第２の映像との重複領域の形状が、第２の映像における第１の映像との重複領域の形状と線対称であるなどの場合は、一方を自由形状で特定して、他方についての特定は省略してもよい。例えば、図７（ｂ）において、ＯｖｅｒｌａｐＲａｎｇｅタグ７０５とＯｖｅｒｌａｐＲａｎｇｅタグ７０７とのいずれかが省略されてもよい。

このように、本実施形態では、ＯｖｅｒｌａｐＲａｎｇｅタグ内の情報として矩形領域又は自由形状の領域を特定して、重複領域がどのような領域であるかを、再生装置３００が知ることを可能としている。なお、図７（ｂ）のＯｖｅｒｌａｐＲａｎｇｅタグ７０５及び７０６等に示すように、１つのＭＰＤ内、及び１つのＲｅｐｒｅｓｅｎｔａｔｉｏｎ ｉｄ内で、複数の領域の指定の仕方が混在してもよい。また、領域の指定の仕方は、上述の例に限られず、例えば領域を特定する曲線を表すことが可能な関数等、様々な形式が用いられてもよい。

次に、図８を用いて、再生装置３００がＭＰＤに記述された重複領域情報に基づいて重複領域を有する２つの映像を連結合成する処理の流れの例について説明する。まず、再生装置３００は、Ｓ５０６で受信したＭＰＤに基づいて記憶された重複領域情報３０９に基づいて、Ｓ５０８で取得した映像データに関する重複領域情報を取得する（Ｓ８０１）。そして、再生装置３００は、合成後の映像における重複領域に対応する領域の画素値を決定する（Ｓ８０２）。例えば、再生装置３００は、互いに重複する映像のどちらの画素値を、合成後の映像における重複領域に対応する領域の画素値として用いるかを決定する。そして、合成後の映像における重複領域に対応する領域の画素値として用いられない方の映像の重複領域の画素値を、重複領域に対応する領域の画素値として用いられる方の映像の重複領域の画素値で置き換える。なお、重複領域を有する２つ以上の映像のうちのいずれの画素値を、合成後の映像における重複領域に対応する領域の画素値として用いるかは、これらの２つの映像についての優先度判定に基づいて決定されうる。例えば、符号量が大きい映像ほど、映像内のオブジェクトの動きが大きい映像ほど、より多くの他の映像との間で重複領域を有するほど、データの取得又は復号が早く完了した映像ほど、合成後の映像における中心に近い映像ほど、高い優先度が設定されうる。なお、優先度の情報が、ＭＰＤに記載されていてもよい。優先度の高い映像ほど、重複領域に対応する領域の画素値として用いられる方の映像として優先して選択されやすくしうる。なお、再生装置３００は、例えば重複領域の画素値の平均値を合成後の映像における画素値として用いてもよいし、例えば優先度が高いほど大きい加重値を用いた加重平均値を合成後の映像における画素値として用いてもよい。再生装置３００は、その後、Ｓ８０２で決定した画素値を用いて重複領域を有する映像を連結合成する（Ｓ８０３）。

なお、優先度の情報を用いて、重複領域を有する２つ以上の映像のうちのいずれの画素値を合成後の映像における重複領域に対応する領域の画素値として用いるかを定める場合、サーバ装置２００は、ＭＰＤに含める重複領域情報の数を減らすことができる。この処理について、図９を用いて説明する。なお、この処理は、図６の処理に代えて行われるため、図６の処理と同じ処理については、同じ参照番号を付して説明を省略する。図９では、サーバ装置２００は、撮像領域が重複する２つ以上のカメラを特定した（Ｓ６０３）後に、それらのカメラで撮像された映像について、上述のようにして優先度を判定する（Ｓ９０１）。そして、サーバ装置２００は、優先度の低い方の映像について、優先度の高い方の映像と重複している領域に関する重複領域情報を取得し（Ｓ９０２）、その取得した情報を用いてＭＰＤを生成する（Ｓ６０５）。このとき、サーバ装置２００は、優先度の高い方の映像については、重複領域情報を取得せず、また、ＭＰＤにもその情報を含めない。これは、優先度の高い方の映像については、重複領域についての画素値が他の画素値で置き換えられることがないため、重複領域情報がなくても影響がないからである。これにより、ＭＰＤに含める情報量を少なくすることができる。また、例えば自由形状の重複領域の情報を通知する際には、優先度の高い方の映像についての情報量が減った分だけ、自由形状を指定する情報をより詳細に規定することができる。

なお、上述の実施形態では、カメラで撮像した映像を連結合成する場合の処理について説明したが、連結合成される映像は、カメラで撮像した映像に限られない。例えば、仮想空間に対応する映像を１つ以上用意しておき、それらのシームレスな連結にも、上述の手法を適用することができる。この場合、例えば実際に重複していない領域を重複領域として定義し、重複領域の画素値の加重平均値を算出することにより、２つ以上の映像の中間領域を接続する。このとき、例えば左側の第１の映像と右側の第２の映像とが連結されるとすると、例えば重複領域のうちの左側に近い画素ほど、加重平均値における第１の映像の割合が大きく、そして、第２の映像の割合が小さくなるように加重値を決定しうる。同様に、例えば重複領域のうちの右側に近い画素ほど、加重平均値における第２の映像の割合が大きく、そして、第１の映像の割合が小さくなるように加重値を決定しうる。これにより、上述の重複領域の情報を用いて任意の重複領域を定義して、２つの映像をシームレスに、かつ高い自由度で、しかも再生装置側の負荷を抑えながら、連結することができるようになる。

以上のように、本実施形態のサーバ装置は、複数の映像データを取得してその映像データを連結して再生する再生装置に対して、複数の映像データのうちの重複領域を特定する情報を送信する。そして、再生装置は、この情報に基づいて、例えば複数の映像データの互いに重複する領域のうちの１つのみを残して、他の領域の画素値を削除する。そして、再生装置は、画素値が削除された領域に関して、残しておいた１つの映像データの画素値をその領域の映像として用いることにより映像を連結する。これにより、再生装置の能力によらず、複数の映像の連結合成を行うことができ、また、合成後の映像が装置ごとに異なることを防ぐことができる。また、再生装置における重複領域の認識処理が不要となるため、再生装置の処理負荷を低減し、処理負荷に起因する再生表示遅延が発生する確率を低減することが可能となる。さらに、映像の合成を再生装置が行うため、サーバ装置が映像を合成して送信する場合と比較して、多数の再生装置が映像を再生する際に、サーバ装置から映像を取得する必要がなくなるため、サーバ装置における負荷を低減することもできる。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２００：サーバ機器、２０１：処理部、２０２：通信部、２０３：制御部、２０４：記憶部、２０５：ＭＰＤ生成機能、２０６：カメラ配置情報、２０７：重複領域情報、３００：再生装置、３０１：処理部、３０２：通信部、３０３：制御部、３０４：記憶部、３０５：再生制御機能、３０６：復号制御機能、３０７：描画制御機能、３０８：映像データ、３０９：重複領域情報

Claims (10)

1. 互いに重複する重複領域を含み連結合成される２つ以上の映像について、前記重複領域を示す重複領域情報を生成する生成手段と、
   前記２つ以上の映像を連結した映像を生成する他の装置に対して、前記２つ以上の映像のそれぞれを取得するための取得情報と前記重複領域情報とが記述された情報を送信する送信手段と、
   を有し、
   前記生成手段は、前記２つ以上の映像を連結した映像における前記重複領域に対応する領域の画素値の特定に当該２つ以上の映像のうちのいずれの画素値が優先して用いられるべきかを示す優先度であって、優先して用いられるべきであるほど高い値を示す前記優先度に応じて、前記優先度の高い１つの映像については前記重複領域情報を生成せず、前記優先度の低い他の映像について前記重複領域情報を生成することを特徴とする情報処理装置。
2. 前記取得情報と前記重複領域情報とが記述された情報は、ＭＰＥＧ−ＤＡＳＨ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ − Ｄｙｎａｍｉｃ Ａｄａｐｔｉｖｅ Ｓｔｒｅａｍｉｎｇ ｏｖｅｒ ＨＴＴＰ）規格のＭＰＤ（Ｍｅｄｉａ Ｐｒｅｓｅｎｔａｔｉｏｎ Ｄｅｓｃｒｉｐｔｉｏｎ）の形式で送信される、
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記情報処理装置は、前記他の装置から、当該他の装置が表示させる視界を指定する情報を取得する取得手段と、
   前記取得手段によって取得された情報に基づいて、それぞれ異なるカメラで撮影された映像の中から、前記取得情報を記述すべき前記２つ以上の映像を特定する特定手段と、
   をさらに有することを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記特定手段は、前記取得手段によって取得された情報に加えて前記カメラの位置にさらに基づいて、前記取得情報を記述すべき前記２つ以上の映像を特定する、
   ことを特徴とする請求項３に記載の情報処理装置。
5. 複数の映像のそれぞれについて、前記重複領域を解析する解析手段をさらに有する、
   ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記解析手段による解析の結果を記憶する記憶手段をさらに有し、
   前記生成手段は、前記他の装置が前記２つ以上の映像を取得する場合に、前記記憶手段に記憶された情報から、当該２つ以上の映像についての前記解析の結果を取得して、前記重複領域情報を生成する、
   ことを特徴とする請求項５に記載の情報処理装置。
7. 前記重複領域情報は、前記重複領域の形状が矩形である場合と矩形でない場合とで、異なる形式で前記重複領域を表現する、
   ことを特徴とする請求項１から６のいずれか１項に記載の情報処理装置。
8. 前記優先度は、
   符号量が大きい映像ほど、又は、
   映像内のオブジェクトの動きが大きい映像ほど、又は、
   より多くの他の映像との間で重複領域を有するほど、又は、
   前記他の装置においてデータの取得又は復号が早く完了する映像ほど、又は、
   連結した映像における中心に近い映像ほど、
   高く設定される、
   ことを特徴とする請求項１から７のいずれか１項に記載の情報処理装置。
9. 情報処理装置の制御方法であって、
   互いに重複する重複領域を含み連結合成される２つ以上の映像について、前記重複領域を示す重複領域情報を生成する工程と、
   前記２つ以上の映像を連結した映像を生成する他の装置に対して、前記２つ以上の映像のそれぞれを取得するための取得情報と前記重複領域情報とが記述された情報を送信する工程と、
   を有し、
   前記生成する工程では、前記２つ以上の映像を連結した映像における前記重複領域に対応する領域の画素値の特定に当該２つ以上の映像のうちのいずれの画素値が優先して用いられるべきかを示す優先度であって、優先して用いられるべきであるほど高い値を示す前記優先度に応じて、前記優先度の高い１つの映像については前記重複領域情報が生成されず、前記優先度の低い他の映像について前記重複領域情報が生成されることを特徴とする制御方法。
10. コンピュータを、請求項１から８のいずれか１項に記載の情報処理装置が有する各手段として機能させるためのプログラム。

Images