JP7694166B2 - 通信端末、画像通信システム、画像表示方法およびプログラム - Google Patents

Description

本開示内容は、通信端末、画像通信システム、画像表示方法およびプログラムに関する。

複数の広角レンズまたは魚眼レンズを用いて全方位を撮影可能な撮影装置が知られている。また、このような撮影装置を用いて撮影された画像データをリアルタイムに配信し、撮影装置が設置された配信拠点の状況を、別拠点においてリアルタイムに閲覧可能なシステムが知られている。

また、通信端末に全天球パノラマ画像をリアルタイムに取得可能な撮影装置を接続し、この撮影装置から取得された全天球パノラマ画像を相手方の各通信端末に送信し、相手方の各通信端末において、全天球パノラマ画像から当該画像の一部である所定領域を示す所定領域画像をディスプレイ等に表示する技術が知られている。これにより、各拠点の利用者は、全天球パノラマ画像の全体画像のうちで自分が気になる所定領域を示す所定領域画像を独自に決めて表示することができる。

さらに、全天球パノラマ画像の配信において、閲覧者が自由に表示方向を変更できるため、閲覧者がそれぞれ異なる表示方向での閲覧が可能である。例えば、特許文献１には、全方位画像データからユーザの様々な製作意図を反映させた画像データを再生する目的で、全方位画像データの展開方式と画角を変更させ、変更されたときの録画時間データを記憶して再生する構成が開示されている。

しかしながら、従来の方法では、映像データの配信において、ある時間帯は通信端末に表示させる表示方向を閲覧者に自由に操作させ、ある時間帯は通信端末に表示させる表示方向を同期させるように、配信者や閲覧者の要望に応じて通信端末に適切な所定領域を表示させることができないという課題があった。

上述した課題を解決すべく、請求項１に係る発明は、撮影画像に写る被写体の一部の所定領域を表示可能な通信端末であって、他の通信端末から配信された前記撮影画像を管理する通信管理システムから当該撮影画像を含む映像データおよび当該映像データの再生時間ごとに前記通信端末に表示させる所定領域を示す所定領域情報を受信する受信手段と、受信された前記映像データの再生時間に対応する所定領域情報が存在する場合、受信された前記所定領域情報に示されている所定領域を示す画像を表示させる表示制御手段と、受信された前記映像データの再生時間における所定領域情報が存在しない場合、受信された前記映像データが表示される所定領域の選択を受け付ける受付手段を備え、前記表示制御手段は、前記選択が受け付けられた所定領域を示す所定領域画像を表示させる、通信端末である。

本発明によれば、他拠点において撮影された映像データの再生時間に応じて、適切な表示方向の画像を表示させることができるという効果を奏する。

（Ａ）は撮影装置の左側面図であり、（Ｂ）は撮影装置の正面図であり、（Ｃ）は撮影装置の平面図である。 撮影装置の使用イメージ図である。 （Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。 （Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。 全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。 （Ａ）は図５の立体斜視図、（Ｂ）はディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Ｔの画像との関係を示した図である。 球座標による三次元ユークリッド空間内の点を示した図である。 画像通信システムの全体構成の一例を示す図である。 撮影装置のハードウエア構成の一例を示す図である。 通信端末および通信管理システムのハードウエア構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 画像通信システムの機能構成の一例を示す図である。 撮影装置管理テーブルの一例を示す概略図である。 画像種類管理テーブルの一例を示す概念図である。 所定領域管理テーブルの一例を示す概念図である。 セッション管理テーブルの一例を示す概略図である。 画像種類管理テーブルの一例を示す概念図である。 映像データ管理テーブルの一例を示す概念図である。 所定領域管理テーブルの一例を示す概略図である。 画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。 通信セッションの選択画面の一例を示す図である。 画像通信システムにおける画像種類情報の管理処理の一例を示すシーケンス図である。 画像通信システムにおける撮影画像データおよび音データの通信処理の一例を示すシーケンス図である。 通信端末に表示される表示画面の一例を示す図である。 映像データの録画処理の一例を示すフローチャートである。 配信条件の設定処理の一例を示すシーケンス図である。 配信条件設定画面の一例を示す図である。 録画された映像データの配信処理の一例を示すシーケンス図である。 通信端末における映像データの再生処理の一例を示すフローチャートである。 表示方向が同期されている場合において通信端末に表示される表示画面の一例を示す図である。 通信端末における表示方向の変更処理の一例を示すフローチャートである。 表示方向が同期されていない場合において通信端末に表示される表示画面の一例を示す図である。

以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

●実施形態●
●全天球画像の生成方法
図１乃至図８を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、撮影装置１０の外観を説明する。撮影装置１０は、全天球（３６０°）画像の元になる撮影画像を得るためのデジタルカメラである。図１（Ａ）は撮影装置の左側面図であり、図１（Ｂ）は撮影装置の正面図であり、図１（Ｃ）は撮影装置の平面図である。

図１（Ａ）に示されているように、撮影装置１０は、人間が片手で持つことができる大きさである。また、図１（Ａ），図１（Ｂ），図１（Ｃ）に示されているように、撮影装置１０の上部には、正面側（前側）に撮像素子１０３ａおよび背面側（後側）に撮像素子１０３ｂが設けられている。これら撮像素子（画像センサ）１０３ａ,１０３ｂは、半球画像（画角１８０°以上）の撮影が可能な光学部材（例えば、後述するレンズ１０２ａ,１０２ｂ）と併せて用いられる。また、図１（Ｂ）に示されているように、撮影装置１０の正面側と反対側の面には、シャッターボタン等の操作部１１５が設けられている。

次に、図２を用いて、撮影装置１０の使用状況を説明する。図２は、撮影装置の使用イメージ図である。撮影装置１０は、図２に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａおよび撮像素子１０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、二つの半球画像を得ることができる。

次に、図３および図４を用いて、撮影装置１０で撮影された画像から全天球画像が作成されるまでの処理の概略を説明する。図３（Ａ）は撮影装置で撮影された半球画像（前側）、図３（Ｂ）は撮影装置で撮影された半球画像（後側）、図３（Ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（Ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（Ｂ）は全天球画像を示した図である。

図３（Ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述のレンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（Ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述のレンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、撮影装置１０は、半球画像（前側）と１８０度反転された半球画像（後側）とを合成して、図３（Ｃ）に示されているような正距円筒射影画像ＥＣが作成する。

そして、撮影装置１０は、OpenGL ES（Open Graphics Library for Embedded Systems）を利用することで、図４（Ａ）に示されているように、球面を覆うように正距円筒射影画像ＥＣを貼り付け、図４（Ｂ）に示されているような全天球画像（全天球パノラマ画像）ＣＥを作成する。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。また、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、撮影装置１０は、全天球画像ＣＥの一部の所定領域Ｔ（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５乃至図８を用いて説明する。

図５は、全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見るユーザの視点の位置に相当するものである。図６（Ａ）は、図５の立体斜視図、図６（Ｂ）は、ディスプレイに表示された場合の所定領域画像を表す図である。図６（Ａ）は、図５に示した全天球画像ＣＥを、三次元の立体球ＣＳで表している。このように生成された全天球画像ＣＥが、立体球ＣＳであるとした場合、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは、画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図７参照）。

そして、図６（Ａ）に示されている所定領域画像Ｑは、図６（Ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（Ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域画像である。以下、仮想カメラＩＣの撮影方向（ｅａ，ａａ）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図７を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。図７は、所定領域情報と所定領域Ｔの画像との関係を示した図である。図７に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。すなわち、仮想カメラＩＣの姿勢は、撮影方向(ea,aa)で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮影領域である所定領域Ｔの中心点ＣＰ（x,ｙ）となるように変更される。図７に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰ（x,ｙ）が、所定領域情報のパラメータ(（x,ｙ）)となる。所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。ｆは、仮想カメラＩＣから中心点ＣＰ（x,ｙ）までの距離である。Ｌは、所定領域Ｔの任意の頂点と中心点ＣＰ（x,ｙ）との距離である（２Ｌは対角線）。そして、図７では、一般的に以下の（式１）で示される三角関数が成り立つ。

なお、上記で説明した撮影装置１０は、広角画像を取得可能な撮影装置の一例であり、全天球画像は、広角画像の一例である。ここで、広角画像は、一般には広角レンズを用いて撮影された画像であり、人間の目で感じるよりも広い範囲を撮影することができるレンズで撮影されたものである。また、一般的に３５ｍｍフィルム換算で３５ｍｍ以下の焦点距離のレンズで、撮影された画像を意味する。

図８は、球座標による三次元ユークリッド空間内の点を示した図である。ここで、中心点ＣＰを球面極座標系で表現したときの位置座標を(r,θ,φ)とする。(r,θ,φ)は、それぞれ動径、極角、方位角である。動径ｒは、全天球画像を含む三次元の仮想空間の原点から中心点ＣＰまでの距離であるため、ｆに等しい。図８は、これらの関係を表した図である。以降、仮想カメラＩＣの位置座標(r,θ,φ)を用いて説明する。

●画像通信システムの概略
続いて、図９を用いて、実施形態の画像通信システムの構成の概略について説明する。図９は、画像通信システムの全体構成の一例を示す図である。図９に示されている画像通信システム１は、複数の拠点間において映像等の撮影画像を双方向に送受信するシステムであり、ある拠点から配信される映像等の撮影画像を、他の拠点において表示させることで、他の拠点が撮影された広範囲な画像（例えば、全天球画像）を、閲覧できるシステムである。画像通信システム１は、例えば、所定の一拠点であるオフィスフロア等で撮影された画像を、遠隔地に位置する他の拠点において閲覧させることができる。なお、画像が撮影される拠点は、オフィスフロアに限られず、学校、工場、倉庫、建設現場、サーバルームまたは店舗等、閲覧側の拠点の利用者（閲覧者）が遠隔拠点の状況を把握したいニーズが存在する空間であればよい。

図９に示されているように、画像通信システム１は、複数の拠点（拠点Ａ、拠点Ｂ）のそれぞれに位置する撮影装置１０（１０Ａ,１０Ｂ、以下区別する必要のないときは、撮影装置１０と称する。）、通信管理システム５０、および複数の拠点（拠点Ａ、拠点Ｃ、拠点Ｄ）のそれぞれに位置する通信端末３０（３０Ａ,３０Ｃ，３０Ｄ、以下区別する必要のないときは、通信端末３０と称する。）を含む。

画像通信システム１を構成する通信端末３０および通信管理システム５０は、通信ネットワーク１００を介して通信することができる。通信ネットワーク１００は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク１００には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity)（登録商標）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。

これらのうち、撮影装置１０は、上述のように、被写体や風景等を撮影して全天球画像の元になる二つの半球画像を得るための特殊なデジタルカメラである。撮影装置１０によって得られる撮影画像は、動画であっても静止画であってもよく、動画と静止画の両方であってもよい。また、撮影画像は、画像とともに音声を含む映像であってもよい。通信端末３０は、ＵＳＢ(Universal Serial Bus)ケーブル等の有線ケーブルを介して撮影装置１０から取得した画像を、通信管理システム５０を介して、他の拠点の通信端末３０に配信する。ここでは、撮影装置１０Ａおよび通信端末３０Ａは、利用者Ａ１および利用者Ａ２が位置する拠点Ａに置かれている。一方、撮影装置１０Ｂは、利用者Ｂ１が位置する拠点Ｂに置かれており、通信ネットワーク１００を介した通信管理システム５０との通信を直接行うことができる。なお、撮影装置１０が設置される拠点は、二拠点に限られず、一拠点のみであってもよいし、三拠点以上であってもよい。また、撮影装置１０および通信端末３０の接続関係は、有線ケーブルを用いた有線接続ではなく、近距離無線通信等を用いた無線接続であってもよい。

通信端末３０は、各拠点の利用者によって使用されるＰＣ等のコンピュータである。通信端末３０は、他の拠点から配信された画像（静止画または動画）を表示させる。通信端末３０は、例えば、通信ネットワーク１００を介して、撮影装置１０によって撮影された撮影画像である全天球画像を取得する。また、通信端末３０は、OpenGL ESをインストールしており、全天球画像の一部の領域を示す所定領域情報を生成したり、他の通信端末３０から送られて来た全天球画像から所定領域画像を生成したりすることができる。すなわち、通信端末３０は、撮影画像である全天球画像に写る被写体の一部の所定領域を表示可能である。

ここでは、通信端末３０Ａは、利用者Ａ１および利用者Ａ２が位置する閲覧拠点Ａに置かれており、通信端末３０Ｃは、利用者Ｃ１が位置する閲覧拠点Ｃに置かれている。また、通信端末３０Ｄは、利用者Ｄ１、利用者Ｄ２および利用者Ｄ３が位置する閲覧拠点Ｄに置かれている。撮影装置１０が存在しない拠点Ｃおよび拠点Ｄに置かれている通信端末３０Ｃおよび通信端末３０Ｄは、自端末のカメラ等によって自拠点が撮影された画像を他拠点に配信する。なお、撮影装置１０Ａおよび通信端末３０Ａの両方が存在する拠点Ａにおいて、通信端末３０Ａは、撮影装置１０Ａによって撮影された画像（全天球画像）とともに、自端末のカメラ等によって撮影された画像を他拠点に配信してもよい。

なお、図９に示す各端末および装置（通信端末および撮影装置）、並びに利用者の配置は一例であり、他の例であってもよい。また、通信端末３０は、ＰＣに限られず、例えば、タブレット端末、スマートフォン、ウェアラブル端末、、ＰＪ（Projector：プロジェクタ）、ＩＷＢ（Interactive White Board：相互通信が可能な電子式の黒板機能を有する白板）または自律走行ロボット等であってもよい。さらに。撮影装置１０は、表示部を設けられている場合、他の拠点から配信された画像を表示する構成であってもよい。

通信管理システム５０は、各拠点間の通信端末３０の通信を管理および制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。ここでは、特殊画像は、全天球画像である。また、通信管理システム５０は、画像通信のサービスを行なうサービス会社等に設置されている。

なお、通信管理システム５０は、単一のコンピュータによって構築されてもよいし、各部（機能または手段）を分割して任意に割り当てられた複数のコンピュータによって構築されてもよい。また、通信管理システム５０の機能の全てまたは一部は、クラウド環境に存在するサーバコンピュータであってもよいし、オンプレミス環境に存在するサーバコンピュータであってもよい。

従来の全天球画像を含む映像データを配信するシステムにおいて、閲覧者が自由に映像データの表示方向を変更できるため、リアルタイムのライブ配信であっても録画配信であっても、各拠点の閲覧者がそれぞれ異なる表示方向の画像を閲覧することができる。一方で、このような全天球画像の映像配信を行うシステムにおいて、配信者が閲覧させたい対象が存在する時間帯、または閲覧させたくない対象が存在する時間帯には、表示方向を閲覧者に同期させたい場合がある。このような場合に、従来の方法では、全天球画像の映像配信に対して、ある時間帯は表示方向を閲覧者に自由に操作させ、ある時間帯は表示方向を同期させるというように、配信者や閲覧者の要望に応じて通信端末に適切な所定領域を表示させることができないという問題があった。

そこで、画像通信システム１は、通信管理システム５０が通信端末３０から送信された全天球画像を含む映像データの再生時間に対応する所定領域情報を記憶し、映像データの録画配信を行う際に、映像データとともに、再生時間に対応する所定領域情報を通信端末３０に送信する。そして、通信端末３０は、受信した映像データを再生する際に、再生時間に対応する所定領域情報が存在する場合には映像データの表示方向を同期させ、再生時間に対応する所定領域情報が存在しない場合には映像データの表示方向を利用者に自由に操作させる。これにより、画像通信システム１は、録画された全天球画像を含む映像データを配信する場合に、表示方向の同期を録画された映像データに対して反映し、画像の閲覧者にある時間帯は映像データの表示方向を自由に操作させ、ある時間帯は表示方向を同期させることができる。

●ハードウエア構成
続いて、図１０および図１１を用いて、実施形態に係る画像通信システムを構成する各装置または端末のハードウエア構成を説明する。なお、図１０および図１１に示されているハードウエア構成は、必要に応じて構成要素が追加または削除されてもよい。

○撮影装置のハードウエア構成○
まず、図１０を用いて、撮影装置１０のハードウエア構成を説明する。図１０は、撮影装置のハードウエア構成の一例を示す図である。以下では、撮影装置１０は、二つの撮像素子を使用した全天球（全方位）撮影装置とするが、撮像素子は二つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位撮影ユニットを取り付けることで、実質的に撮影装置１０と同じ機能を有するようにしてもよい。

図１０に示されているように、撮影装置１０は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ(Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、近距離通信回路１１７のアンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ,１０２ｂ（以下区別する必要のないときは、レンズ１０２と称する。）、および各レンズに対応させて設けられている二つの撮像素子１０３ａ,１０３ｂを備えている。撮像素子１０３ａ,１０３ｂは、レンズ１０２ａ,１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサ等の画像センサ、この画像センサの水平または垂直同期信号や画素クロック等を生成するタイミング生成回路、およびこの撮像素子の動作に必要な種々のコマンドもしくはパラメータ等が設定されるレジスタ群等を有している。

撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスを介して接続している。一方、撮像ユニット１０１の撮像素子１０３ａ,１０３ｂは、それぞれ撮像制御ユニット１０５とシリアルＩ／Ｆバス（Ｉ２Ｃバス等）を介して接続している。画像処理ユニット１０４、撮像制御ユニット１０５および音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続している。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、入出力Ｉ／Ｆ１１６、近距離通信回路１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０およびネットワークＩ／Ｆ１２１等も接続される。

画像処理ユニット１０４は、撮像素子１０３ａ,１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（Ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ,１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ,１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ,１０３ｂに画像データの出力を指示する。撮影装置１０によっては、ディスプレイ（例えば、近距離通信回路１１７を用いて撮影装置１０と近距離通信を行うスマートフォン等の外部端末のディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ,１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ,１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、撮影装置１０には表示部（ディスプレイ）が設けられていないが、表示部を設けてもよい。マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、撮影装置１０の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３およびＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、種々の操作ボタンや電源スイッチ、シャッターボタン、および表示と操作の機能を兼ねたタッチパネル等の総称である。ユーザは、操作部１１５を操作することで、種々の撮影モードや撮影条件等を入力する。

入出力Ｉ／Ｆ１１６は、ＳＤカード等の外付けのメディアまたはパーソナルコンピュータ等とのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。入出力Ｉ／Ｆ１１６は、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、入出力Ｉ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じて入出力Ｉ／Ｆ１１６を介して外部端末（装置）に送信されたりする。

近距離通信回路１１７は、撮影装置１０に設けられたアンテナ１１７ａを介して、ＮＦＣ(Near Field Communication)、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行う。近距離通信回路１１７は、正距円筒射影画像のデータを、外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から撮影装置１０の方位を算出し、方位情報を出力する。この方位情報は、Ｅｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報は、画像の撮影日時および画像データのデータ容量の各データも含む。また、ジャイロセンサ１１９は、撮影装置１０の移動に伴う角度の変化（Ｒｏｌｌ角、Ｐｉｔｃｈ角、Ｙａｗ角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。さらに、加速度センサ１２０は、三軸方向の加速度を検出するセンサである。撮影装置１０は、加速度センサ１２０が検出した加速度に基づいて、自装置（撮影装置１０）の姿勢（重力方向に対する角度）を算出する。撮影装置１０は、加速度センサ１２０を設けることによって、画像補正の精度が向上する。ネットワークＩ／Ｆ１２１は、ルータ等を介して、インターネット等の通信ネットワーク１００を利用したデータ通信を行うためのインターフェースである。

○通信端末のハードウエア構成○
図１１は、通信端末のハードウエア構成の一例を示す図である。通信端末３０の各ハードウエア構成は、３００番台の符号で示されている。通信端末３０は、コンピュータによって構築されており、図１１に示されているように、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＨＤ(Hard Disk)３０４、ＨＤＤコントローラ３０５、ディスプレイ３０６、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９、バスライン３１０、キーボード３１１、ポインティングデバイス３１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ３１４、メディアＩ／Ｆ３１６、音入出力Ｉ／Ｆ３１７、マイク３１８、スピーカ３１９、近距離通信回路３２０およびカメラ３２１を備えている。

これらのうち、ＣＰＵ３０１は、通信端末３０全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＨＤ３０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ３０５は、ＣＰＵ３０１の制御にしたがってＨＤ３０４に対する各種データの読み出しまたは書き込みを制御する。ディスプレイ３０６は、カーソル、メニュー、ウィンドウ、文字、または画像等の各種情報を表示する。ディスプレイ３０６は、表示部の一例である。なお、ディスプレイ３０６は、入力手段を備えたタッチパネルディスプレイであってもよい。外部機器接続Ｉ／Ｆ３０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリまたはプリンタ等である。ネットワークＩ／Ｆ３０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン３１０は、図１２に示されているＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバスまたはデータバス等である。

また、キーボード３１１は、文字、数値、各種指示等の入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス３１２は、各種指示の選択もしくは実行、処理対象の選択、またはカーソルの移動等を行う入力手段の一種である。なお、入力手段は、キーボード３１１およびポインティングデバイス３１２のみならず、タッチパネルまたは音声入力装置等であってもよい。ＤＶＤ－ＲＷドライブ３１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ３１３に対する各種データの読み出しまたは書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－ＲまたはＢｌｕ-ｒａｙ（登録商標） Ｄｉｓｃ（ブルーレイディスク）等であってもよい。メディアＩ／Ｆ３１６は、フラッシュメモリ等の記録メディア３１５に対するデータの読み出しまたは書き込み（記憶）を制御する。マイク３１８は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ３１７は、ＣＰＵ３０１の制御に従ってマイク３１８およびスピーカ３１９との間で音信号の入出力を処理する回路である。近距離通信回路３２０は、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉ－Ｆｉ等の近距離無線通信技術によって、外部端末（装置）と通信を行うための通信回路である。カメラ３２１は、被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、マイク３１８、スピーカ３１９およびカメラ３２１は、通信端末３０の内蔵型ではなく、外付けの装置であってもよい。

○通信管理システムのハードウエア構成○
図１１は、通信管理システムのハードウエア構成の一例を示す図である。通信管理システム５０の各ハードウエア構成は、括弧内の５００番台の符号で示されている。通信管理システム５０は、コンピュータによって構築されており、図１２に示されているように、通信端末３０と同様の構成を備えているため、各ハードウエア構成の説明を省略する。

なお、上記各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させるようにしてもよい。記録媒体の例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、Ｂｌｕ-ｒａｙ Ｄｉｓｃ、ＳＤカード、ＵＳＢメモリ等が挙げられる。また、記録媒体は、プログラム製品(Program Product)として、国内または国外へ提供されることができる。例えば、通信端末３０は、本発明に係るプログラムが実行されることで本発明に係る画像表示方法を実現する。

●機能構成
続いて、図１２乃至図２０を用いて、実施形態に係る画像通信システムの機能構成について説明する。図１２および図１３は、画像通信システムの機能構成の一例を示す図である。なお、図１２および図１３は、図９に示されている装置または端末のうち、後述の処理または動作に関連しているものを示す。

○撮影装置の機能構成○
まず、図１２を用いて、撮影装置１０の機能構成について説明する。撮影装置１０は、通信部１１、受付部１２、撮像部１３、集音部１４および記憶・読出部１９を有している。これら各部は、図１０に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能または手段である。また、撮影装置１０は、図１１に示されているＲＯＭ１１２、ＳＲＡＭ１１３およびＤＲＡＭ１１４によって構築される記憶部１０００を有している。記憶部１０００は、自装置のＧＵＩＤ(Globally Unique Identifier)を記憶している。

通信部１１は、主に、ＣＰＵ１１１の処理によって実現され、他の装置または端末と各種データまたは情報の通信を行う。通信部１１は、例えば、近距離通信回路１１７を用いて、他の装置または端末との間で、近距離無線通信技術によるデータ通信を行う。また、通信部１１は、例えば、入出力Ｉ／Ｆ１１６を用いて、他の装置または端末との間で、各種ケーブル等を介したデータ通信を行う。さらに、通信部１１は、ネットワークＩ／Ｆ１２１を用いて、他の装置または端末との間で、通信ネットワーク１００を介したデータ通信を行う。

受付部１２は、主に、操作部１１５に対するＣＰＵ１１１の処理によって実現され、利用者から各種の選択または入力を受け付ける。撮像部１３は、主に、撮像ユニット１０１、画像処理ユニット１０４および撮像制御ユニット１０５に対するＣＰＵ１１１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。集音部１４は、主に、マイク１０８および音処理ユニット１０９に対するＣＰＵ１１１の処理によって実現され、撮影装置１０の周囲の音を集音する。

記憶・読出部１９は、主に、ＣＰＵ１１１の処理によって実現され、記憶部１０００に、各種データ（または情報）を記憶したり、記憶部１０００から各種データ（または情報）を読み出したりする。

○通信端末の機能構成○
次に、図１２を用いて、通信端末３０の機能構成について説明する。通信端末３０は、送受信部３１、受付部３２、画像・音処理部３３、表示制御部３４、判断部３５、作成部３６、生成部３７、通信部３８、撮像部４１、集音部４２および記憶・読出部３９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ３０４からＲＡＭ３０３上に展開された通信端末用プログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能または手段である。また、通信端末３０は、図１１に示されているＲＯＭ３０２、ＲＡＭ３０３およびＨＤ３０４によって構築される記憶部３０００を有している。

送受信部３１は、主に、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、他の装置または端末との間で各種データまたは情報の送受信を行う。

受付部３２は、主に、キーボード３１１またはポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択または入力を受け付ける。

画像・音処理部３３は、主に、ＣＰＵ３０１の処理によって実現され、撮影装置１０またはカメラ３２１が被写体を撮像して取得した撮影画像データに対して画像処理を行う。また、画像・音処理部３３は、マイク３１８によって利用者の音声が音声信号に変換された後、この音声信号に係る音データに対して音声処理を行う。画像・音処理部３３は、例えば、表示制御部３４がディスプレイ３０６に画像を表示させるため、ソース名等の画像種類情報に基づき、撮影装置１０から受信またはカメラ３２１によって撮影された撮影画像データに対して画像処理を行う。具体的には、画像種類情報が特殊画像である旨を示す場合、画像・音処理部３３は、撮影画像データ（例えば、図３（Ａ），（Ｂ）に示されているような各半球画像のデータ）に基づいて、図４（Ｂ）に示されているような全天球画像データに変換することで全天球画像データを作成する。

また、画像・音処理部３３は、他の通信端末３０から配信された撮影画像データに対して画像処理を行う。さらに、画像・音処理部３３は、他の通信端末３０から通信管理システム５０を介して配信された音データに係る音声信号をスピーカ３１９に出力し、スピーカ３１９から音声を出力させる。

表示制御部３４は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に、各種画像または文字等を表示させる。判断部３５は、ＣＰＵ３０１の処理によって実現され、各種判断を行う。判断部３５は、例えば、撮影装置１０から受信またはカメラ３２１によって撮影された撮影画像データに係る画像種類を判断する。

作成部３６は、主に、ＣＰＵ３０１の処理によって実現され、判断部３５によって、一般画像または特殊画像（ここでは、全天球画像）と判断された結果に基づき、命名規則に従って、画像種類情報の一例であるソース名を作成する。例えば、判断部３５が、一般画像であると判断した場合、作成部３６は、一般画像である旨を示すソース名「Video」を作成する。一方、判断部３５が、特殊画像であると判断した場合、作成部３６は、特殊画像である旨を示すソース名「Video_Theta」を作成する。

生成部３７は、主に、ＣＰＵ３０１の処理によって実現され、ディスプレイ３０６に表示させる所定領域画像を生成する。生成部３７は、例えば、撮影装置１０が撮影した撮影画像（全天球画像）における所定領域を示す所定領域情報または送受信部３１によって受信された所定領域情報に対応する所定領域の画像をディスプレイ３０６に表示させるため、撮影画像（全天球画像）に対する所定領域情報を用いた透視射影変換を行うことで、所定領域情報に対応する所定領域画像を生成する。

通信部３８は、主に、近距離通信回路３２０に対するＣＰＵ３０１の処理によって実現され、撮影装置１０の通信部１１と、ＮＦＣ、ＢｌｕｅｔｏｏｔｈまたはＷｉＦｉ等の近距離無線通信技術による通信を行う。なお、通信部３８と送受信部３１とは通信ユニットを別個に有する構成で説明したが、共用構成であってもよい。

撮像部４１は、主に、カメラ３２１に対するＣＰＵ３０１の処理によって実現され、風景等の被写体を撮像し、撮影画像データを取得する。集音部４２は、主に、マイク３１８および音入出力Ｉ／Ｆ３１７に対するＣＰＵ３０１の処理によって実現され、通信端末３０の周囲の音を集音する。

記憶・読出部３９は、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００に、各種データ（または情報）を記憶したり、記憶部３０００から各種データ（または情報）を読み出したりする。

○画像種類管理テーブル
図１４は、画像種類管理テーブルの一例を示す概念図である。記憶部３０００には、図１４に示されている画像種類管理テーブルによって構成されている画像種類管理ＤＢ３００１が構築されている。この画像種類管理テーブルは、画像データＩＤ、送信元端末の宛先の一例であるＩＰ(Internet Protocol)アドレス、およびソース名を関連づけて管理している。このうち、画像データＩＤは、画像配信を行う際の画像データを識別するための画像データ識別情報の一例である。同じ送信元端末から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先端末（受信側の通信端末）は、受信した画像データの送信元端末を特定することができる。送信元端末のＩＰアドレスは、関連づけられている画像データＩＤで示される画像データを送信する撮影装置１０または通信端末３０のＩＰアドレスを示す。ソース名は、関連づけられている画像データＩＤで示される画像データを出力する撮影装置１０またはカメラ３２１を特定するための名称であり、画像種類情報の一例である。このソース名は、所定の名称の命名規則に従って、通信端末３０によって作成された名称である。

例えば、ＩＰアドレスがそれぞれ「１．２．１．３」、「１．２．２．３」、「１．３．１．３」、「１．３．２．３」、「１．２．２．５」の五つの送信元端末は、それぞれ、画像データＩＤ「ＲＳ００１」、「ＲＳ００２」、「ＲＳ００３」、「ＲＳ００４」、「ＲＳ００５」によって示される画像データを送信していることが表されている。さらに、各送信元端末のソース名によって示される画像の種類は、「Video_Theta」、「Video_Theta」、「Video」、「Video」、「Video_Theta」であり、これらは順に画像種類が「特殊画像」、「特殊画像」、「一般画像」、「一般画像」、「特殊画像」である旨を示している。本実施形態において、特殊画像は、全天球画像である。なお、ＩＰアドレスは、宛先情報の一例であって、宛先情報は、ＭＡＣ(Media Access Control)アドレスまたは端末ＩＤ(Identification)等であってもよい。また、ＩＰアドレスは、ＩＰｖ４アドレスを簡略化して表すが、ＩＰアドレスは、ＩＰｖ６であってもよい。さらに、画像データ以外のデータについても、画像データＩＤと関連づけて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データ等である。

○撮影装置管理テーブル
図１５は、撮影装置管理テーブルの一例を示す概念図である。記憶部３０００には、図１５に示されている撮影装置管理テーブルによって構成されている撮影装置管理ＤＢ３００２が構築されている。この撮影装置管理テーブルは、全天球画像の元になる二つの半球画像を得ることができる撮影装置１０のＧＵＩＤのうちのベンダＩＤとプロダクトＩＤを記憶して管理している。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。このベンダＩＤとプロダクトＩＤは、例えば、通信端末３０の工場出荷時から記憶されていてもよいし、工場出荷後に追加で記憶してもよい。

○所定領域管理テーブル
図１６は、所定領域管理テーブルの一例を示す概念図である。記憶部３０００には、図１６に示されている所定領域管理テーブルによって構成されている所定領域管理ＤＢ３００３が構築されている。この所定領域管理テーブルは、撮影画像データである映像データの再生時間を示すタイムスタンプおよび通信端末３０で表示させる所定領域画像を示す所定領域情報を関連づけて管理している。所定領域情報は、図６および図７に示されているように、撮影画像から、この撮影画像における所定領域Ｔの画像（所定領域画像）に変換するための変換パラメータである。

例えば、図１６の所定領域管理テーブルにおける１行目は、タイムスタンプ「１０００１」に対応する再生時間の映像データを、所定領域（ｒ＝１０，θ＝２０，φ＝３０）で表示させる旨が管理されている。同様に、図１６の所定領域管理テーブルにおける２行目は、タイムスタンプ「１０００２」に対応する再生時間の映像データを、所定領域（ｒ＝２０，θ＝３０，φ＝４０）で表示させる旨が管理されており、図１６の所定領域管理テーブルにおける２行目は、タイムスタンプ「１０００４」に対応する再生時間の映像データを、所定領域（ｒ＝２０，θ＝２０，φ＝３０）で表示させる旨が管理されている。一方で、図１６の所定領域管理テーブルにおける３行目は、所定領域情報が記憶されておらず、タイムスタンプ「１０００３」に対応する再生時間の映像データに関しては所定領域画像の表示方向が同期されていない旨を管理している。また、送受信部３１によって、既に管理されている映像データのタイムスタンプに対応する所定領域情報が新たに受信された場合、記憶・読出部３９は、既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。

○通信管理システムの機能構成○
次に、図１３を用いて、通信管理システム５０の機能構成について説明する。通信管理システム５０は、送受信部５１、判断部５２、録画処理部５３、生成部５４、配信条件設定部５５および記憶・読出部５９を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能または手段である。また、通信管理システム５０は、図１１に示されているＲＯＭ５０２、ＲＡＭ５０３およびＨＤ５０４によって構築される記憶部５０００を有している。

送受信部５１は、主に、ネットワークＩ／Ｆ５０９に対するＣＰＵ５０１の処理によって実現され、通信ネットワーク１００を介して、他の装置との間で各種データまたは情報の送受信を行う。

判断部５２は、ＣＰＵ５０１の処理によって実現され、各種判断を行う。録画処理部５３は、主にＣＰＵ５０１の処理によって実現され、各通信端末３０から送信された撮影画像データおよび音データからなる映像データを録画する。録画処理部５３は、例えば、各通信端末３０から送信されたデータが映像データである場合、受信された映像データを個別に録画ファイルとして記憶し、映像データ管理ＤＢ５００３に対してメタデータ（書誌情報）を記憶する。

生成部５４は、主に、ＣＰＵ５０１の処理によって実現され、画像データＩＤおよび所定領域情報を生成する。生成部５４は、例えば、撮影装置１０が撮影した撮影画像における所定領域（例えば、図５等に示されている所定領域Ｔ）を示す所定領域情報を生成する。なお、撮影画像の全体が表示された場合の画像（例えば、図５等に示されている全天球画像ＣＥ）は、「全体画像」ともいう。

配信条件設定部５５は、主に、ＣＰＵ５０１の処理によって実現され、録画処理部５３によって録画された映像データを、各拠点の通信端末３０に配信する場合の配信条件を設定する。配信条件設定部５５は、例えば、録画された映像データの再生時間を示すタイムスタンプに関連づけて、再生時間に応じた所定領域情報を設定する。

記憶・読出部５９は、主に、ＣＰＵ５０１の処理によって実現され、記憶部５０００に、各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

○セッション管理テーブル
図１７は、セッション管理テーブルの一例を示す概念図である。記憶部５０００には、図１７に示されているセッション管理テーブルによって構成されているセッション管理ＤＢ５００１が構築されている。このセッション管理テーブルは、セッションＩＤおよび参加した通信端末のＩＰアドレスを関連づけて管理している。このうち、セッションＩＤは、画像通信を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想のルームごとに生成される。セッションＩＤは、各通信端末でも管理されており、各通信端末において通信セッションの選択の際に利用される。参加した通信端末のＩＰアドレスは、関連づけられているセッションＩＤで示される仮想のルームに参加した通信端末のＩＰアドレスを示している。

○画像種類管理テーブル
図１８は、画像種類管理テーブルの一例を示す概念図である。記憶部５０００には、図１８に示されている画像種類管理テーブルによって構成されている画像種類管理ＤＢ５００２が構築されている。この画像種類管理テーブルは、図１４に示されている画像種類管理テーブルで管理されている各情報に加え、セッション管理テーブルで管理されているセッションＩＤと同じセッションＩＤを関連づけて管理している。なお、通信管理システム５０において、通信端末３０で管理される、画像データＩＤ、送信元端末のＩＰアドレスおよび画像種類情報と同じものを管理するのは、新たな通信端末が仮想のルームに入る場合等に、既に画像通話中の通信端末と新たに参加した通信端末に、画像種類情報等を送信するためである。これにより、既に通話中の通信端末と新たに参加した通信端末との間で、画像種類情報等の送受信を行う必要がない。

○映像データ管理テーブル
図１９は、映像データ管理テーブルの一例を示す概念図である。記憶部５０００には、図１９に示されている映像データ管理テーブルによって構成されている映像データ管理ＤＢ５００３が構築されている。この映像データ管理テーブルは、撮影画像データの送信元の通信端末３０または撮影装置１０のＩＰアドレスおよび撮影画像データである映像データの録画データファイルを関連づけて管理している。

○所定領域管理テーブル
図２０は、所定領域管理テーブルの一例を示す概念図である。記憶部５０００には、図２０に示されている所定領域管理テーブルによって構成されている所定領域管理ＤＢ５００４が構築されている。この所定領域管理テーブルは、映像データの録画データファイルごとに、撮影画像データの送信元端末のＩＰアドレス、撮影画像データの送信先の通信端末３０のＩＰアドレス、および撮影画像データである映像データの再生時間を示すタイムスタンプおよび通信端末３０で表示させる所定領域画像を示す所定領域情報を関連づけて管理している。所定領域情報は、図６および図７に示されているように、撮影画像から、この撮影画像における所定領域Ｔの画像（所定領域画像）に変換するための変換パラメータである。

例えば、図２０の所定領域管理テーブルの１行目は、タイムスタンプ「１０００１」に対応する再生時間の映像データを、ＩＰアドレスが「１．２．１．３」の通信端末３０から通信管理システム５０を介してＩＰアドレスが「１．３．１．３」の通信端末３０に送信され、送信先の通信端末３０に所定領域（ｒ＝１０，θ＝２０，φ＝３０）を表示させる旨を管理している。また、図２０の所定領域管理テーブルの２行目および３行目に示されているように、画像送信先のＩＰアドレスが「ａｌｌ」である場合、通信管理システム５０は、映像データを配信先となる全ての通信端末３０に対して、関連づけられたタイムスタンプに対応する所定領域情報を送信して、全ての通信端末３０に同一の所定領域を表示させる。

さらに、図２０の所定領域管理テーブルの３行目および６行目に示されているように、所定領域情報が記憶されていない場合、通信管理システム５０は、映像データの配信先（画像送信先）である通信端末３０に対して、関連づけられたタイムスタンプに対応する所定領域情報を送信せずに、通信端末３０に表示させる所定領域画像の表示方向を同期させない。また、図２０の所定領域管理テーブルの４行目および５行目に示されているように、同一の画像送信元およびタイムスタンプに対して、異なる画像送信先または所定領域情報が記憶されている場合、通信管理システム５０は、対応する画像送信先となる通信端末３０に対して、それぞれに関連づけられたタイムスタンプに対応する所定領域情報を送信し、通信端末３０ごとに異なる所定領域を表示させる。

また、送受信部５１によって、既に管理されている撮影画像データの送信元および送信先の通信端末のＩＰアドレス、並びに映像データのタイムスタンプの組に対応する所定領域情報が新たに受信された場合には、記憶・読出部５９は、既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。ここで、タイムスタンプは、映像データの再生時間を示す時間情報の一例である。タイムスタンプは、録画データファイルにおける映像データの全再生時間の中での再生箇所を示す時間を示す。なお、タイムスタンプは、画像の送信元から映像データに係る撮影画像データを受信した時刻を記憶することで、映像データの再生時間を表現する形式であってもよい。

●実施形態の処理または動作
○セッション参加処理○
続いて、図２１乃至図３３を用いて、実施形態に係る画像通信システムの処理または動作について説明する。なお、以下の説明において、拠点Ａで撮影された撮影画像が各拠点に配信される例を説明するが、他の拠点からの画像配信においても同様の処理が行われる。まず、図２１および図２２を用いて、特定の通信セッションへの参加処理について説明する。図２１は、画像通信システムにおける特定の通信セッションへの参加処理の一例を示すシーケンス図である。図２２は、通信セッションの選択画面の一例を示す図である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）が通信セッションの選択画面の表示を行う操作を行い、受付部３２が選択画面を表示する操作を受け付けることで、通信端末３０Ａの表示制御部３４は、ディスプレイ３０６に、図２２に示されている選択画面８００を表示させる（ステップＳ１１）。図２２に示されている選択画面８００は、選択対象である各仮想のルームＡ１，Ｂ１，Ｂ２等を示す選択ボタン８１０ａ，８１０ｂ，８１０ｃ等を表示している。また、各選択ボタン８１０ａ等は、各セッションＩＤを関連づけている。

ここで、利用者Ａ１が拠点である仮想のルームの所望の選択ボタン（ここでは選択ボタン８１０ａ）を選択した場合、通信端末３０Ａの受付部３２は、通信セッションの選択を受け付ける（ステップＳ１２）。そして、通信端末３０Ａの送受信部３１は、通信管理システム５０に対して、他の拠点との通信セッションへの参加要求を送信する（ステップＳ１３）。この参加要求は、ステップＳ１２で選択を受け付けられた通信セッションを示すセッションＩＤ、および要求元端末である通信端末３０ＡのＩＰアドレスを含む。これにより、通信管理システム５０の送受信部５１は、参加要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、セッション管理ＤＢ５００１（図１７参照）において、ステップＳ１３で受信されたセッションＩＤと同じセッションＩＤのレコードにおける参加端末ＩＰアドレスのフィールドに、ステップＳ１３で受信されたＩＰアドレスを追加することで、通信セッションへの参加処理を行なう（ステップＳ１４）。そして、送受信部５１は、通信端末３０Ａに対して、参加要求応答を送信する（ステップＳ１５）。この参加要求応答は、ステップＳ１３によって受信されたセッションＩＤ、ステップＳ１４における参加処理結果を含む。これにより、通信端末３０Ａの送受信部３１は、参加要求応答を受信する。以降、参加処理が成功した場合について説明する。なお、図２１に示されている処理と同様の処理により、各拠点の通信端末３０は、通信セッションの参加処理を行う。

○画像種類情報の管理処理○
次に、図２３を用いて、画像種類情報の管理処理を説明する。図２３は、画像種類情報の管理処理を示すシーケンス図である。

まず、拠点Ａの利用者が、通信端末３０Ａに、撮影装置１０Ａを接続すると、撮影装置１０Ａの記憶・読出部１９は、記憶部１０００に記憶されている自装置（撮影装置１０Ａ）のＧＵＩＤを読み出す。そして、撮影装置１０Ａの通信部１１は、通信端末３０Ａに対して自装置のＧＵＩＤを送信する（ステップＳ３１）。これにより、通信端末３０Ａの通信部３８は、撮影装置１０ＡのＧＵＩＤを受信する。

次に、通信端末３０Ａの判断部３５は、撮影装置管理ＤＢ３００２（図１５参照）において、ステップＳ３１で受信されたＧＵＩＤ中のベンダＩＤおよびプロダクトＩＤと、同じベンダＩＤおよびプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（ステップＳ３２）。具体的には、撮影装置管理ＤＢ３００２において、同じベンダＩＤおよびプロダクトＩＤが管理されている場合、通信端末３０Ａの判断部３５は、撮影装置１０Ａが特殊画像（ここでは、全天球画像）を撮影する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ３００２において、同じベンダＩＤおよびプロダクトＩＤが管理されていない場合には、通信端末３０Ａの判断部３５は、撮影装置１０Ａが一般画像を撮影する撮影装置であると判断する。

次に、通信端末３０Ａの記憶・読出部３９は、画像種類管理ＤＢ３００１（図１４参照）に対して、送信元端末である自端末（通信端末３０Ａ）のＩＰアドレスと、ステップＳ３２で判断された判断結果である画像種類情報とを関連づけて記憶する（ステップＳ３３）。この状態では、画像データＩＤは関連づけられていない。画像種類情報は、例えば、所定の命名規則に従って定められたソース名または画像種類（一般画像、特殊画像）である。

次に、通信端末３０Ａの送受信部３１は、通信管理システム５０に対して、画像種類情報の追加要求を送信する（ステップＳ３４）。この画像種類情報の追加要求は、ステップＳ３３で記憶した送信元端末である自端末（通信端末３０Ａ）のＩＰアドレスおよび画像種類情報を含む。これにより、通信管理システム５０の送受信部５１は、画像種類情報の追加要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、ステップＳ３４によって受信された送信元端末のＩＰアドレスを検索キーとして、セッション管理ＤＢ５００１（図１７参照）を検索することにより、対応するセッションＩＤを読み出す（ステップＳ３５）。

次に、生成部５４は、固有の画像データＩＤを生成する（ステップＳ３６）。そして、記憶・読出部５９は、画像種類管理ＤＢ５００２（図１８参照）に、新たなレコードとして、ステップＳ３５で読み出されたセッションＩＤ、ステップＳ３６で生成された画像データＩＤ、並びにステップＳ３４で受信された送信元端末のＩＰアドレスおよび画像種類情報を関連づけて記憶する（ステップＳ３７）。そして、送受信部５１は、通信端末３０Ａに対して、ステップＳ３６で生成された画像データＩＤを送信する（ステップＳ３８）。これにより、通信端末３０Ａの送受信部３１は、画像データＩＤを受信する。

次に、通信端末３０Ａの記憶・読出部３９は、画像種類管理ＤＢ３００１（図１４参照）に、ステップＳ３３で記憶しておいた送信元端末である自端末（通信端末３０Ａ）のＩＰアドレスおよび画像種類情報に関連づけて、ステップＳ３８で受信された画像データＩＤを記憶する（ステップＳ３９）。

一方、通信管理システム５０の送受信部５１は、他の通信端末（ここでは、通信端末３０Ｄ）に対して、画像種類情報の追加通知を送信する（ステップＳ４０）。この画像種類情報の追加通知は、ステップＳ３６で生成された画像データＩＤ、並びにステップＳ３７で記憶された送信元端末である通信端末３０ＡのＩＰアドレスおよび画像種類情報を含む。これにより、通信端末３０Ｄの送受信部３１は、画像種類情報の追加通知を受信する。なお、送受信部５１の送信先は、セッション管理ＤＢ５００１（図１７参照）で、通信端末３０AのＩＰアドレスと同じセッションＩＤに関連付けられている他のＩＰアドレスである。即ち、送信先は、通信端末３０Aと同じ仮想のルームに入っている他の通信端末である。

次に、通信端末３０Ｄの記憶・読出部３９は、画像種類管理ＤＢ３００１Ｄ（図１８参照）に、新たなレコードとして、ステップＳ４０で受信された、画像データＩＤ、送信元端末である通信端末３０ＡのＩＰアドレスおよび画像種類情報を関連づけて記憶する（ステップＳ４１）。同じように、他の通信端末である通信端末３０Cにも画像種類情報の追加通信が送信され、画像種類管理ＤＢ３００１Ｃに記憶される。以上より、各通信端末では、各画像種類管理ＤＢ３００１Ａ，３００１Ｃ，３００１Ｄで同じ情報を共有することができる。

○撮影画像データの通信処理○
次に、図２４および図２５を用いて、拠点Ａで得られた撮影画像データおよび音データが、通信管理システム５０を介して、各通信端末（通信端末３０Ｃ，３０Ｄ）へ送信される処理について説明する。図２４は、画像通信システムにおける撮影画像データおよび音データの通信処理の一例を示すシーケンス図である。なお、図２４は、一台の撮影装置１０によって取得された撮影画像データが各通信端末３０に配信される例を示すが、同じ拠点に設置された他の撮影装置１０によって取得された複数の撮影画像データが配信される場合においても同様の処理が行われる。

まず、撮影装置１０Ａの通信部１１は、通信端末３０Ａに対して、被写体や風景等を撮影して取得された撮影画像データおよび集音して取得された音データを送信する（ステップＳ５１）。この場合、撮影装置１０Ａは、全天球画像の元になる二つの半球画像を得ることができる装置であるため、図３（Ａ），（Ｂ）に示されているように、撮影画像データは、二つの半球画像のデータによって構成されている。これにより、通信端末３０Ａの通信部３８は、撮影画像データおよび音データを受信する。

次に、通信端末３０Ａの送受信部３１は、通信管理システム５０に対して、撮影装置１０Ａから送られてきた撮影画像データおよび音データを送信する（ステップＳ５２）。この送信は、送信対象である撮影画像データを識別するための画像データＩＤを含む。これにより、通信管理システム５０の送受信部５１は、撮影画像データおよび音データ、並びの画像データＩＤを受信する。

次に、通信管理システム５０の送受信部５１は、通信端末３０Ａと同じセッションに参加している通信端末（通信端末３０Ｃ,３０Ｄ）に対して、撮影画像データおよび音データを送信する（ステップＳ５３,Ｓ５４）。これら各送信は、送信対象である撮影画像データを識別するための画像データＩＤを含む。これにより、通信端末３０Ｃおよび通信端末３０Ｄの送受信部３１は、それぞれ撮影画像データおよび音データ、並びに画像データＩＤを受信する。

ここで、図２５を用いて、各拠点における通信端末３０の表示例を説明する。図２５は、通信端末に表示される表示画面の一例を示す図である。表示画面２００には、各拠点において撮影された撮影画像データが表示されている。例えば、所定の拠点において撮影された撮影画像が全天球画像である場合、表示画面２００には、他の拠点から送られてきた撮影画像データから全天球画像の生成および所定領域画像の生成をした画像が示されている。

ここで、全天球画像の撮影が可能な撮影装置１０Ａ,１０Ｂから送られて来た撮影画像データをそのまま表示すると、拠点Ａと拠点Ｂの画像が、それぞれ図３（A），（B）に示されているように、前側の半球画像と後側の半球画像として表示される。これに対して、生成部３７が、全天球画像の元になる二つの半球画像を得ることができる撮影装置１０Ａ，１０Ｂが出力した撮影画像データから、全天球画像を生成し、さらに所定領域画像を生成すると、図２５に示されているように、平面画像である所定領域画像が表示される。なお、拠点Ｃでは、一般画像を得る通信端末３０Cが撮影し、拠点Ｄでも、一般画像を得る通信端末３０Dが撮影しているため、一般画像（ここでは、平面画像）が表示されている。

また、各拠点の利用者は、同じ全天球像における所定領域画像に係る所定領域を変更することができる。例えば、各拠点の利用者は、ポインティングデバイス３１２等の入力手段の操作等により、受付部３２が所定領域画像の移動を受け付け、表示制御部３５は、所定領域画像をずらしたり、回転したり、縮小したり、拡大したりすることができる。

なお、表示画面２００の左側の表示領域（レイアウト番号「１」）には拠点Ａの画像が表示され、右側上段の表示領域（レイアウト番号「２」には拠点Ｂの画像が表示されている。さらに、表示画面２００の右側中段の表示領域（レイアウト番号「３」）には拠点Ｃの画像が表示され、右側下段の表示領域（レイアウト番号「４」）には拠点Ｄの画像が表示されている。レイアウト番号「１」の表示領域は主表示領域であり、レイアウト番号「２」、「３」および「４」の表示領域は副表示領域である。主表示領域の画像と副表示領域の画像は、各通信端末で変更することができる。通常、各拠点では、主表示領域に、映像通話の中心人物がいる拠点の画像が表示される。

また、図２５に示されている全天球アイコン２１０ａ，２１０ｂは、全天球画像の一部の所定領域Ｔを示す所定領域画像である旨を表すための特殊画像識別アイコンの一例である。なお、全天球アイコン２１０ａ，２１０ｂの表示位置は、右上ではなく、左上、左下および右下等、どこでもよい。また、全天球アイコン２１０ａ，２１０ｂの種類は、図２５に限らない。また、全天球アイコン２１０ａ，２１０ｂではなく、「全天球画像」等の文字であってもよく、アイコンと文字の組み合わせであってもよい。

○映像データの録画処理
次に、図２６を用いて、通信管理システム５０において、各拠点の通信端末３０から送信された映像データを録画する場合の処理について説明する。図２６は、映像データの録画処理の一例を示すフローチャートである。図２６に示す映像データの録画処理は、図２５のステップ５２のように、通信管理システム５０が撮影画像データを受信した際に実行される。

まず、通信管理システム５０の判断部５２は、撮影画像データ等を送信する通信端末３０（例えば、図２４の通信端末３０Ａ）から送信されたデータが映像データであるか否かを判断する。そして、判断部５２は、送受信部５１によって映像データが受信されたと判断する場合（ステップＳ７１のＹＥＳ）、処理をステップＳ７２へ移行させる。

次に、録画処理部５３は、送受信部５１によって受信された映像データのデータファイルを、映像データ管理ＤＢ５００３（図１９参照）に記憶する（ステップＳ７２）。この場合、録画処理部５３は、受信された映像データの送信元のＩＰアドレスおよび受信された映像データの録画データファイル（例えば、ファイル名）を関連づけて、映像データ管理ＤＢ５００３に記憶させる。録画処理部５３は、例えば、各拠点の通信端末３０から送信された撮影画像データおよび音データを合成して、拠点ごとに一つの録画データファイルとして録画することで、映像データ管理ＤＢ５００３に記憶させる。

一方で、判断部５２は、送受信部５１によって受信されたデータが映像データではないと判断する場合（ステップＳ７１のＮＯ）、処理をステップＳ７３へ移行させる。

次に、判断部５２は、他の拠点から配信された撮影画像データの閲覧を行う通信端末３０（例えば、図２４の通信端末３０Ｃまたは通信端末３０Ｄ）から送信された所定領域情報を受信したか否かを判断する。通信端末３０は、映像データのライブ配信において、全天球画像の表示方向を他の通信端末３０と同期させる場合に、自拠点がどの全天球画像を閲覧しているかを常時通知するため、通信管理システム５０に対して所定領域情報を送信する。判断部５２は、送受信部５１によって通信端末３０から送信された所定領域情報を受信したと判断する場合（ステップＳ７３のＹＥＳ）、処理をステップＳ７４へ移行させる。そして、記憶・読出部５９は、送受信部５１によって受信された所定領域情報を、所定領域管理ＤＢ５００４（図２０参照）に記憶させる（ステップＳ７４）。この場合、記憶・読出部５９は、受信された所定領域情報に対応する映像データの送信元および送信先のＩＰアドレス、並びに受信された所定領域情報に対応する映像データの再生時間を示すタイムスタンプと、受信された所定領域情報とを関連づけて所定領域管理ＤＢ５００４に記憶させる。

一方で、ステップＳ７３において、判断部５２は、送受信部５１によって所定領域情報が受信されていないと判断する場合（ステップＳ７３のＮＯ）、処理を終了する。なお、通信端末３０は、映像データのライブ配信において、全天球画像の表示方向を他の通信端末３０と同期させない場合には、所定領域情報を送信しない、または通信管理システム５０に所定領域情報を記憶させないような制御を行う。

○配信条件設定処理○
次に、図２７および図２８を用いて、録画された映像データの配信条件の設定処理について説明する。図２７は、配信条件の設定処理の一例を示すシーケンス図である。図２７は、拠点Ａに位置する利用者Ａ１が通信端末３０Ａを用いて、撮影装置１０Ａによって撮影された全天球画像からなる映像データの配信条件を設定する処理について説明する。

まず、通信端末３０Ａの送受信部３１は、利用者Ａ１による所定の入力操作に応じて、通信管理システム５０に対して、配信条件設定要求を送信する（ステップＳ９１）。これにより、通信管理システム５０の送受信部５１は、通信端末３０Ａから送信された配信条件設定要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、ステップＳ９１で受信された配信条件設定要求の送信元の通信端末３０ＡのＩＰアドレスを検索キーとして映像データ管理ＤＢ５００３（図１９参照）を検索することで、通信端末３０ＡのＩＰアドレスに関連づけられた映像データのデータファイルを読み出す（ステップＳ９２）。そして、送受信部５１は、要求元の通信端末３０Ａに対して、ステップＳ９２で読み出された映像データを送信する（ステップＳ９３）。これにより、通信端末３０Ａの送受信部３１は、通信管理システム５０から送信された映像データを受信する。

次に、通信端末３０Ａの表示制御部３４は、配信条件設定画面７００をディスプレイ３０６に表示させる（ステップＳ９４）。図２８は、配信条件設定画面の一例を示す図である。図２８に示されている配信条件設定画面７００は、録画された映像データを再生しながら、各拠点に映像データを配信する際に通信端末３０に表示させる所定領域を設定するための画面である。配信条件設定画面７００には、再生中の映像データに係る画像を表示する画像表示領域７１０、映像データの再生箇所を表示する再生箇所表示領域７３０、画像表示領域７１０に表示された表示方向に対応する所定領域を示す所定領域情報表示領域７４０、配信条件の設定を行う際に押下される設定ボタン７５０および配信条件の設定を終了する場合に押下される終了ボタン７５５を含む。

このうち、画像表示領域７１０は、映像データの表示方向を変更するための表示方向変更ボタン７２０（７２０ａ,７２０ｂ,７２０ｃ,７２０ｄ）を含む。利用者Ａ１は、例えば、所望の表示方向変更ボタン７２０を選択することで、画像表示領域７１０に表示させる画像の表示方向を変更することができる。また、再生箇所表示領域７３０は、映像データを再生する場合に押下される再生ボタン７３１、映像データの再生を停止させる場合に押下される一時停止ボタン７３２、および全再生時間における再生履歴（再生箇所）およびを示すスライダ７３５を含む。スライダ７３５は、シークバーを構成する。シークバーとは、映像データの再生箇所を表示するものであるとともに、映像データの再生箇所を指定する操作領域である。利用者Ａ１は、例えば、映像データの始めから終わりまでのうちどこを再生しているのかをスライダ７３５の位置によって視覚的に把握することができる。また、利用者Ａ１は、例えば、スライダ７３５をポインティングデバイス３１２等の入力手段を用いて移動させ、それによって任意の再生箇所から映像データを再生させることができる。

所定領域情報表示領域７４０は、画像表示領域７１０に表示されている所定領域画像に対応する所定領域情報が示されている。所定領域情報表示領域７４０は、例えば、利用者Ａ１が表示方向変更ボタン７２０を選択して移動させて画像表示領域７１０に表示させる画像の表示方向を変更することで、表示された所定領域画像に対応する所定領域の値が随時変更してされる。なお、利用者Ａ１は、所定領域情報表示領域７４０に表示させる所定領域の数値を手動で入力して、画像表示領域７１０に表示させる画像の表示方向を変更してもよい。

通信端末３０Ａの受付部３２は、利用者Ａ１が表示方向変更ボタン７２０の選択または所定領域情報表示領域７４０に対する数値入力を行い、設定ボタン７５０を押下することで、配信条件の入力を受け付ける（ステップＳ９５）。この場合、受付部３２は、利用者Ａ１によって選択または入力された所定領域情報を配信条件として受け付ける。そして、通信端末３０Ａの送受信部３１は、通信管理システム５０に対して、ステップＳ９５で入力された所定領域情報および入力された所定領域情報に対応する映像データの再生時間を示す時間情報を送信する（ステップＳ９６）。これにより、通信管理システム５０の送受信部５１は、通信端末３０Ａから送信された所定領域情報および時間情報を受信する。

そして、通信管理システム５０の配信条件設定部５５は、ステップＳ９６で受信された所定領域情報および時間情報に対応するタイムスタンプを、ステップＳ９１で受信された配信条件設定要求の送信元の通信端末３０ＡのＩＰアドレスに関連づけて所定領域管理ＤＢ５００４（図２０参照）に記憶させる（ステップＳ９７）。この場合、配信条件設定部５５は、例えば、受信された所定領域情報に関連づけて記憶させる画像送信先のＩＰアドレスを「all」に設定する。配信条件設定部５５は、既に所定領域管理ＤＢ５００４に管理されている撮影画像データの送信元および映像データのタイムスタンプの組に対応する所定領域情報を記憶させる場合、既に管理している所定領域情報を新たに受信された所定領域情報に書き換える。

なお、配信条件設定部５５は、所定領域管理ＤＢ５００４に記憶させる所定領域情報の組に対応する特定の画像送信先のＩＰアドレスが既に存在する場合、画像送信元のＩＰアドレスを「all」に設定せずに、既に存在する特定の画像送信先のＩＰアドレスをそのまま利用してもよい。また、配信条件設定部５５は、例えば、図２８に示されている配信条件設定画面７００を用いて利用者Ａ１に画像送信先のＩＰアドレスを入力させることで、受信された所定領域情報に関連づけて特定の画像送信先のＩＰアドレスを記憶させる構成であってもよい。

○録画データの配信処理○
次に、図２９乃至図３３を用いて、通信管理システム５０に録画された映像データの配信処理について説明する。図２９は、録画された映像データの配信処理の一例を示すシーケンス図である。図２９の例は、通信管理システム５０によって録画された映像データを、拠点Ｃの通信端末３０Ｃに配信する処理について説明する。

まず、通信端末３０Ｃの送受信部３１は、利用者Ｃ１による所定の入力操作に応じて、通信管理システム５０に対して、映像配信要求を送信する（ステップＳ１１１）。この映像配信要求には、配信を要求する映像データを特定するための情報（例えば、映像データの送信元のＩＰアドレスまたは映像データのファイル名）を含む。これにより、通信管理システム５０の送受信部５１は、通信端末３０Ｃから送信された映像配信要求を受信する。

次に、通信管理システム５０の記憶・読出部５９は、ステップＳ９２で受信された映像配信要求の対象となる映像データに対応する所定領域情報を、所定領域管理ＤＢ５００４（図２０参照）から読み出す（ステップＳ１１２）。この場合、記憶・読出部５９は、対象の所定領域情報とともに、所定領域情報に関連づけられたタイムスタンプを読み出す。そして、送受信部５１は、要求元の通信端末３０Ｃに対して、ステップＳ１１２で読み出された所定領域情報および所定領域情報に関連づけられたタイムスタンプによって特定される再生時間を示す時間情報の組を送信する（ステップＳ１１３）。これにより、通信端末３０Ｃの送受信部３１は、通信管理システム５０から送信された所定領域情報および時間情報の組を受信する。なお、通信管理システム５０は、ステップＳ１１３およびステップＳ１１４の処理を、所定領域管理ＤＢ５００４に記憶された対象となる全ての所定領域情報に対して一度に行ってもよいし、映像データの再生時間に応じて一定期間（例えば、３０秒）ごとに順次行ってもよい。

次に、通信端末３０Ｃの記憶・読出部３９は、ステップＳ１１３で受信された所定領域情報および時間情報に対応するタイムスタンプを関連づけて所定領域管理ＤＢ３００３Ｃ（図１６参照）に記憶させる（ステップＳ１１４）。

次に、通信管理システム５０の記憶・読出部５９は、映像データ管理ＤＢ５００３（図１９参照）から、ステップＳ９２で受信された映像配信要求の対象となる映像データの録画データファイルを読み出す（ステップＳ１１５）。そして、送受信部５１は、ステップＳ１１５で読み出された録画データファイルに基づいて、映像データに係る撮影画像データおよび音データを、要求元の通信端末３０Ｃに対して順次送信する（ステップＳ１１６）。この各送信には、送信対象である撮影画像データを識別する画像データＩＤが含まれている。これにより、通信端末３０Ｃの送受信部３１は、通信管理システム５０から送信された撮影画像データおよび音データを受信する。

そして、通信端末３０Ｃの表示制御部３４は、ステップＳ１１６で受信された映像データを再生することで、撮影画像を表示させる（ステップＳ１１７）。なお、通信管理システム５０は、同一のセッションにおいて同時に録画された複数の録画データファイルが存在する場合、それらを同時に配信し、閲覧側の通信端末３０Ｃで組み合わせて表示させてもよい。また、通信管理システム５０は、ステップＳ１１１での映像配信要求に応じて、個別の通信端末３０にデータ配信を行ってもよし、複数の通信端末３０に対してデータを同期させて配信してもよい。

ここで、図３０乃至図３３を用いて、録画された映像データを通信端末３０Ｃに表示させる場合の表示例について説明する。まず、図３０および図３１を用いて、映像データの表示方向が同期された場合の映像データの再生に関して説明する。図３０は、通信端末における映像データの再生処理の一例を示すフローチャートである。

まず、通信端末３０Ｃは、図２９のステップＳ１１３で示されているように、通信管理システム５０から送信された所定領域情報を受信した場合（ステップＳ１３１のＹＥＳ）、ステップＳ１３２へ移行させる。一方で、通信端末３０Ｃは、所定領域を受信していない場合（ステップＳ１３１のＮＯ）、処理を終了する。

次に、通信端末３０Ｃの記憶・読出部３９は、図２９のステップＳ１１４で示されているように、ステップＳ１３１で受信された所定領域情報を、所定領域情報に対応する映像データの再生時間を示すタイムスタンプに関連づけて所定領域管理ＤＢ３００３Ｃに記憶させる（ステップＳ１３２）。

次に、通信端末３０Ｃの判断部３５は、ステップＳ１３２で所定領域情報が記憶された所定領域管理ＤＢ３００３Ｃを参照し、通信管理システム５０から送信された映像データのタイムスタンプに対応する所定領域情報が存在する場合（ステップＳ１３３のＹＥＳ）、処理をステップＳ１３４へ移行させる。一方で、通信端末３０Ｃの判断部３５は、ステップＳ１３２で所定領域情報が記憶された所定領域管理ＤＢ３００３Ｃを参照し、通信管理システム５０から送信された映像データのタイムスタンプに対応する所定領域情報が存在しない場合（ステップＳ１３３のＮＯ）、映像データの表示方向を同期させずに処理を終了する。

次に、通信端末３０Ｃの生成部３７は、映像データの表示方向を同期させ、ステップＳ１３２で記憶された所定領域情報によって特定される所定領域の画像を表示させるため、ステップＳ１３２で受信された所定領域情報を用いた透視射影変換を行うことで、所定領域画像を生成する（ステップＳ１３４）。これにより、通信端末３０Ｃは、通信管理システム５０によって設定された配信条件に対応する所定領域画像を生成することができる。

そして、表示制御部３５は、ステップＳ１３４で生成された所定領域画像を、ディスプレイ３０６に表示させる（ステップＳ１３５）。

図３１は、表示方向が同期されている場合において通信端末に表示される表示画面の一例を示す図である。図３１に示されている表示画面４００は、所定の再生時間において表示方向が同期された映像データが表示されている場合の例を示す。表示画面４００は、ステップＳ１３５において映像データから生成された所定領域画像４１０、表示方向が同期されている旨を示す同期済アイコン４１５、および映像データの再生箇所を表示する再生箇所表示領域４３０を含む。このうち、再生箇所表示領域４３０は、映像データを再生する場合に押下される再生ボタン４３１、映像データの再生を停止させる場合に押下される一時停止ボタン４３２、および全再生時間における再生履歴（再生箇所）およびを示すスライダ４３５を含む。再生ボタン４３１、一時停止ボタン４３２およびスライダ４３５の構成は、図２８に示されている再生ボタン７３１、一時停止ボタン７３２およびスライダ７３５の構成と同様である。

このように、通信端末３０Ｃに通信管理システム５０によって設定された配信条件に対応する所定領域画像を表示させることで、通信管理システム５０は、通信端末３０に表示させる映像データの表示方向を同期させることができる。この場合、利用者Ｃ１は、表示画面４００に表示された所定領域画像４１０の閲覧中に表示方向を変更することができず、表示画面４００に表示された同期済アイコン４１５を確認することで、映像データの表示方向を変更できない旨を把握することができる。また、通信管理システム５０から通信端末３０Ｃに送信される所定領域情報は、図２６のステップＳ７４に示されているように、映像データのライブ配信時に閲覧側の通信端末３０から送信されて通信管理システム５０に記憶された情報であってもよく、図２７のステップＳ９７に示されているように、配信条件の設定処理によって通信管理システム５０に記憶された情報であってもよい。

続いて、図３２および図３３を用いて、表示方向が同期されていない場合の映像データの再生に関して説明する。図３２は、通信端末における表示方向の変更処理の一例を示すフローチャートである。

まず、通信端末３０Ｃは、通信管理システム５０から送信された映像データの表示方向が同期されている場合（ステップＳ１５１のＹＥＳ）、処理を終了する。この場合、通信端末３０Ｃは、図３０のステップＳ１３４およびステップＳ１３５に示されているように、同期された表示方向に対応する所定領域画像を表示する。一方で、通信端末３０Ｃは、映像データの表示方向が同期されていない場合（ステップＳ１５１のＮＯ）、処理をステップＳ１５２へ移行させる。

次に、通信端末３０Ｃは、映像データの表示方向の変更を受け付けた否かを判断する（ステップＳ１５２）。図３３は、表示方向が同期されていない場合において通信端末に表示される表示画面の一例を示す図である。図３３に示されている表示画面４００は、ステップＳ１１６で受信された映像データの任意の所定領域の画像である所定領域画像４１０、映像データの表示方向を変更するための表示方向変更ボタン４２０（４２０ａ,４２０ｂ,４２０ｃ,４２０ｄ）、および映像データの再生箇所を表示する再生箇所表示領域４３０を含む。利用者Ｃ１は、例えば、所望の表示方向変更ボタン４２０を選択することで、表示させる所定領域画像４１０に対応する映像データの表示方向を変更することができる。なお、再生箇所表示領域４３０は、図３１に示されている構成と同様である。

通信端末３０Ｃの受付部３２は、利用者Ｃ１が表示方向変更ボタン４２０を選択することで、表示方向の変更を受け付けた場合（ステップＳ１５２のＹＥＳ）、処理をステップＳ１５３へ移行させる。一方で、通信端末３０Ｃの受付部３２は、表示方向の変更を受け付けていない場合（ステップＳ１５２のＮＯ）、処理を終了する。

次に、通信端末３０Ｃの記憶・読出部３９は、ステップＳ１５２で受け付けられた表示方向に対応する所定領域を示す所定領域情報を、所定領域情報に対応する映像データの再生時間を示すタイムスタンプに関連づけて所定領域管理ＤＢ３００３Ｃに記憶させる（ステップＳ１５３）。

次に、通信端末３０Ｃの生成部３７は、ステップＳ１５３で記憶された所定領域情報によって特定される所定領域の画像を表示させるため、ステップＳ１５３で記憶された所定領域情報を用いた透視射影変換を行うことで、所定領域画像を生成する（ステップＳ１５４）。そして、表示制御部３５は、ステップＳ１５４で生成された所定領域画像を、ディスプレイ３０６に表示させる（ステップＳ１５５）。

このように、通信端末３０Ｃは、通信管理システム５０によって映像データの表示方向が同期されていない場合、利用者Ｃ１の入力操作によって所望の表示方向に対応する所定領域画像を表示させることができる。

●実施形態の効果
以上説明したように、画像通信システム１は、録画された全天球画像を含む映像データを配信する場合に、表示方向の同期を録画された映像データに対して反映し、画像の閲覧者にある時間帯は映像データの表示方向を自由に操作させ、ある時間帯は表示方向を同期させることができる。これにより、画像通信システム１は、他拠点において撮影された映像データの再生時間に応じて、適切な表示方向の画像を通信端末３０に表示させることができる。

また、画像通信システム１は、各拠点の撮影装置１０または通信端末３０から送信された映像データの録画データファイルに対して、録画配信を行う際の映像データの再生時間に対応する所定領域情報を通信管理システム５０が設定することで、録画された映像データを通信端末３０に表示させる表示方向を同期させることができる。

上記実施形態において、所定領域Ｔは、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮影方向と画角を示す所定領域情報によって特定されるが、これに限るものではない。例えば、画角を一定にして利用する場合等、所定領域Ｔは、図７において、中心点ＣＰまたは矩形の所定領域Ｔの四隅の任意の点を示す所定点情報によって特定されるようにしてもよい。また、上記実施形態では、全天球画像（全天球パノラマ画像）の一例として、撮影画像（全体画像）が三次元のパノラマ画像である場合について説明したが、二次元のパノラマ画像であってもよい。

●補足●
上記で説明した実施形態の各機能は、一または複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウエアによって各機能を実行するようプログラミングされたプロセッサ、並びに上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU(Graphics Processing Unit)および従来の回路モジュール等のデバイスを含むものとする。

また、上記で説明した実施形態の各種テーブルは、機械学習の学習効果によって生成されたものでもよく、関連づけられている各項目のデータを機械学習にて分類付けすることで、テーブルを使用しなくてもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが，データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習および深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

これまで本発明の一実施形態に係る通信端末、画像通信システム、画像表示方法およびプログラムについて説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態の追加、変更または削除等、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１ 画像通信システム
１０ 撮影装置
３０ 通信端末
３１ 送受信部（受信手段の一例）
３２ 受付部（受付手段の一例）
３４ 表示制御部（表示制御手段の一例）
３７ 生成部（生成手段の一例）
５０ 通信管理システム
５１ 送受信部（撮影画像データ受信手段の一例、映像データ送信手段の一例）
５３ 録画処理部（録画処理手段の一例）
５５ 配信条件設定部（設定手段の一例）

特開２０１６－２５６４０号公報

Claims (11)

1. 撮影画像に写る被写体の一部の所定領域を表示可能な通信端末であって、
   他の通信端末から配信された前記撮影画像を管理する通信管理システムから当該撮影画像を含む映像データおよび当該映像データの再生時間ごとに前記通信端末に表示させる所定領域を示す所定領域情報を受信する受信手段と、
   受信された前記映像データの再生時間に対応する所定領域情報が存在する場合、受信された前記所定領域情報に示されている所定領域を示す画像を表示させる表示制御手段と、
   受信された前記映像データの再生時間における所定領域情報が存在しない場合、受信された前記映像データが表示される所定領域の選択を受け付ける受付手段を備え、
   前記表示制御手段は、前記選択が受け付けられた所定領域を示す所定領域画像を表示させる、
   通信端末。
2. 請求項１に記載の通信端末であって、更に、
   受信された前記所定領域情報に対応する再生時間における所定領域情報が存在する場合、受信された所定領域情報に示されている所定領域を示す所定領域画像を生成する生成手段を備え、
   前記表示制御手段は、生成された前記所定領域画像を表示する通信端末。
3. 請求項１に記載の通信端末であって、更に、
   前記選択が受け付けられた前記所定領域を示す所定領域画像を生成する生成手段を備え、
   前記表示制御手段は、生成された前記所定領域画像を表示する通信端末。
4. 前記映像データは、他の通信端末によって配信された録画データである請求項１乃至３のいずれか一項に記載の通信端末。
5. 前記撮影画像は、全天球画像である請求項１乃至４のいずれか一項に記載の通信端末。
6. 請求項１乃至５のいずれか一項に記載の通信端末と、前記通信管理システムと、を備える画像通信システムであって、
   前記通信管理システムは、
   他の通信端末から送信された撮影画像データを受信する撮影画像データ受信手段と、
   受信された前記撮影画像データが映像データである場合、当該映像データを録画する録画処理手段と、
   録画された前記映像データを、前記通信端末へ送信する映像データ送信手段と、
   を備える画像通信システム。
7. 請求項６に記載の画像通信システムであって、
   前記通信管理システムは、更に、
   録画された前記映像データにおける再生時間ごとに、前記所定領域を設定する設定手段を備え、
   前記映像データ送信手段は、録画された前記映像データおよび設定された前記所定領域を示す所定領域情報を、前記通信端末へ送信する画像通信システム。
8. 前記設定手段は、録画された前記映像データの送信先となる前記通信端末ごとに異なる所定領域を設定する請求項７に記載の画像通信システム。
9. 請求項７または８に記載の画像通信システムであって、更に、
   録画された前記映像データおよび設定された前記所定領域を示す所定領域情報を関連づけて記憶する記憶手段を備える画像通信システム。
10. 撮影画像に写る被写体の一部の所定領域を表示可能な通信端末が実行する画像表示方法であって、
    他の通信端末から配信された前記撮影画像を管理する通信管理システムから当該撮影画像を含む映像データおよび当該映像データの再生時間ごとに前記通信端末に表示させる所定領域を示す所定領域情報を受信する受信ステップと、
    受信された前記映像データの再生時間に対応する所定領域情報が存在する場合、受信された前記所定領域情報に示されている所定領域を示す画像を表示させる表示制御ステップと、
    受信された前記映像データの再生時間における所定領域情報が存在しない場合、受信された前記映像データが表示される所定領域の選択を受け付ける受付ステップを実行し、
    前記選択が受け付けられた所定領域を示す所定領域画像を表示させる、
    画像表示方法。
11. 撮影画像に写る被写体の一部の所定領域を表示可能な通信端末に、
    他の通信端末から配信された前記撮影画像を管理する通信管理システムから当該撮影画像を含む映像データおよび当該映像データの再生時間ごとに前記通信端末に表示させる所定領域を示す所定領域情報を受信する受信ステップと、
    受信された前記映像データの再生時間に対応する所定領域情報が存在する場合、受信された前記所定領域情報に示されている所定領域を示す画像を表示させる表示制御ステップと、
    受信された前記映像データの再生時間における所定領域情報が存在しない場合、受信された前記映像データが表示される所定領域の選択を受け付ける受付ステップを実行させ、
    前記選択が受け付けられた所定領域を示す所定領域画像を表示させる、
    プログラム。