JP7819488B2 - 通信装置、通信システム、表示方法、及びプログラム - Google Patents

Description

本開示内容は、通信装置、通信システム、表示方法、及びプログラムに関する。

近年、ICT（情報通信技術）を利用し、時間や場所を有効に活用できる柔軟な働き方を行うテレワークが浸透してきた。これにより、ワーク・ライフ・バランスの実現や営業効率の向上及び顧客満足度の向上等を図ることができる。また、テレワークの普及に合わせて、インターネットを介したビデオ（テレビ）会議等のシステムの性能が向上している（図３８参照）。

また、コミュニケーションにおいて、対人間の距離感は、話しやすさや緊張感に影響を与えるため非常に重要である（エドワードホール、かくれた次元、２０００、みすず書房）。ところが、ビデオ会議では、物理空間（又は、現実空間）のコミュニケーションのように、対話相手と現実に同じ空間に一緒に居る感じ（以下、「現実感」という。）が得にくいという問題がある。

そこで、特許文献１では、一の拠点の物理空間上の人物における視点（眼の位置）に応じて、他の拠点の対話相手の映像を変化させるという運動視差を実現し、距離に応じた人物サイズで対話相手を一の拠点側のディスプレイ上に表示することで、各利用者に対話相手との現実感を与えることができる技術が開示されている。

特許第５８３３５２５号公報

しかしながら、他拠点で撮影された被写体の画像を自拠点で表示しようとすると、他拠点の被写体の側面等の他方向の画像は表示されない場合があり、他拠点の被写体の不完全な画像が表示されることになるため、現実感（仮想ではなく、現実に目の当たりにする感じ）が薄れてしまうという課題が生じる。

請求項１に係る発明は、他拠点における他の通信装置と映像通話を行う通信装置であって、前記他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た前記他拠点の輝度画像及び深度画像のデータを、前記他の通信装置が送信することで受信する受信手段と、前記他拠点の輝度画像及び深度画像のデータに基づき仮想空間上の前記他拠点における被写体の３次元物体を生成する生成手段と、表示手段上で前記３次元物体の画像を仮想の覗き窓内に表示する表示制御手段と、を有することを特徴とする通信装置である。

以上説明したように本発明によれば、他拠点の被写体の不完全な画像を表示する場合であっても、あえて仮想空間上の３次元物体の画像を仮想の覗き窓内に表示して、覗き窓から被写体の全てを見ることが難しいという固定概念を利用することで、現実感が薄れてしまうことを抑制することができるという効果を奏する。

本発明の実施形態に係る通信システムの概略図である。 通信装置及びスマートフォンの電気的なハードウェア構成図である。 通信管理サーバの電気的なハードウェア構成図である。 全天球撮影装置の電気的なハードウェア構成図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 通信システムの機能ブロック図である。 画像種類管理テーブルの概念図である。 配置管理テーブルの概念図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の会議室の最適型空間を示した図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の面接室の最適型空間を示した図である。 ワールド座標系上の配置位置を示した概念図であり、仮想の講義室の最適型空間を示した図である。 （ａ）は通信管理テーブルの概念図、（ｂ）はセッション管理テーブルの概念図、（ｃ）は画像種類管理テーブルの概念図である。 ディスプレイ管理テーブルの概念図である。 ディスプレイ管理テーブルで管理するデータをディスプレイ上の点で視覚的に示した概念図である。 仮想空間情報管理テーブルの概念図である。 撮影装置管理テーブルの概念図である。 特定の通信セッションへの参加処理を示したシーケンス図である。 （ａ）は通信装置におけるログイン画面の表示例、（ｂ）はスマートフォンにおけるログイン画面の表示例である。 通信装置における仮想空間の種類の選択画面を示した図である。 （ａ）は仮想空間の種類が会議タイプの場合の役割の選択画面、（ｂ）は仮想空間の種類が面接タイプの場合の役割の選択画面、（ｃ）は仮想空間の種類が講義タイプの場合の役割の選択画面である。 通信装置に対する画像種類情報の管理処理を示したシーケンス図である。 スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。 全天球撮影装置から送信された輝度画像データ及び音データが各通信装置に届くまでの処理を示したシーケンス図である。 所定の通信装置から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。 送信される輝度画像データと深度画像データの概念図である。 通信装置１ｄによる画像データ及び音データの受信の処理を示すシーケンス図である。 画像表示の処理を示したフローチャートである。 ワールド座標系にける物体の位置の算出処理を示すフローチャートである。 物理空間（カメラ座標系）から第１の仮想空間（モデリング座標系）への変換による３次元化、及第１の仮想空間（モデリング座標系）から第２の仮想空間（ワールド座標系）への変換を示した概念図である。 モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイを配置した概念図である。 モデリング座標系からワールド座標系への変換を示したイメージ図である。 （ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の移動後の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想会議の場合のワールド座標系における傍観者の視線を示した図、（ｂ）は（ａ）の場合にスマートフォンが表示する画像の表示例である。 （ａ）は仮想面接の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 （ａ）は仮想講義の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。 従来のビデオ会議の場合のディスプレイにおける表示例である。

以下、図面を用いて、本発明の実施形態について説明する。

〔通信システムの概略〕
本実施形態の通信システムは、仮想空間（「仮想エリア」ともいう）で映像通話を行うたのシステムである。

まず、図１を用いて、本実施形態の通信システムの構成の概略について説明する。図１は、本発明の実施形態に係る通信システムの構成の概略図である。

図１に示されているように、本実施形態の通信システムは、複数の通信装置１ａ，１ｂ，１ｃ，１ｄ、通信管理サーバ６、全天球撮影装置８、及びスマートフォン９によって構築され、インターネット等の通信ネットワーク１００を介して通信することができる。通信ネットワーク１００の接続形態は、無線又は有線のいずれでも良い。

通信装置１ａ，１ｂ，１ｃ，１ｄは、ぞれぞれ、拠点Ａ，Ｂ，Ｃ，Ｄに配置されている。なお、以降、通信装置１ａ，１ｂ，１ｃ，１ｄのうちの任意の通信装置を「通信装置１」と示す。通信装置１は、自拠点の撮影及び集音を行い、他拠点で撮影されることで得られた画像及び他拠点で集音されることで得られた音を出力することができる。通信装置１については、後ほど詳細に説明する。

また、図１は、通信装置１ａ，１ｂ，１ｃ，１ｄが、それぞれ、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１によって利用されている場合を示している。例えば、通信装置１ａは、自拠点Ａの様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点Ｂ，Ｃ，Ｄ、Ｇの通信装置１ｂ，１ｃ，１ｄ及びスマートフォン９に対して、画像データ及び音データを送信する。同様に、通信装置ｂ１，１ｃ，１ｄは、自拠点の様子を撮影及び録音し、通信ネットワーク１００及び通信管理サーバ６を介して、他拠点の通信装置に対して、画像データ及び音データを送信する。スマートフォン９については後述する。

通信管理サーバ６は、コンピュータによって構成され、通信装置１及びスマートフォン９の通信を管理及び制御したり、送受信される画像データの種類（一般画像と特殊画像の種別）を管理したりする。よって、通信管理サーバは、通信制御サーバでもある。なお、通信管理サーバ６は、単一又は複数のコンピュータによって構成されている。複数のコンピュータによって構成されている場合には、通信管理サーバは、通信管理システム（又は通信制御システム）でもある。

全天球撮影装置８及びスマートフォン９は、拠点Ｇにいる利用者Ｇによって利用されている。利用者Ｇ１は、拠点Ｇで全天球撮影装置８を持って拠点Ｇの様子を撮影及び録音し、スマートフォン９、通信ネットワーク１００及び通信管理サーバ６を介して、各通信装置１ａ，１ｂ，１ｃ，１ｄに、画像データ及び音データを送信する。

全天球撮影装置８は、被写体や風景等を撮影して全天球パノラマ画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。この場合の全天球撮影装置８は、単独で通信ネットワーク１００に接続できないため、Wi-Fi(Wireless Fidelity)やBluetooth（登録商標）等の無線通信技術を利用して、一旦、スマートフォン９に画像データ及び音データを送信する。そして、スマートフォン９が通信ネットワーク１００を介して、通信管理サーバ６等の他の装置やサーバに画像データ及び音データを送信する。なお、全天球撮影装置８として、単独で通信ネットワーク１００に接続できる仕様の装置であってもよい。

スマートフォン９は、上述のように、全天球撮影装置８から画像データ及び音データを取得し、通信ネットワーク１００を介して、通信管理サーバ６及び通信装置１に画像データ及び音データを送信する。更に、スマートフォン９は、他拠点の通信装置１から取得した画像データ及び音データを再生する。

また、通信装置１及びスマートフォン９には、OpenGL ESがインストールされており、全天球画像の一部の領域を示す所定領域情報を作成したり、他の通信装置から送られて来た全天球画像から全天球画像の一部の領域である所定領域画像を作成したりすることができる。

なお、通信装置１には、デジタルテレビ、スマートフォン（スマートフォン９とは別装置）、スマートウオッチ、カーナビゲーション装置、医療機器等も含まれる。

〔ハードウェア構成〕
続いて、図２乃至図４を用いて、本実施形態の通信装置１、通信管理サーバ６、全天球撮影装置８、及びスマートフォン９のハードウェア構成を詳細に説明する。

＜通信管理サーバのハードウェア構成＞
まず、図２を用いて、通信管理サーバの電気的なハードウェア構成図について説明する。図２は、通信管理サーバの電気的なハードウェア構成図である。

図２に示されているように、通信管理サーバ６は、コンピュータとして、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＨＤ６０４、ＨＤＤ(Hard Disk Drive)コントローラ６０５、ディスプレイ６０６、外部機器接続Ｉ／Ｆ(Interface)６０８、ネットワークＩ／Ｆ６０９、バスライン６１０、ポインティングデバイス６１２、メディアＩ／Ｆ６１４を備えている。

これらのうち、ＣＰＵ６０１は、通信管理サーバ６全体の動作を制御する。ＲＯＭ６０２は、ＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＨＤ６０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ６０５は、ＣＰＵ６０１の制御にしたがってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ６０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ６０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢメモリやプリンタ等である。ネットワークＩ／Ｆ６０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バスライン６１０は、図２に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、ポインティングデバイス６１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。メディアＩ／Ｆ６１４は、フラッシュメモリ等の記録メディア６１３に対するデータの読み出し又は書き込み（記憶）を制御する。記録メディア６１３には、ＤＶＤやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等も含まれる。

＜全天球撮影装置のハードウェア構成＞
続いて、図３を用いて、全天球撮影装置の電気的なハードウェア構成図について説明する。図３は、全天球撮影装置の電気的なハードウェア構成図である。

全天球撮影装置８は、２つの撮像素子を使用した全天球（全方位）全天球撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置８と同じ機能を有するようにしてもよい。

図３に示されているように、全天球撮影装置８は、撮像ユニット８０１、画像処理ユニット８０４、撮像制御ユニット８０５、マイク８０８、音処理ユニット８０９、ＣＰＵ(Central Processing Unit)８１１、ＲＯＭ(Read Only Memory)８１２、ＳＲＡＭ(Static Random Access Memory)８１３、ＤＲＡＭ(Dynamic Random Access Memory)８１４、操作部８１５、外部機器接続Ｉ／Ｆ８１６、通信回路８１７、アンテナ８１７ａ、加速度・方位センサ８１８、及びMicro USB用の凹状の端子８１９によって構成されている。

このうち、撮像ユニット８０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）８０２ａ，８０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子８０３ａ，８０３ｂを備えている。撮像素子８０３ａ，８０３ｂは、魚眼レンズ８０２ａ，８０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット８０１の撮像素子８０３ａ，８０３ｂは、各々、画像処理ユニット８０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット８０１の撮像素子８０３ａ，８０３ｂは、撮像制御ユニット８０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット８０４、撮像制御ユニット８０５及び音処理ユニット８０９は、バス８１０を介してＣＰＵ８１１と接続される。さらに、バス８１０には、ＲＯＭ８１２、ＳＲＡＭ８１３、ＤＲＡＭ８１４、操作部８１５、外部機器接続Ｉ／Ｆ(Interface)８１６、通信回路８１７、及び加速度・方位センサ８１８なども接続される。

画像処理ユニット８０４は、撮像素子８０３ａ，８０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、正距円筒射影画像のデータを作成する。正距円筒射影画像は、丸い球体を平面である画像に変換した画像を意味しており、英語では、
クイレクタングラー(Equirectangular)という図法を用いている画像を示している。

撮像制御ユニット８０５は、一般に撮像制御ユニット８０５をマスタデバイス、撮像素子８０３ａ，８０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子８０３ａ，８０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ８１１から受け取る。また、撮像制御ユニット８０５は、同じくＩ２Ｃバスを利用して、撮像素子８０３ａ，８０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ８１１に送る。

また、撮像制御ユニット８０５は、操作部８１５のシャッターボタンが押下されたタイミングで、撮像素子８０３ａ，８０３ｂに画像データの出力を指示する。全天球撮影装置８によっては、ディスプレイ（例えば、スマートフォンのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子８０３ａ，８０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット８０５は、後述するように、ＣＰＵ８１１と協働して撮像素子８０３ａ，８０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置８にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク８０８は、音を音（信号）データに変換する。音処理ユニット８０９は、マイク８０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ８１１は、全天球撮影装置８の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ８１２は、ＣＰＵ８１１のための種々のプログラムを記憶している。ＳＲＡＭ８１３及びＤＲＡＭ８１４はワークメモリであり、ＣＰＵ８１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ８１４は、画像処理ユニット８０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部８１５は、シャッターボタン８１５ａなどの操作ボタンの総称である。ユーザは操作部８１５を操作することで、種々の撮影モードや撮影条件などを入力する。

外部機器接続Ｉ／Ｆ８１６は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやＰＣ(Personal Computer)等である。ＤＲＡＭ８１４に記憶された正距円筒射影画像のデータは、この外部機器接続Ｉ／Ｆ８１６を介して外付けの記録メディアに記録されたり、必要に応じて外部機器接続Ｉ／Ｆ８１６を介してスマートフォン等の外部端末（装置）に送信されたりする。

通信回路８１７は、全天球撮影装置８に設けられたアンテナ８１７ａを介して、Wi-Fi、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の近距離無線通信技術によって、スマートフォン等の外部端末（装置）と通信を行う。この通信回路８１７によっても、正距円筒射影画像のデータをスマートフォン等の外部端末（装置）に送信することができる。

加速度・方位センサ８１８は、地球の磁気から全天球撮影装置８の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報（メタデータ）の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。また、加速度・方位センサ８１８は、全天球撮影装置８の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。更に、加速度・方位センサ８１８は、３軸方向の加速度を検出するセンサである。全天球撮影装置８は、加速度・方位センサ８１８が検出した加速度に基づいて、自装置（全天球撮影装置８）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置８に、加速度・方位センサ８１８が設けられることによって、画像補正の精度が向上する。

Micro USB用の凹状の端子８１９は、図１に示されているスマートフォン９とWi-Fi等の無線ではなく有線で通信する場合にＵＳＢケーブル等を取り付けるための端子である。

＜通信装置のハードウェア構成＞
続いて、図４を用いて、通信装置及びスマートフォンの電気的なハードウェア構成図について説明する。図４は、通信装置及びスマートフォンの電気的なハードウェア構成図である。

通信装置１は、例えば、タブレット端末である。図４に示されているように、通信装置１は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＥＥＰＲＯＭ１０４、ＣＭＯＳセンサ１０５、撮像素子Ｉ／Ｆ１０６、加速度・方位センサ１０７、メディアＩ／Ｆ１０９、ＧＰＳ受信部１１１を備えている。

これらのうち、ＣＰＵ１０１は、通信装置１全体の動作を制御する。ＲＯＭ１０２は、ＣＰＵ１０１やＩＰＬ等のＣＰＵ１０１の駆動に用いられるプログラムを記憶する。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリアとして使用される。ＥＥＰＲＯＭ１０４は、ＣＰＵ１０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。撮影ユニット１０５は、ＣＰＵ１０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ１０６は、撮影ユニット１０５の駆動を制御する回路である。加速度・方位センサ１０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ１０９は、フラッシュメモリ等の記録メディア１０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部１１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、通信装置１は、遠距離通信回路１１２、撮影ユニット１１３、撮像素子Ｉ／Ｆ１１４、マイク１１５、スピーカ１１６、音入出力Ｉ／Ｆ１１７、ディスプレイ１１８、外部機器接続Ｉ／Ｆ(Interface)１１９、近距離通信回路１２０、近距離通信回路１２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路１１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。撮影ユニット１１３は、ＣＰＵ１０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種であり、詳細は後述する。撮像素子Ｉ／Ｆ１１４は、撮影ユニット１１３の駆動を制御する回路である。マイク１１５は、音を電気信号に変える内蔵型の回路である。スピーカ１１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ１１７は、ＣＰＵ１０１の制御に従ってマイク１１５及びスピーカ１１６との間で音信号の入出力を処理する回路である。ディスプレイ１１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ１１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ１１８を押下することで、通信装置１を操作する入力手段の一種である。

また、通信装置１は、バスライン１１０を備えている。バスライン１１０は、図４に示されているＣＰＵ１０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

ここで、撮影ユニット１１３について説明する。撮影ユニット１０５は、輝度カメラ１０５ａ、深度カメラ１０５ｂ、及びこれらと撮影素子Ｉ／Ｆを電気的に接続するバスライン１０５ｅを備えている。これらのうち、輝度カメラ１０５ａは、ＣＣＤやＣＭＯＳ等の撮像素子を用いて、受光した光を電気信号に変換して画像データを得るデバイスである。例えば、ＲＧＢカラーカメラが含まれる。

深度カメラ１０５ｂは、人や物等の被写体を撮像して、ＬｉＤＡＲによるレーザ方式により、被写体から深度カメラ１０５ｂまでの距離を計測することで、深度画像のデータを取得する。深度カメラ１０５ｂは、被写体の形状を立体として捉えると共に、人の骨格等のさまざまな動きを検出して、その後の処理にリアルタイムに反映させることができるカメラである。そのため、深度カメラ１０５ｂは、レーザ発信機１０５ｂ１及びレーザ受信機１０５ｂ２によって構成されている。レーザ発信機１１３ｂ１は、レーザ光を照射する。レーザ発信機１０５ｂ１が照射したレーザ光が被写体で反射し、このときの反射光であるレーザ光をレーザ受信機１１３ｂ２が受光して電気信号に変換し、必要な情報を取り出す。なお、上記では、ＬｉＤＡＲにより深度を計測する方式を記載しているが、これに限るものではない。例えば、ＴＯＦ方式により深度を計測する方式を用いてもよい。また、通常のカメラであるＲＧＢカラーカメラによってステレオ計測による方法で深度を計測してもよく、深度を計測する方法については、上記の記載に限られるものではない。

なお、撮影ユニット１１３は、輝度カメラ１１３ａ、深度カメラ１１３ｂ、及びこれらと撮影素子Ｉ／Ｆを電気的に接続するバスライン１１３ｅを備えている。また、深度カメラ１１３ｂは、更に、レーザ発信機１１３ｂ１及びレーザ受信機１１３ｂ２を備えている。輝度カメラ１１３ａ、深度カメラ１１３ｂ、バスライン１１３ｅ、レーザ発信機１１３ｂ１及びレーザ受信機１１３ｂ２は、それぞれ、撮影ユニット１０５において、それぞれ、輝度カメラ１０５ａ、深度カメラ１０５ｂ、バスライン１０５ｅ、レーザ発信機１０５ｂ１及びレーザ受信機１０５ｂ２と同じ構成であるため、これらの説明を省略する。

なお、上記各プログラムが記憶されたＣＤ－ＲＯＭ等の記録媒体、並びに、これらプログラムが記憶されたＨＤは、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。

また、スマートフォン９は、通信装置１と同様の構成を有しているため、その説明を省略する。なお。図４において、スマートフォン９の各構成に対しては括弧で符号が付されている。

〔実施形態の機能構成〕
次に、図５乃至図１７を用いて、本実施形態の機能構成について説明する。図５乃至図７は、通信システムの機能ブロック図である。

＜通信装置の機能構成＞
ここで、通信装置１のうち、通信装置１ａの機能構成について説明する。

図５に示されているように、通信装置１ａは、検知部３０ａ、送受信部３１ａ、受付部３２ａ、画像・音処理部３３ａ、表示制御部３４ａ、判断部３５ａ、集音部３８ａ、記憶・読出処理部３９ａ、及び検知部４０を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ１０４からＲＡＭ１０３上に展開された通信装置用のプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、通信装置１ａは、図４に示されているＲＯＭ１０２、ＲＡＭ１０３、及びＥＥＰＲＯＭ１０４によって構築される記憶部３０００ａを有している。

更に、通信装置１ａは、ＣＰＵ１０１からの命令によって撮影ユニット１０５を動作させることによって実現される機能として、輝度画像取得部３６ａ、深度画像取得部３７ａ、及び集音部３８ａを有している。撮影ユニット１０５によって実現される機能については、破線で囲まれている。

（画像種類管理テーブル）
図８は、画像種類管理テーブルを示す概念図である。記憶部３０００ａには、画像種類管理テーブルによって構成されている画像種類管理ＤＢ３００３ａが構築されている。この画像種類管理テーブルでは、画像データＩＤ(Identification)、送信元の接続ＩＤ、及び画像種類情報が関連付けて記憶されて管理されている。これらのうち、画像データＩＤは、映像通信を行なう際の画像データを識別するための画像データ識別情報の一例である。同じ送信元から送信される画像データには、同じ画像データＩＤが付加されている。これにより、送信先（受信側の通信装置）は、受信した画像データの送信元を特定することができる。送信元の接続ＩＤは、通信装置又は通信装置の利用者を識別するためのＩＤである。接続ＩＤは、通信管理サーバ６によって付与された権限内で利用できる識別子である。なお、接続ＩＤは、通信装置１ａを識別するための装置ＩＤであってもよい。接続ＩＤは接続識別情報の一例、利用者ＩＤは利用者識別情報の一例、及び、装置ＩＤは装置識別情報の一例である。

画像種類情報は、関連付けられている画像データＩＤで示される画像データに係る画像を特定するための名称であり、例えば、ソース名が挙げられる。画像種類情報は、所定の名称の命名規則に従い、ＰＣ３ａによって作成される。ここでは、画像種類情報として、「Video_Depth」、「Video_Omni」、及び「Video」が示されている。これらは順に画像種類が「深度画像を含む輝度画像」による映像、「全天球画像である輝度画像」による映像、「平面画像である輝度画像」による映像である旨を示している。なお、全天球画像は特殊画像の一例であり、平面画像は一般画像の一例である。

例えば、接続ＩＤが「０１ａａ」の通信装置１ａは、画像データＩＤ「ＲＳ００１」によって示される画像データを送信していることが示されている。更に、画像種類情報によって示される画像の種類は、「Video_Depth」である。

なお、画像データ以外のデータについても、画像データＩＤと関連付けて管理してもよい。画像データ以外のデータは、例えば、音データ、画面共有時の資料データである。

（配信管理テーブル）
図９は、配置管理テーブルを示す概念図である。記憶部３０００ａには、配置管理テーブルによって構成されている配置管理ＤＢ３００６ａが構築されている。この配置管理テーブルでは、仮想空間種類ＩＤ、仮想空間種類、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続ＩＤが関連付けて記憶されて管理されている。

これらのうち、仮想空間種類ＩＤは、映像通話を行う仮想の空間の種類を識別するための仮想空間種類式別情報の一例である。仮想空間種類は、仮想空間の種類を示す情報である。換言すると、仮想空間（仮想エリア）は、仮想空間上の特定の領域、特定の区域、又は特定の範囲を示している。図９では、仮想空間種類は、仮想の会議室、仮想の面接室、及び仮想の講義室が示されているが、これらだけに限定されるものではない。例えば、仮想部屋の一部分に設置された仮想ブースも含まれる。また、屋内又は屋外（野外）の仮想イベント会場等も含まれる。イベントは、例えば、所定の場所及び時刻で行う事や、特別に企画して開かれる事を示している。

役割は、仮想空間種類に応じて定められており、個人（若しくはグループ）に対して、割り当てられたり、必要とされたり、又は期待されたりする行動や活動である。また、役割は、図９に示されているもの以外に、接客の案内者、接客の顧客、商談の営業マン、商談の顧客等であってもよい。また、役割には、社長や部長等の役職も含まれる。

モデリング座標系からワールド座標系への変換パラメータは、後述の図３２に示されているように、物体を第１の仮想空間上のモデリング座標系から第２の仮想空間上のワールド座標系へ変換する場合に用いられる変換パラメータ、及び回転のパラメータを示す。この回転のパラメータは、加速度・方位センサ１０７から出力されたデータであり、（パン、チルト、ロール）を示す。

接続ＩＤは、画像種類管理テーブルの接続ＩＤと同じ概念であるため、説明を省略する。

なお、コンピュータグラフィックス（ＣＧ）で描く仮想世界は、世界の基準となる１つの座標系を設ける。これをワールド座標系（World coordinate system）と呼ぶ。物体の形像を直接ワールド座標系で与えると、物体がワールド座標系内で移動するごとに、物体の形状を定義しなおさなければならない。そこで、コンピュータグラフィックスの３次元画像で物体の形状を決定する（モデリングという）座標系を定めている。この座標系をモデリング座標系（Modeling coordinate system）という。

ここで、別の表現によって、ワールド座標とモデリング座標とを説明する。ワールド座標系は、コンピュータグラフィックスで表示する物体は空間全体を表す座標系を示す。空間の中での物体の位置を示すための座標系で、物体の配置や移動を扱うために用いられる。各立体がどのような位置、向きで置かれているかを記述することができる。全てワールド座標系という一つの大きな空間で,最初から全ての物体をこの座標系上で定義したのでは表示処理の扱いが困難となる.そのため、空間中に配置される個々の立体の形状や変形を扱うためにモデリング座標が用いられる。立体のいずれかの頂点や近傍などに原点を取り、立体を構成する点や線、面などの位置や向きなどを記述する。個々のモデリング座標系で自由に定義された表示物体を全て統一されたワールド座標系上に配置し、グラフィックス空間、又は仮想的な３次元世界を作成することができる。

ここで、図１０乃至図１２を用いて、各仮想空間の最適型空間を説明する。

（（仮想の会議室））
図１０は、ワールド座標系上の配置位置を示した概念図であり、仮想の会議室の最適型空間を示した図である。図１０には、仮想会議における役割毎の配置位置が示されている。図９における仮想の会議室の各利用者の役割である主催者、参加者(1)、参加者(2)、参加者(3)、及び傍観者は、図１０において、それぞれ、主催者位置ａ１１、参加者位置ａ１２、参加者位置ａ１３、参加者位置ａ１４、及び傍観者位置ａ１５に配置される。また、同様に、仮想のディスプレイの位置ｄ１１～ｄ１５は、それぞれ、主催者位置ａ１１、参加者位置ａ１２、参加者位置ａ１３、参加者位置ａ１４、及び傍観者位置ａ１５に合わせて配置されている。なお、ディスプレイの位置ｄ１１～ｄ１４は、図１に示されているような通信装置１ａ～１ｄのディスプレイの位置を示し、ディスプレイの位置ｄ１５は、スマートフォン９等の単一のディスプレイの位置を示している。

（（仮想の面接室））
図１１は、ワールド座標系上の配置位置を示した概念図であり、仮想の面接室の最適型空間を示した図である。図１１には、仮想面接における役割毎の配置位置が示されている。図９における仮想の面接室の各利用者の役割である面接者(1)、面接者(2)、面接者(3)、被面接者、及び傍観者は、図１１において、それぞれ、面接者位置ａ２１、面接者位置ａ２２、面接者位置ａ２３、被面接者位置ａ２４、及び傍観者位置ａ２５に配置される。また、同様に、ディスプレイの位置ｄ２１～ｄ２５の位置は、それぞれ、面接者位置ａ２１、面接者位置ａ２２、面接者位置ａ２３、被面接者位置ａ２４、及び傍観者位置ａ２５に合わせて配置されている。なお、ディスプレイの位置ｄ２１～ｄ２４は、図１に示されているような通信装置１ａ～１ｄのディスプレイの位置を示し、ディスプレイの位置ｄ２５は、スマートフォン９等の単一のディスプレイの位置を示している。

（（仮想の講義室））
図１２は、ワールド座標系上の配置位置を示した概念図であり、仮想の講義室の最適型空間を示した図である。図１２には、仮想講義における役割毎の配置位置が示されている。図９における仮想の会議室の各利用者の役割である講師（教師）、受講者（生徒）(1)、受講者（生徒）(2)、受講者（生徒）(3)、及び傍観者は、図１２において、それぞれ、講義者位置ａ３１、受講者位置ａ３２、受講者位置ａ３３、受講者位置ａ３４、及び傍観者位置ａ３５に配置される。また、同様に、ディスプレイの位置ｄ３１～ｄ３５の位置は、それぞれ、講義者位置ａ３１、受講者位置ａ３２、受講者位置ａ３３、受講者位置ａ３４、及び傍観者位置ａ３５に合わせて配置されている。なお、ディスプレイの位置ｄ３１～ｄ３４は、図１に示されているような通信装置１ａ～１ｄの３つのディスプレイの位置を示し、ディスプレイの位置ｄ３５は、スマートフォン９等の単一のディスプレイの位置を示している。

なお、図９乃至１４において、利用者及び仮想空間上の位置は全部で５つであるが、これに限るものではなく、いくつであってもよい。また、傍観者の位置も複数であっても良いし、複数の傍観者が仮想の会議室に入って単一の傍観者の位置に配置されるようにしてもよい。また、会議、面接、講義は、イベントの一例である。

（通信装置の各機能構成）
次に、図４及び図５を用いて、通信装置１ａの各機能構成について更に詳細に説明する。

通信装置１ａの検知部３０ａは、加速度・方位センサ１０７に対するＣＰＵ３０１からの命令によって実現され、通信装置１ａの移動方向及び回転方向を検知する。

送受信部３１ａは、ネットワークＩ／Ｆ３０９に対するＣＰＵ３０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信管理サーバ６）との間で各種データ（または情報）の送受信を行う。

受付部３２ａは、主に、キーボード１２、マウス１３、及びポインティングデバイス３１２に対するＣＰＵ３０１の処理によって実現され、利用者から各種の選択又は入力を受け付ける。

画像・音処理部３３ａは、主に、ＣＰＵ３０１の処理によって実現され、各種画像処理及び音処理を行う。例えば、画像・音処理部３３ａは、生成部としての役割を果たし、輝度画像及び深度画像のデータに基づき仮想空間上における被写体の３次元物体を生成する。

表示制御部３４ａは、主に、ＣＰＵ３０１の処理によって実現され、各ディスプレイ４ａ～４ｃに、各種画像を表示させる。

判断部３５ａは、主に、ＣＰＵ３０１の処理によって実現され、各種判断を行う。

輝度画像取得部３６ａは、主に、輝度カメラ５０１に対するＣＰＵ３０１の処理によって実現され、被写体を撮影することで、輝度画像のデータを取得する。ここでは、輝度画像と記載しているが、深度画像との対比のために用いている用語であり、輝度画像は、輝度情報のみを含む画像ではなく、色情報も有している。

深度画像取得部３７ａは、主に、深度カメラ５０２に対するＣＰＵ３０１の処理によって実現され、被写体を撮影することで、深度画像のデータを取得する。

集音部３８ａは、主に、マイク５０５に対するＣＰＵ３０１の処理によって実現され、集音して、音のデータを取得する。

記憶・読出処理部３９ａは、主に、ＣＰＵ３０１の処理によって実現され、記憶部３０００ａに、各種データ（または情報）を記憶したり、記憶部３０００ａから各種データ（または情報）を読み出したりする。

なお、通信装置１ｂ、１ｃ、１ｄは、通信装置１ａと同様の機能、記憶部、及びデータベースを有している。また、通信装置１ｂ，１ｃ，１ｄの機能は、それぞれ実質的にＰＣ３ｂ，３ｃ，３ｄによって実現されている。図５及び図６では、通信装置１ａにおける送受信部３１ａが、通信装置１ｂにおける送受信部３１ｂに対応するように、符号の末尾が、ａからそれぞれｂ，ｃ，ｄに変わるだけであるため、これらの説明を省略する。

＜通信管理サーバの機能構成＞
次に、図２及び図５を用いて、通信管理サーバ６の機能構成について説明する。図５は、通信管理サーバの機能構成図である。

図５に示されているように、通信管理サーバ６は、送受信部６１、判断部６５、作成部６６、及び記憶・読出処理部６９を有している。これら各部は、図２に示されている各構成要素のいずれかが、ＨＤ６０４からＲＡＭ６０３上に展開された通信管理（制御）用のプログラムに従ったＣＰＵ６０１からの命令によって動作することで実現される機能又は手段である。また、通信管理サーバ６は、図２に示されているＲＯＭ６０２、ＲＡＭ６０３、及びＨＤ６０４によって構築される記憶部６０００を有している。

（通信管理テーブル）
図１３（ａ）は、通信管理テーブルを示す概念図である。記憶部６０００には、図１３（ａ）に示されているような通信管理テーブルによって構成されている通信管理ＤＢ６００１が構築されている。この通信管理テーブルでは、通信管理サーバ６によって管理される全ての通信装置１の各接続ＩＤに対して、各パスワード及び各ＩＰアドレスが関連付けられて管理される。例えば、図１３示されている通信管理テーブルにおいて、通信装置１ａの接続ＩＤは「０１ａａ」で、パスワードは「ａａａａ」で、ＩＰアドレスはＩＰｖ４として「１．２．１．３」あることが示されている。なお、ＩＰアドレスは、簡易的に示されている。また、ＩＰアドレスは、ＩＰｖ４ではなくＩＰｖ６であってもよい。また、ＩＰアドレスでなく、ドメイン名（電子メールやホームページのアドレスとして使われている名称を示すような文字列）であってもよい。

（セッション管理テーブル）
図１３（ｂ）は、セッション管理テーブルを示す概念図である。記憶部６０００には、図１３（ｂ）に示されているようなセッション管理テーブルによって構成されているセッション管理ＤＢ６００２が構築されている。このセッション管理テーブルでは、セッションＩＤ、仮想空間種類ＩＤ、及び同じ通信セッションの映像通話に参加した通信装置の接続ＩＤが関連付けて記憶されて管理されている。このうち、セッションＩＤは、映像通話を実現する通信セッションを識別するためのセッション識別情報の一例であり、仮想の会議室等の仮想の空間毎に生成される。セッションＩＤをミィーティングＩＤとして代替することができてもよい。ミィーティングＩＤは、ミィーティング（２人以上の話合う事）を通信管理サーバで管理するための識別子を示めしている。なお、仮想空間種類ＩＤ及び参加した通信装置の接続ＩＤは、図９に示されている配置管理テーブルで管理されている仮想空間種類ＩＤ及び接続ＩＤと同じ概念であるため、これらの説明を省略する。

（画像種類管理テーブル）
記憶部６０００には、図１３（ｃ）に示されているような画像種類管理テーブルによって構成されている画像種類管理ＤＢ６００３が構築されている。この画像種類管理ＤＢ６００３は、上述した画像種類管理ＤＢ３００３ａに対して、セッションＩＤ（コミュニケーションＩＤ）の項目（属性）が追加されている。各項目（属性）は既に説明しているため、説明を省略する。

（ディスプレイ管理テーブル）
図１４は、ディスプレイ管理テーブルを示す概念図である。記憶部６０００には、図１４に示されているようなディスプレイ管理テーブルによって構成されているディスプレイ管理ＤＢ６００４が構築されている。このディスプレイ管理テーブルでは、ディスプレイのＧＵＩＤ(Globally Unique Identifier)のベンダＩＤとプロダクトＩＤ、物理空間上(リアル座標系)のディスプレイの縦と横のサイズ(各隅の位置)及び解像度、並びに仮想空間上（モデリング座標系）のディスプレイの各隅の位置が関連付けて記憶されて管理されている。なお、リアル座標系は、現実の世界である３次元の世界の任意の位置を基準とした座標系を示している。

ここで、図１５を用いて、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に説明する。図１５は、ディスプレイ管理テーブルで管理するデータで示される位置をディスプレイ上の点で視覚的に示した概念図である。

例えば、ディスプレイのＧＵＩＤが「vid_10ca&pid_0001」の場合、物理空間上（リアル座標系）のディスプレイ１１８のぞれぞれの四隅の位置を示す点が示されている。同じく通信装置のＧＵＩＤが「vid_10ca&pid_0001」の場合、仮想空間上（モデリング座標系）の３つのディスプレイのそれぞれの四隅の位置を示す点が示されている。

また、ディスプレイのＧＵＩＤが「vid_11ca&pid_0010」の場合、物理空間上（リアル座標系）のスマートフォン９の１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくスマートフォンのＧＵＩＤが「vid_11ca&pid_0010」の場合、仮想空間上（モデリング座標系）のスマートフォンの１つのディスプレイの四隅の位置を示す点が示されている。

更に、ディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、物理空間上（リアル座標系）の一般のノートＰＣの１つのディスプレイのぞれぞれの四隅の位置を示す点が示されている。同じくディスプレイのＧＵＩＤが「vid_12ca&pid_0100」の場合、仮想空間上（モデリング座標系）のノートＰＣの１つのディスプレイの四隅の位置を示す点が示されている。

（仮想空間情報管理テーブル）
図１６は、仮想空間情報管理テーブルを示す概念図である。記憶部６０００には、図１６に示されているような仮想空間情報管理テーブルによって構成されている仮想空間情報管理ＤＢ６００５が構築されている。この仮想空間情報管理テーブルでは、セッションＩＤ（コミュニケーションＩＤ）、仮想空間種類、及び役割名が関連付けて記憶されて管理されている。セッションＩＤ（コミュニケーションＩＤ）、及び仮想空間種類は、それぞれ上述のセッション管理ＤＢ６００２の「セッションＩＤ（コミュニケーションＩＤ）」及び「仮想空間種類」の項目（属性）と同じ概念であるため、説明を省略する。また、役割名は、上述の配置管理ＤＢ３００６ａの「役割」項目（属性）を名称として管理されている。

（通信管理サーバの各機能構成）
次に、図２及び図５を用いて、通信管理サーバ６の各機能構成について更に詳細に説明する。

通信管理サーバ６の送受信部６１は、ネットワークＩ／Ｆ６０９に対するＣＰＵ６０１の処理によって実現され、通信ネットワーク１００を介して、他の装置（例えば、通信装置１、スマートフォン９）との間で各種データ（または情報）の送受信を行う。

判断部６５は、主に、ＣＰＵ６０１の処理によって実現され、各種判断を行う。

作成部６６は、主にＣＰＵ６０１の処理によって実現され、画像データＩＤを作成する。

記憶・読出処理部６９は、主に、図２に示されているＨＤＤ６０５に対するＣＰＵ６０１の処理によって実現され、記憶部５０００に各種データ（または情報）を記憶したり、記憶部５０００から各種データ（または情報）を読み出したりする。

＜全天球撮影装置の機能構成＞
次に、図３及び図７を用いて、全天球撮影装置８の機能構成について説明する。

図７に示されているように、全天球撮影装置８は、受付部８２、撮影部８３、集音部８４、判断部８５、通信部８８、及び記憶・読出処理部８９を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＲＡＭ８１３からＤＲＡＭ８１４上に展開された撮影装置用のプログラムに従ったＣＰＵ８１１からの命令によって動作することで実現される機能又は手段である。

また、全天球撮影装置８は、図３に示されているＲＯＭ５１２、ＳＲＡＭ５１３、及びＤＲＡＭ５１４によって構築される記憶部８０００を有している。記憶部８０００には、自装置のＧＵＩＤが記憶されている。

（全天球撮影装置の各機能構成）
次に、図３及び図７を用いて、全天球撮影装置８の各機能構成について更に詳細に説明する。

全天球撮影装置８の受付部８２は、主に、図３に示されている操作部５１５に対するＣＰＵ８１１の処理によって実現され、利用者からの操作入力を受け付ける。

撮影部８３は、主に、図３に示されている撮像ユニット８０１、画像処理ユニット８０４、及び撮像制御ユニット８０５に対するＣＰＵ８１１の処理によって実現され、被写体や風景等を撮像し、全天球画像を構成する２つの半球画像のデータを得る。

集音部８４は、図３に示されているマイク８０８及び音処理ユニット８０９に対するＣＰＵ８１１の処理によって実現され、全天球撮影装置８の周囲の音を集音する。

判断部８５は、主に、ＣＰＵ８１１の処理によって実現され、各種判断を行う。

通信部８８は、主に、通信回路８１７に対するＣＰＵ８１１の処理によって実現され、スマートフォン９の後述の通信部９８と、NFC規格、Bluetooth、Wi-Fi等による近距離無線通信技術によって通信することができる。

記憶・読出処理部８９は、主に、図３に示されているＣＰＵ８１１の処理によって実現され、記憶部８０００に各種データ（または情報）を記憶したり、記憶部８０００から各種データ（または情報）を読み出したりする。

＜スマートフォンの機能構成＞
次に、図４及び図６を用いて、スマートフォン９の機能構成について詳細に説明する。図６に示されているように、スマートフォン９は、送受信部９１、受付部９２、画像・音処理部９３、表示制御部９４、判断部９５、作成部９６、算出部９７、通信部９８、及び記憶・読出処理部９９を有している。これら各部は、図４に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ９０４からＲＡＭ９０３上に展開されたスマートフォン９用のプログラムに従ったＣＰＵ９０１からの命令によって動作することで実現される機能又は手段である。

また、スマートフォン９は、図４に示されているＲＯＭ９０２、ＲＡＭ９０３、及びＥＥＰＲＯＭ９０４によって構築される記憶部９０００を有している。

（撮影装置管理テーブル）
図１７は、撮影装置管理テーブルを示す概念図である。記憶部８０００には、図１７に示されているような撮影装置管理テーブルによって構成されている撮影装置管理ＤＢ９００１が構築されている。この撮影装置管理テーブルでは、全天球画像の元になる２つの半球画像を得ることができる撮影装置のＧＵＩＤのベンダＩＤとプロダクトＩＤが記憶されて管理されている。ＧＵＩＤとしては、例えば、ＵＳＢデバイスで利用されるベンダＩＤ(ＶＩＤ)とプロダクトＩＤ(ＰＩＤ)が利用できる。スマートフォン９は、所定のサーバからベンダＩＤとプロダクトＩＤをダウンロードする等によって取得する。

（画像種類管理テーブル）
記憶部９０００には、画像種類管理ＤＢ３００３ａと同様のデータ構造である画像種類管理ＤＢ９００３が構築されている。画像種類管理ＤＢ６００３を構成する画像種類管理テーブルについては、既に図８で説明したため、説明を省略する。

（配置管理テーブル）
記憶部９０００には、配置管理ＤＢ３００６ａと同様のデータ構造である配置管理ＤＢ９００６が構築されている。配置管理ＤＢ９００６を構成する配置管理テーブルについては、既に図９乃至図１２で説明したため、説明を省略する。

〔実施形態の処理又は動作〕
続いて、図１８乃至図３７を用いて、本実施形態の処理又は動作について説明する。

＜映像通話への参加＞
まず、図１８乃至図２１を用いて、特定の仮想空間への参加処理について説明する。図１８は、特定の仮想空間への参加処理を示したシーケンス図である。図１９は、通信装置におけるログイン画面の表示例である。なお、スマートフォンにおけるログイン画面も同様である。図２０は、仮想空間の種類の選択画面を示した図である。図２１において、（ａ）は仮想空間の種類が会議タイプ（会議の種類）の場合の役割の選択画面、（ｂ）は仮想空間の種類が面接タイプの場合の役割の選択画面、（ｃ）は仮想空間の種類が講義タイプの場合の役割の選択画面である。

まず、拠点Ａの利用者（例えば、利用者Ａ１）は、表示制御部３４ａがディスプレイ１１８上に表示するログイン画面（図１９参照）において、自己の接続ＩＤ及びパスワードを入力し、「ＯＫ」ボタンを押下すると、受付部３２ａが接続ＩＤ及びパスワードを受け付け、送受信部３１ａが通信管理サーバ６に対して、ログイン要求を送信する（Ｓ２１）。このログイン要求には、接続ＩＤ、パスワード、及び送信元（通信装置１ａ）のＩＰアドレスが含まれている。これにより、通信管理サーバ６の送受信部６１は、ログイン要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ログイン要求に含まれている接続ＩＤ及びパスワードを検索キーとして、通信管理ＤＢ６００１（図１３（ａ）参照）を検索し、同一の接続ＩＤ及び同一のパスワードの組が管理されているかを判断することによって認証を行う（ステップＳ２２）。ここでは、記憶・読出処理部６９によって、同一の接続ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部６９は、ステップＳ２１で受信された送信元のＩＰアドレスを、認証に使った接続ＩＤ及びパスワードの組のレコードに追記する。

次に、記憶・読出処理部６９は、仮想空間情報管理ＤＢ６００５から、全てのレコードのデータである仮想空間情報を読み出す（Ｓ２３）。そして、送受信部６１は、通信装置１ａに対して、認証が成功した旨の応答を送信する（Ｓ２４）。この応答には、仮想空間情報が含まれている。これにより、通信装置１ａの送受信部１１ａは、応答を受信する。

次に、通信装置１ａでは、表示制御部３４ａが仮想空間情報に基づいて、ディスプレイ１１８上に、仮想空間選択画面（図２０参照）を表示する（Ｓ２５）。この仮想空間選択画面には、選択対象である仮想空間の種類を示す各選択ボタンｂ１，ｂ２，ｂ３が表示されている。ここでは、仮想空間の種類として、仮想の会議室、仮想の面接室、及び仮想の講義室を示す選択ボタンｂ１，ｂ２，ｂ３が表示されている。また、各選択ボタンｂ１等には、各セッションＩＤが関連付けられている。

ここで、利用者Ａ１が所望の選択ボタン（ここでは「選択ボタンｂ１」）を選択すると、受付部３２ａは、仮想空間の種類（通信セッション）の選択を受け付ける（ステップＳ２６）。

更に、通信装置１ａでは、表示制御部３４ａが仮想空間情報に基づいて、ディスプレイ１１８上に、仮想の会議室に入る場合の役割を示す役割選択画面（図２１（ａ）参照）を表示する（Ｓ２７）。この役割選択画面には、選択対象である役割を示す各選択ボタンｂ１１，ｂ１２，ｂ１３が表示されている。ここで、利用者Ａ１が所望の選択ボタン（ここでは「選択ボタンｂ１１」）を選択すると、受付部３２ａは、役割の選択を受け付ける（ステップＳ２８）。そして、送受信部３１ａは、通信管理サーバ６に対して、主催者として仮想の会議室への参加要求を送信する（ステップＳ２９）。この参加要求には、ステップＳ２６で選択を受け付けられた通信セッションを示すセッションＩＤ及び仮想空間種類ＩＤ、ステップＳ２８で選択を受け付けられた役割、並びに要求元である通信装置１ａの接続ＩＤが含まれている。これにより、通信管理サーバ６の送受信部５１は、参加要求を受信する。

次に、記憶・読出処理部６９は、セッション管理ＤＢ６００２（図１３（ｂ）参照）に対して、仮想空間への参加処理を行う（Ｓ３０）。具体的には、記憶・読出処理部６９は、セッション管理ＤＢ６００２において、ステップＳ２９で受信されたセッションＩＤと同じセッションＩＤのレコードに対して、ステップＳ２９で受信された仮想空間種類ＩＤ及び参加した通信装置１ａの接続ＩＤを関連付けて管理する。

次に、記憶・読出処理部６９は、配置管理ＤＢ６００６に対して、ステップ２８で選択された仮想空間種類における役割に接続ＩＤを登録する（Ｓ３１）。ここでは、記憶・読出処理部６９は、仮想の会議室における主催者を示す仮想空間種類ＩＤ及び接続ＩＤのレコードの接続ＩＤの項目（属性）に、通信装置１ａの利用者Ａ１の接続ＩＤである「０１ａａ」を登録する。

次に、通信管理サーバ６の送受信部６１は、通信装置１ａに対して、ステップＳ２９に対する参加要求応答を送信する（Ｓ３２）。この参加要求応答には、ステップＳ３１で登録されることで更新された配置管理ＤＢ６００６内の全てのデータである配置管理情報が含まれている。これにより、通信装置１ａの送受信部１１ａは、参加要求応答を受信する。なお、配置管理情報は、配置管理ＤＢ６００６内の全てのデータではなく、更新されたレコード部分のデータ（仮想空間種類ＩＤ、仮想空間種類、役割、モデリング座標系からワールド座標系への変換パラメータ、及び接続ＩＤの各データ）であってもよい。そして、通信装置１ａでは、記憶・読出処理部１９ａは、配置管理ＤＢ３００６ａに対して、ステップＳ３２で受信された配置管理情報を上書き登録する（Ｓ３３）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置１ａが新たに特定の役割で参加した旨を伝えることで、配置管理情報を共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、既に仮想の会議室に参加している利用者の通信装置（ここでは、通信装置１ｂ）に対して、通信装置１ａの利用者Ａ１が参加した旨を示す参加情報を送信する（Ｓ３４）。この参加情報には、ステップＳ３２で送信された配置管理情報と同じ内容の配置管理情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、参加情報を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１３（ｂ）参照）で、通信装置１ａの接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、通信装置１ａと同じ仮想の会議室に入っている他の通信装置である。

次に、通信装置１ｂでは、記憶・読出処理部１９ｂが、配置管理ＤＢ３００６ｂに対して、ステップＳ３４で受信された配置管理情報を上書き登録する（Ｓ３５）。

なお、ステップＳ２６において、利用者Ａ１が図２０の選択ボタンｂ２を選択した場合には、ステップＳ２７において、表示制御部３４ａは、図２１（ｂ）に示されているような役割選択画面を表示させる。また、ステップＳ２６において、利用者Ａ１が図２０の選択ボタンｂ３を選択した場合には、ステップＳ２７において、表示制御部３４ａは、図２１（ｃ）に示されているような役割選択画面を表示させる。

なお、上記では、図２０示されている仮想空間の種類を示す各選択ボタンｂ１等の選択後、図２１に示されている役割を示す各選択ボタンｂ１１等の選択によって、合計２回の選択が行われるが、これに限るものではない。例えば、図２０において、コミュニケーションの目的（仮想空間の種類毎及び役割）を示す合計９つの選択ボタンが表示されるようにしてもよい。９つの選択ボタンは、例えば、会議室における主催者、会議室における参加者、会議室における傍観者、面接室における面接者、面接室における被面接者、面接室における傍観者、講義室における講師（教師）、講義室における受講者（生徒）、及び講義室における傍観者と表示される。なお、コミュニケーションは、意思、感情、又は思考などの情報伝達を示し、言語、文字又は身振りなどを媒介として行われる行為である。

＜画像種類情報の管理処理＞
続いて、図２２及び図２３を用いて、画像種類情報の管理処理について説明する。図２２は、通信装置に対する画像種類情報の管理処理を示したシーケンス図である。図２３は、スマートフォンに対する画像種類情報の管理処理を示したシーケンス図である。

（通信装置に対する画像種類情報の管理処理）
まずは、図２２を用いて、通信装置に対する画像種類情報の管理処理について説明する。

通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、情報追加要求を送信する（Ｓ４１）。この情報追加要求には、送信元である自装置（通信装置１ａ）の接続ＩＤ、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ６の送受信部６１は、情報追加要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ステップＳ４１によって受信された接続ＩＤを検索キーとして、セッション管理ＤＢ６００２（図１３（ｂ）参照）を検索することにより、対応するセッションＩＤを読み出す（Ｓ４２）。

次に、作成部６６は、固有の画像データＩＤを作成する（Ｓ４３）。そして、記憶・読出処理部６９は、画像種類管理ＤＢ６００３（図１３（ｃ）参照）に、新たなレコードとして、ステップＳ４２で読み出されたセッションＩＤ、ステップＳ４３で生成された画像データＩＤ、並びに、ステップＳ４１で受信された送信元の接続ＩＤ及び画像種類情報を関連付けて記憶する（Ｓ４４）。更に、記憶・読出処理部６９は、ディスプレイ管理ＤＢ６００４（図１４参照）に、１レコードのデータであるディスプレイ情報を記憶する（Ｓ４５）。これにより、各通信装置１のディスプレイ情報を一元管理することができる。

次に、通信管理サーバ６の送受信部６１は、通信装置１ａに対して、ステップＳ４３で生成された画像データＩＤを送信する（Ｓ４６）。これにより、通信装置１ａの送受信部３１ａは、画像データＩＤを受信する。

次に、通信装置１ａの記憶・読出処理部３９ａは、画像種類管理ＤＢ３００３ａ（図８参照）に対し、自装置（通信装置１ａ）の接続ＩＤ及び画像種類情報に関連づけて、ステップＳ４６で受信された画像データＩＤを記憶する（Ｓ４７）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、通信装置１ａの画像データＩＤ、接続ＩＤ、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、通信装置１ａと同じ仮想の会議室に参加している他の通信装置（例えば、通信装置１ｂ）に対して、情報追加通知を送信する（Ｓ４８）。この情報追加通知には、ステップＳ４３で生成された画像データＩＤ、並びに、ステップＳ５１で受信された送信元である通信装置１ａの接続ＩＤ及び画像種類情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、情報追加通知を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１３（ｂ）参照）で、通信装置１ａの接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、通信装置１ａと同じ仮想の会議室に入っている他の通信装置である。また、通信管理サーバ６は、ステップＳ４８において、ステップ４１で受信したディスプレイ情報を送信しない。ディスプレイ情報は、他の通信装置では使用されないからである。

次に、通信装置１ｂの記憶・読出処理部３９ｂは、画像種類管理ＤＢ３００３ｂ（図８参照）に、新たなレコードとして、ステップＳ４８で受信された、画像データＩＤ、送信元である通信装置１ａの接続ＩＤ、及び画像種類情報を関連付けて記憶する（Ｓ４９）。

なお、情報追加通知の送信後に、通信装置１ａと同じ仮想の会議室に参加者した通信装置１に対しては、通信管理サーバ６が、上記ステップＳ４６等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ＩＤ及び画像種類情報を送信する。

以上より、同じ仮想空間に参加した全ての通信装置は、他の通信装置の画像種類情報を共有することができる。

（スマートフォンに対する画像種類情報の管理処理）
続いて、図２３を用いて、スマートフォンに対する画像種類情報の管理処理について説明する。

まず、拠点Ｇの利用者Ｇ１は、表示制御部９４がディスプレイ９１８上に表示するログイン画面（図１９（ｂ）参照）において、自己の接続ＩＤ及びパスワードを入力し、「ＯＫ」ボタンを押下すると、受付部９２が接続ＩＤ及びパスワードを受け付け、送受信部９１が通信管理サーバ６に対して、ログイン要求を送信する（Ｓ６１）。このログイン要求には、接続ＩＤ、パスワード、及び送信元（スマートフォン９）のＩＰアドレスが含まれている。これにより、通信管理サーバ６の送受信部６１は、ログイン要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ログイン要求に含まれている接続ＩＤ及びパスワードを検索キーとして、通信管理ＤＢ６００１（図１３（ａ）参照）を検索し、同一の接続ＩＤ及び同一のパスワードの組が管理されているかを判断することによって認証を行う（Ｓ６２）。ここでは、記憶・読出処理部６９によって、同一の接続ＩＤ及び同一のパスワードが管理されているものとして、続けて説明する。この場合、記憶・読出処理部６９は、ステップＳ６１で受信された送信元のＩＰアドレスを、認証に使った接続ＩＤ及びパスワードの組のレコードに追記する。

次に、送受信部６１は、スマートフォン９に対して、認証が成功した旨の応答を送信する（Ｓ６３）。この応答には、仮想空間情報が含まれている。これにより、スマートフォン９の送受信部９１は、応答を受信する。

次に、拠点Ｇの利用者Ｇ１が、全天球撮影装置８の操作部８１５を操作することで、受付部８２が操作を受け付け、記憶・読出処理部８９が記憶部８０００に記憶されている自装置（全天球撮影装置８）のＧＵＩＤを読み出し、通信部８８がスマートフォン９の通信部９８に対して自装置のＧＵＩＤを送信する（Ｓ６４）。これにより、スマートフォン９の通信部９８は、全天球撮影装置８のＧＵＩＤを受信する。

次に、スマートフォン９の判断部９５は、撮影装置管理ＤＢ９００１（図１７参照）において、ステップＳ６４によって受信されたＧＵＩＤ中のベンダＩＤ及びプロダクトＩＤと、同じベンダＩＤ及びプロダクトＩＤが管理されているか否かを判断することで、画像種類を判断する（Ｓ６５）。具体的には、撮影装置管理ＤＢ９００１において、同じベンダＩＤ及びプロダクトＩＤが管理されている場合には、判断部９５は、送信者の撮影装置（ここでは、全天球撮影装置８）が全天球画像を取得する撮影装置であると判断する。これに対して、撮影装置管理ＤＢ９００１において、同じベンダＩＤ及びプロダクトＩＤが管理されていない場合には、判断部９５は、送信元の撮影装置が一般画像を撮影する撮影装置であると判断する。

次に、記憶・読出処理部９９は、画像種類管理ＤＢ９００３（図８参照）に対して、送信元である自装置（スマートフォン９）の接続ＩＤと、ステップＳ６５で判断された判断結果である画像種類情報とを関連付けて記憶する（Ｓ６６）。この状態では、画像データＩＤは関連付けられていない。

以降、ステップS６７～Ｓ７５の処理は、上述のステップＳ４１～４９の処理において、基本的に通信装置１ａがスマートフォン９に替わっただけであり、その他の処理は同じである。

即ち、スマートフォン９の送受信部９１は、通信管理サーバ６に対して、情報追加要求を送信する（Ｓ６７）。この情報追加要求には、送信元である自装置（スマートフォン９）の接続ＩＤ、画像種類情報、及びディスプレイ情報が含まれている。これにより、通信管理サーバ６の送受信部６１は、情報追加要求を受信する。

次に、通信管理サーバ６の記憶・読出処理部６９は、ステップＳ６７によって受信された接続ＩＤを検索キーとして、セッション管理ＤＢ６００２（図１３（ｂ）参照）を検索することにより、対応するセッションＩＤを読み出す（Ｓ６８）。

次に、作成部６６は、固有の画像データＩＤを作成する（Ｓ６９）。そして、記憶・読出処理部６９は、画像種類管理ＤＢ６００３（図１３（ｃ）参照）に、新たなレコードとして、ステップＳ６８で読み出されたセッションＩＤ、ステップＳ６９で生成された画像データＩＤ、並びに、ステップＳ６７で受信された送信元の接続ＩＤ及び画像種類情報を関連付けて記憶する（Ｓ７０）。更に、記憶・読出処理部６９は、ディスプレイ管理ＤＢ６００４（図１４参照）に、１レコードのデータであるディスプレイ情報を記憶する（Ｓ７１）。

次に、通信管理サーバ６の送受信部６１は、スマートフォン９に対して、ステップＳ６９で生成された画像データＩＤを送信する（Ｓ７２）。これにより、スマートフォン９の送受信部９１は、画像データＩＤを受信する。

次に、スマートフォン９の記憶・読出処理部３９ａは、画像種類管理ＤＢ３００３ａ（図８参照）に対し、自装置（スマートフォン９）の接続ＩＤ及び画像種類情報に関連づけて、ステップＳ７２で受信された画像データＩＤを記憶する（Ｓ７３）。

また、通信管理サーバ６は、同じ仮想の会議室に参加している通信装置がある場合、この通信装置に対して、スマートフォン９の画像データＩＤ、接続ＩＤ、及び画像種類情報を伝えることで、情報共有する必要がある。そこで、通信管理サーバ６の送受信部６１は、スマートフォン９と同じ仮想の会議室に参加している他の通信装置（例えば、通信装置１ｂ）に対して、情報追加通知を送信する（Ｓ７４）。この情報追加通知には、ステップＳ６９で生成された画像データＩＤ、並びに、ステップＳ５１で受信された送信元であるスマートフォン９の接続ＩＤ及び画像種類情報が含まれている。これにより、通信装置１ｂの送受信部１１ｂは、情報追加通知を受信する。なお、送受信部６１の送信先は、セッション管理ＤＢ６００２（図１３（ｂ）参照）で、スマートフォン９の接続ＩＤと同じセッションＩＤに関連付けられている他の接続ＩＤある。即ち、送信先は、スマートフォン９と同じ仮想の会議室に入っている他の通信装置である。

次に、通信装置１ｂの記憶・読出処理部３９ｂは、画像種類管理ＤＢ３００３ｂ（図８参照）に、新たなレコードとして、ステップＳ７４で受信された、画像データＩＤ、送信元であるスマートフォン９の接続ＩＤ、及び画像種類情報を関連付けて記憶する（Ｓ７５）。

なお、情報追加通知の送信後に、スマートフォン９と同じ仮想の会議室に参加者した通信装置１に対しては、通信管理サーバ６が、上記ステップＳ７２等のタイミングで、既に同じ仮想の会議室に参加している他の通信装置の接続ＩＤ及び画像種類情報を送信する。

以上より、同じ仮想空間に参加した全ての通信装置及びスマートフォン９は、他の通信装置及びスマートフォン９の画像種類情報を共有することができる。

＜画像データ及び音データの送信＞
続いて、図２４乃至図２６を用いて、画像データ及び音データの送信処理について説明する。図２４は、全天球撮影装置から送信された輝度画像データ及び音データが各通信装置に届くまでの処理を示したシーケンス図である。図２５は、所定の通信装置から送信された輝度画像データ、深度画像データ及び音データが他の通信装置に届くまでの処理を示したシーケンス図である。図２６は、送信される輝度画像データと深度画像データの概念図である。

（スマートフォンから各通信装置への送信）
まず、図２４を用いて、スマートフォン９から通信管理サーバ６を介して、各通信装置１に画像データ（ここでは、輝度画像データ）及び音データを送信する場合の処理について説明する。

まず、全天球撮影装置８が、拠点Ｇで撮影及び集音を開始することで、撮影部８３が画像データ（ここでは、半球画像の２つの輝度画像データ）を取得すると共に集音部８４が音データを取得する（Ｓ８１）。この場合、全天球撮影装置８は、動画撮影を行うが、静止画撮影であってもよい。そして、通信部８８がスマートフォン９の通信部９８に対して、２つの輝度画像データ、及び音データを送信する（Ｓ８２）。これにより、スマートフォン９の通信部９８が、２つの輝度画像データ、及び音データを受信する。

次に、スマートフォン９の送受信部９１は、通信管理サーバ６に対して、全天球撮影装置８から送られてきた２つの輝度画像データ、及び音データに加え、送信元としてのスマートフォンの接続ＩＤを送信する（Ｓ８３）。この場合、２つの輝度画像データには、上記ステップＳ７２で受信された画像データＩＤが含まれている。これにより、通信管理サーバ６の送受信部６１は、２つの輝度画像データ（及び画像データＩＤ）、音データ、並びにスマートフォンの接続ＩＤを受信する。

次に、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図１３（ｂ）参照）を利用することで、スマートフォン９と同じ映像通話に参加している各通信装置１ａ～１ｄに対して、２つの輝度画像データ（及び画像データＩＤ）、音データ、並びにスマートフォンの接続ＩＤを送信する（Ｓ８４～Ｓ８７）。これにより、各通信装置１ａ～１ｄの送受信部３１ａ～３１ｄは、２つの輝度画像データ（及び画像データＩＤ）、音データ、並びにスマートフォンの接続ＩＤを受信する。

（所定の通信装置から他の通信装置及びスマートフォンへの送信）
次に、図２５を用いて、通信装置１ａから通信管理サーバ６を介して、複数の他の通信装置１ｂ，１ｃ，１ｄに画像データ（ここでは、輝度画像データ及び深度画像データ）並びに音データを送信する場合の処理について説明する。

まず、通信装置１ａは、拠点Ａで撮影及び集音を開始することで、輝度画像取得部３６ａが輝度画像データを取得し、深度画像取得部３７ａが深度画像データを取得し、集音部３８ａが音データを取得する（Ｓ１０１）。この場合、通信装置１ａは、動画撮影を行うが、静止画撮影であってもよい。

そして、通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ）及び音データに加え、送信元としての通信装置１ａの接続ＩＤを送信する（Ｓ１０２）。この場合、画像データには、上記ステップＳ４６で受信された画像データＩＤが含まれている。これにより、通信管理サーバ６の送受信部６１は、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを受信する。

ここで、図４及び図２６を用いて、送信される輝度画像データと深度画像データについて説明する。図４では、自画像撮り用の撮影ユニット１０５が設けられているため、画像データには、輝度画像Ｌｃ１のデータ及び深度画像Ｄｃ１のデータが含まれる。輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータは、撮影ユニット１０５によって取得されたデータである。

例えば、輝度画像Ｌｃ１及び深度画像Ｄｃ１のデータの解像度は、それぞれ４Ｋであるが、図２６に示されているように、送信元の通信装置１は、合計２のデータを１つの画像データに圧縮して合成することで、この１つの画像データの解像度が４Ｋになる。なお、４Ｋは一例であり、ＨＤ、ＦＨＤ、８Ｋ等であってもよい。

次に、図２５に戻り、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図１３（ｂ）参照）を利用することで、通信装置１ａと同じ映像通話に参加している他の各通信装置１ｂ～１ｄに対して、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを送信する（Ｓ１０３～Ｓ１０５）。これにより、各通信装置１ｂ，１ｃ，１ｄの送受信部３１ｂ，３１ｃ，３１ｄは、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを受信する。

なお、スマートフォン９は送信専用であるため、送信元が通信装置１の場合、通信管理サーバ６は、スマートフォン９に対して、画像データ、音データ、及び送信元である通信装置１ａの接続ＩＤを送信しない。但し、スマートフォンを通信装置１と同じように表示にも使う場合には、通信管理サーバ６は、スマートフォン９に対して、画像データ、音データ、及び送信元である通信装置１ａの接続ＩＤを送信しない。

＜画像データ及び音データの受信＞
続いて、図２７乃至図３７を用いて、画像データ及び音データの受信の処理について説明する。図２７は、通信装置１ｄによる画像データ及び音データの受信の処理を示すシーケンス図である。

図２７に示されているように、通信装置１ａの送受信部３１ａは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ）、音データ、及び送信元としての通信装置１ａの接続ＩＤを送信する（Ｓ１２１）。これにより、通信管理サーバ６の送受信部６１は、画像データ、音データ、及び通信装置１ａの接続ＩＤを受信する。このステップＳ１２１処理は、図２５のステップＳ１０２と同じである。そして、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図１３（ｂ）参照）を利用することで、通信装置１ａと同じ映像通話に参加している他の通信装置１ｄに対して、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ａの接続ＩＤを送信する（Ｓ１２２）。これにより、通信装置１ｄの送受信部３１ｄは、画像データ、音データ、並びに通信装置１ａの接続ＩＤを受信する。この処理は、図２５のステップＳ１０３と同じである。

同様に、通信装置１ｂの送受信部３１ｂは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ）、音データ、及び送信元としての通信装置１ｂの接続ＩＤを送信する（Ｓ１２３）。これにより、通信管理サーバ６の送受信部６１は、画像データ、音データ、及び通信装置１ｂの接続ＩＤを受信する。そして、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図１３（ｂ）参照）を利用することで、通信装置１ｂと同じ映像通話に参加している他の通信装置１ｄに対して、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ｂの接続ＩＤを送信する（Ｓ１２４）。これにより、通信装置１ｄの送受信部３１ｄは、画像データ、音データ、並びに通信装置１ｂの接続ＩＤを受信する。

更に、通信装置１ｃの送受信部３１ｃは、通信管理サーバ６に対して、画像データ（輝度画像データ、深度画像データ、画像データＩＤ）、音データ、及び送信元としての通信装置１ｃの接続ＩＤを送信する（Ｓ１２５）。これにより、通信管理サーバ６の送受信部６１は、画像データ、音データ、及び通信装置１ｃの接続ＩＤを受信する。そして、通信管理サーバ６の送受信部６１は、セッション管理ＤＢ６００２（図１３（ｂ）参照）を利用することで、通信装置１ｃと同じ映像通話に参加している他の通信装置１ｄに対して、画像データ（輝度画像データ、深度画像データ、及び画像データＩＤ）、音データ、並びに送信元である通信装置１ｃの接続ＩＤを送信する（Ｓ１２６）。これにより、通信装置１ｄの送受信部３１ｄは、画像データ、音データ、並びに通信装置１ｂの接続ＩＤを受信する。

以上により、通信装置１ｄは、他の拠点Ａ，Ｂ，Ｃの画像データ及び音データを取得することができる。

続いて、通信装置１ｄでは、画像・音処理部３３ｄが、ステップＳ１２２，Ｓ１２４，１２６及び、図２４のステップＳ８７によって受信された各データに基づいて、画像表示及び音出力の処理を行う（Ｓ１２７）。この場合、音出力は、各音データ（電気信号）を振動に変換する一般的な処理であるため、図２８を用いて、画像表示の処理について詳細に説明する。

＜画像表示の処理＞
図２８は、画像表示の処理を示したフローチャートである。

まず、記憶・読出処理部３９ｄは、図２４のステップＳ８７及び図２７のステップＳ１２２，Ｓ１２４，１２６によって受信された画像データＩＤを検索キーとして、画像種類管理ＤＢ３００３ｄを検索することで、対応する画像種類情報を読み出す（Ｓ２０１）。そして、画像種類情報が「Video_Depth」の場合（Ｓ２０２；輝度・深度画像）、ステップＳ２０３の処理に進む。また、画像種類情報が「Video_Omni」の場合（Ｓ２０２；全天球画像）、ステップＳ２１１の処理に進む。画像種類情報が「Video_Omni」の場合（Ｓ２０２；平面画像）、ステップＳ２０３の処理に進む。

（画像種類が輝度・深度画像の場合の表示処理）
ここで、画像種類が輝度・深度画像の場合の表示処理について説明する。

（（ワールド座標系にける物体の位置の算出処理））
最初に、通信装置１ｄは、ワールド座標系における物体の位置を算出する（Ｓ２０３）。ここで、図２９乃至図３２を用いて、画像種類が輝度・深度画像の場合の表示処理を詳細に説明する。図２９は、ワールド座標系にける物体の位置の算出処理を示すフローチャートである。

まず、画像・音処理部３３ｄが、仮想空間上（モデリング座標系）における自拠点を含めた各拠点の輝度画像データ及び深度画像データに基づいて、物体の画像を３次元化する（Ｓ２２１）。

ここで、図３０を用いて、物体の画像の３次元化を説明する。図３０は、カメラ座標系からモデリング座標系への変換、及びモデリング座標系からワールド座標系への変換の概念図である。なお、カメラ座標系は、現実の世界である３次元の世界を物理的なカメラを原点として投影面における世界の見え方を定める座標系である。リアル座標で与えられる座標を、カメラの座標系で見た座標系に変換する必要ある。

物理空間の複数の拠点の利用者の画像を仮想の会議室等の１つの仮想空間に登場させるため、画像・音処理部３３ｄは、各拠点の物理空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系(Modeling Coordinate System)で定義することで３次元化し、その後に、各物体の画像を１つのワールド座標系(World Coordinate System)で定義する必要がある。

そのため、まず、画像・音処理部３３ｄは、図２６に示されているようにカメラ座標系(Camera Coordinate System)にて定義された輝度画像Ｌａ及び深度画像Ｄａ等の５つの組の画像を、（式１）を利用して、１つの第１の仮想空間上（モデリング座標系）に変換することで、３次元化を行う。図３０では、物体として利用者Ａ１が表されている。この場合、モデリング座標系における利用者Ａ１の画像は、図３０の拡大図ｅｖに示されているように、多数の点の集合によって示される。本実施形態では、５台の輝度深度撮影デバイス５ａ～５ｅによって５アングルにより撮影されているため、利用者Ａ１の画像は、多数の点が重なった集合体として表される。このようにして、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１がそれぞれ独立して別々のモデリング座標系で定義される（３次元化される）。

なお、ベクトルＰは射影行列であり、ベクトルＰ-1は、カメラ座標系からリアル座標系へ変換するための行列である。ベクトルＭは、リアル座標系からモデリング座標系へ変換するための行列である。この出力値は、モデリング座標系の点（座標）及び色情報を示す。

次に、図２９に戻り、記憶・読出処理部３９ｄは、記憶部３０００ｄに記憶されている自装置（通信装置１ｄ）のディスプレイ情報を読み出すと共に、方位センサ（検知部３０ａ）が回転行列（０）のデータを出力する（Ｓ２２２）。そして、画像・音処理部３３ｄが、ディスプレイ情報における「仮想空間上（モデリング座標系）のディスプレイの各隅の位置の情報」に基づいて、モデリング座標系に自拠点の仮想ディスプレイ（仮想スクリーンともいう）ｄｄを配置する（Ｓ２２３）。図３１は、モデリング座標系に利用者Ｄ１の画像と仮想ディスプレイを配置した概念図である。例えば、画像・音処理部３３ｄは、図３１に示されているように、自拠点の利用者Ｄ１の画像に対して更に仮想ディスプレイｄｄ１を配置（定義）する。この場合、仮想ディスプレイｄｄ１は、方位センサ（検知部３０ａ）によって出力された回転行列（０）のデータに基づき、パン、チルト及びロールの回転がされる。換言すると、利用者Ａ１が、現実の通信装置１ａを回転させた方向が、仮想ディスプレイｄｄ１に反映されることを示している。

また、図２９に戻り、記憶・読出処理部３９ｄは、配置管理ＤＢ３００６ｄ（図９参照）から、同じ仮想の会議室に参加中の利用者（通信装置）の接続ＩＤに関連付けられている「モデリング座標系からワールド座標系への変換パラメータ」を読み出す（Ｓ２２４）。そして、画像・音処理部３３ｄは、各拠点の物体の画像及び各拠点の仮想ディスプレイ（仮想の覗き窓）を、仮想空間上においてモデリング座標系からワールド座標系にモデリング変換する（Ｓ２２５）。

ここで、再び図３０を用いて、モデリング座標系からワールド座標系への変換を説明する。

画像・音処理部３３ｄは、図３０に示されているように、モデリング座標系の利用者Ａ１の画像を、（式２）を利用して、１つの共通の第２の仮想空間上（ワールド座標系）にモデリング変換(Modeling Transformation)する。なお、モデリング変換は、モデリング座標系上で定義された表示物体をワールド座標系上に配置するための変換処理であり、表示物体の拡大縮小、回転、せん断及び平行移動という四つの変換処理の組み合わせを示す。

なお、ベクトルＷは、モデリング座標系からワールド座標系へ変換するための行列である。この出力値は、ワールド座標系の点（座標）及び色情報を示す。また、ベクトルＯは、回転（パン、チルト、ロール）させるための行列である。

図３２は、モデリング座標系からワールド座標系への変換を示したイメージ図である。図３２に示されているように、画像・音処理部３３ｄは、各モデリング座標系の利用者Ａ１～Ｄ１の画像及び自拠点の仮想ディスプレイｄｄ４を、１つの共通のワールド座標系にモデリング変換する。これにより、各拠点の利用者Ａ１～Ｄ１の画像が、共通の仮想の会議室に参加することができる。

なお、図３２に示されているように、本実施形態のワールド座標系には、全天球画像を貼り付けるための仮想球状壁ｃｗ、及び３次元化した平面画像を貼り付けるための仮想平面壁ｐｗが存在する。これに関しては後述する。

（（利用者が見える画像の表示））
続いて、図２８に戻り、利用者Ｄ１が通信装置１で見ることができる画像を表示する処理を説明する。

図２８に示されているように、画像・音処理部３３ａが、輝度画像取得部３６ｄによって取得された輝度画像データ及び深度画像取得部３７ｄによって取得された輝度画像データに基づき、利用者Ｄ１の目、鼻、肩等の骨格情報を検出する（Ｓ２０４）。

次に、画像・音処理部３３ａが、骨格情報の両目の中心を視点位置として、この視点位置に基づき、図３２の中央部に示されているようなワールド座標系における利用者Ｄ１が仮想ディスプレイｄｄによって見ることができる他の利用者Ａ１等の画像を作成する（Ｓ２０５）。換言すると、画像・音処理部３３ａは、ワールド座標系の表示物体を視点位置に基づき仮想ディスプレイｄｄに表示される画像に変換する。この変換は、ワールド座標系から視点座標系への変換を意味し、視野変換と呼ばれる。視点座標系は、仮想空間上でのカメラの位置（視点）を原点とし、利用者が見たい方向（被写体が存在する方向）に広がっている座標系である。

ワールド座標系において、視点から仮想ディスプレイｄｄ上の画素に向かうレイトレーシング(Ray Tracing)法によるレイ(ray)とポリゴン(３Ｄモデルを構成する仮想的な三角形や多角形等)との交点を計算する。このレイは、画像方向から視点に向かう光線を、視点から逆にたどるものである。この方法は、光線追跡法とよばれ、視線を逆に辿ることから、視線逆探索法とも呼ばれる。そして、視点に最も近い交点、すなわちレイと最初に交差する物体（コンピュータグラフィックスの分野では、上記「ポリゴン」と呼ばれる）を求め、その物体の色で仮想ディスプレイ上の画素を塗る。レイと交差する物体（ポリゴン）が存在しない場合には、画素に対して背景色を塗る。この処理を仮想ディスプレイｄｄ全体の画素に対して行うことにより仮想ディスプレイｄｄに表示される画像が作成される。

なお、光線追跡法以外にも、Ｚバッファ法などが存在し、仮想ディスプレイｄｄで表示される画像を作成する方法は、上記方法に限定されるものではない。

次に、画像・音処理部３３ａは、上記作成した仮想空間上（ワールド座標系）の画像を物理空間上の通信装置１ｄのディスプレイ４ａ～４ｃ上に表示するための画像に変換する（Ｓ２０６）。そして、表示制御部３４ｄは、物理空間上の通信装置１ｄのディスプレイ４ａ～４ｃ上に、ステップＳ２０６で変換した後の画像を表示する（Ｓ２０７）。この場合、ディスプレイ４ａ～４ｃに画像が表示される空間は２次元平面画像であり、解像度は、コンピュータの性能、特にビデオボード（又はグラフィックスボード）に搭載されている表示メモリなどのデバイスに依存するため、デバイス座標系と呼ばれる。

（画像種類が全天球画像の場合の表示処理）
次に、画像種類が全天球画像の場合の表示処理について説明する。

画像・音処理部３３ｄは、送受信部１１ｄによって受信された２つの輝度画像のデータから全天球画像のデータを作成し、この全天球画像を仮想空間上（ワールド座標系）に貼り付ける（Ｓ２１１）。この場合、画像・音処理部３３ｄは、２つの輝度画像である半球画像を合成し、１つの正距円筒射影画像ＥＣを作成する。そして、画像・音処理部３３ａは、OpenGL ES（Open Graphics Library for Embedded Systems）を利用することで、仮想球面（ここでは、図３２の仮想球状壁ｃｗの内壁面）に正距円筒射影画像を貼り付け、全天球画像のデータを作成する。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。

そして、ステップＳ２１１の処理後、上記ステップＳ２０６の処理に進む。

（画像種類が平面画像の場合の表示処理）
次に、画像種類が平面画像の場合の表示処理について説明する。この場合、平面画像であっても、画像・音処理部３３ａは、ステップＳ２０３以降の処理を行う。

＜画像の表示例＞
続いて、図３４乃至図３７を用いて、図２８におけるステップＳ２０７，Ｓ２１２，Ｓ２１４による様々な表示例を説明する。

（会議の参加者（利用者Ｄ１）に見せる表示例）
（（初期表示））
図３３において、（ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

ここでは、利用者Ｄ１は、通信装置１ｄを自分の真正面で使用してことにより、通信装置１ｄにおける自画像撮り用の撮影ユニット１０５が、利用者Ｄ１の真正面の方向（第２の方向の一例）から撮影する場合を示している。

図３３（ａ）に示されているように、仮想空間上（ここでは、ワールド座標系）において、利用者Ｄ１の視線の向こうには、左斜め前の少し奥の仮想の覗き窓ｗａ内に利用者Ａ１、真正面の仮想の覗き窓ｗｂ内に利用者Ｂ１、左横の仮想の覗き窓ｗｃ内に利用者Ｃ１が位置している。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３３（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ４ａ～４ｃ上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各仮想の覗き窓ｗａ，ｗｂ，ｗｃ及び利用者Ａ１，Ｂ１，Ｃ１の画像の全てを合成した合成画像を表示させる。

なお、各利用者の画像は、図２８のステップＳ２０７で、表示制御部３４ｄによって表示された画像である。また、全天球画像ＣＥは、図２８のステップ２１２で、表示制御部３４ｄによって表示された画像である。各利用者の画像及び全天球画像ＣＥは、実際には上記のごとく、合成画像として表示される。各利用者の画像及び全天球画像ＣＥの表示に関しては、以下同様である。

具体的には、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、左斜め前の少し奥に位置した仮想の覗き窓ｗａ内に表示され、利用者Ｂ１よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。また、利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、真正面の利用者Ａ１よりも近くに位置した仮想の覗き窓ｗｂ内に表示され、利用者Ａ１よりもサイズが大きく、顔の真正面が表された状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。更に、利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｃ１の画像は、左横の位置した仮想の覗き窓ｗｃ内に表示され、（利用者Ｄ１から見た場合の）顔の左側面が表された状態を見ることができるような１１８上の所定領域に表示されている。但し、利用者Ｃ１の顔の左側面は全て表示されない。図１に示されているように、利用者Ｃ１は、通信装置１ｃを自分の真正面で使用してことにより、図４の自画像撮り用の撮影ユニットが、利用者Ｃ１の真正面の方向（第１の方向の一例）から撮影する場合、利用者Ｃ１の顔の左側面は全て撮影できないからである。そのため、表示制御部３４ｄが左側の顔が切れた画像を表示すると、この画像を見る利用者Ｄ１には違和感が生じてしまう。そこで、本実施形態では、あえて仮想空間上の３次元物体の画像を仮想の覗き窓内に表示して、覗き窓から被写体の全てを見ることが難しいという固定概念を利用することで、見る人の違和感を抑制し、同室感が薄れてしまうことを抑制するようにしている。

（（回転後表示））
続いて、図３３（ｂ）の状態から、図３４（ｂ）に示されているように、利用者Ｄ１が物理空間で、自分の顔（視線）と共に若干左側（矢印方向）に回転（パン）した場合の表示例について説明する。図３４において、（ａ）は仮想会議の場合のワールド座標系における利用者Ｄ１の移動後の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

図３４（ａ）に示されているように、仮想空間（ワールド座標系）において、利用者Ｄ１の視線の向こうには、図３３（ａ）の場合よりも少し右側に移動したように見える利用者Ａ１、図３３（ａ）の場合よりも真正面から少し右側に移動したように見える利用者Ｂ１、及び図３３（ａ）の場合よりも左横から少し斜め左側に移動したように見える利用者Ｃ１が位置している。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３４（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ１１８上に、図３３（ｂ）に比べて少し右に移動した背景画像としての全天球画像ＣＥ、並びに、図３３（ｂ）に比べて少しサイズ及び表示面が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像を合成した合成画像を表示させる。

具体的には、利用者Ｄ１が全天球画像ＣＥを見た場合、全天球画像ＣＥは、図３３（ａ）の状態に対して、少し右側に移動した画像を見ることができるようにディスプレイ１１８上に表示されている。また、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、図３３（ａ）の状態に対して、少し右側に位置してサイズが少し大きくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、図３３（ａ）の状態に対して、真正面から少し右側に移動して少しサイズが小さくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｄ１の画像は、図３３（ａ）の状態に対して、左横から少し斜め左側に移動して少しサイズが大きくなった画像を見ることができるようなディスプレイ１１８上の所定領域に表示されている。

この場合も、仮想の覗き窓ｗａ，ｗｂ，ｗｃが表示されることにより、見る人の違和感を抑制するようにしている。

（会議の傍観者に見せる表示例）
図３５において、（ａ）は仮想会議の場合のワールド座標系における傍観者の視線を示した図、（ｂ）は（ａ）の場合にスマートフォンが表示する画像の表示例である。

図３５（ａ）に示されているように、仮想空間（ワールド座標系）において、傍観者（カメラ）Ｇ２の視線の向こうには、右斜め前の奥に利用者Ａ１、更に右寄りの右斜め前の手前側に利用者Ｂ１、左斜め前の奥に利用者Ｃ１、更に左寄りの左斜め前の手前側に利用者Ｄ１が位置している。なお、傍観者の場合、自分の姿の画像は各通信装置で表示されない。そのため、傍観者の場合、仮想空間上（ワールド座標系）の１つの位置に、複数の利用者が存在してもよい。

そして、この仮想空間上の状態は、図３５（ｂ）に示されているように、表示制御部９４によってディスプレイ９１８上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１，Ｄ１の画像を合成した合成画像で表示される。また、傍観者の場合、利用者Ａ１，Ｂ１，Ｃ１，Ｄ１のように、自分の姿は撮影されないため、図２８におけるステップＳ２０４～Ｓ２０７の処理は実行されない。即ち、傍観者Ｇ２は、スマートフォン９を上下左右に移動させても、又は自分の視点をスマートフォン９に対して上下左右に移動させても、表示制御部９４は、同じ状態の画像を表示させる。

具体的には、ディスプレイ９１８上には、利用者Ａ１の画像は、右斜め前の奥の所定領域に位置し、利用者Ｂ１よりもサイズが小さく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。また、ディスプレイ９１８上には、利用者Ｂ１の画像は、利用者Ａ１よりも更に右寄りの右斜め前の手前側の所定領域に位置し、利用者Ａ１よりもサイズが大きく、右肩側よりも左肩側の表示面積が大きい状態で表示されている。更に、ディスプレイ９１８上には、利用者Ｃ１の画像は、左斜め前の奥の所定領域に位置し、利用者Ｄ１よりもサイズが小さく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。また、ディスプレイ９１８上には、利用者Ｄ１の画像は、利用者Ｃ１よりも更に左寄りの左斜め前の手前側の所定領域に位置し、利用者Ｃ１よりもサイズが大きく、左肩側よりも右肩側の表示面積が大きい状態で表示されている。

この場合も、仮想の覗き窓ｗａ，ｗｂ，ｗｃ，ｗｄが表示されることにより、見る人の違和感を抑制するようにしている。なお、仮想の覗き窓ｗｄ内には、利用者Ｄ１の画像が表示されている。

また、傍観者Ｇ２は、図１の利用者Ｇ１であってもよく、利用者Ｇ１ではない別の利用者であってもよい。また、傍観者の人数が複数の場合、同じ位置に複数の利用者が傍観者として仮想会議等の仮想イベントに参加した状態になる。

（面接の被面接者（利用者Ｄ１）に見せる表示例）
図３６において、（ａ）は仮想面接の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

図３６（ａ）に示されているように、仮想空間（ワールド座標系）において、利用者Ｄ１の視線の向こうには、左斜め前に利用者Ａ１、真正面に利用者Ｂ１、右斜め前に利用者Ｃ１が位置している。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３６（ｂ）に示されているように、表示制御部３４ｄは、ディスプレイ１１８上に、背景画像としての全天球画像ＣＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像を合成した合成画像を表示させる。

具体的には、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、左斜め前に位置し、利用者Ｂ１よりもサイズが少し小さい状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。また、利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、真正面の利用者Ｂ１の状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。更に、利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｃ１の画像は、右斜め前に位置し、利用者Ｂ１よりもサイズが少し小さい状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。

この場合も、仮想の覗き窓ｗａ，ｗｂ，ｗｃが表示されることにより、見る人の違和感を抑制するようにしている。

（講義の受講者（利用者Ｄ１）に見せる表示例）
図３７において、（ａ）は仮想講義の場合のワールド座標系における利用者Ｄ１の視線を示した図、（ｂ）は（ａ）の場合に通信装置１ｄが利用者Ｄ１に見せる画像の表示例である。

図３７（ａ）に示されているように、仮想空間（ワールド座標系）において、利用者Ｄ１の視線の向こうには、左横に利用者Ａ１、左斜め前の少し奥に利用者Ｂ１、右横に利用者Ｃ１が位置している。なお、仮想空間上（ワールド座標系）の１つの位置に、原則として一人の利用者しか存在しない。

そして、この仮想空間上の状態を物理空間上の利用者Ｄ１がディスプレイ１１８で見ると、図３７（ｂ）に示されているように、表示制御部３４ｄがディスプレイ１１８上に、背景画像としての平面画像ＰＥ、並びにサイズ及び表示方向が異なる各利用者Ａ１，Ｂ１，Ｃ１の画像を合成した合成画像を表示させる。

平面画像ＰＥは、図２８のステップＳ２１４で、表示制御部３４ｄによって表示された画像である。各利用者の画像及び平面画像ＰＥは、実際には上記のごとく、合成画像として表示される。なお、講義に使用する画像は平面画像ＰＥではなく、全天球画像ＣＥであってもよい。

具体的には、利用者Ｄ１が利用者Ａ１の画像を見た場合、利用者Ａ１の画像は、左横の位置し、顔の右側面が表された状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。また、利用者Ｄ１が利用者Ｂ１の画像を見た場合、利用者Ｂ１の画像は、左斜め前の少し奥に位置し、利用者Ａ１，Ｃ１よりもサイズが小さい状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。更に、利用者Ｄ１が利用者Ｃ１の画像を見た場合、利用者Ｃ１の画像は、右横の位置し、顔の左側面が表された状態を見ることができるようなディスプレイ１１８上の所定領域に表示されている。

この場合も、仮想の覗き窓ｗａ，ｗｂ，ｗｃが表示されることにより、見る人の違和感を抑制するようにしている。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、他拠点の被写体の不完全な画像を表示する場合であっても、あえて仮想空間上の３次元物体の画像を仮想の覗き窓内に表示して、覗き窓から被写体の全てを見ることが難しいという固定概念を利用することで、現実感が薄れてしまうことを抑制することができるという効果を奏する。

また、例えば、通信装置１ａは、他の通信装置１ｂ，１ｃ，１ｄが送信した各画像データに基づく画像を、自装置（通信装置１ｄ）側の仮想空間上（ワールド座標系）の物体（利用者Ｄ１）における所定位置（例えば、両眼の間としての視点位置）及び仮想空間上（ワールド座標系）の複数の通信装置間の変更可能な位置関係（「配置関係」ともいう）（図１０～図１２）に応じて、ディスプレイ４上の所定領域に表示する（図３３（ｂ）、図３４（ｂ）、図３６（ｂ）、図３７（ｂ）参照）。これにより、複数の拠点の利用者が、拠点数やコミュニケーションの目的に応じた同室感を得ることが困難であるという課題をできるだけ解消することができるという効果を奏する。

また、例えば、通信装置１ｄは、仮想空間上の複数の通信装置間の位置関係が異なる複数の種類の情報（図２０参照）を表示し、仮想空間上の複数の通信装置間の位置関係が異なる複数の種類のうち、特定の種類（例えば、会議室）の選択を受け付ける。そして、通信装置１ｄは、他の通信装置が送信した画像データに基づく画像を、特定の種類に応じたディスプレイ４上の所定領域に表示する（例えば、図３３（ｂ）参照）。これにより、利用者は、コミュニケーションの目的に応じた仮想空間を選択し易くなるという効果を奏する。

〔補足〕
上記通信管理サーバ６は、単純に「サーバ」と呼んでも良い。通信管理サーバ６は、クラウドコンピューティング(Cloud Computing)の形態で提供されてもよい。クラウドコンピューティングとは、インターネットなどのコンピュータネットワークを経由して、コンピュータ資源をサービスの形で提供する利用形態を示し、提供されるコンピュータ資源がサーバである。提供するサービスの形態は、SaaS(Software as a Service)、PaaS(Platform as a Service)、HaaSまたはIaaS(Hardware / Infrastructure as a Service)等あるが、サービスの提供形態は、制限されない。

また、上記実施形態では、利用者が、図２０の選択ボタンｂ１～ｂ３の選択、及び図２１（ａ）～（ｃ）の各選択ボタンｂ１１～ｂ３３を選択することによって、仮想空間と役割が決定することになっているがこれに限るものではない。例えば、予め、通信管理サーバ６において、接続ＩＤ毎に仮想空間種類と役割を設定しておくことで、利用者Ａ１は、特段に、選択ボタンｂ１～ｂ３、及び選択ボタンｂ１１～ｂ３３を選択せずに、通信管理サーバ６が自動的に仮想空間種類及び役割を決定してもよい。

更に、上記実施形態では、図３０に示されているように、各通信装置１が、各拠点の物理空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系で定義することで３次元化し、その後に各物体の画像を１つのワールド座標系に変換させているが、これに限るものではない。例えば、通信管理サーバ６が、各拠点の物理空間の物体を、一旦、個別に第１の仮想空間としてのモデリング座標系で定義することで３次元化し、その後に各物体の画像を１つのワールド座標系に変換させてもよい。この場合、通信管理サーバ６は、ワールド座標系に変換後の画像データを各拠点の通信装置１に送信する。即ち、第１の通信装置（例えば、通信装置１ｄ）と、第２の通信装置（例えば、通信装置１ａ）と、サーバ（例えば、通信管理サーバ６）とを備える通信システムは、第１の通信装置で撮影した画像データと第２の通信装置で撮影した画像データを用いて、仮想空間上の第１の通信装置における被写体の位置と仮想空間上の第２通信装置における被写体の位置との変更可能な位置関係に応じて生成された表示画像を提供する提供手段と、前記提供手段で提供された表示画像を表示する表示制御手段とを備える。

また、図２６に示されているように、通信装置１ａは、自装置（通信装置１ａ）で複数の輝度画像Ｌａ～Ｌｅ及び深度画像Ｄａ～Ｄｅの合計１０のデータを１つの画像データに圧縮して合成した後に通信管理サーバ６に送信するが、これに限るものではない。例えば、通信装置１は、合計１０のデータをそのまま通信管理サーバ６に送信し、通信管理サーバ６が合計１０のデータを１つの画像データに圧縮して合成して、他の各通信装置１ｂ～１ｄに送信してもよい（Ｓ１０３～Ｓ１０５参照）。なお、送信元が通信装置１ａの場合だけでなく、通信装置１ｂ～１ｄの場合も同様の処理が行われる。

上記実施形態で説明した各ＣＰＵは、１つの装置に複数設けられていてもよい。

また、上記実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU（Graphics Processing Unit）や従来の回路モジュール等のデバイスを含むものとする。

更に、各通信装置１ａ～１ｄ、通信管理サーバ６、全天球撮影装置８、及びスマートフォン９の間の通信において、他のサーバやルータ等がデータを中継してもよい。

１ａ 通信装置（他の通信装置の一例、第１の他の通信装置の一例）
１ｂ 通信装置（他の通信装置の一例、第２の他の通信装置の一例）
１ｃ 通信装置（他の通信装置の一例）
１ｄ 通信装置（自装置の一例）
４ａ ディスプレイ（表示手段の一例）
４ｄ ディスプレイ（表示手段の一例）
４ｃ ディスプレイ（表示手段の一例）
６ 通信管理サーバ
８ 全天球撮影装置
９ スマートフォン
３１ａ 送受信部（送信手段の一例）
３０ｄ 検知部（検知手段の一例）
３１ｄ 送受信部（受信手段の一例）
３２ｄ 受付部（受付手段の一例）
３３ｄ 画像・音処理部〔生成部〕（生成手段の一例）
３４ｄ 表示制御部（表示制御手段の一例）
３６ｄ 輝度画像取得部（取得手段の一例）
３７ｄ 深度画像取得部（取得手段の一例）
ｂ１ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）
ｂ２ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）
ｂ３ 選択ボタン（位置関係が異なる複数の種類の情報のうちの特定の種類の情報の一例）

Claims (5)

1. 他拠点における他の通信装置と映像通話を行う通信装置であって、
   前記他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た前記他拠点の輝度画像及び深度画像のデータを、前記他の通信装置が送信することで受信する受信手段と、
   前記他拠点の輝度画像及び深度画像のデータに基づき仮想空間上の前記他拠点における被写体の３次元物体を生成する生成手段と、
   表示手段上で前記３次元物体の画像を仮想の覗き窓内に表示する表示制御手段と、
   自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する少なくとも１以上の取得手段と、
   前記自拠点の輝度画像及び深度画像のデータを、前記他の通信装置が受信すべく送信する送信手段と、
   を有し、
   前記生成手段は、前記自拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の自拠点における被写体の３次元物体を生成し、
   前記表示制御手段は、前記表示手段上で前記自拠点における被写体の３次元物体の視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を表示し、
   前記通信装置は、
   前記通信装置の前記表示手段に対する法線の方位を検知する検知手段を有し、
   前記検知手段による検知結果に基づいた前記視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を前記表示手段に表示すること
   を特徴とする通信装置。
2. 前記通信装置は、タブレット端末であることを特徴とする請求項１に記載の通信装置。
3. 他拠点における他の通信装置と、当該他の通信装置と映像通話を行う通信装置とを有する通信システムであって、
   前記他の通信装置は、当該他の通信装置が前記他拠点の被写体を撮影することで得た前記他拠点の輝度画像及び深度画像のデータを送信する送信手段を有し、
   前記通信装置は、
   前記他拠点の輝度画像及び深度画像のデータを受信する受信手段と、
   前記他拠点の輝度画像及び深度画像のデータに基づき仮想空間上の前記他拠点における被写体の３次元物体を生成する生成手段と、
   表示手段上で前記３次元物体の画像を仮想の覗き窓内に表示する表示制御手段と、
   自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する少なくとも１以上の取得手段と、
   前記自拠点の輝度画像及び深度画像のデータを、前記他の通信装置が受信すべく送信する送信手段と、
   を有し、
   前記生成手段は、前記自拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の自拠点における被写体の３次元物体を生成し、
   前記表示制御手段は、前記表示手段上で前記自拠点における被写体の３次元物体の視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を表示し、
   前記通信装置は、
   前記通信装置の前記表示手段に対する法線の方位を検知する検知手段を有し、
   前記検知手段による検知結果に基づいた前記視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を前記表示手段に表示すること
   を特徴とする通信システム。
4. 他拠点における他の通信装置と映像通話を行う通信装置が実行する表示方法であって、
   前記他拠点における他の通信装置が当該他拠点の被写体を撮影することで得た前記他拠点の輝度画像及び深度画像のデータを、前記他の通信装置が送信することで受信する受信ステップと、
   前記他拠点の輝度画像及び深度画像のデータに基づき仮想空間上の前記他拠点における被写体の３次元物体を生成する生成ステップと、
   表示手段上で前記３次元物体の画像を仮想の覗き窓内に表示する表示制御ステップと、
   自拠点の被写体を撮影することで当該自拠点の輝度画像及び深度画像のデータを取得する取得ステップと、
   前記自拠点の輝度画像及び深度画像のデータを、前記他の通信装置が受信すべく送信する送信ステップと、
   を実行し、
   前記生成ステップでは、前記自拠点の輝度画像及び深度画像のデータに基づき前記仮想空間上の自拠点における被写体の３次元物体を生成し、
   前記表示制御ステップでは、前記表示手段上で前記自拠点における被写体の３次元物体の視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を表示し、
   前記表示方法は、
   前記通信装置の前記表示手段に対する法線の方位を検知する検知ステップを実行し、
   前記検知ステップでの検知結果に基づいた前記視点から前記仮想の覗き窓の中が見えるように前記他拠点における被写体の３次元物体の画像を前記表示手段に表示すること
   を特徴とする表示方法。
5. コンピュータに、請求項４に記載の各ステップを実行させるためのプログラム。