JP6399606B2

JP6399606B2 - ビデオ会議システム及びビデオ会議方法

Info

Publication number: JP6399606B2
Application number: JP2016137332A
Authority: JP
Inventors: 正之保田
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2016-07-12
Filing date: 2016-07-12
Publication date: 2018-10-03
Anticipated expiration: 2036-07-12
Also published as: JP2018011142A; EP3451657B1; AU2017296487B2; US20190158786A1; EP3451657A1; CN109314760B; WO2018012191A1; CA3025888A1; AU2017296487A1; US10440326B2; CA3025888C; CN109314760A; EP3451657A4

Description

本発明は、ビデオ会議システム、アプリケーションサーバ、デバイス、ビデオ会議方法、及びビデオ会議用プログラムに関する。とりわけピアトゥピアリレー通信方式を用いたビデオ会議システム、アプリケーションサーバ、デバイス、ビデオ会議方法、及びビデオ会議用プログラムに関する。

近年、標準化が進むＷｅｂＲｅａｌ−ＴｉｍｅＣｏｍｍｕｎｉｃａｔｉｏｎ（ＷｅｂＲＴＣ）規格により、ブラウザ・アプリケーションおよびＷｅｂＲＴＣライブラリを含むネイティブアプリケーション上で非特許文献１にて開示されるような豊富なリアルタイム・メディア機能のセットを容易に提供することができるようになった。ＷｅｂＲＴＣおよびＨｙｐｅｒＴｅｘｔＭａｒｋｕｐＬａｎｇｕａｇｅ５（ＨＴＭＬ５）を使用することで、デバイスは別のデバイスと直接、メディア・フローを確立できるため、リアルタイムの双方向テレビ、音声、テキスト形式のメディア、および／またはデータ交換が可能になり、その利用も広がっている。

国際公開ＷＯ２０１１／０１０５６３号パンフレット

ＷｅｂＲＴＣ、［ｏｎｌｉｎｅ］、［平成２８年３月２９日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｗｅｂｒｔｃ．ｏｒｇ／＞

ＷｅｂＲＴＣでのメディア通信はデバイス間のピアトゥピアで行われるため、多人数参加のビデオ会議など複数の相手と通信する際には、ネットワーク形態がフルメッシュ型となり参加者が増えるごとに多くのデバイスの処理リソースと通信帯域を使用してしまう問題があった。

これを解決するにはＭＣＵ（ＭｕｌｔｉＣｏｎｔｒｏｌＵｎｉｔ）やＳＦＵ（ＳｅｌｅｃｔｉｖｅＦｏｒｗａｒｄｉｎｇＵｎｉｔ）を介したスター型のネットワーク形態として、デバイスの処理リソースまたは通信帯域を軽減するという方法がある。しかし、これらスター型の通信においてはメディア通信を統合あるいは中継するサーバに高い処理能力や大きな通信帯域が必要となり、その分導入のコストも必要となっている。

これに対し、ピアトゥピアで多人数参加のビデオ会議を実現する方法として、特許文献１に係る発明が存在する。かかる方式によれば、配信者が映像を相互に送受信する者を一部に制限することにより通信帯域の削減を実現しているが、完全な双方向通信は実現できていない。

そこで本発明は、メディア通信を中継するサーバを介さずにデバイス間のピアトゥピア通信のみによって双方向かつ多台数接続可能なメディア通信を実現するシステム、その装置、その方法、及びそのプログラムを提供することを目的とする。

本発明の第１の観点によれば、アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムであって、前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ね、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするビデオ会議システムが提供される。

本発明の第２の観点によれば、当該アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるアプリケーションサーバであって、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信するアプリケーションサーバが提供される。

本発明の第３の観点によれば、アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数の当該デバイスとを備えるビデオ会議システムで用いられるデバイスであって、前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信した際、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ね、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするデバイスが提供される。

本発明の第４の観点によれば、アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるビデオ会議方法であって、前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、
前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ね、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするビデオ会議方法が提供される。

本発明の第５の観点によれば、コンピュータを、当該アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるアプリケーションサーバとして機能させるためのビデオ会議用プログラムであって、前記アプリケーションサーバは、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信することを特徴とするビデオ会議用プログラムが提供される。

本発明によれば、ピアトゥピアリレー通信により、ビデオ会議システムにおける通信帯域の分散化および処理負荷の軽減が可能となる。

本発明の実施形態に係るビデオ会議システムの構成例を示す図である。本発明の実施形態に係るアプリケーションサーバの構成例を示す図である。本発明の実施形態に係るデバイスの構成例を示す図である。本発明の実施形態に係るアプリケーションサーバが定める画面レイアウト、及び、送受信フローが格納されたデバイス管理配列の情報の例を示す図である。本発明の実施形態に係るビデオ会議システムの動作フローを示すフローチャートである。本発明の実施形態に係るビデオ会議システムの動作フローを示すフローチャートである。本発明の実施形態に係るビデオ会議システムの映像送受信フローにおける遷移図である。本発明の実施形態に係るビデオ会議システムにおけるデバイス管理配列の情報の遷移を示す図である。本発明の実施形態に係るビデオ会議システムの映像送受信フローにおける遷移図である。本発明の実施形態に係るビデオ会議システムの動作フローを示すフローチャートである。本発明の実施形態に係るビデオ会議システムの動作フローを示すフローチャートである。本発明の実施形態に係るビデオ会議システムの映像送受信フローにおける遷移図である。本発明の実施形態に係るビデオ会議システムにおけるデバイス管理配列の情報の遷移を示す図である。

以下、本発明の実施形態について、図１乃至図１１を参照しながら詳述する。

本発明を、アプリケーションサーバを用いて提供するケースを例として挙げる。四者でのビデオ会議を行いたい場合、四者はそれぞれ映像入力を持つデバイスを用いてブラウザを起動し、アプリケーションサーバへアクセスする。アプリケーションサーバはコンテンツとしてＷｅｂアプリケーションを各デバイスへ送信する。

＜発明の構成＞
図１を参照すると、本発明に係るビデオ会議システム１００は、アプリケーションサーバ２００と、通信網３００を介して上記のアプリケーションサーバ２００に接続された、映像入力部と映像出力部とＷｅｂＲＴＣ機能を含むブラウザとを備える４台のデバイス４００−１乃至４００−４（これらを「デバイス４００」とも総称する）とを有している。アプリケーションサーバ２００は、Ｗｅｂサーバ機能とシグナリングサーバ機能とデバイス制御機能が動作するサーバであるが、詳細な構成については図２を用いて後述する。また、今回の説明では、デバイスが４台であると想定して説明を行うが、この台数はあくまで例示であり本実施形態の適用可能なデバイスの台数を限定するものではない。また、アプリケーションサーバ２００とデバイス４００および通信網３００は、ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）ケーブルを介して接続されている。

図２を参照すると、アプリケーションサーバ２００は、ＬＡＮＩ／Ｆモジュール２１０、Ｗｅｂサーバモジュール２２０、デバイス制御モジュール２３０、シグナリングサーバモジュール２４０、Ｗｅｂコンテンツデータベース２５０及びデバイス管理配列データベース２６０を有している。

ＬＡＮＩ／Ｆモジュール２１０は、Ｗｅｂサーバモジュール２２０、デバイス制御モジュール２３０、及び、シグナリングサーバモジュール２４０に接続され、ＬＡＮケーブルからの信号を受信し、上記の各モジュールに送信する機能を有する。また、上記の各モジュールから受信したデバイス４００又は通信網３００へのメッセージを、ＬＡＮケーブルに送出する機能を有する。なお、このＬＡＮＩ／Ｆモジュール２１０は、アプリケーションサーバ２００の受信手段及び送信手段に相当する。

Ｗｅｂサーバモジュール２２０は、上記のＬＡＮＩ／Ｆモジュール２１０とＷｅｂコンテンツデータベース２５０との間に位置する。当該Ｗｅｂサーバモジュール２２０は、デバイス４００又は通信網３００から送られてきたメッセージをＬＡＮＩ／Ｆモジュール２１０を介して受信し、受信したメッセージを解析する。更に、当該解析結果に基づき、Ｗｅｂコンテンツデータベース２５０に格納されたＷｅｂコンテンツを返送する。

デバイス制御モジュール２３０は、上記のＬＡＮＩ／Ｆモジュール２１０とデバイス管理配列データベース２６０との間に位置する。当該デバイス制御モジュール２３０は、デバイス４００又は通信網３００から送られてきたメッセージを、ＬＡＮＩ／Ｆモジュールを介して受信し、受信したメッセージを解析する。更に、当該解析結果に基づき、各デバイスの状態をデバイス管理配列データベース２６０に登録し、あるいは、デバイス管理配列データベース２６０に格納されたデータを更新した上で、デバイス制御メッセージをデバイス４００に送信する。ここで制御メッセージの具体例としては、「画面レイアウトに従いデバイス４００−１に映像を送信する」等のメッセージが挙げられる。

シグナリングサーバモジュール２４０は、ＬＡＮＩ／Ｆモジュール２１０に接続され、デバイス４００−１乃至４００−４から受信するシグナリングメッセージを、他のデバイスに転送する。受信するシグナリングメッセージについては、内容を解析して書き換えてもよいし、そのまま転送してしまっても構わない。なお、ここでいう「シグナリング」とは、主として、ピアトゥピア通信を開始するために必要な事前処理のことである。

図３を参照すると、デバイス４００は、映像出力部４１０、映像入力部４２０、ブラウザ４３０、送受信部４４０、及び記憶部４５０を有し、これらはバス４６０を用いて相互に通信することが可能となっている。映像出力部４１０は、他のデバイスに対して映像を出力する要素である。映像入力部４２０は、他のデバイスから映像を入力する要素である。ブラウザ４３０は、ＷｅｂＲＴＣ機能、更には、受信映像の表示と表示エリアを指定した画面映像の取り込みの機能を有する。送受信部４４０は、アプリケーションサーバ２００から送信されてくるＷｅｂアプリケーションを受信し、一方で、アプリケーションサーバ２００にメッセージを送信する要素である。記憶部４５０は、上記のアプリケーションサーバ２００から送信されてくるＷｅｂアプリケーション等を格納する要素である。また、デバイス４００は、上記のブラウザ４３０を備えず、その代わりに、受信映像の表示と表示エリアを指定した画面映像の取り込み機能を有するネイティブアプリケーションを、記憶部４５０に格納してもよい。

＜発明の動作＞
次に、図４、図７、図１１の画面レイアウト及び管理配列と、図５、図９のフローチャートと、図６、図８、図１０の映像送受信の遷移図を参照して、本発明の実施形態の動作について詳述する。ここでは、デバイス４００−１乃至４００−４がビデオ会議を開催する場合を例として説明する。

まず、アプリケーションサーバ２００は、デバイス制御モジュール２３０にて、図４で示される四者会議用の画面レイアウトと送受信フローを決定し（図５−１、ステップＳ１０１）、会議管理情報としてデバイス管理配列データベース２６０に登録する（図５−１、ステップＳ１０２）。具体的には、例えば、図４に示されるように画面中の左上の欄にデバイス４００−１の映像を表示し、左下の欄にデバイス４００−２の映像を表示し、右下の欄に４００−３の映像を表示し、右上の欄にデバイス４００−４の映像を表示するとする。また、デバイス４００−１は、デバイス４００−４からベースレイヤを受信し、自身が生成した映像をベースレイヤに重ねた上で、当該合成画像を、デバイス４００−２にベースレイヤとして送信するとする。デバイス４００−２は、デバイス４００−１からベースレイヤを受信し、自身が生成した映像をベースレイヤに重ねた上で、当該合成画像を、デバイス４００−３にベースレイヤとして送信するとする。デバイス４００−３は、デバイス４００−２からベースレイヤを受信し、自身が生成した映像をベースレイヤに重ねた上で、当該合成画像を、デバイス４００−４にベースレイヤとして送信するとする。デバイス４００−４は、デバイス４００−３からベースレイヤを受信し、自身が生成した映像をベースレイヤに重ねた上で、当該合成画像を、デバイス４００−１にベースレイヤとして送信するとする。

上記の会議管理情報に基づき、ＬＡＮＩ／Ｆモジュール２１０からデバイス４００−１乃至４００−４の各々にデバイス制御メッセージを送信する（図５−１、ステップＳ１０３）。

デバイス制御メッセージを受信したデバイス４００−１乃至４００−４は、各々画面レイアウトに基づいて送信映像を作成し、送受信フローに基づいて動画の送信を行う。また、各々が他のデバイスより受信した映像は、ベースレイヤとして送信映像の作成に使用される（図５−１、ステップＳ１０４−１乃至Ｓ１０４−４）。

このときの映像の遷移を図６に示す。デバイス４００−１は、まだ他のデバイスより映像を受信していないためベースレイヤに映像はないが、デバイス４００−１自身が生成した映像を、ベースレイヤの上層であってベースレイヤに向かって左上の位置に配置し、デバイス４００−２へ送信する。デバイス４００−２は、デバイス４００−１から受信した映像をベースレイヤとして、デバイス４００−２自身が生成した映像を、ベースレイヤの上層であってベースレイヤに向かって左下の位置に配置し、デバイス４００−３へ送信する。デバイス４００−３は、デバイス４００−２から受信した映像をベースレイヤとして、デバイス４００−３自身が生成した映像を、ベースレイヤの上層であってベースレイヤに向かって右下の位置に配置し、デバイス４００−４へ送信する。デバイス４００−４は、デバイス４００−３から受信した映像をベースレイヤとして、デバイス４００−４自身が生成した映像を、ベースレイヤの上層であってベースレイヤに向かって右上の位置に配置し、デバイス４００−１へ送信する。この時点でデバイス４００−１がデバイス４００−４から受信した映像は、デバイス４００−１乃至４００−４の各々が生成した映像を含んだ映像となる。デバイス４００−１が受信した映像がベースレイヤとして再生されると、以降デバイス４００−２及び４００−３のベースレイヤの映像もデバイス４００−１乃至４００−４の映像を含んだ映像となる。このように、デバイス４００の各々が送信と受信１本ずつのピアトゥピア通信のみをすることにより、ビデオ四者会議が完成する。

この時のデバイス管理配列の情報の遷移を図７に示す。最初は表（Ａ）に示すように、デバイス４００の各々は他のデバイスから映像を受信せず、自身が映像を生成するのみである。デバイス４００の各々は、生成した映像を、表（Ａ）の「送信先」の欄に示されたデバイスに対し、ベースレイヤとして送信する。自身が生成した映像、及び、映像の送信品質は、全て良好（ｇｏｏｄ）となっている。

次に、表（Ｂ）に示すように、デバイス４００の各々は、送受信フローにおいて自身の前段のデバイスから、画面映像をベースレイヤとして受信する。例えばデバイス４００−１の場合、デバイス４００−４からの画面映像をベースレイヤとして受信する。このデバイス４００−４から受信する、元々の「映像４」の品質は、表（Ａ）のデバイス４００−４の行の「映像４」の欄に記載の通り、良好（ｇｏｏｄ）である。更に、表（Ｂ）のデバイス４００−１の行の「受信品質」の欄に示されるように、「映像４」の受信品質も良好（ｇｏｏｄ）であるため、表（Ｂ）のデバイス４００−１の行の「映像４」の欄も良好（ｇｏｏｄ）となる。デバイス４００−１は、このデバイス４００−４から受信したベースレイヤの上層に、自身が生成した、品質が良好な「映像１」を重ね、デバイス４００−２に対して送信する。

次に、表（Ｃ）に示すように、デバイス４００の各々は、更に、送受信フローにおいて自身の前段のデバイスから画面映像をベースレイヤとして受信するが、受信するベースレイヤは、表（Ｂ）に示されるベースレイヤである。具体的には、デバイス４００−１は、デバイス４００−４からベースレイヤを受信するが、このデバイス４００−４から受信するベースレイヤは、表（Ｂ）のデバイス４００−４の列で示される画面映像、すなわち「映像３」と「映像４」の品質が良好（ｇｏｏｄ）となっている画面映像である。デバイス４００−１においては、このベースレイヤの上層に、自身が生成した、品質が良好な「映像１」の映像を重ねる。表（Ｃ）のデバイス４００−１の列においては、「映像３」及び「映像４」に加え、自身が生成しベースレイヤに重ねた「映像１」の品質が良好（ｇｏｏｄ）となっている。

最後に、表（Ｄ）に示すように、デバイス４００の全ての列において、「映像１」から「映像４」の全ての欄が埋まり、各々の品質が良好（ｇｏｏｄ）となっている。これは、表（Ｂ）から表（Ｃ）への遷移時と同様に、デバイス４００−１を例にとると、表（Ｃ）のデバイス４００−４の列で示される、「映像２」、「映像３」、「映像４」が良好（ｇｏｏｄ）となった画面映像を、ベースレイヤとしてデバイス４００−４から受信し、当該ベースレイヤに対して、自身が生成する、品質が良好な「映像１」を重ねたためである。

図５に戻ると、通信状態に変化があった場合、デバイス４００の各々は自身の送受信の通信品質情報を取得し、アプリケーションサーバ２００へ送信する（図５−２、ステップＳ１０５−１乃至Ｓ１０５−４）。

アプリケーションサーバ２００が通信品質情報を受信すると、デバイス制御モジュール２３０にて情報の解析を行い（図５−２、ステップＳ１０６）、各デバイスが表示している映像の品質情報を更新する（図５−２、ステップＳ１０７）。

ここで、ベースレイヤの映像は複数のデバイスを経由するため、途中の経路で映像の品質が落ちた場合、以降のデバイスでも映像の品質が落ちたままとなる。この場合の送受信フローにおける映像の遷移を、デバイス４００−３における映像の品質が悪化した例として図８に示す。デバイス４００−３において、全てのデバイスに対応する映像の品質が悪化したことにより、デバイス４００−３からデバイス４００−４に送信されるベースレイヤ内の全てのデバイスに対応する映像の品質も悪化したものとなる。

デバイス４００−４においては、全てのデバイスに対応する映像の品質が悪化したベースレイヤに対し、デバイス４００−４自身が生成した良好な映像を、ベースレイヤの上層であってベースレイヤに向かって右上の位置に重ねる。デバイス４００−４は、この右上の位置の映像のみが良好となった画面映像を、デバイス４００−１にベースレイヤとして送信する。

デバイス４００−１は、デバイス４００−４から受信した、右上の位置の映像のみが良好であるベースレイヤに対し、デバイス４００−１自身が生成した良好な映像を、ベースレイヤの上層であってベースレイヤに向かって左上の位置に重ねる。デバイス４００−１は、右上と左上の位置の映像のみが良好となった画面映像を、デバイス４００−２にベースレイヤとして送信する。

デバイス４００−２は、デバイス４００−１から受信した、右上と左上の位置のみが良好であるベースレイヤに対し、デバイス４００−２自身が生成した良好な映像を、ベースレイヤの上層であってベースレイヤに向かって左下の位置に重ねる。

すなわち、デバイス４００の各々が自身で生成する映像のうち、良好でないものは、デバイス４００−３が生成する映像のみであるにも関わらず、デバイス４００−１、４００−３、４００−４の画面映像においては、それ以外のデバイスに対応した映像も悪化したものとなる。そこで、ビデオ会議システム１００は、図９−１及び図９−２に記載のフローチャートに従った動作を実施する。

先述のように通信状態に変更があったデバイス４００−３は通信品質が悪化したという情報をアプリケーションサーバへと通知する（図９−１、ステップＳ１１１）。

通信品質が悪化したという情報を受信したデバイス制御モジュール２３０は、通信品質の悪化を検知する。これに伴い、デバイス制御モジュール２３０は、通信状態の悪化したデバイス４００−３からは自映像だけを通信状態のよいデバイス４００−４に送信すると共に、通信状態のよいデバイス４００−２から通信状態のよいデバイス４００−４へ、及び、通信状態のよいデバイス４００−４から通信状態の悪化したデバイス４００−３へベースレイヤ映像を送信するよう通信経路を変更する（図９−１、ステップＳ１１２）。更に、デバイス管理配列の通信状態情報を更新し（図９−１、ステップＳ１１３）、各デバイスへその旨通知を行う（図９−１、ステップＳ１１４）。

送受信フロー変更を受信した各デバイスは指示に従い動作を変更する（図９−１、ステップＳ１１５−１乃至Ｓ１１５−４)。具体的には、デバイス４００−２は、図５−１に記載のフローとは異なり、自身が生成した映像を、デバイス４００−３ではなく、デバイス４００−４に送信する。

経路変更後の送受信フローにおける映像の遷移を図１０に示す。前段のデバイスからベースレイヤを受信し、受信したベースレイヤに自身の映像を重ね、自身の映像を重ねた画面映像を、後段のデバイスにベースレイヤとして送信するループは、デバイス４００−１、デバイス４００−２、デバイス４００−４の３つのデバイスの中で閉じている。デバイス４００−３は、自身が生成した映像のみをデバイス４００−４に送信すると共に、デバイス４００−４は、自身の画面映像を、デバイス４００−３にベースレイヤとして送信する。これにより、デバイス４００−４は、ベースレイヤの品質を確保する。

この時のデバイス管理配列の情報の遷移を図１１に示す。なお、図１１（Ａ）は、図８における各デバイスの画面映像の品質を示すと共に、図１１（Ａ）から図１１（Ｂ）に遷移する前後で、通信経路が変更されている。通信経路変更により、デバイス４００−４のベースレイヤの映像品質が回復し、デバイス４００−１のベースレイヤの映像品質も回復する。

図９に戻ると、通信品質状態に変更があったデバイス４００は通信品質情報をアプリケーションサーバ２００へと通知する（図９−２、ステップＳ１１６−１乃至Ｓ１１６−４）。

アプリケーションサーバ２００が通信品質情報を受信すると、デバイス制御モジュール２３０にて通信品質情報の解析を行うことにより通信の回復を検知し（図５−２、ステップＳ１１７）、デバイス管理配列の通信状態情報を更新する（図５−２、ステップＳ１１８）。

本発明の実施形態では、ビデオ会議参加者が何人となっても、サーバが指示する画面レイアウトに基づき、各々のデバイスが自身で生成する映像と受信した映像とを重ねた画面映像を送信することにより、各デバイスが必要とするメディア通信は送信と受信１本ずつのピアトゥピア通信のみとなる。これにより、参加デバイス全てに参加デバイス全ての映像を送信するにあたり、通信帯域の分散化および処理負荷の軽減が可能となる。特に、本発明の実施形態は、ネットワーク帯域が細い場合、ＣＰＵの処理パフォーマンスが低いような場合、かつ多数の参加者がいるケースに有用である。

＜その他の実施例＞
上記の説明では、会議に参加するデバイスを４台としたが、任意のＮ台に拡張可能である。

アプリケーションサーバ２００に含まれるＷｅｂサーバモジュール２２０、デバイス制御モジュール２３０、シグナリングサーバモジュール２４０の各モジュールは１つのハードウェア内に構成する必要はなく、それぞれ別々に存在してもかまわない。

また、デバイス４００−１乃至４００−４は、必ずしも自身が生成する映像を送信しなくともよい。その場合、自身が生成する映像を送信しないデバイス以外のデバイスが送受信を行い、自身が生成する映像を送信しないデバイスは、そのどれか１つのデバイスから受信のみ行うことができる。送受信フローについてはアプリケーションサーバ２００のデバイス制御モジュール２３０において管理され、制御メッセージとしてデバイス４００−１乃至４００−４の各々へ送信される。

上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

なお、ビデオ会議システム、アプリケーションサーバ、デバイスの各部分は、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。また、上記のビデオ会議システム、アプリケーションサーバ、デバイスにより行われるビデオ会議方法も、ハードウェア、ソフトウェアのいずれか又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行すること、又は、ハードウェアがプログラムに相当するマイクロコードに従って動作することにより実現されることを意味する。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

上記の実施形態の一部または全部は、以下の付記のようにも記載されるが、以下には限られない。

（付記１）
アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムであって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、
前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするビデオ会議システム。

（付記２）
付記１に記載のビデオ会議システムであって、
前記少なくとも１つのデバイスは、通信状態に変化があった際、自身の送受信の通信品質情報を取得し、前記アプリケーションサーバに送信し、
前記アプリケーションサーバは、前記通信品質情報を受信すると、該通信品質情報の解析を行い、前記少なくとも１つのデバイスが表示している映像の品質を更新することを特徴とするビデオ会議システム。

（付記３）
付記２に記載のビデオ会議システムであって、
前記アプリケーションサーバが、前記少なくとも１つのデバイスから通信品質の悪化を示す前記通信品質情報を受信した際は、前記少なくとも１つのデバイスは、自身の後段となるデバイスに対し、自身が生成した映像のみを送信することを特徴とするビデオ会議システム。

（付記４）
付記３に記載のビデオ会議システムであって、前記少なくとも１つのデバイスは、自身の後段となるデバイスから、前記ベースレイヤとなる映像を受信することを特徴とするビデオ会議システム。

（付記５）
付記３又は４に記載のビデオ会議システムであって、
前記少なくとも１つのデバイスの後段となるデバイスは、前記少なくとも１つのデバイスの前段となるデバイスから、前記ベースレイヤとなる映像を受信することを特徴とするビデオ会議システム。

（付記６）
付記１乃至５のいずれか１に記載のビデオ会議システムであって、
前記複数のデバイスのうち少なくとも１つは、自身が生成した映像を他のデバイスに送信せず、他のデバイスのうちいずれか１つから、映像を受信することを特徴とするビデオ会議システム。

（付記７）
当該アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるアプリケーションサーバであって、
ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信するアプリケーションサーバ。

（付記８）
アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数の当該デバイスとを備えるビデオ会議システムで用いられるデバイスであって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信した際、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするデバイス。

（付記９）
アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるビデオ会議方法であって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、
前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするビデオ会議方法。

（付記１０）
付記９に記載のビデオ会議方法であって、
前記少なくとも１つのデバイスは、通信状態に変化があった際、自身の送受信の通信品質情報を取得し、前記アプリケーションサーバに送信し、
前記アプリケーションサーバは、前記通信品質情報を受信すると、該通信品質情報の解析を行い、前記少なくとも１つのデバイスが表示している映像の品質を更新することを特徴とするビデオ会議方法。

（付記１１）
付記１０に記載のビデオ会議方法であって、
前記アプリケーションサーバが、前記少なくとも１つのデバイスから通信品質の悪化を示す前記通信品質情報を受信した際は、前記少なくとも１つのデバイスは、自身の後段となるデバイスに対し、自身が生成した映像のみを送信することを特徴とするビデオ会議方法。

（付記１２）
付記１１に記載のビデオ会議方法であって、前記少なくとも１つのデバイスは、自身の後段となるデバイスから、前記ベースレイヤとなる映像を受信することを特徴とするビデオ会議方法。

（付記１３）
付記１１又は１２に記載のビデオ会議方法であって、
前記少なくとも１つのデバイスの後段となるデバイスは、前記少なくとも１つのデバイスの前段となるデバイスから、前記ベースレイヤとなる映像を受信することを特徴とするビデオ会議方法。

（付記１４）
付記９乃至１３のいずれか１に記載のビデオ会議方法であって、
前記複数のデバイスのうち少なくとも１つは、自身が生成した映像を他のデバイスに送信せず、他のデバイスのうちいずれか１つから、映像を受信することを特徴とするビデオ会議方法。

（付記１５）
コンピュータを、当該アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるアプリケーションサーバとして機能させるためのビデオ会議用プログラムであって、
前記アプリケーションサーバは、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信することを特徴とするビデオ会議用プログラム。

（付記１６）
コンピュータを、アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数の当該デバイスとを備えるビデオ会議システムで用いられるデバイスとして機能させるためのビデオ会議用プログラムであって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信した際、前記デバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信することを特徴とするビデオ会議用プログラム。

本発明はビデオ会議システムに用いることが可能である。そのほか、データの内容に制限はなく、多台数かつ双方向のピアトゥピア通信に関して適用可能である。

１００ビデオ会議システム
２００アプリケーションサーバ
２１０ＬＡＮＩ／Ｆモジュール
２２０Ｗｅｂサーバモジュール
２３０デバイス制御モジュール
２４０シグナリングサーバモジュール
２５０Ｗｅｂコンテンツデータベース
２６０デバイス管理配列データベース
３００通信網
４００４００−１４００−２４００−３４００−４デバイス
４１０映像出力部
４２０映像入力部
４３０ブラウザ
４４０送受信部
４５０記憶部
４６０バス

Claims

アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムであって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、
前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信し、通信状態に変化があった際、自身の送受信の通信品質情報を取得し、前記アプリケーションサーバに送信し、
前記アプリケーションサーバは、前記通信品質情報を受信すると、該通信品質情報の解析を行い、前記少なくとも１つのデバイスが表示している映像の品質情報を更新し、
前記アプリケーションサーバは、前記少なくとも１つのデバイスから通信品質の悪化を示す前記通信品質情報を受信した際は、前記少なくとも１つのデバイスからは、自身が生成した映像のみを前記少なくとも１つのデバイスの後段となるデバイスに送信すると共に、前記少なくとも１つのデバイスの前段となるデバイスから前記少なくとも１つのデバイスの後段となるデバイスへ、及び、前記少なくとも１つのデバイスの後段となるデバイスから前記少なくとも１つのデバイスへ前記ベースレイヤとなる映像を送信するように前記メディア送受信フローを変更し、変更した前記メディア送受信フローを前記複数のデバイスの各々に送信し、
前記少なくとも１つのデバイスの後段となるデバイスは、前記少なくとも１つのデバイスの前段となるデバイスから、前記ベースレイヤとなる映像を受信し、
前記少なくとも１つのデバイスは、自身の後段となるデバイスに対し、自身が生成した映像のみを送信すると共に、自身の後段となるデバイスから、前記ベースレイヤとなる映像を受信することを特徴とするビデオ会議システム。
請求項１に記載のビデオ会議システムであって、
前記複数のデバイスのうち少なくとも１つは、自身が生成した映像を他のデバイスに送信せず、他のデバイスのうちいずれか１つから、映像を受信することを特徴とするビデオ会議システム。
アプリケーションサーバと、通信網を介して前記アプリケーションサーバに接続し、該アプリケーションサーバからＷｅｂアプリケーションを受信する複数のデバイスとを備えるビデオ会議システムで用いられるビデオ会議方法であって、
前記アプリケーションサーバが、ビデオ会議への参加者数に合わせた画面レイアウト及び参加者が使用するデバイスの全てを経由するメディア送受信フローを決定し、前記画面レイアウト及び前記メディア送受信フローを、前記複数のデバイスの各々に送信し、
前記複数のデバイスのうち少なくとも１つのデバイスは、前記Ｗｅｂアプリケーションを用いて、前記アプリケーションサーバから受信した前記画面レイアウトに従い、前記メディア送受信フローにおいて自身の前段に位置するデバイスから受信した映像をベースレイヤとして、自身が生成した映像を前記ベースレイヤの上層に重ねた画面映像を、前記メディア送受信フローにおいて自身の後段に位置するデバイスに対して送信し、通信状態に変化があった際、自身の送受信の通信品質情報を取得し、前記アプリケーションサーバに送信し、
前記アプリケーションサーバは、前記通信品質情報を受信すると、該通信品質情報の解析を行い、前記少なくとも１つのデバイスが表示している映像の品質情報を更新し、
前記アプリケーションサーバは、前記少なくとも１つのデバイスから通信品質の悪化を示す前記通信品質情報を受信した際は、前記少なくとも１つのデバイスからは、自身が生成した映像のみを前記少なくとも１つのデバイスの後段となるデバイスに送信すると共に、前記少なくとも１つのデバイスの前段となるデバイスから前記少なくとも１つのデバイスの後段となるデバイスへ、及び、前記少なくとも１つのデバイスの後段となるデバイスから前記少なくとも１つのデバイスへ前記ベースレイヤとなる映像を送信するように前記メディア送受信フローを変更し、変更した前記メディア送受信フローを前記複数のデバイスの各々に送信し、
前記少なくとも１つのデバイスの後段となるデバイスは、前記少なくとも１つのデバイスの前段となるデバイスから、前記ベースレイヤとなる映像を受信し、
前記少なくとも１つのデバイスは、自身の後段となるデバイスに対し、自身が生成した映像のみを送信すると共に、自身の後段となるデバイスから、前記ベースレイヤとなる映像を受信する
ことを特徴とするビデオ会議方法。