JP5621196B2 - ネットワーク制御システム、方法及びプログラム - Google Patents

Description

本発明は、ネットワーク制御システム、方法及びプログラムに関し、例えば、ネットワークを介した多地点会議を行うシステムに適用し得るものである。

ネットワークを介して複数の参加者による多地点で会議を行う会議システムでは、音声、映像、データを相互交換するＭＣＵ（Multi-point Control Unit）を用いるのが一般的である。

ＭＣＵの主な機能として、呼制御機能、会議に参加する複数の端末から音声、映像、データを受信し、必要に応じてそれらデータの復号等を行う計算処理機能、集まった音声、映像、データのスイッチング機能、音声の重ね合わせによる合成や映像の空間的合成を行う合成機能、最後にこれら加工されたデータを特定のコーデック、ビットレート、映像の場合は映像サイズで符号化し、参加者に音声、映像、データを配信する符号化配信機能などがある。

このようなＭＣＵの機能により、直接的に相互通信のできない端末同士が、ＭＣＵを介して同一会議に参加することで、相互に音声、映像等の通信を行うことを可能としている。

一方で、会議中に何らかの理由でＭＣＵが停止すると、ＭＣＵの上記機能が行なわれず端末間の相互通信ができなくなる。

このような課題を解決する技術として、特許文献１に記載の技術がある。特許文献１には、ＭＣＵが停止した場合、停止したＭＣＵに接続していた端末を特定し、この端末に対してＭＣＵが停止したことを通知する。そして、新規に接続すべきＭＣＵを用意し、この新ＭＣＵに再度新規の接続を確立させるようにする技術である。

これにより、会議中に何らかの理由でビデオ会議サーバが停止した場合でも、なるべく短時間で会議の状態を復元させることができ、会議を再開させることができる。

米国特許出願公開第２００８／００７７６６６号

しかしながら、上述した特許文献１の記載方法は、ＭＣＵを切り替える際に、一旦すべての呼を切断し、再度新しいＭＣＵとの間で呼接続手続を行うことが必要となる。従って、それまで行っていた会議の状態に戻るまでに、相当の時間を要してしまうおそれが生じ得る。

また、上述した特許文献１の記載方法は、ＭＣＵが停止した場合のみ、ＭＣＵの切り替えを行うこととしている。そのため、例えばネットワークの混雑等が原因で、音声や映像等の品質が劣化する場合に、このＭＣＵよりも品質の良い通信を提供できる別のＭＣＵへの切り替えができないことも生じ得る。

さらに、例えば従来の会議システムは、会議に参加する各端末が、ＭＣＵに対して音声や映像等のデータを送信することが必要となるが、この各端末からのデータ送信により、ネットワークの負荷が増大し、トラフィック障害や品質劣化を引き起こすことも考えられる。そのため、ネットワークの通信帯域を縮小することができる接続形態が強く望まれる。

そのため、上記課題に鑑み、切替時に、呼の切断を行わず新しいＭＣＵに切り替えることができること、ＭＣＵの停止時以外でも新しいＭＣＵを切り替えることができること、ネットワークの通信帯域を縮小できる接続形態を提供できるようにすることが可能なネットワーク制御システム、方法及びプログラムが求められている。

かかる課題を解決するために、第１の本発明のネットワーク制御システムは、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段と、（４）少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段第１のメディア合成手段、第１の中継手段及び第２の中継手段から定期的に状態情報を取得し、その状態情報に基づいて第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段と、（５）第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段と、（６）少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理する接続情報管理手段とを備え、切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させるものであるを備えることを特徴とする。

第２の本発明のネットワーク制御方法は、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段とを備えるネットワークで、（４）切替手段が、少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段第１のメディア合成手段、第１の中継手段及び第２の中継手段から定期的に状態情報を取得し、その状態情報に基づいて第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行い、（５）会議状態情報管理手段が、第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理し、（６）接続情報管理手段が、少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理し、（７）切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させることを特徴とする。

第３の本発明のネットワーク制御プログラムは、（１）受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、（２）複数の通信端末と第１のメディア合成手段との間に配置され、複数の通信端末からのメディアデータのうち必要なメディアデータを第１のメディア合成手段に送信する第１の中継手段と、（３）第１のメディア合成手段と複数の通信端末との間に配置され、第１のメディア合成手段からの合成メディアデータを複数の通信端末の数のデータにコピーし、複数の通信端末に配信する第２の中継手段とを備えるネットワークのネットワーク制御プログラムであって、コンピュータを、少なくとも第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、メディアデータにおける音声又は映像の劣化が予測される場合に、第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段、第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段、少なくとも、第１の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報、及び、第２の中継手段と複数の通信端末又は第１のメディア合成手段との間の接続情報を管理する接続情報管理手段として機能させ、切替手段が、第２のメディア合成手段に切り替える前に、第１のメディア合成手段の会議状態情報及び接続情報を、第２のメディア合成手段に受け渡し、その後第１の中継手段に第２のメディア合成手段のアドレス情報を通知して切り替えを実行させることを特徴とする。

本発明によれば、切替時に、呼の切断を行わず新しいメディア合成手段に切り替えることができ、メディア合成手段の停止時以外でも新しいメディア合成手段に切り替えることができ、ネットワークの通信帯域を縮小できる接続形態を提供できる

第１の実施形態の会議システムの構成を示す構成図である。 第１の実施形態のメディア合成装置の内部構成を示す機能ブロック図である。 第１の実施形態の上り中継装置の内部構成を示す機能ブロック図である。 第１の実施形態の下り中継装置の内部構成を示す機能ブロック図である。 第１の実施形態の制御装置の内部構成を示す機能ブロック図である。 第１の実施形態の画面合成レイアウトを説明する説明図である。 第１の実施形態の会議システムの通信処理を示すフローチャートである。 第１の実施形態のＭＣＵ切り替え処理を示すフローチャートである。

（Ａ）第１の実施形態
以下では、本発明のネットワーク制御システム、方法及びプログラムの第１の実施形態について、図面を参照しながら説明する。

第１の実施形態は、本発明を利用して多地点の会議システムを実現する実施形態を例示して説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の会議システムの全体構成を示す構成図である。

図１において、第１の実施形態に会議システム１０は、例えばＩＰ（インターネットプロトコル）を通信プロトコルとするネットワークを介して、制御装置１、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４、複数（図１では４台）の通信端末５−１〜５−４、ゲートキーパ６を少なくとも有して構成される。

会議システム１０では、４台の通信端末５−１〜５−４を会議参加端末として仮想的な会議室を設立し、これら通信端末５−１〜５−４からの映像／音声データを合成して、通信端末５−１〜５−４間で相互通信を実現する。

複数の通信端末５−１〜５−４と上り中継装置３又は下り中継装置４との間や、上り中継装置３又は下り中継装置４とメディア合成装置２−１、２−２との間では、ＲＴＰ（Real-time Translation Protocol）パケットにより映像データ、音声データが授受され、ＲＴＣＰ(RTP Control Protocol)パケットにより、ＲＴＰ通信の制御情報、通信に関わる統計情報が授受される。

ここで、第１の実施形態では分散型ＭＣＵを適用する場合を例示する。ＭＣＵの機能を実現する装置が必ずしも物理的に同一の装置に存在している必要はなく、各機能の一部を実行する装置がネットワークを通じて分散的に配置されている場合を例示する。

第１の実施形態の場合、制御装置１、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４が分散型ＭＣＵの構成要素である。

なお、図１では、１個の上り中継装置３及び１個の下り中継装置４を表記するが、会議に参加する通信端末の接続形態に応じて複数個の上り中継装置３及び下り中継装置４を設けるようにしてもよい。

ゲートキーパ６は、呼接続を行うものであり、通信端末５−１〜５−４の仮想会議室への接続許可やアドレス変換機能を有するものである。呼接続方法は、種々の方法を広く適用することができ、例えばＨ．３２３に準拠する標準化技術やＳＩＰに従った呼接続方式を適用することができる。

メディア合成装置２−１及び２−２は、制御装置１の制御を受けて、接続する通信端末５−１〜５−４から受信した映像／音声データを復号し、これら映像、音声の少なくとも１つのメディアを合成し、この合成データを符号化して配信するものである。

ここで、メディア合成装置２−１は切り替え前に動作する装置とし、メディア合成装置２−２は切り替え後に動作する装置とする。両者は機能的に同じものである。

図２は、メディア合成装置２−１及び２−２の内部構成を示す機能ブロック図である。

図２において、メディア合成装置２は、データ受信部２１−１〜２１−４、復号部２２−１〜２２−４、合成部２３、符号化部２４−１〜２４−４、データ送信部２５−１及び２５−２、通信部２６、生存確認部２７、リソース確認部２８、通信品質測定部２９を少なくとも有する。

データ受信部２１−１〜２１−４は、ネットワークＮＴを通じて通信端末５−１〜５−４からの映像／音声データを受信するものである。また、データ受信部２１−１〜２１−４は、受信パケット計測機能部２１１を有する。

この受信パケット計測機能部２１１は、受信パケットに基づいて、パケット損失、遅延時間、ジッター等の数値を取得し、その結果を、通信部２６を通じて制御装置１に与えるものである。

復号部２２−１〜２２−４は、対応するデータ受信部２１−１〜２１−４が受信したデータを復号し、復号データを合成部２３に与えるものである。

ここで、データ受信部２１−１〜２１−４及び復号部２２−１〜２２−４は、制御装置１からの制御を受けて、会議参加する通信端末数と同数だけ生成される。

合成部２３は、復号部２２−１〜２２−４からの復号データを合成し、その合成データを符号化部２４−１〜２４−２に与えるものである。

ここで、合成部２３による合成方法は、種々の合成方法を広く適用することができる。例えば、図６は、合成部２３が合成する画面合成レイアウトの例を示す図である。合成部２３は、会議に参加する人数に応じて、さまざまなレイアウトの画面合成を行うことができ、例えば第１の実施形態では４台の通信端末５−１〜５−４が参加者であるから、図６（ａ）に示すような４分割した各フレームに、通信端末５−１〜５−４からの画像をはめ込むように合成する方法を適用できる。

符号化部２４−１〜２４−２は、合成部２３からの合成データを符号化し、その符号化データをデータ送信部２５−１〜２５−２に与えるものである。符号化部２４−１〜２４−２は、制御装置１の制御に従って、１つの会議室に対して少なくとも１以上の任意の数だけ生成されるものである。また、制御装置１の制御に従って、符号化部の数を増減させることもできる。

データ送信部２５−１〜２５−２は、符号化部２４−１〜２４−２からの符号化データを送信するものである。データ送信部２５−１〜２５−２も、制御装置１の制御に従って、少なくとも以上の任意の数だけ生成されるものである。

通信部２６は、制御装置１と通信する通信処理部である。

生存確認部２７は、通信部２６を介して、制御装置１から生存確認信号（例えばｐｉｎｇ等）を受信すると、これに対する応答信号を制御装置１に返信させるものである。これにより、メディア合成装置２−１の生存確認を制御装置１に知らせることができる。

リソース確認部２８は、メディア合成装置（サーバ）内のリソース情報を確認し、これを通信部２６を介して制御装置１に定期的に送信させるものである。ここで、サーバ内のリソース情報としては、例えば、ＣＰＵ使用率、メモリ使用量（メモリ残量）、ネットワーク帯域使用率等がある。これにより、メディア合成装置の処理負担を制御装置１に知らせることができる。

通信品質測定部２９は、上り中継装置３と下り中継装置４との間の通信品質を定期的に測定し、その測定結果を通信部２６を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、ＲＴＣＰパケットから得られる情報を利用する方法や、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法などが適用できる。

上り中継装置３は、複数の通信端末５−１〜５−４とメディア合成装置２−１との間に介在するものであり、各通信端末５−１〜５−４から受信した映像／音声データをメディア合成装置２−１に与えるものである。

図３は、上り中継装置３の内部構成を示す機能ブロック図である。

図３において、上り中継装置３は、データ受信部３１−１〜３１−４、音量計測部３２、フィルタ部３３、データ送信部３４−１〜３４−４、通信部３５、通信品質測定部３６、フィルタ制御部３７を少なくとも有する。

データ受信部３１−１〜３１−４は、通信端末側のネットワークＮＴを介して、各通信端末５−１〜５−４からの映像／音声データを受信するものであり、音量計測部３２及びフィルタ部３３に与えるものである。また、データ受信部３１−１〜３１−４は、受信パケット計測機能部３１１を有する。

この受信パケット計測機能部３１１は、受信したＲＴＰ（Real-time Translation Protocol）データのＲＴＰヘッダ、ＲＴＣＰヘッダに基づいて、対応する通信端末５−１〜５−４からのパケット列のパケット損失、遅延時間、ジッターなどを計測し、その計測結果を、通信部３５を介して制御装置１に与えるものである。

音量計測部３２は、データ受信部３１−１〜３１−４が受信した音声データに関し、その音量を計算し、その計測値を通信部３５を介して制御装置１に送信させるものである。

ここで、音量計測部３２による音量計測方法は、特に限定されるものではなく種々の方法を適用することができる。

例えば、音量計測部３２は、各チャネルの受信データに基づいて、各フレーム区間の瞬時音圧時系列データの最大値（ＭＡＸ）と最小値（ＭＩＮ）との差を計測する方法や、各フレーム区間の例えば９０％ＭＡＸ値と９０％ＭＩＮ値との差を計測する方法を適用できる。また例えば、音量計測部３２は、各チャネルの受信データに基づいて各フレーム区間の平均パワー値を計測する方法を適用できる。

フィルタ制御部３７は、音量計測部３２から音量計測値を受け取り、この音量計測値に基づいて、どのチャネルのデータを通過させるかを決定するものであり、その決定指示をフィルタ部３３に送信するものである。また、フィルタ制御部３７はフィルタ部３３に送信した決定指示情報を通信部３５を通じて制御装置１に送信するものである。

フィルタ部３３は、制御装置１からの命令もしくはフィルタ制御部３７からの命令を受けて、データ受信部３１−１〜３１−４からのデータに対してフィルタリングするものである。これにより、制御装置１もしくはフィルタ制御部３７からの命令に従って、データの通過を阻止し、それ以外のデータの通過を許可することができる。

データ送信部３４−１〜３４−４は、フィルタ部３３から通過したデータをメディア合成装置２−１、２−２に向けてネットワークＮＴに送信するものである。

通信部３５は、制御装置１と通信する通信処理部である。

通信品質測定部３６は、メディア合成装置２−２との間の通信品質を定期的に測定し、その測定結果を通信部３５を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法を適用できる。これにより、切替先であるメディア合成装置２−２との間のネットワークの通信品質を測定できる。

下り中継装置４は、メディア合成装置２−１、２−２から受信したデータを、接続する通信端末の数に応じた数だけコピーし、このコピーしたデータを通信端末５−１〜５−４に送信するものである。

図４は、下り中継装置４の内部構成を示す機能ブロック図である。図４において、下り中継装置４は、データ受信部４１、データ分配部４２、データ送信部４３−１〜４３−４、通信部４４を少なくとも有する。

データ受信部４１は、ネットワークＮＴを介して、メディア合成装置２−１、２−２から合成データを受信し、データ分配部４２に与えるものである。また、データ受信部４１は、受信パケット計測機能部４１１を有する。

この受信パケット計測機能部４１１は、受信したＲＴＰデータのＲＴＰヘッダ、ＲＴＣＰヘッダに基づいて、パケット列のパケット損失、遅延時間、ジッターなどを計測し、その計測結果を、通信部４４を介して制御装置１に与えるものである。

データ分配部４２は、データ受信部４１からのデータを必要数だけコピーし、そのコピーしたデータをデータ送信部４３−１〜４３−４に与えるものである。

データ送信部４３−１〜４３−４は、データ分配部４２からのデータを通信端末５−１〜５−２に向けてネットワークＮＴに送信するものである。

通信部４４は、制御装置１と通信を行う通信処理部である。

通信品質測定部４５は、メディア合成装置２−２との間の通信品質を定期的に測定し、その測定結果を通信部４４を介して制御装置１に送信させるものである。通信品質を測定する方法としては、例えば、定期的に試験パケットを送受信し、その試験パケットの遅延時間、ゆらぎ、ジッター等を測定する方法がある。これにより、切替先のメディア合成装置２−２との間のネットワークの通信品質を測定できる。

制御装置１は、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４の処理を制御するものである。また、制御装置１は、メディア合成装置２−１及び２−２（ＭＣＵ）の切り替え制御を行うものである。

図５は、制御装置１の内部構成を示す機能ブロック図である。図５において、制御装置１は、ＭＣＵ切り替え部１１、通信部１２、メディア合成装置２−１、２−２に対して定期的に生存確認信号（例えばｐｉｎｇ等）を送信する生存確認部１３、ネットワーク接続構成管理部１４、会議状態データ管理部１５、フィルタ制御部１６を少なくとも有する。

ＭＣＵ切り替え部１１は、メディア合成装置２−１、２−２の切り替え制御を行うものである。また、ＭＣＵ切り替え部１１は、データ記憶部１１１、状態計算部１１２、命令実行部１１３を少なくとも有する。

ここで、ＭＣＵ切り替え処理が必要となる場面としては、次のような状況が考えられる。

（ア）メディア合成装置２−１が停止した場合
（イ）メディア合成装置２−１の処理負荷の増大に伴い処理性能が低下し、音声／映像の劣化が発生した場合、及び近い将来に劣化が予想される場合
（ウ）上り中継装置３又は下り中継装置４とメディア合成装置２−１との間の通信品質が低下した場合、及び近い将来に品質低下が予想される場合
ＭＣＵ切り替え部１１が上記のような状況を把握し、ＭＣＵ切り替えを行う方式として、以下のような方法がある。

（ａ）制御装置１とメディア合成装置２−１及び２−２との間で、生存確認信号（例えばｐｉｎｇ等）を定期的に送受信し、メディア合成装置２−１が動作しているかを定期的に調べる。

（ｂ）メディア合成装置２−１及び２−２内のＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等のデータを定期的に収集し、制御装置１に送信する。

（ｃ）メディア合成装置２−１のデータ受信部２１−１〜２１−４及び下り中継装置４のデータ受信部４１において受信したパケット列からパケット損失、遅延時間、ジッター等の数値を取得し、その結果を制御装置１に送信する。

（ｄ）上り中継装置３及び下り中継装置４とメディア合成装置２−２との間で試験パケットを送受信し、各装置間の通信品質を定期的に測定し、その測定結果を制御装置１に送信する。

データ記憶部１１１は、通信部１２を通じて、分散型ＭＣＵを構成するメディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４と通信し、ＭＣＵ切り替えのために必要となる情報を記憶するものである。

状態計算部１１２は、データ記憶部１１１に記憶されるＭＣＵ切り替えのための情報に基づいて、メディア合成装置２−１及び２−２、上り中継装置３、下り中継装置４のそれぞれの状態と、これら構成要素の集合としての分散型ＭＣＵの状態を数値化するものである。また、状態計算部１１２は、数値化された各状態に基づいて、ＭＣＵ切り替えが必要な状態か否かの判定を行うものである。

命令実行部１１３は、状態計算部１１２のＭＣＵ切り替え判定に基づき、データ記憶部１１１から各装置内の構成、接続関係など必要なデータを取得し、通信部１２を通してＭＣＵ切り替えに必要な制御命令を発行するものである。

ネットワーク接続構成管理部１４は、会議システム１０のネットワーク構成の接続関係に必要なデータを管理するものである。

例えば、通信端末５−１〜５−４と上り中継装置３のデータ受信部３１−１〜３１−４との間の接続情報、上り中継装置３のデータ送信部３４−１〜３４−４とメディア合成装置２のデータ受信部２１−１〜２１−４との間の接続情報、メディア合成装置２のデータ送信部２５−１〜２５−２と下り中継装置４のデータ受信部４１との間の接続情報、下り中継装置４のデータ送信部４３−１〜４３−４と通信端末５−１〜５−４との間の接続情報の少なくとも全部又は一部を、ネットワーク接続構成管理部１４が管理する。

会議状態データ管理部１５は、メディア合成装置２−１により開催されている仮想会議室に関連する状態データを管理するものである。メディア合成装置の切り替えを行う際、当該仮想会議室の状態をそのまま引き継いで切り替えができるように、現在の仮想会議室の状態データを管理する。切り替え時には、ＭＣＵ切り替え部１１により、この状態データが切替先のメディア合成装置内としてコピーされる。これにより、そのままの状態で仮想会議室を引き継がせることができる。

フィルタ制御部１６は、上り中継装置３から各チャネルの音量計測値を受け取り、この音量計測値に基づいて、どのチャネルのデータを通過させるかを決定するものであり、その決定指示を通信部１２を介して上り中継装置３に送信するものである。

通信端末５−１〜５−４は、例えば、ビデオ会議専用端末、パーソナルコンピュータ（デスクトップ型ＰＣ、ノート型ＰＣ等）や、通信機能を有する携帯端末（例えば、携帯電話機、ＰＤＡ、ゲーム機等）を適用することができる。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の会議システム１０における処理の動作を図面を参照しながら説明する。以下では、まず会議システム１０の通信処理を説明した後、ＭＣＵの切り替え処理の動作を説明する。

（Ａ−２−１）会議システム１０の通信処理
図７は、会議システム１０での通信処理の動作を説明するフローチャートである。

まず、会議に参加を希望する通信端末５−１〜５−４若しくはＭＣＵが呼を発し、分散型ＭＣＵ内に作成された仮想会議室と通信端末５−１〜５−４との接続を確立する（ステップＳ１０１）。

具体的には、通信端末５−１〜５−４と上り中継装置３のデータ受信部３１−１〜３１−４との間の接続、上り中継装置３のデータ送信部３４−１〜３４−４とメディア合成装置２のデータ受信部２１−１〜２１−４との間の接続、メディア合成装置２のデータ送信部２５−１〜２５−２と下り中継装置４のデータ受信部４１との間の接続、下り中継装置４のデータ送信部４３−１〜４３−４と通信端末５−１〜５−４との間の接続について、各接続先のアドレス情報及びポート番号情報をもとに確立される。

また、上り中継装置３、メディア合成装置２−１及び下り中継装置４は、制御装置１の制御に従って必要な処理部の生成を行う（ステップＳ１０２）。

このとき、上り中継装置３では、制御装置１から接続する通信端末５−１〜５−４の数の通知を受け、この通信端末数と同数のデータ受信部３１−１〜３１−４及びデータ送信部３４−１〜３４−４が作成される。

また、メディア合成装置２−１では、制御装置１から接続する通信端末５−１〜５−４の数の通知を受けると、この通信端末数と同数のデータ受信部２１−１〜２１−４及び復号部２２−１〜２２−４が生成されると共に、制御装置１から指示された任意の数の符号化部２４−１〜２４−２及びデータ送信部２５−１〜２５−２が生成される。

さらに、下り中継装置では、制御装置１からの通知を受けて、１つのデータ受信部４１、データ分配部４２、１以上任意の数のデータ送信部４３−１〜４３−４というセットがメディア合成装置２−１から配信されるデータのチャネル数の分だけ作成される。

呼の確立及び各装置（メディア合成装置２−１、上り中継装置３及び下り中継装置４）内の処理部が作成された後、通信端末５−１〜５−４は音声／映像データの送信開始を行う（ステップＳ１０３）。

通信端末５−１〜５−４から送信された映像／音声データは、上り中継装置３に受信され（ステップＳ１０４）、制御装置１からの命令に従って必要なデータのみがメディア合成装置２−１に送信される（ステップＳ１０５）。

例えば、会議に参加する複数人の画面と音声をメディア合成装置２−１が合成する場合、表示する人を音声の大小に基づいて判定する方法を適用することができる。

この場合、上り中継装置３の音量計測部３２が、データ受信部３１−１〜３１−４で受信された各チャネルの音声データに基づいて音量の大小を数値化し、その計測結果を制御装置１に通信する。

制御装置１は、上り中継装置３で計測された各チャネルの計測結果に基づいて、合成すべき音声及び映像のチャネルを決定し、これを上り中継装置３に通知する。制御装置１でのチャネルの決定は、例えば、音量が一番大きな１つのチャネルとしたり、大きい順から所定数のチャネルとしたりすることができる。

この合成すべきチャネルリストを受けて、上り中継装置３では、フィルタ部３３が制御装置１もしくはフィルタ制御部３７から指示されたチャネルの映像／音声データのみを通過させ、それ以外の映像／音声データの通過をフィルタリングする。

これにより、制御装置１からの命令に従って必要なチャネルのデータのみをメディア合成装置２−１に送信させることができる。

メディア合成装置２−１では、制御装置１からの命令を受けて、上り中継装置３から受信した映像／音声データを合成する（ステップＳ１０６）。

ここで、メディア合成装置２−１において、データ受信部２１−１〜２１−４に受信された映像／音声データは、対応する復号部２２−１〜２２−４により復号される。

合成部２３において、復号された音声データは、制御装置１の命令に従って増幅、減衰等の変換処理が施され、その後に加算される。また、映像データは、制御装置からの命令に従って、縮小、拡大等の変換処理が施され、例えば図６に例示する平面内（フレーム内）の所定の位置に配置することで合成される。

合成された映像／音声データは、メディア合成装置２−１から下り中継装置４に送信される（ステップＳ１０７）。

下り中継装置４内には、制御装置１からの命令により、必要な数のデータ送信部４３−１〜４３−４が作成され、各データ送信部４３−１〜４３−４が通信端末５−１〜５−４とチャネルを接続した状態になっている。

データ受信部４１で受信されたデータ（合成された映像／音声データ）は、データ分配部４２により、データ送信部４３−１〜４３−４の数に応じた数だけコピーし（ステップＳ１０８）、これを各データ送信部４３−１〜４３−４に与えて、各通信端末５−１〜５−４に配信される（ステップＳ１０９）。

（Ａ−２−２）ＭＣＵの切り替え処理
次に、ＭＣＵの切り替え処理の動作について図面を参照しながら説明する。

制御装置１のＭＣＵ切り替え部１１は、メディア合成装置２−１、上り中継装置３、下り中継装置４との間で以下のような情報を取得し、これらの情報に基づいてＭＣＵ切り替え処理を行うか否かを判定し、ＭＣＵ切り替えを行う場合にその旨の命令を、メディア合成装置２−１、上り中継装置３、下り中継装置４に対して送信する。

（ａ）制御装置１とメディア合成装置２−１との間で、生存確認信号（例えばｐｉｎｇ等）を定期的に送受信し、メディア合成装置２−１が動作しているかを定期的に調べる。

（ｂ）メディア合成装置２−１内のＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等のデータを定期的に収集し、制御装置１に送信する。

（ｃ）メディア合成装置２−１のデータ受信部２１−１〜２１−４及び下り中継装置４のデータ受信部４１において受信したパケット列からパケット損失、遅延時間、ジッター等の数値を取得し、その結果を制御装置１に送信する。

（ｄ）上り中継装置３及び下り中継装置４とメディア合成装置２−２との間で試験パケットを送受信し、各装置間の通信品質を定期的に測定し、その測定結果を制御装置１に送信する。

以下では、メディア合成装置２−１が停止あるいは処理負荷の増大により処理性能が低下した場合、若しくはメディア合成装置２−１と各中継装置３及び４との間の通信品質が低下した場合に、メディア合成装置２−１からメディア合成装置２−２に切り替える場合について具体的な手順を図８のフローチャートを用いて説明する。

制御装置１は、メディア合成装置２−１、上り中継装置３、下り中継装置４から切り替え処理を判断する上記（ａ）〜（ｄ）に関するデータを受信し（ステップＳ２０１）、これらデータをデータ記憶部１１１に記憶する。

状態計算部１１２は、データ記憶部１１１に記憶されるデータに基づいて、メディア合成装置２−１を利用した仮想会議室で映像／音声の品質劣化が生じているか、送受信の停止が発生しているか、又は近い将来に問題が発生するという判定を下す（ステップＳ２０２）。

このとき、制御装置１は、代替えとなるメディア合成装置としてのメディア合成装置２−２の状態に関するデータも取得している。つまり、代替えのメディア合成装置２−２の処理負荷状態、メディア合成装置２−２と上り中継装置３及び下り中継装置４との間の通信品質に関するデータも収集している。

また、制御装置１の状態計測部１１２による判定方法として、次のような方法を適用できる。

例えば、上記（ａ）の方法は、メディア合成装置２−１自体の生存を確認する方法である。従って、メディア合成装置２−１からｐｉｎｇに対する応答信号が返信されない場合、状態計測部１１２は、すぐに代替のメディア合成装置２−２への切り替え処理を行う。

また、上記（ｂ）の方法は、メディア合成装置２−１のリソース状況に基づく方法である。この場合、例えば、あらかじめ切り替え処理を実施するための閾値を設けておき、ＣＰＵ使用率、メモリ使用量、ネットワーク帯域使用率等が閾値を超えたときに、状態計測部１１２は、切り替え処理を行うと判定する。

また、上記（ｃ）の方法は、メディア合成装置２−１と上り中継装置３及び下り中継装置４とのネットワークの通信品質に基づく方法である。この場合、例えば、あらかじめ切り替え処理を実施するための閾値を設けておき、状態計測部１１２が、メディア合成装置２−１のデータ受信部２１−１〜２１−４や、下り中継装置４のデータ受信部４１から受信したパケット列からパケット損失、遅延時間、ジッター等の数値が閾値を超えたときに、状態計測部１１２は、切り替え処理を行うと判定する。

上記（ｄ）の方法は、代替先のメディア合成装置２−２と上り中継装置３及び下り中継装置４とのネットワークの通信品質に基づく方法である。この方法により代替先のメディア合成装置２−２とのネットワーク通信品質を取得できるので、上記（ｃ）の方法で取得した現在のメディア合成装置２−１とのネットワーク通信品質と比較することができ、その比較結果を用いて切り替え処理を行うか否かを判定できる。例えば、切替先のネットワークの通信品質が、現在のネットワークの通信品質よりも所定値以上良い場合には、切り替え処理が可能と判定できる。

なお、状態計測部１１２は、上記（ｂ）〜（ｄ）の方法による判定処理のうち、いずれかの判定方法で切り替え処理を行うべきと判定した場合に切り替え処理を実行しても良いし、また予め優先させる判定方法を決める等のポリシーを決めておき、そのポリシーに従って切り替え処理を実行するようにしても良い。

制御装置１では、データ記憶部１１１に保存されたメディア合成装置２−１内の該当する仮想会議室の状態データから、同一の構成を形成する仮想会議室に関する状態／構成データをメディア合成装置２内に作成することを命じる命令を発行する（ステップＳ２０３）。

なお、仮想会議室に関する状態データ及び構成に関するデータの作成は、あらかじめ問題が発生する前に行うようにしても良いし、又は実際にメディア合成装置２−１で問題が発生したと判定してから行うようにしても良い。

このとき、メディア合成装置内の各部の構成、接続関係などは忠実にコピーされることが必要であるが、各装置のデータ受信部の待ち受けポート番号は異なる番号となっても構わない。

制御装置１においてメディア合成装置２−２内の仮想会議室に関する状態／構成データにコピーが作成された後、制御装置１は、メディア合成装置２−２のデータ受信部２１−１〜２１−４が待ち受けするポート番号を取得し（ステップＳ２０６）、メディア合成装置２−２のサーバアドレス情報及びポート番号を上り中継装置３に送信する（ステップＳ２０５）。

上り中継装置３は、データの送信先が変更されたことを知り、それまでメディア合成装置２−１に送信していた音声／映像データをメディア合成装置２−２に送信する（ステップＳ２０６）。

下り中継装置４は、同一の待ち受けポートでメディア合成装置からのデータを受信しているので、特に動作の変更はなく、新たにメディア合成装置２−２から送信されてきたデータを接続している通信端末に送信する。

この一連の動作により、メディア合成装置の切り替えが完了する。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、呼の切断、再接続をせずに、最適なＭＣＵに会議接続を動的に切り替えることを実現することができる。

また、第１の実施形態によれば、ＭＣＵが停止する場合のみならず、ネットワークの通信品質など会議中に動的に変化する状態に応じて最適なＭＣＵへ会議室を動的に切り替えることを実現することができる。

（Ｂ）第２の実施形態
次に、本発明のネットワーク制御システム、方法及びプログラムの第２の実施形態について図面を参照しながら説明する。

従来の会議システムは、図１に示すような上り中継装置及び下り中継装置を経由することなく、複数の通信端末がそれぞれ仮想会議室に接続する接続構成としている。

これに対して、第１の実施形態では、上り中継装置及び下り中継装置を経由させることで、各中継装置とメディア合成装置との間のデータ通信帯域を大幅に縮小させることができる。

そこで、第２の実施形態では、上り中継装置及び下り中継装置を経由させて仮想会議室に接続させる接続構成の具体的な実施形態を例示して説明する。

（Ｂ−１）第２の実施形態の構成及び動作
第２の実施形態の会議システムの構成は、第１の実施形態で説明した構成と同じであり、第２の実施形態でも図１を用いて説明する。

上り中継装置３及び下り中継装置４は、例えば、ローカルネットワーク（例えば社内ＬＡＮ等）とグローバルネットワーク（例えばインターネット等）との境界に設けられている。

上り中継装置３は、制御装置１からの命令に従って、データ受信部３１−１〜３１−４及びデータ送信部３４−１〜３４−４を生成するが、そのとき、データ受信部３１−１〜３１−４には、ローカルネットワーク内のユニークなアドレス情報（プライベートＩＰアドレス）を付与し、データ送信部３４−１〜３４−４にはグローバルネットワーク内のユニークなアドレス情報（グローバルＩＰアドレス）を付与する。

このようにすることで、上り中継装置３は、通信端末５−１〜５−４とデータ受信部３１−１〜３１−４との間の接続と、データ送信部３４−１〜３４−４とメディア合成装置２−１との間の接続の２つのセッションを結ぶことができる。

その結果、上り中継装置３にプロキシサーバ相当の機能を実現することが可能となり、例えばローカルエリアネットワーク内に配置された通信端末５−１〜５−４と、グローバルネットワーク上のメディア合成装置２−１との双方向通信が実現する。

同様に、下り中継装置４も、制御装置１からの命令に従って、データ受信部４１及びデータ送信部４３−１〜４３−４を生成とき、データ受信部４１には、グローバルネットワーク内のユニークなアドレス情報（グローバルＩＰアドレス）を付与し、データ送信部４３−１〜４３−４には、ローカルネットワーク内のユニークなアドレス情報（プライベートＩＰアドレス）を付与する。

（Ｂ−２）第２の実施形態の効果
以上のように、上り中継装置及び下り中継装置を経由させることで、各中継装置とメディア合成装置との間のデータ通信帯域を大幅に縮小させることができる。

また、中継装置にプロキシサーバ相当の機能を実現することが可能となり、ローカルエリアネットワーク内に配置された通信端末とグローバルネットワーク上のメディア合成装置２−１との双方向通信を実現させることができる。

（Ｃ）他の実施形態
第１及び第２の実施形態では、ビデオ会議におけるメディア合成装置の切り替え処理を説明したが、図１の通信端末のいくつかを蓄積したメディアデータの送信元端末とした場合、ネットワークを利用した耐障害性の高い音声／映像放送システムとして利用することが可能である。

１…制御装置、
１１…ＭＣＵ切り替え部、１２…通信部、１３…生存確認部、１１１…データ記憶部、
１１２…状態計算部、１１３…命令実行部、
２−１及び２−２…メディア合成装置、
２１−１〜２１−４…データ受信部、２２−１〜２２−４…復号部、２３…合成部、
２４−１〜２４−２…符号化部、２５−１及び２５−２…データ送信部、
２６…通信部、２７…生存確認部、２８…リソース確認部、２９…通信品質測定部、
２１１…受信パケット計測機能部、
３…上り中継装置、
３１−１〜３１−４…データ受信部、３２…音量計測部、３３…フィルタ部、
３４−１〜３４−４…データ送信部、３５…通信部、３６…通信品質計測部、
３１１…受信パケット計測部、
４…下り中継装置、
４１…データ受信部、４２…データ分配部、４３−１〜４３−４…データ送信部、
４４…通信部、４５…通信品質測定部、
５−１〜５−４…通信端末、６…ゲートキーパ、１０…会議システム。

Claims (5)

1. 受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、
   複数の通信端末と上記第１のメディア合成手段との間に配置され、上記複数の通信端末からのメディアデータのうち必要なメディアデータを上記第１のメディア合成手段に送信する第１の中継手段と、
   上記第１のメディア合成手段と上記複数の通信端末との間に配置され、上記第１のメディア合成手段からの合成メディアデータを上記複数の通信端末の数のデータにコピーし、上記複数の通信端末に配信する第２の中継手段と、
   少なくとも上記第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、上記第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、上記第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段と、
   上記第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段と、
   少なくとも、上記第１の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報、及び、上記第２の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報を管理する接続情報管理手段と
   を備え、
   上記切替手段が、上記第２のメディア合成手段に切り替える前に、上記第１のメディア合成手段の上記会議状態情報及び上記接続情報を、上記第２のメディア合成手段に受け渡し、その後上記第１の中継手段に上記第２のメディア合成手段のアドレス情報を通知して切り替えを実行させるものである
   ことを特徴とするネットワーク制御システム。
2. 上記受信した複数のメディアデータにおける各音声データの音量値に基づいて、上記第１の中継手段が上記メディア合成手段に送信するメディアデータを上記受信した複数のメディアデータから決定指示する制御手段を更に備えることを特徴とする請求項１に記載のネットワーク制御システム。
3. 上記第１の中継手段及び上記第２の中継手段が、
   上記第１のメディア合成手段と通信するグローバルアドレスを付与した第１の通信部と、
   上記複数の通信端末と通信するプライベートアドレスを付与した第２の通信部と
   を有することを特徴とする請求項１又は２に記載のネットワーク制御システム。
4. 受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、
   複数の通信端末と上記第１のメディア合成手段との間に配置され、上記複数の通信端末からのメディアデータのうち必要なメディアデータを上記第１のメディア合成手段に送信する第１の中継手段と、
   上記第１のメディア合成手段と上記複数の通信端末との間に配置され、上記第１のメディア合成手段からの合成メディアデータを上記複数の通信端末の数のデータにコピーし、上記複数の通信端末に配信する第２の中継手段と、
   切替手段が、少なくとも上記第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、上記第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、上記第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行い、
   会議状態情報管理手段が、上記第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理し、
   接続情報管理手段が、少なくとも、上記第１の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報、及び、上記第２の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報を管理し、
   上記切替手段が、上記第２のメディア合成手段に切り替える前に、上記第１のメディア合成手段の上記会議状態情報及び上記接続情報を、上記第２のメディア合成手段に受け渡し、その後上記第１の中継手段に上記第２のメディア合成手段のアドレス情報を通知して切り替えを実行させること
   を特徴とするネットワーク制御方法。
5. 受信した複数のメディアデータを合成して送信する第１のメディア合成手段と、
   複数の通信端末と上記第１のメディア合成手段との間に配置され、上記複数の通信端末からのメディアデータのうち必要なメディアデータを上記第１のメディア合成手段に送信する第１の中継手段と、
   上記第１のメディア合成手段と上記複数の通信端末との間に配置され、上記第１のメディア合成手段からの合成メディアデータを上記複数の通信端末の数のデータにコピーし、上記複数の通信端末に配信する第２の中継手段と
   を備えるネットワークのネットワーク制御プログラムであって、
   コンピュータを、
   少なくとも上記第１のメディア合成手段及び第２のメディア合成手段から定期的に状態情報を取得し、その状態情報に基づいて、上記第１のメディア合成手段において、処理負荷の増大に伴い処理能力が低下することにより、メディアデータにおける音声又は映像の劣化が発生した場合、又はメディアデータにおける音声又は映像の劣化が予測される場合に、上記第１のメディア合成手段から切替先の第２のメディア合成手段への切り替えを行う切替手段、
   上記第１のメディア合成手段で実行されるメディア合成処理に係る、会議に参加する通信端末の数に応じて生成された受信部の数及び復号部の数に関する情報と、合成処理された合成メディアデータを符号化する符号化部の数に関する情報と、符号化された合成メディアデータを送信する送信部の数に関する情報とを含む、仮想会議室に関連する会議状態情報を管理する会議状態情報管理手段、
   少なくとも、上記第１の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報、及び、上記第２の中継手段と上記複数の通信端末又は上記第１のメディア合成手段との間の接続情報を管理する接続情報管理手段
   として機能させ、
   上記切替手段が、上記第２のメディア合成手段に切り替える前に、上記第１のメディア合成手段の上記会議状態情報及び上記接続情報を、上記第２のメディア合成手段に受け渡し、その後上記第１の中継手段に上記第２のメディア合成手段のアドレス情報を通知して切り替えを実行させること
   を特徴とするネットワーク制御プログラム。

Images