JP6803563B2

JP6803563B2 - テレビ会議装置

Info

Publication number: JP6803563B2
Application number: JP2017111619A
Authority: JP
Inventors: 剛志滝田; 熊澤　雅之; 雅之熊澤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2020-12-23
Anticipated expiration: 2037-06-06
Also published as: JP2018207337A

Description

本発明は、複数の拠点のそれぞれに設置された装置と同時接続可能なテレビ会議装置に関する。

複数の拠点を繋いで遠隔会議を行うことができるテレビ会議システムが普及している。ホスト拠点（親拠点）のテレビ会議装置（多拠点接続装置（ＭＣＵ））は、他の拠点（子拠点）から映像データおよび音声データを受信し、モニタの画面に各拠点の映像データを表示させ、スピーカから音声データを出力させる。特許文献１には、３拠点の映像データを同時にモニタの画面に表示するテレビ会議装置が記載されている。

また、近年、多くの拠点（例えば、２４拠点）と同時に接続できるテレビ会議装置が開発されている。一般に、テレビ会議装置は、エンコーダ数が接続拠点数よりも少なく、広帯域の子拠点と狭帯域の子拠点が混在している場合に、高レートで符号化可能な広帯域の子拠点宛の映像・音声データに対しても、狭帯域の子拠点に合わせて、低レートで符号化を行ってしまう傾向にある。

その問題を解決する手段の一つとして異速度通信機能がある。異速度通信機能では、帯域が所定の閾値より広い拠点群のＨＤ解像度送信グループと狭い拠点群のＳＤ解像度送信グループとに分け、グループ毎に異なるレートで符号化を行う。この機能により、広帯域の子拠点に対して高品質な映像・音声を送信することができる。

特開２０１２−２３１４２８号公報

拠点の中には、子拠点毎に設定された調停帯域と実際のネットワーク帯域が異なるものがある。特に、子拠点がモバイル端末である場合には、場所や時間によりネットワーク帯域が変化する。

しかしながら、従来は、調停帯域に基づいて異速度通信機能のグルーピングを行っているため、グルーピングの精度が低くなってしまう。

本発明の目的は、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができるテレビ会議装置を提供することである。

本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、ネットワークを介して、前記各他拠点との間で映像データを含むパケットの送受信を行う通信制御部と、複数の前記映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記通信制御部は、前記ネットワークに関する情報に基づいて前記他拠点のグルーピングを行い、前記表示制御部は、グループ毎に映像符号化パラメータを決定し、前記映像符号化パラメータに基づいて前記映像データを符号化する。

本発明によれば、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、実際のネットワーク帯域に基づくグルーピングを行うことができる。

本発明の一実施の形態に係るテレビ会議装置の構成を示すブロック図本発明の一実施の形態に係るテレビ会議装置の状態の遷移を示す状態遷移図本発明の一実施の形態に係るテレビ会議装置の動作を示すフロー図本発明の別の実施の形態に係るテレビ会議装置の動作を示すフロー図

以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。なお、以下では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明する。

（実施の形態）
＜テレビ会議装置の構成および接続関係＞
まず、本発明の一実施の形態に係るテレビ会議装置１０の構成および接続関係について、図１を用いて詳細に説明する。

各拠点には、それぞれ、テレビ会議装置１０が設置されている。ホスト拠点（拠点番号１）のテレビ会議装置１０−１は、他の拠点（拠点番号２〜２４）のそれぞれに設置された各テレビ会議装置１０−２〜２４と、ネットワーク２０を介して接続し、音声データ及び映像データの送信／受信を行う。ネットワーク２０は、典型的にはインターネットである。

テレビ会議装置１０−１は、本体装置１００、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００から構成されている。

本体装置１００は、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００と接続している。

ユーザ操作入力装置２００は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線により本体装置１００に送信する。ユーザ操作入力装置２００は、典型的にはリモコン又はタッチパネルである。

映像入力装置３００は、本体装置１００が設置されている拠点を撮影して得られた映像データを本体装置１００に出力する。なお、映像入力装置３００が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。

音声入力装置４００は、本体装置１００が設置されている拠点の音声を集音して得られた音声データ等を本体装置１００に出力する。なお、音声入力装置４００が出力する音声データには、マイクが集音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。

表示装置５００は、本体装置１００から出力された映像データを画面に表示すると共に、本体装置１００から出力された音声データを図示しないスピーカから出力する。

本体装置１００は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声符号化／復号部１０４、映像・音声合成部１０５および映像・音声出力制御部１０６により、表示制御部が構成される。

ユーザ指示受信部１０１は、ユーザ操作入力装置２００から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。選択拠点情報には、テレビ会議に参加する各拠点の発信先情報（ＩＰアドレスあるいはＩＳＤＮ番号）が含まれる。

会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。

通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、他のテレビ会議装置１０−２〜２４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、他のテレビ会議装置１０−２〜２４が送信した映像データ及び音声データを含むパケットを、ネットワーク２０を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを含むパケットを、ネットワーク２０を介して他のテレビ会議装置１０−２〜２４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。

また、通信制御部１０３は、映像・音声符号化／復号部１０４が管理するネットワーク情報に基づいて他のテレビ会議装置１０−２〜２４のグルーピングを行う。例えば、通信制御部１０３は、ＲＴＴ（Ｒｏｕｎｄ−ＴｒｉｐＴｉｍｅ）が閾値以下の拠点を広帯域の拠点（ＨＤ解像度送信グループ）と判定し、ＲＴＴが閾値より大きい拠点を狭帯域の拠点（ＳＤ解像度送信グループ）と判定する。

映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。

映像データの符号化は、映像符号化パラメータに基づいて行われる。映像・音声符号化／復号部１０４は、グループ毎に、映像品質の主観評価に影響を与える映像符号化パラメータを決定する。映像符号化パラメータには、符号化ビットレート、符号化フレームレート、符号化解像度、パケットサイズ、ローパスフィルタ等が含まれる。例えば、映像・音声符号化／復号部１０４は、ＨＤ解像度送信グループに属する各拠点には１９２０×１０８０ピクセルの画面解像度となるように符号化パラメータを設定し、ＳＤ解像度送信グループに属する各拠点には７２０×４８０ピクセルの画面解像度となるように映像符号化パラメータを設定する。

また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した他のテレビ会議装置１０−２〜２４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。

また、映像・音声符号化／復号部１０４は、他のテレビ会議装置１０−２〜２４のネットワーク情報を管理する。ネットワーク情報には、各子拠点の装置の種別（モバイル端末であるか否か）、パケットロス頻度（所定時間内におけるパケットロスの回数）、ＩＰアドレス、ＲＴＴ、推定帯域等が含まれる。

映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの映像データと、映像入力制御部１０８から入力した映像データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて、複数の映像データを合成した合成映像データを生成し、映像・音声出力制御部１０６に出力する。なお、映像・音声合成部１０５は、各テレビ会議装置１０−２〜２４から映像データを受信するまでの間、静止画保持部１０７に保持された静止画が表示されるように合成映像データを生成する。

また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。

映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置５００の画面に表示させると共に、合成音声データを表示装置５００のスピーカから音声として出力させる。

静止画保持部１０７は、他のテレビ会議装置１０−２〜２４から映像データを受信するまでの期間において、所定の静止画を表示装置５００の画面に表示させるための静止画データを予め保持している。

映像入力制御部１０８は、映像入力装置３００から入力した映像データを映像・音声合成部１０５に出力する。

音声入力制御部１０９は、音声入力装置４００から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。

＜テレビ会議装置の接続状態の遷移＞
次に、テレビ会議装置１０−１の接続状態の遷移について、図２を用いて詳細に説明する。

テレビ会議装置１０−１は、電源ＯＮとなることにより動作を開始する。テレビ会議装置１０−１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。

テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の１つのテレビ会議装置１０−ｉ（ｉは２から２４のいずれかの整数）と接続することにより、テレビ会議装置１０−ｉと一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）において、通信状態であるテレビ会議装置１０−ｉとの接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。

また、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）から、さらに他のテレビ会議装置１０−ｊ（ｊはｉ以外の２から２４のいずれかの整数）と接続することにより、複数の拠点のテレビ会議装置１０−ｉ、ｊと通信状態（ＭＣＵ通信状態）になる（Ｓ３）。

そして、テレビ会議装置１０−１は、通信状態にあるテレビ会議装置１０−ｊとの接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にあるテレビ会議装置１０−ｉとの接続を切断すれば非通信状態になる（Ｓ１）。

また、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信することにより他の全てのテレビ会議装置１０−２〜２４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議装置１０は、他の全てのテレビ会議装置１０−２〜２４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。

一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議装置１０−１に手入力する方法、又は、テレビ会議装置１０−１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番号番又は識別コード等が考えられる。

＜テレビ会議装置の動作＞
次に、テレビ会議装置１０−１の動作について、図３を用いて詳細に説明する。なお、図３は、テレビ会議装置１０−１が、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信する場合のフローである。

まず、ユーザ指示受信部１０１が、ユーザ操作入力装置２００から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。

会議制御部１０２は、選択拠点情報のＮ（Ｎは１以上の整数、図３ではＮ＝２３）拠点のそれぞれに設置されたテレビ会議装置１０−２〜２４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、選択拠点のテレビ会議装置１０−２〜２４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。

また、映像・音声符号化／復号部１０４は、ネットワーク情報（各子拠点の装置の種別、パケットロス頻度、ＩＰアドレス、ＲＴＴ、推定帯域等）を初期化する（Ｓ１２）。

また、通信制御部１０３は、他の拠点の各テレビ会議装置１０−２〜２４との間で呼を確立する（Ｓ１３）。

その後、テレビ会議装置１０−１は、拠点番号２の拠点から順番に、ｎ番目（ｎは２からＮ＋１までのいずれかの整数）の拠点についてグルーピングを行う（Ｓ１４〜Ｓ２０）。具体的には、映像・音声符号化／復号部１０４が、各子拠点から受信したパケットデータを復号し、復号結果に基づいてネットワーク情報の管理（設定、更新）を行い（Ｓ１５）、通信制御部１０３が、ｎ番目の拠点へ発信した信号のＲＴＴが、閾値以下であれば広帯域の拠点と判定し（Ｓ１６、Ｓ１７：ＹＥＳ、Ｓ１８）、閾値より大きければ狭帯域の拠点と判定する（Ｓ１６、Ｓ１７：ＮＯ、Ｓ１９）。

グルーピングが完了した後（Ｓ２０：ＹＥＳ）、映像・音声符号化／復号部１０４は、グループ毎に、映像符号化パラメータを決定する（Ｓ２１）。

＜テレビ会議装置の動作の変形例＞
次に、テレビ会議装置１０−１の動作の変形例について、図４を用いて詳細に説明する。図４は、通信途中において、グルーピングの精度を維持向上するための動作例である。図３と同じ処理に関しては、図３と同じステップ番号を付与して説明を省略する。

図４では、通信制御部１０３は、Ｓ１２の後に、Ｎ拠点との間で呼を確立する（Ｓ２２）。そして、テレビ会議装置１０−１は、Ｓ１４の後に、ｎ番目の拠点のネットワーク情報を取得する（Ｓ２３）。図３のＳ２１の後に、一定時間待機し（Ｓ２４）、Ｎの値を更新する（Ｓ２５）。Ｎの値は、テレビ会議装置１０−１と接続している他のテレビ会議装置の数である。そして、Ｎの値が０よりも大きい（１以上）か否かを判定する（Ｓ２６）。Ｎの値が０よりも大きければ（Ｓ２６：ＹＥＳ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が少なくとも１つは存在するためＳ１４に戻り、一方、Ｎの値が０であれば（Ｓ２６：ＮＯ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が存在しないため本処理を終了する。

特に子拠点がモバイル端末等である場合、場所や時間によってネットワーク帯域が変化するため、図３のように、通信開始時にＲＴＴの値に基づいて適切にグルーピングしたとしても、その後、グルーピングが不適切になってしまうことがある。

これに対して、図４は、通信途中において（Ｓ２６：ＹＥＳ）、各拠点について、定期的にＲＴＴの値を検知し、この検知したＲＴＴの値に基づいて、広帯域又は狭帯域の何れであるかを再判定する（Ｓ１７、Ｓ１８、Ｓ１９）。これにより、子拠点が場所や時間によってネットワーク帯域が変化するモバイル端末等であったとしても、グルーピングの精度を維持向上することができ、その結果、適切な映像符号化パラメータを決定（Ｓ２１）することができる。

＜効果＞
このように、本実施の形態では、実際のネットワーク帯域と相関があるネットワーク情報に基づいてグルーピングを行うことができるので、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができる。

なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。

具体的には、上記の実施の形態では、ＲＴＴと閾値との大小関係に基づいてグルーピングを行う場合について説明したが、本発明はこれに限られず、他のネットワーク情報に基づいてグルーピングを行っても良い。例えば、パケットロスの頻度が閾値以下の拠点を広帯域の拠点と判定し、閾値より大きい拠点を狭帯域の拠点と判定するようにしても良い。あるいは、ＩＰアドレス等、他拠点の場所を推定可能な情報に基づいて、国内に存在する拠点を広帯域の拠点と判定し、海外に存在する拠点を狭帯域の拠点と判定するようにしても良い。あるいは、各子拠点の装置の種別を示す情報に基づいて、モバイル端末以外の拠点を広帯域の拠点と判定し、モバイル端末の拠点を狭帯域の拠点と判定するようにしても良い。

また、上記の実施の形態では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示する、あるいは、黒画面のままとするようにしてもよい。

また、上記の実施の形態では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明したが、本発明は同時に接続できる拠点数に制限は無い。

また、本発明では、ユーザの設定により、表示用の映像データと送信用の映像データとを別個に生成することができる。例えば、映像入力制御部１０８から出力された映像データを表示用の映像データとし、映像・音声合成部１０５で合成された映像データを送信用の映像データとすることができる。

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議装置に用いるに好適である。

１０テレビ会議装置
１００本体装置
１０１ユーザ指示受信部
１０２会議制御部
１０３通信制御部
１０４映像・音声符号化／復号部
１０５映像・音声合成部
１０６映像・音声出力制御部
１０７静止画保持部
１０８映像入力制御部
１０９音声入力制御部
２００ユーザ操作入力装置
３００映像入力装置
４００音声入力装置
５００表示装置

Claims

ホスト拠点に設けられ、複数の他拠点と同時に接続可能なテレビ会議装置であって、
前記ホスト拠点を撮影して映像データを取得する映像入力部と、
ネットワークを介して、前記各他拠点との間で映像データを含むパケットの送受信を行う通信制御部と、
複数の前記映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、
を具備し、
前記ネットワークに関する情報には、各他拠点のＲＴＴ（Ｒｏｕｎｄ−ＴｒｉｐＴｉｍｅ）が含まれ、
前記通信制御部は、
前記ＲＴＴが閾値以下の拠点を広帯域の拠点と判定し、前記ＲＴＴが前記閾値より大きい拠点を狭帯域の拠点と判定し、
前記ＲＴＴと前記閾値との大小関係により前記他拠点のグルーピングを行い、
前記表示制御部は、
グループ毎に映像符号化パラメータを決定し、前記映像符号化パラメータに基づいて前記映像データを符号化する、
テレビ会議装置。