JP6803563B2

JP6803563B2 - Video conferencing equipment

Info

Publication number: JP6803563B2
Application number: JP2017111619A
Authority: JP
Inventors: 剛志滝田; 熊澤　雅之; 雅之熊澤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-06-06
Filing date: 2017-06-06
Publication date: 2020-12-23
Anticipated expiration: 2037-06-06
Also published as: JP2018207337A

Description

本発明は、複数の拠点のそれぞれに設置された装置と同時接続可能なテレビ会議装置に関する。 The present invention relates to a video conferencing device that can be simultaneously connected to devices installed at each of a plurality of bases.

複数の拠点を繋いで遠隔会議を行うことができるテレビ会議システムが普及している。ホスト拠点（親拠点）のテレビ会議装置（多拠点接続装置（ＭＣＵ））は、他の拠点（子拠点）から映像データおよび音声データを受信し、モニタの画面に各拠点の映像データを表示させ、スピーカから音声データを出力させる。特許文献１には、３拠点の映像データを同時にモニタの画面に表示するテレビ会議装置が記載されている。 A video conferencing system that can connect multiple bases to hold a remote conference is widespread. The video conferencing device (multi-site connection device (MCU)) of the host base (parent base) receives video data and audio data from other bases (child bases) and displays the video data of each base on the monitor screen. , Output audio data from the speaker. Patent Document 1 describes a video conferencing device that simultaneously displays video data of three bases on a monitor screen.

また、近年、多くの拠点（例えば、２４拠点）と同時に接続できるテレビ会議装置が開発されている。一般に、テレビ会議装置は、エンコーダ数が接続拠点数よりも少なく、広帯域の子拠点と狭帯域の子拠点が混在している場合に、高レートで符号化可能な広帯域の子拠点宛の映像・音声データに対しても、狭帯域の子拠点に合わせて、低レートで符号化を行ってしまう傾向にある。 Further, in recent years, a video conferencing device that can be connected to many bases (for example, 24 bases) at the same time has been developed. Generally, in a video conferencing device, when the number of encoders is smaller than the number of connection bases and a wideband child base and a narrowband child base coexist, video / video addressed to a wideband child base that can be encoded at a high rate. Voice data also tends to be encoded at a low rate according to the narrow band child base.

その問題を解決する手段の一つとして異速度通信機能がある。異速度通信機能では、帯域が所定の閾値より広い拠点群のＨＤ解像度送信グループと狭い拠点群のＳＤ解像度送信グループとに分け、グループ毎に異なるレートで符号化を行う。この機能により、広帯域の子拠点に対して高品質な映像・音声を送信することができる。 There is a different speed communication function as one of the means to solve the problem. In the different speed communication function, the HD resolution transmission group of the base group whose bandwidth is wider than a predetermined threshold value and the SD resolution transmission group of the base group whose bandwidth is narrow are divided, and each group encodes at a different rate. With this function, high-quality video and audio can be transmitted to broadband child bases.

特開２０１２−２３１４２８号公報Japanese Unexamined Patent Publication No. 2012-231428

拠点の中には、子拠点毎に設定された調停帯域と実際のネットワーク帯域が異なるものがある。特に、子拠点がモバイル端末である場合には、場所や時間によりネットワーク帯域が変化する。 Some bases have different arbitration bands and actual network bands set for each child base. In particular, when the child base is a mobile terminal, the network bandwidth changes depending on the location and time.

しかしながら、従来は、調停帯域に基づいて異速度通信機能のグルーピングを行っているため、グルーピングの精度が低くなってしまう。 However, conventionally, since the different speed communication functions are grouped based on the arbitration band, the accuracy of the grouping is lowered.

本発明の目的は、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができるテレビ会議装置を提供することである。 An object of the present invention is to provide a video conferencing device capable of performing highly accurate grouping for bases in which a preset arbitration band and an actual network band are different for each child base.

本発明のテレビ会議装置は、ホスト拠点に設けられ、複数の他拠点と同時に接続可能なテレビ会議装置であって、前記ホスト拠点を撮影して映像データを取得する映像入力部と、ネットワークを介して、前記各他拠点との間で映像データを含むパケットの送受信を行う通信制御部と、複数の前記映像データを合成した合成映像データを生成して画面に表示させる表示制御部と、を具備し、前記通信制御部は、前記ネットワークに関する情報に基づいて前記他拠点のグルーピングを行い、前記表示制御部は、グループ毎に映像符号化パラメータを決定し、前記映像符号化パラメータに基づいて前記映像データを符号化する。 The video conferencing device of the present invention is a video conferencing device provided at a host base and can be connected to a plurality of other bases at the same time, via a video input unit for photographing the host base and acquiring video data, and a network. A communication control unit for transmitting and receiving packets including video data to and from each of the other bases, and a display control unit for generating synthetic video data obtained by synthesizing a plurality of the video data and displaying it on a screen are provided. Then, the communication control unit groups the other bases based on the information about the network, the display control unit determines the video coding parameter for each group, and the video is based on the video coding parameter. Encode the data.

本発明によれば、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、実際のネットワーク帯域に基づくグルーピングを行うことができる。 According to the present invention, it is possible to perform grouping based on the actual network band for the bases where the arbitration band preset for each child base and the actual network band are different.

本発明の一実施の形態に係るテレビ会議装置の構成を示すブロック図A block diagram showing a configuration of a video conferencing device according to an embodiment of the present invention. 本発明の一実施の形態に係るテレビ会議装置の状態の遷移を示す状態遷移図A state transition diagram showing a state transition of the video conferencing device according to the embodiment of the present invention. 本発明の一実施の形態に係るテレビ会議装置の動作を示すフロー図The flow chart which shows the operation of the video conferencing apparatus which concerns on one Embodiment of this invention. 本発明の別の実施の形態に係るテレビ会議装置の動作を示すフロー図The flow chart which shows the operation of the video conferencing apparatus which concerns on another Embodiment of this invention.

以下、図面を適宜参照して、本発明の実施の形態につき、詳細に説明する。なお、以下では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings as appropriate. In the following, a video conferencing system in which the number of bases that can be connected at the same time is 24 will be described as an example.

（実施の形態）
＜テレビ会議装置の構成および接続関係＞
まず、本発明の一実施の形態に係るテレビ会議装置１０の構成および接続関係について、図１を用いて詳細に説明する。 (Embodiment)
<Configuration and connection of video conferencing equipment>
First, the configuration and connection relationship of the video conferencing device 10 according to the embodiment of the present invention will be described in detail with reference to FIG.

各拠点には、それぞれ、テレビ会議装置１０が設置されている。ホスト拠点（拠点番号１）のテレビ会議装置１０−１は、他の拠点（拠点番号２〜２４）のそれぞれに設置された各テレビ会議装置１０−２〜２４と、ネットワーク２０を介して接続し、音声データ及び映像データの送信／受信を行う。ネットワーク２０は、典型的にはインターネットである。 A video conferencing device 10 is installed at each base. The video conferencing device 10-1 of the host base (base number 1) is connected to each of the video conferencing devices 10-2 to 24 installed at each of the other bases (base numbers 2 to 24) via the network 20. , Transmit / receive audio data and video data. The network 20 is typically the Internet.

テレビ会議装置１０−１は、本体装置１００、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００から構成されている。 The video conferencing device 10-1 is composed of a main body device 100, a user operation input device 200, a video input device 300, an audio input device 400, and a display device 500.

本体装置１００は、ユーザ操作入力装置２００、映像入力装置３００、音声入力装置４００および表示装置５００と接続している。 The main body device 100 is connected to a user operation input device 200, a video input device 300, an audio input device 400, and a display device 500.

ユーザ操作入力装置２００は、ユーザによる拠点を選択する操作を検出し、選択された拠点を示す選択拠点情報を含む信号を有線又は無線により本体装置１００に送信する。ユーザ操作入力装置２００は、典型的にはリモコン又はタッチパネルである。 The user operation input device 200 detects an operation of selecting a base by the user, and transmits a signal including the selected base information indicating the selected base to the main unit device 100 by wire or wirelessly. The user operation input device 200 is typically a remote controller or a touch panel.

映像入力装置３００は、本体装置１００が設置されている拠点を撮影して得られた映像データを本体装置１００に出力する。なお、映像入力装置３００が出力する映像データには、カメラが撮像した映像データの他に、ＰＣに保存された映像データ、ＤＶＤプレーヤにより再生された映像データ等がある。 The video input device 300 outputs the video data obtained by photographing the base where the main body device 100 is installed to the main body device 100. The video data output by the video input device 300 includes video data captured by the camera, video data stored in the PC, video data reproduced by the DVD player, and the like.

音声入力装置４００は、本体装置１００が設置されている拠点の音声を集音して得られた音声データ等を本体装置１００に出力する。なお、音声入力装置４００が出力する音声データには、マイクが集音した音声データの他に、ＰＣに保存された映像データとセットの音声データ、ＤＶＤプレーヤにより再生された映像データとセットの音声データ等がある。 The voice input device 400 outputs the voice data or the like obtained by collecting the voice of the base where the main body device 100 is installed to the main body device 100. The audio data output by the audio input device 400 includes the audio data collected by the microphone, the audio data of the set with the video data stored in the PC, and the audio data of the set with the video data played by the DVD player. There is data etc.

表示装置５００は、本体装置１００から出力された映像データを画面に表示すると共に、本体装置１００から出力された音声データを図示しないスピーカから出力する。 The display device 500 displays the video data output from the main unit 100 on the screen, and outputs the audio data output from the main unit 100 from a speaker (not shown).

本体装置１００は、ユーザ指示受信部１０１と、会議制御部１０２と、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、映像・音声出力制御部１０６と、静止画保持部１０７と、映像入力制御部１０８と、音声入力制御部１０９と、から主に構成される。なお、映像・音声符号化／復号部１０４、映像・音声合成部１０５および映像・音声出力制御部１０６により、表示制御部が構成される。 The main unit 100 includes a user instruction receiving unit 101, a conference control unit 102, a communication control unit 103, a video / audio coding / decoding unit 104, a video / audio synthesis unit 105, and a video / audio output control unit 106. , A still image holding unit 107, a video input control unit 108, and an audio input control unit 109. The video / audio coding / decoding unit 104, the video / audio synthesis unit 105, and the video / audio output control unit 106 constitute a display control unit.

ユーザ指示受信部１０１は、ユーザ操作入力装置２００から送信された信号を受信し、受信信号に含まれている選択拠点情報を抽出し、会議制御部１０２に出力する。選択拠点情報には、テレビ会議に参加する各拠点の発信先情報（ＩＰアドレスあるいはＩＳＤＮ番号）が含まれる。 The user instruction receiving unit 101 receives the signal transmitted from the user operation input device 200, extracts the selected base information included in the received signal, and outputs the selected base information to the conference control unit 102. The selected base information includes the destination information (IP address or ISDN number) of each base participating in the video conference.

会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報に基づいて、通信制御部１０３と、映像・音声符号化／復号部１０４と、映像・音声合成部１０５と、におけるデータの入出力のタイミングを制御する。また、会議制御部１０２は、ユーザ指示受信部１０１から入力した選択拠点情報を映像・音声合成部１０５に出力する。また、会議制御部１０２は、選択拠点情報に基づいて、通信制御部１０３における発信処理及び呼の確立処理を制御すると共に、映像データを受信したか否かを監視する。 The conference control unit 102 inputs data in the communication control unit 103, the video / audio coding / decoding unit 104, and the video / audio synthesis unit 105 based on the selected base information input from the user instruction receiving unit 101. Control the output timing. Further, the conference control unit 102 outputs the selected base information input from the user instruction receiving unit 101 to the video / audio synthesis unit 105. Further, the conference control unit 102 controls the transmission processing and the call establishment processing in the communication control unit 103 based on the selected base information, and monitors whether or not the video data has been received.

通信制御部１０３は、会議制御部１０２の制御に従ったタイミングで動作する。通信制御部１０３は、他のテレビ会議装置１０−２〜２４との間で呼を確立する。そして、通信制御部１０３は、呼を確立した後、他のテレビ会議装置１０−２〜２４が送信した映像データ及び音声データを含むパケットを、ネットワーク２０を介して受信し、映像・音声符号化／復号部１０４に出力する。また、通信制御部１０３は、呼を確立した後、映像・音声符号化／復号部１０４から入力した映像データ及び音声データを含むパケットを、ネットワーク２０を介して他のテレビ会議装置１０−２〜２４に送信する。なお、通信制御部１０３は、所定の通信プロトコルに従って動作する。通信プロトコルは、典型的にはＳＩＰ又はＨ．３２３である。 The communication control unit 103 operates at a timing according to the control of the conference control unit 102. The communication control unit 103 establishes a call with other video conferencing devices 10-2 to 24. Then, after establishing the call, the communication control unit 103 receives the packet including the video data and the audio data transmitted by the other video conferencing devices 10-2 to 24 via the network 20 and encodes the video / audio. / Output to the decoding unit 104. Further, after establishing the call, the communication control unit 103 sends the video data and the packet containing the audio data input from the video / audio coding / decoding unit 104 to the other video conferencing devices 10-2 to 10-2 via the network 20. Send to 24. The communication control unit 103 operates according to a predetermined communication protocol. The communication protocol is typically SIP or H.I. It is 323.

また、通信制御部１０３は、映像・音声符号化／復号部１０４が管理するネットワーク情報に基づいて他のテレビ会議装置１０−２〜２４のグルーピングを行う。例えば、通信制御部１０３は、ＲＴＴ（Ｒｏｕｎｄ−ＴｒｉｐＴｉｍｅ）が閾値以下の拠点を広帯域の拠点（ＨＤ解像度送信グループ）と判定し、ＲＴＴが閾値より大きい拠点を狭帯域の拠点（ＳＤ解像度送信グループ）と判定する。 Further, the communication control unit 103 groups the other video conferencing devices 10-2 to 24 based on the network information managed by the video / audio coding / decoding unit 104. For example, the communication control unit 103 determines that a base having an RTT (Round-Trip Time) below the threshold value is a wideband base (HD resolution transmission group), and a base having an RTT larger than the threshold value is a narrow band base (SD resolution transmission group). ).

映像・音声符号化／復号部１０４は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声符号化／復号部１０４は、映像・音声合成部１０５から入力した映像データ、および、音声入力制御部１０９から入力した音声データを符号化して通信制御部１０３に出力する。 The video / audio coding / decoding unit 104 operates at a timing according to the control of the conference control unit 102. The video / audio coding / decoding unit 104 encodes the video data input from the video / audio synthesis unit 105 and the audio data input from the audio input control unit 109 and outputs them to the communication control unit 103.

映像データの符号化は、映像符号化パラメータに基づいて行われる。映像・音声符号化／復号部１０４は、グループ毎に、映像品質の主観評価に影響を与える映像符号化パラメータを決定する。映像符号化パラメータには、符号化ビットレート、符号化フレームレート、符号化解像度、パケットサイズ、ローパスフィルタ等が含まれる。例えば、映像・音声符号化／復号部１０４は、ＨＤ解像度送信グループに属する各拠点には１９２０×１０８０ピクセルの画面解像度となるように符号化パラメータを設定し、ＳＤ解像度送信グループに属する各拠点には７２０×４８０ピクセルの画面解像度となるように映像符号化パラメータを設定する。 The video data is encoded based on the video coding parameters. The video / audio coding / decoding unit 104 determines the video coding parameters that affect the subjective evaluation of the video quality for each group. The video coding parameters include a coded bit rate, a coded frame rate, a coded resolution, a packet size, a low-pass filter, and the like. For example, the video / audio coding / decoding unit 104 sets coding parameters for each base belonging to the HD resolution transmission group so as to have a screen resolution of 1920 × 1080 pixels, and sets each base belonging to the SD resolution transmission group. Sets the video coding parameters so that the screen resolution is 720 x 480 pixels.

また、映像・音声符号化／復号部１０４は、通信制御部１０３から入力した他のテレビ会議装置１０−２〜２４からの映像データおよび音声データを復号して映像・音声合成部１０５に出力する。 Further, the video / audio coding / decoding unit 104 decodes the video data and audio data from the other video conferencing devices 10-2 to 24 input from the communication control unit 103 and outputs the video / audio synthesis unit 105. ..

また、映像・音声符号化／復号部１０４は、他のテレビ会議装置１０−２〜２４のネットワーク情報を管理する。ネットワーク情報には、各子拠点の装置の種別（モバイル端末であるか否か）、パケットロス頻度（所定時間内におけるパケットロスの回数）、ＩＰアドレス、ＲＴＴ、推定帯域等が含まれる。 In addition, the video / audio coding / decoding unit 104 manages network information of other video conferencing devices 10-2 to 24. The network information includes the type of device at each child base (whether or not it is a mobile terminal), packet loss frequency (number of packet losses within a predetermined time), IP address, RTT, estimated bandwidth, and the like.

映像・音声合成部１０５は、会議制御部１０２の制御に従ったタイミングで動作する。映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの映像データと、映像入力制御部１０８から入力した映像データと、に基づいて、会議制御部１０２から入力した選択拠点情報の拠点数に応じて、複数の映像データを合成した合成映像データを生成し、映像・音声出力制御部１０６に出力する。なお、映像・音声合成部１０５は、各テレビ会議装置１０−２〜２４から映像データを受信するまでの間、静止画保持部１０７に保持された静止画が表示されるように合成映像データを生成する。 The video / audio synthesis unit 105 operates at a timing according to the control of the conference control unit 102. The video / audio synthesis unit 105 is based on the video data from other video conferencing devices 10-2 to 24 input from the video / audio coding / decoding unit 104 and the video data input from the video input control unit 108. Then, according to the number of bases of the selected base information input from the conference control unit 102, the composite video data obtained by synthesizing a plurality of video data is generated and output to the video / audio output control unit 106. The video / audio synthesis unit 105 displays the composite video data so that the still image held by the still image holding unit 107 is displayed until the video data is received from the video conferencing devices 10-2 to 24. Generate.

また、映像・音声合成部１０５は、映像・音声符号化／復号部１０４から入力した他のテレビ会議装置１０−２〜２４からの音声データと、音声入力制御部１０９から入力した音声データを合成した合成音声データを生成し、映像・音声出力制御部１０６に出力する。また、映像・音声合成部１０５は、映像入力制御部１０８から入力した映像データを映像・音声符号化／復号部１０４に出力する。 Further, the video / audio synthesis unit 105 synthesizes the audio data from other video conferencing devices 10-2 to 24 input from the video / audio coding / decoding unit 104 and the audio data input from the audio input control unit 109. The synthesized audio data is generated and output to the video / audio output control unit 106. Further, the video / audio synthesis unit 105 outputs the video data input from the video input control unit 108 to the video / audio coding / decoding unit 104.

映像・音声出力制御部１０６は、映像・音声合成部１０５から入力した合成映像データを表示装置５００の画面に表示させると共に、合成音声データを表示装置５００のスピーカから音声として出力させる。 The video / audio output control unit 106 displays the composite video data input from the video / voice synthesis unit 105 on the screen of the display device 500, and outputs the synthetic audio data as audio from the speaker of the display device 500.

静止画保持部１０７は、他のテレビ会議装置１０−２〜２４から映像データを受信するまでの期間において、所定の静止画を表示装置５００の画面に表示させるための静止画データを予め保持している。 The still image holding unit 107 holds in advance still image data for displaying a predetermined still image on the screen of the display device 500 during the period from receiving the video data from the other video conferencing devices 10-2 to 24. ing.

映像入力制御部１０８は、映像入力装置３００から入力した映像データを映像・音声合成部１０５に出力する。 The video input control unit 108 outputs the video data input from the video input device 300 to the video / audio synthesis unit 105.

音声入力制御部１０９は、音声入力装置４００から入力した音声データを映像・音声符号化／復号部１０４および映像・音声合成部１０５に出力する。 The audio input control unit 109 outputs the audio data input from the audio input device 400 to the video / audio coding / decoding unit 104 and the video / audio synthesis unit 105.

＜テレビ会議装置の接続状態の遷移＞
次に、テレビ会議装置１０−１の接続状態の遷移について、図２を用いて詳細に説明する。 <Transition of connection status of video conferencing equipment>
Next, the transition of the connection state of the video conferencing device 10-1 will be described in detail with reference to FIG.

テレビ会議装置１０−１は、電源ＯＮとなることにより動作を開始する。テレビ会議装置１０−１は、電源ＯＮされた直後では非通信状態である（Ｓ１）。 The video conferencing device 10-1 starts operating when the power is turned on. The video conferencing device 10-1 is in a non-communication state immediately after the power is turned on (S1).

テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の１つのテレビ会議装置１０−ｉ（ｉは２から２４のいずれかの整数）と接続することにより、テレビ会議装置１０−ｉと一対一の通信状態（１：１通信状態）になる（Ｓ２）。そして、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）において、通信状態であるテレビ会議装置１０−ｉとの接続を切断すると非通信状態になる（Ｓ１）。なお、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、電源ＯＦＦとなることにより動作を終了する。 In the non-communication state (S1), the video conferencing device 10-1 is connected to another video conferencing device 10-i (i is an integer of 2 to 24), whereby the video conferencing device 10-i And one-to-one communication state (1: 1 communication state) (S2). Then, in the 1: 1 communication state (S2), the video conferencing device 10-1 goes into a non-communication state when the connection with the video conferencing device 10-i in the communication state is disconnected (S1). The video conferencing device 10-1 ends its operation when the power is turned off in the non-communication state (S1).

また、テレビ会議装置１０−１は、１：１通信状態（Ｓ２）から、さらに他のテレビ会議装置１０−ｊ（ｊはｉ以外の２から２４のいずれかの整数）と接続することにより、複数の拠点のテレビ会議装置１０−ｉ、ｊと通信状態（ＭＣＵ通信状態）になる（Ｓ３）。 Further, the video conferencing device 10-1 is connected from the 1: 1 communication state (S2) to another video conferencing device 10-j (j is an integer of 2 to 24 other than i). It enters a communication state (MCU communication state) with the video conferencing devices 10-i and j at a plurality of bases (S3).

そして、テレビ会議装置１０−１は、通信状態にあるテレビ会議装置１０−ｊとの接続を切断すれば一対一の通信状態になり（Ｓ２）、さらに通信状態にあるテレビ会議装置１０−ｉとの接続を切断すれば非通信状態になる（Ｓ１）。 Then, the video conferencing device 10-1 is in a one-to-one communication state (S2) if the connection with the video conferencing device 10-j in the communication state is disconnected, and further becomes a one-to-one communication state with the video conferencing device 10-i in the communication state. If the connection is disconnected, the communication state is set (S1).

また、テレビ会議装置１０−１は、非通信状態（Ｓ１）において、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信することにより他の全てのテレビ会議装置１０−２〜２４と通信状態（ＭＣＵ通信状態）になる（Ｓ３）。そして、テレビ会議装置１０は、他の全てのテレビ会議装置１０−２〜２４との接続を一斉に切断すれば非通信状態になる（Ｓ１）。 Further, in the non-communication state (S1), the video conferencing device 10-1 simultaneously transmits to all the other video conferencing devices 10-2 to 24, thereby transmitting all the other video conferencing devices 10-2 to 10-2 to 24. It becomes a communication state (MCU communication state) with 24 (S3). Then, the video conferencing device 10 is put into a non-communication state if the connections with all the other video conferencing devices 10-2 to 24 are disconnected all at once (S1).

一斉に発信する方法としては、ユーザが発信時に発信先をテレビ会議装置１０−１に手入力する方法、又は、テレビ会議装置１０−１に予め記憶させておいた複数の発信先情報を登録したリストをユーザに選択させる方法等が考えられる。また、発信先を特定する方法としては、ＩＰアドレス、電話番号番又は識別コード等が考えられる。 As a method of transmitting all at once, a method in which the user manually inputs the destination to the video conferencing device 10-1 at the time of making a call, or a method of registering a plurality of destination information stored in advance in the video conferencing device 10-1. A method of allowing the user to select a list can be considered. Further, as a method of specifying the destination, an IP address, a telephone number, an identification code, or the like can be considered.

＜テレビ会議装置の動作＞
次に、テレビ会議装置１０−１の動作について、図３を用いて詳細に説明する。なお、図３は、テレビ会議装置１０−１が、他の全てのテレビ会議装置１０−２〜２４に対して一斉に発信する場合のフローである。 <Operation of video conferencing equipment>
Next, the operation of the video conferencing device 10-1 will be described in detail with reference to FIG. Note that FIG. 3 is a flow in which the video conferencing device 10-1 simultaneously transmits to all the other video conferencing devices 10-2 to 24.

まず、ユーザ指示受信部１０１が、ユーザ操作入力装置２００から信号を受信し、受信した信号に含まれる選択拠点情報を抽出して会議制御部１０２に出力する。 First, the user instruction receiving unit 101 receives a signal from the user operation input device 200, extracts selected base information included in the received signal, and outputs the signal to the conference control unit 102.

会議制御部１０２は、選択拠点情報のＮ（Ｎは１以上の整数、図３ではＮ＝２３）拠点のそれぞれに設置されたテレビ会議装置１０−２〜２４に一斉発信を行うように通信制御部１０３を制御する。これにより、通信制御部１０３は、選択拠点のテレビ会議装置１０−２〜２４に一斉発信を行う（Ｓ１１）。具体的には、会議制御部１０２は、選択拠点情報が複数の発信先情報を記録した１つのリストの情報である場合、そのリストに登録されている発信先情報の発信先の数により拠点数Ｎを認識することができる。 The conference control unit 102 controls communication so as to simultaneously transmit to the video conferencing devices 10-2 to 24 installed at each of the N (N is an integer of 1 or more, N = 23 in FIG. 3) bases of the selected base information. The unit 103 is controlled. As a result, the communication control unit 103 simultaneously transmits to the video conferencing devices 10-2 to 24 at the selected base (S11). Specifically, when the selected base information is information in one list in which a plurality of destination information is recorded, the conference control unit 102 determines the number of bases according to the number of destinations of the destination information registered in the list. N can be recognized.

また、映像・音声符号化／復号部１０４は、ネットワーク情報（各子拠点の装置の種別、パケットロス頻度、ＩＰアドレス、ＲＴＴ、推定帯域等）を初期化する（Ｓ１２）。 Further, the video / audio coding / decoding unit 104 initializes network information (device type of each child base, packet loss frequency, IP address, RTT, estimated band, etc.) (S12).

また、通信制御部１０３は、他の拠点の各テレビ会議装置１０−２〜２４との間で呼を確立する（Ｓ１３）。 Further, the communication control unit 103 establishes a call with each video conferencing device 10-2 to 24 at another base (S13).

その後、テレビ会議装置１０−１は、拠点番号２の拠点から順番に、ｎ番目（ｎは２からＮ＋１までのいずれかの整数）の拠点についてグルーピングを行う（Ｓ１４〜Ｓ２０）。具体的には、映像・音声符号化／復号部１０４が、各子拠点から受信したパケットデータを復号し、復号結果に基づいてネットワーク情報の管理（設定、更新）を行い（Ｓ１５）、通信制御部１０３が、ｎ番目の拠点へ発信した信号のＲＴＴが、閾値以下であれば広帯域の拠点と判定し（Ｓ１６、Ｓ１７：ＹＥＳ、Ｓ１８）、閾値より大きければ狭帯域の拠点と判定する（Ｓ１６、Ｓ１７：ＮＯ、Ｓ１９）。 After that, the video conferencing device 10-1 groups the nth base (n is an integer from 2 to N + 1) in order from the base number 2 (S14 to S20). Specifically, the video / audio coding / decoding unit 104 decodes the packet data received from each child base, manages (sets, updates) network information based on the decoding result (S15), and controls communication. If the RTT of the signal transmitted to the nth base by unit 103 is equal to or less than the threshold value, it is determined to be a wideband base (S16, S17: YES, S18), and if it is larger than the threshold value, it is determined to be a narrow band base (S16). , S17: NO, S19).

グルーピングが完了した後（Ｓ２０：ＹＥＳ）、映像・音声符号化／復号部１０４は、グループ毎に、映像符号化パラメータを決定する（Ｓ２１）。 After the grouping is completed (S20: YES), the video / audio coding / decoding unit 104 determines the video coding parameters for each group (S21).

＜テレビ会議装置の動作の変形例＞
次に、テレビ会議装置１０−１の動作の変形例について、図４を用いて詳細に説明する。図４は、通信途中において、グルーピングの精度を維持向上するための動作例である。図３と同じ処理に関しては、図３と同じステップ番号を付与して説明を省略する。 <Modified example of operation of video conferencing device>
Next, a modified example of the operation of the video conferencing device 10-1 will be described in detail with reference to FIG. FIG. 4 is an operation example for maintaining and improving the grouping accuracy during communication. Regarding the same processing as in FIG. 3, the same step number as in FIG. 3 is assigned and the description thereof will be omitted.

図４では、通信制御部１０３は、Ｓ１２の後に、Ｎ拠点との間で呼を確立する（Ｓ２２）。そして、テレビ会議装置１０−１は、Ｓ１４の後に、ｎ番目の拠点のネットワーク情報を取得する（Ｓ２３）。図３のＳ２１の後に、一定時間待機し（Ｓ２４）、Ｎの値を更新する（Ｓ２５）。Ｎの値は、テレビ会議装置１０−１と接続している他のテレビ会議装置の数である。そして、Ｎの値が０よりも大きい（１以上）か否かを判定する（Ｓ２６）。Ｎの値が０よりも大きければ（Ｓ２６：ＹＥＳ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が少なくとも１つは存在するためＳ１４に戻り、一方、Ｎの値が０であれば（Ｓ２６：ＮＯ）、テレビ会議装置１０−１と接続している他のテレビ会議装置が存在しないため本処理を終了する。 In FIG. 4, the communication control unit 103 establishes a call with the N base after S12 (S22). Then, the video conferencing device 10-1 acquires the network information of the nth base after S14 (S23). After S21 in FIG. 3, wait for a certain period of time (S24) and update the value of N (S25). The value of N is the number of other video conferencing devices connected to the video conferencing device 10-1. Then, it is determined whether or not the value of N is larger than 0 (1 or more) (S26). If the value of N is greater than 0 (S26: YES), it returns to S14 because there is at least one other video conferencing device connected to the video conferencing device 10-1, while the value of N is 0. If (S26: NO), this process ends because there is no other video conferencing device connected to the video conferencing device 10-1.

特に子拠点がモバイル端末等である場合、場所や時間によってネットワーク帯域が変化するため、図３のように、通信開始時にＲＴＴの値に基づいて適切にグルーピングしたとしても、その後、グルーピングが不適切になってしまうことがある。 In particular, when the child base is a mobile terminal or the like, the network bandwidth changes depending on the location and time, so even if the grouping is performed appropriately based on the RTT value at the start of communication as shown in Fig. 3, the grouping is inappropriate after that. It may become.

これに対して、図４は、通信途中において（Ｓ２６：ＹＥＳ）、各拠点について、定期的にＲＴＴの値を検知し、この検知したＲＴＴの値に基づいて、広帯域又は狭帯域の何れであるかを再判定する（Ｓ１７、Ｓ１８、Ｓ１９）。これにより、子拠点が場所や時間によってネットワーク帯域が変化するモバイル端末等であったとしても、グルーピングの精度を維持向上することができ、その結果、適切な映像符号化パラメータを決定（Ｓ２１）することができる。 On the other hand, FIG. 4 shows either a wide band or a narrow band by periodically detecting the RTT value at each base during communication (S26: YES) and based on the detected RTT value. Is re-determined (S17, S18, S19). As a result, even if the child base is a mobile terminal or the like whose network bandwidth changes depending on the location and time, the accuracy of grouping can be maintained and improved, and as a result, an appropriate video coding parameter is determined (S21). be able to.

＜効果＞
このように、本実施の形態では、実際のネットワーク帯域と相関があるネットワーク情報に基づいてグルーピングを行うことができるので、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、子拠点毎に予め設定された調停帯域と実際のネットワーク帯域が異なる拠点について、精度が高いグルーピングを行うことができる。 <Effect>
As described above, in the present embodiment, since grouping can be performed based on the network information that correlates with the actual network band, the arbitration band preset for each child site and the actual network band are different from each other. , It is possible to perform highly accurate grouping for bases where the arbitration band preset for each child base and the actual network band are different.

なお、本発明は、部材の種類、配置、個数等は前述の実施の形態に限定されるものではなく、その構成要素を同等の作用効果を奏するものに適宜置換する等、発明の要旨を逸脱しない範囲で適宜変更可能である。 It should be noted that the present invention is not limited to the above-described embodiment in terms of the type, arrangement, number, etc. of the members, and deviates from the gist of the invention, such as appropriately replacing the constituent elements with those having the same effect and effect. It can be changed as appropriate as long as it does not.

具体的には、上記の実施の形態では、ＲＴＴと閾値との大小関係に基づいてグルーピングを行う場合について説明したが、本発明はこれに限られず、他のネットワーク情報に基づいてグルーピングを行っても良い。例えば、パケットロスの頻度が閾値以下の拠点を広帯域の拠点と判定し、閾値より大きい拠点を狭帯域の拠点と判定するようにしても良い。あるいは、ＩＰアドレス等、他拠点の場所を推定可能な情報に基づいて、国内に存在する拠点を広帯域の拠点と判定し、海外に存在する拠点を狭帯域の拠点と判定するようにしても良い。あるいは、各子拠点の装置の種別を示す情報に基づいて、モバイル端末以外の拠点を広帯域の拠点と判定し、モバイル端末の拠点を狭帯域の拠点と判定するようにしても良い。 Specifically, in the above embodiment, the case where grouping is performed based on the magnitude relationship between the RTT and the threshold value has been described, but the present invention is not limited to this, and grouping is performed based on other network information. Is also good. For example, a base having a packet loss frequency of less than or equal to a threshold value may be determined to be a wideband base, and a base having a packet loss frequency greater than the threshold value may be determined to be a narrowband base. Alternatively, based on information such as an IP address that can estimate the location of other bases, a base existing in Japan may be determined as a wideband base, and a base existing overseas may be determined as a narrowband base. .. Alternatively, based on the information indicating the type of the device of each child base, the base other than the mobile terminal may be determined as a broadband base, and the base of the mobile terminal may be determined as a narrow band base.

また、上記の実施の形態では、映像を表示するまでに静止画を表示する場合について説明したが、本発明はこれに限られず、静止画以外のメッセージ等の文字情報を表示する、あるいは、黒画面のままとするようにしてもよい。 Further, in the above embodiment, the case where the still image is displayed before the image is displayed has been described, but the present invention is not limited to this, and character information such as a message other than the still image is displayed or black. You may leave the screen as it is.

また、上記の実施の形態では、同時に接続できる拠点数が２４であるテレビ会議システムを例に説明したが、本発明は同時に接続できる拠点数に制限は無い。 Further, in the above embodiment, the video conferencing system in which the number of bases that can be connected at the same time is 24 has been described as an example, but the present invention does not limit the number of bases that can be connected at the same time.

また、本発明では、ユーザの設定により、表示用の映像データと送信用の映像データとを別個に生成することができる。例えば、映像入力制御部１０８から出力された映像データを表示用の映像データとし、映像・音声合成部１０５で合成された映像データを送信用の映像データとすることができる。 Further, in the present invention, the video data for display and the video data for transmission can be generated separately by the setting of the user. For example, the video data output from the video input control unit 108 can be used as the video data for display, and the video data synthesized by the video / voice synthesis unit 105 can be used as the video data for transmission.

本発明は、ホスト拠点に設けられ、ホスト拠点と異なる複数の拠点の相手装置と同時に接続可能なテレビ会議装置に用いるに好適である。 The present invention is suitable for use in a video conferencing device provided at a host base and capable of being connected to a partner device at a plurality of bases different from the host base at the same time.

１０テレビ会議装置
１００本体装置
１０１ユーザ指示受信部
１０２会議制御部
１０３通信制御部
１０４映像・音声符号化／復号部
１０５映像・音声合成部
１０６映像・音声出力制御部
１０７静止画保持部
１０８映像入力制御部
１０９音声入力制御部
２００ユーザ操作入力装置
３００映像入力装置
４００音声入力装置
５００表示装置 10 Video conferencing device 100 Main unit device 101 User instruction receiving unit 102 Conference control unit 103 Communication control unit 104 Video / audio coding / decoding unit 105 Video / voice synthesis unit 106 Video / audio output control unit 107 Still image holding unit 108 Video input Control unit 109 Voice input control unit 200 User operation input device 300 Video input device 400 Voice input device 500 Display device

Claims

It is a video conferencing device installed at the host base and can be connected to multiple other bases at the same time.
A video input unit that shoots the host base and acquires video data,
A communication control unit that sends and receives packets containing video data to and from each of the other bases via a network.
A display control unit that generates composite video data that combines a plurality of the video data and displays it on the screen.
Equipped with
The information about the network includes RTT (Round-Trip Time) of each other base.
The communication control unit
A base having an RTT below the threshold is determined to be a wideband base, and a base having an RTT greater than the threshold is determined to be a narrowband base.
Grouping of the other bases is performed according to the magnitude relationship between the RTT and the threshold value.
The display control unit
A video coding parameter is determined for each group, and the video data is encoded based on the video coding parameter.
Video conferencing equipment.