JP3639664B2

JP3639664B2 - Multimedia communication system, interwork apparatus used therefor, and multimedia communication method

Info

Publication number: JP3639664B2
Application number: JP01607696A
Authority: JP
Inventors: 正寿大谷
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1996-01-31
Filing date: 1996-01-31
Publication date: 2005-04-20
Anticipated expiration: 2016-01-31
Also published as: JPH09214561A

Description

【０００１】
【発明の属する技術分野】
本発明はマルチメディア通信システム、それに用いるインターワーク装置及びマルチメディア通信方法に係わり、例えば、映像・音声・データ等のマルチメディア情報を多重化して相互通信することが可能なテレビ電話・会議システム等を代表とするマルチメディア通信端末に関して、ＬＡＮ（Local area network）回線に接続されているマルチメディア通信端末と、ＰＳＴＮ・ＩＳＤＮ回線等の公衆回線網に接続されているマルチメディア通信端末との間の相互通信を、インターワーク装置を介して可能にする場合のマルチメディア通信システムに関するものである。
【０００２】
【従来の技術】
近年、パーソナル・コンピュータ（以下ＰＣと記す）の急激な高速化、大容量化、高機能化および低価格化等によって、従来よりＩＴＵ−Ｔ／ＩＳＯ等によって順次勧告化・標準化が進められていて、映像情報・音声情報・データ等のマルチメディア通信サービスの本格的な普及が促進されてきた。
【０００３】
特に、狭帯域ＩＳＤＮ回線（以下、Ｎ−ＩＳＤＮと記す）利用によるＩＴＵ−Ｔ勧告Ｈ．３２０シリーズに基づくマルチメディア通信は、各種のＰＣ会議システムの実質的な標準として急激な普及が見込まれている。
【０００４】
同時に、将来の通信網である広帯域ＩＳＤＮ（以下、Ｂ−ＩＳＤＮと記す）上、あるいはより高速なＬＡＮ回線上での通信プロトコルとして採用されるＡＴＭ通信に基づくマルチメディア通信としてＩＴＵ−Ｔ勧告Ｈ．３１０シリーズや、ＰＳＴＮ回線へのマルチメディア通信適用のためのＩＴＵ−Ｔ勧告Ｈ．３２４シリーズ等も順次規定されている。
【０００５】
また、ＰＣ普及に伴う企業内ネットワークとしてのＬＡＮ施設も急激に普及が進み、企業内のＰＣはイーサネット等のＬＡＮに接続されて使用されている。また、帯域保証されたＩＳＶＬＡＮ等に対するマルチメディア通信適用には、ＩＴＵ−Ｔ勧告Ｈ．３２２シリーズ規定されつつあるが、通常企業内ＬＡＮとして施設されている帯域保証のされないＬＡＮ上でのマルチメディア通信に適用する勧告の規定はなされていない。
【０００６】
企業内ＬＡＮに接続されたＰＣと、公衆網に接続されたＰＣとによるマルチメディア通信を行うためには、ＬＡＮとＰＳＴＮ・ＩＳＤＮ等の公衆網とのインターワークを行う装置、すなわち、一般的にゲートウェイとかルータとか呼ばれるインターワーク装置が必要となる。
【０００７】
上記インターワーク装置においては、ＬＡＮの通信プロトコルとＰＳＴＮ・ＩＳＤＮ等の公衆網の各種通信プロトコル間のプロトコル変換や、ＬＡＮ・公衆網間の速度差異を吸収するための制御や、場合によっては音声・映像情報の符号化変換処理等が行われる。
【０００８】
現在標準として規定されているＩＴＵ−Ｔ勧告Ｈ．３２０シリーズにおいては、ＩＴＵ−Ｔ勧告Ｈ．２２１においてマルチメディア多重化フレーム構造を規定している。図５は、Ｎ−ＩＳＤＮの６４ｋｂｐｓ×１チャネル上でのＨ．２２１フレーム構造を示す図であり、横軸の１〜８の数字はビット番号である。また、縦軸の１〜８０の数字はオクテット番号であり、Ｎ−ＩＳＤＮ上の１Ｂチャネル上で伝送される８０オクテットで１フレームを構成する。
【０００９】
図５におけるＦＡＳ（フレーム同期信号）により、フレーム同期・マルチフレーム同期の制御、通信品質の監視機能および警報情報通知等の制御を行う。ＩＴＵ−ＴＨ２４２．ではインチャネルでのＢＡＳ（ビット割当信号）を用いた、能力情報交換シーケンス・モード切換シーケンス等の通信手順が規定されている。ＩＴＵ−ＴＨ．２３０では、マルチメディア通信に必要な各種制御および通知信号に関して規定している。
【００１０】
一方、ＩＴＵ−ＴＨ．２６１では、ｐ×６４ｋｂｐｓ（ｐ＝１〜３０）の速度における動画像情報の符号化・復号化に関して規定している。ＩＴＵ−ＴＨ．３２０は、Ｎ−ＩＳＤＮを利用したマルチメディア通信全体のシステムアスペクトであり、その他のマルチメディア通信において適用すべき音声符号化Ｇシリーズ勧告や、データ通信系制御としてＭＬＰ（Multi Layered Protocol）上で採用されるべきＴ１２０シリーズ勧告等も順次規定されている。
【００１１】
現在あるＩＳＤＮとＬＡＮとのインターワークを行うマルチメディア通信対応のインターワーク装置は、ＩＳＶＬＡＮとＩＳＤＮ間のインターワークを制御するものや、ＬＡＮ側は映像・音声情報等の大容量通信用に特殊なＬＡＮを想定したものが多い。また、一部イーサネット等のポピュラーなＬＡＮ上に対応して、独自にインターワーク制御を行うことを試みた製品も多少みられるようになってきた。
【００１２】
【発明が解決しようとする課題】
しかしながら、上述従来のマルチメディア通信システムにおいては、ＬＡＮ側がＯＡネットワーク用のＬＡＮとは別のＬＡＮであるため、通常のＯＡネットワークにのみ接続されたＰＣからは利用することができなかった。したがって、従来はＬＡＮを別途に施設する必要があり、高価なものであったために広く普及しなかった。
【００１３】
また、インターワーク装置上でのプロトコル変換／符号化変換等が最適に考慮されていなかった。
また、ＬＡＮ回線に接続された複数の端末と公衆網端末間の多地点間通信を、大規模な多地点制御装置なしで容易に行えることを考慮したり、公衆網上とＬＡＮ上での通信速度の差異等を考慮して、むやみにＬＡＮ上の通信トラフィックを浪費しないように考慮するインターワーク装置は未だ得られていなかった。
【００１４】
本発明は上述の問題点を鑑みてなされたものであり、ＬＡＮ回線上のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末とのインターワークを簡単に実現できるようにすることを第１目的とする。
【００１５】
また、ＯＡ用のコンピュータ・ネットワークに接続された各自のＰＣ／ＷＳから公衆回線網上のマルチメディア通信端末とのインターワークを可能とすることを第２の目的とする。
【００１６】
さらに、ＬＡＮ回線に接続された複数のマルチメディア通信端末と公衆回線網に接続されたマルチメディア通信端末との間で、多地点間通信を容易に可能にすることを、上記ＬＡＮ回線に接続されたトラフィックをむやみに増大させることなく行うことができるようにすることを第３の目的とする。
【００１７】
【課題を解決するための手段】
本発明のインターワーク装置は、ＬＡＮ回線に接続された複数のマルチメディア通信端末と、公衆回線網に接続されたマルチメディア通信端末との間にて多地点問通信を行う際の適用伝送レート制御を、最も遅い伝送レートに合わせるように上記ＬＡＮ回線上または公衆回線網上の伝送レートを制御する伝送レート制御手段を有することを特徴としている。
【００１８】
本発明のマルチメディア通信方法は、ＬＡＮ回線に接続されているマルチメディア通信端末と、公衆回線網に接続されているマルチメディア通信端末との間で相互に通信を行うことを可能にするマルチメディア通信方法において、上記公衆回線網とＬＡＮ回線のいずれか一方に接続されているマルチメディア通信端末の接続回線マルチメディア通信属性を、上記公衆回線網とＬＡＮ回線のいずれか他方に接続されているマルチメディア通信端末に通知する通信属性通知手順と、上記通信属性通知手順により通知された通信属性に基づいて、上記マルチメディア通信端末間の通信モードを選択する通信モード選択手順と、上記ＬＡＮ回線に接続された複数のマルチメディア通信端末と、上記公衆回線網に接続されたマルチメディア通信端末との間にて多地点問通信を行う際の適用伝送レート制御を、最も遅い伝送レートに合わせるように上記ＬＡＮ回線上または公衆回線網上の伝送レートを制御する伝送レート制御手順とを有することを特徴としている。
【００２０】
また、本発明のマルチメディア通信システムは、アナログ音声情報をアナログ・デジタル変換し、指定された符号化方式に従って符号化する音声情報符号化手段と、上記音声情報符号化手段により符号化された音声情報を復号化するとともにデジタル・アナログ変換してアナログ音声情報として出力する音声情報出力手段と、アナログ映像情報をアナログ・デジタル変換し、指定された符号化方式に従って符号化する映像情報符号化手段と、上記映像情報符号化手段により符号化された映像情報を復号化してデジタル・アナログ変換してアナログ映像情報として出力する映像情報出力手段と、上記音声情報符号化手段および映像情報符号化手段により符号化された音声情報および映像情報よりなるマルチメディア情報を多重化し、ＬＡＮ回線を介して送信するマルチメディア情報送信手段と、上記マルチメディア情報送信手段により多重化されたマルチメディア情報を受信した時に、上記多重化されたマルチメディア情報を分離して各情報ごとに復号化するマルチメディア情報受信手段とを有する上記ＬＡＮ回線に接続されたマルチメディア通信端末と、上記ＬＡＮ回線に接続されたマルチメディア通信端末と同様に、マルチメディア情報を符号化・復号化・多重化して相互に通信を行う端末であって、ＰＳＴＮ・ＩＳＤＮを含む公衆回線網に接続されたマルチメディア通信端末と、上記ＬＡＮ回線に接続されたマルチメディア通信端末と上記公衆回線網に接続されたマルチメディア通信端末との間の相互通信をインターワークするインターワーク装置とにより構成されるマルチメディア通信システムにおいて、上記公衆回線網に接続されたマルチメディア通信端末との接続回線通信属性を上記ＬＡＮ回線に接続されたマルチメディア通信端末に通知する通信属性通知手段と、上記通信属性通知手段により通知された接続回線通信属性に基づいて上記公衆回線網に接続されたマルチメディア通信端末と相互通信を行う時の音声符号化方式・映像符号化モード・適用伝送レートを含む通信モードを選択制御する通信モード選択手段とを有することを特徴としている。
【００２１】
また、本発明の他の特徴とするところは、上記ＬＡＮ回線に接続されたマルチメディア通信端末と能力情報交換を行う第１の情報交換手段と、上記公衆回線網に接続されたマルチメディア通信端末と能力情報交換を行う第２の情報交換手段と、上記インターワーク装置における処理負荷が最小になるような通信モードを選択する通信モード選択手段と、上記通信モード選択手段により選択された通信モードを上記公衆回線網に接続されたマルチメディア通信端末、および上記ＬＡＮ回線に接続されたマルチメディア通信端末に通知する通信モード通知手段と、上記通信モード通知手段により通知された通信モードに応じたプロトコル変換処理および符号化変換処理を行う変換処理手段とを有することを特徴としている。
【００２２】
また、本発明のその他の特徴とするところは、上記ＬＡＮ回線に接続されたマルチメディア通信端末と、上記公衆回線網に接続されたマルチメディア通信端末との間にて行う多地点間通信を制御する通信制御手段と、上記通信制御手段により制御される多地点間通信に参加する複数のマルチメディア通信装置の能力に応じて、上記インターワーク装置上での処理負荷が最小になるように通信モードを選択する通信モード選択手段とを有することを特徴としている。
【００２３】
また、本発明のその他の特徴とするところは、ＬＡＮ回線に接続されたマルチメディア通信端末と能力情報交換を行う第１の情報交換手段と、公衆回線網に接続されたマルチメディア通信端末と能力情報交換を行う第２の情報交換手段と、上記第１，第２の情報交換手段による情報交換に基づいて、上記ＬＡＮ回線に接続された複数のマルチメディア通信端末と、上記公衆回線網に接続されたマルチメディア通信端末との間にて多地点問通信を行う際の適用伝送レート制御を、最も遅い伝送レートに合わせるように上記ＬＡＮ回線上または公衆回線網上の伝送レートを制御する伝送レート制御手段とを有することを特徴としている。
【００２４】
【作用】
本発明は上記技術手段よりなるので、ＯＡネットワークとしての通常のＬＡＮ回線に接続されたマルチメディア通信端末と、公衆回線網上のマルチメディア通信端末とのインターワークを容易に実現することが可能となり、上記インターワークを実現するインターワーク装置のインターワーク処理負荷が極めて少なくて可能なインターワークシステムを提供することが可能となる。
【００２５】
また、本発明の他の特徴によれば、ＬＡＮ回線上の複数のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末との間のインターワークが可能なマルチメディア通信システムを安価に構築することが可能となる。
【００２６】
また、本発明のその他の特徴によれば、ＬＡＮ回線上の複数のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末との間の多地点間マルチメディア通信インターワークを、上記ＬＡＮ回線上のトラフィックをむやみに増大させることなく構築することが可能となる。
【００２７】
【発明の実施の形態】
以下、本発明のマルチメディア通信システムの一実施形態を図面を参照して説明する。
図１は、本発明によるマルチメディア通信システムの一実施形態を示す全体構成図である。
【００２８】
図１において、１はコンピュータ・ネットワーク通信回線であるＬＡＮ回線と、ＰＳＴＮ・ＩＳＤＮ等の公衆回線網とのインターワーキングを制御するインターワーク装置である。本実施形態のインターワーク装置１は、上記ＬＡＮ回線に接続されているマルチメディア通信端末と、上記公衆回線網に接続されているマルチメディア通信端末との間で相互通信を可能にするためのものであって、上記公衆回線網に接続されているマルチメディア通信端末との接続回線通信属性を上記ＬＡＮ回線に接続されているマルチメディア通信端末に通知する通信属性通知手段を有している。
【００２９】
２は、私設コンピュータ・ネットワーク接続通信回線として施設されるイーサネット／トークリング／ＦＤＤＩ／ＡＴＭ／ＬＡＮ等のＬＡＮ回線である。
２１、２２、２３は、上記ＬＡＮ回線２上に接続されるマルチメディア通信端末であり、ＰＣ（パーソナルコンピュータ）等をベースに構成されているものである。
【００３０】
上記ＬＡＮ回線２上に接続されるマルチメディア通信端末２１〜２３は、アナログ音声情報をアナログ・デジタル変換し、指定された符号化方式に従って符号化する音声情報符号化手段と、上記音声情報符号化手段によって符号化された音声情報を復号化するとともにデジタル・アナログ変換してアナログ音声情報として出力する音声情報出力手段とを有している。
【００３１】
また、アナログ映像情報をアナログ・デジタル変換し、指定された符号化方式に従って符号化する映像情報符号化手段と、上記映像情報符号化手段によって符号化された映像情報を復号化してデジタル・アナログ変換してアナログ映像情報として出力する映像情報出力手段とを有している。
【００３２】
さらに、ＬＡＮ回線を介して上記符号化された音声情報および映像情報よりなるマルチメディア情報を多重化して送信するマルチメディア情報送信手段、および上記多重化されたマルチメディア情報を受信した時に、上記多重化されたマルチメディア情報を分離して各情報ごとに復号化するマルチメディア情報受信手段を有している。
【００３３】
３１、３２はＰＳＴＮ／Ｎ−ＩＳＤＮ／Ｂ−ＩＳＤＮ等の公衆回線網である。４１、４２は上記公衆回線網に接続されがマルチメディア通信端末である。上記公衆回線網に接続されたマルチメディア通信端末は、上記ＬＡＮ回線に接続されたマルチメディア通信端末と同様に、マルチメディア情報を符号化・復号化・多重化して相互に通信を行う。
【００３４】
図２は、本実施形態のマルチメディア通信端末の概要を示すブロック図である。図２中の２０１は、カメラ・ＶＴＲ等の映像入力部、２０２は映像情報やデータ情報を表示するディスプレイ・モニタ等の表示部である。２０３はマイク等の音声入力部、２０４はスピーカ等の音声出力部である。
【００３５】
２０５は、マルチメディア通信端末の操作を入力したり、データ等の入力を行うキーボード・マウス等の操作部である。
２０６は、アナログ映像信号とデジタル映像信号の変換を行う映像信号のＡ／Ｄ変換・Ｄ／Ａ変換機能と、入出力映像信号の選択・切換等を行う映像インターフェイス部である。
【００３６】
２０７は、アナログ音声信号とデジタル音声信号の変換を行う音声信号Ａ／Ｄ変換・Ｄ／Ａ変換機能と、入出力音声信号の選択・切換等を行う音声インターフェイス部である。
２０８は、自画像・受信相手画像やシステム制御部より表示される表示すべきデータ情報の画像合成処理を行う画像合成手段である。
【００３７】
２０９は、デジタル化された映像信号を指示された符号化モードにて符号化する処理と、受信した符号化映像情報を復号化する処理とを行う映像情報符号化復号化手段である。
【００３８】
２１０は、デジタル化された音声情報を指示された符号化モードにて符号化する処理と、受信した符号化音声情報を復号化する処理とを行う音声符号化復号化手段である。
【００３９】
２１１はマルチメディア多重化分離化制御手段であり、映像符号化復号化手段２０９より出力される符号化映像情報、音声符号化復号化手段２１０より出力される符号化音声情報、およびシステム制御部２１３より指示されるデータ等のマルチメディア情報を多重化するマルチメディア多重化手段と、ＬＡＮ回線制御手段２１２より受信されるマルチメディア多重化情報を映像情報・音声情報・データ等に分離化して、映像符号化復号化部２０９、音声符号化復号化部２１０、システム制御部２１３へ出力する出力手段とを有している。
【００４０】
２１２は、ＬＡＮ回線２との接続制御、実際の情報送受信制御を司るＬＡＮ回線制御手段である。上記ＬＡＮ回線制御手段２１２は、マルチメディア通信端末２１、２２、２３の場合ＬＡＮ回線制御手段であるが、公衆回線網に接続されるマルチメディア通信端末４１、４２の場合は、各々のマルチメディア通信端末４１、４２が接続される公衆回線に応じて、ＰＳＴＮ回線制御手段、またはＩＳＤＮ回線手段となる。
【００４１】
２１３は、マルチメディア通信端末全体の制御を司るシステム制御部であり、データ情報の入出力制御や各制御手段、各部の指示制御等の全体動作制御を行うものである。
２１４は、マルチメディア情報の記憶や各種制御情報の記憶を行う記憶部であり、メモリやＨＤ等によって構成されている。
【００４２】
図３は、本実施形態のマルチメディア通信システムにおいて、実際にＬＡＮ回線２と公衆回線網３１、３２、３３とのインターワークを行うインターワーク装置の概略構成を接すブロック図である。
【００４３】
図３中１０１は、ＬＡＮ回線側の通信制御を行うＬＡＮ回線制御手段、１０２はＬＡＮ回線２上へのマルチメディア情報の多重化送信、および上記ＬＡＮ回線２上の受信するマルチメディア多重化情報の分離化を行うＬＡＮ対応マルチメディア多重分離制御手段である。
【００４４】
１０３は、映像情報を必要に応じて符号化変換する映像符号化復号化制御手段、１０４は音声情報を必要に応じて符号化変換する音声符号化復号化制御手段、１０５はデータやコントロール情報を必要に応じて変換するデータ符号化復号化手段である。
【００４５】
１１６は複数のマルチメディア通信端末からの映像情報を選択切換したり、合成処理を行ったりする映像選択／合成手段、１１７は複数のマルチメディア通信端末からの音声情報を選択切換したり、音声合成処理を行ったりする音声選択／合成制御手段である。
【００４６】
１０６は、ＬＡＮ回線上の通信プロトコルと公衆回線網上での通信プロトコルの変換処理を行うプロトコル変換手段である。
１０７はＮ−ＩＳＤＮ対応多重分離手段であり、Ｎ−ＩＳＤＮ回線対応のマルチメディア多重化、例えばＩＴＵ−Ｔ勧告Ｈ．２２１に従うマルチメディア情報の多重分離を制御するものである。
【００４７】
１０８はＰＳＴＮ多重分離手段であり、ＰＳＴＮ回線対応のマルチメディア多重化、例えばＩＴＵ−Ｔ勧告Ｈ．２２３に従うマルチメディア多重分離を制御するものである。
【００４８】
１０９はＢ−ＩＳＤＮ多重分離制御手段であり、Ｂ−ＩＳＤＮ回線対応のマルチメディア多重化、例えばＩＴＵ−Ｔ勧告Ｈ．２２２に従うマルチメディア多重分離制御を行うものである。
１１０はＮ−ＩＳＤＮ回線制御手段であり、Ｎ−ＩＳＤＮ回線との通信を制御するものである。
【００４９】
１１１はＰＳＴＮ回線との通信を制御するＰＳＴＮ回線制御手段であり、１１３はＢ−ＩＳＤＮ回線との通信を制御するＢ−ＩＳＤＮ回線制御手段である。
１１４はインターワーク装置全体を制御するシステム制御部、１１５は各種情報を記憶保持するメモリ・ＨＤ等の記憶部である。
【００５０】
図４は、本実施形態のＬＡＮ回線とＮ−ＩＳＤＮ回線とのインターワークを行う際の、プロトコル変換／符号化変換の一例を示すデータフローを示す図である。
【００５１】
図４中、５０１は、ＬＡＮ回線２上を伝送されるＶ（映像情報）・Ａ１（音声符号化情報）・Ｄ（データ情報）・Ｃ（制御情報）が多重化されて伝送されているパケットである。
【００５２】
５０２は映像符号化情報Ｖ、５０３は第１の音声符号化情報Ａ１、５０４はデータ情報Ｄ、５０５は制御情報Ｃであり、ＬＡＮ多重分離制御手段１０２により各々分離された情報である。
【００５３】
５０６は映像情報符号化変換手段、５０７は音声情報符号化変換手段、５０８はデータ情報符号化変換手段、５０９制御情報変換手段であり、上記各種情報をＮ−ＩＳＤＮへ多重化する際に符号化情報を変換する必要がある際変換処理を行うためのものである。
【００５４】
５１０はＩＳＤＮ上の第２の音声符号化情報Ａ２を示し、５１１はＨ．２２１上の制御情報ＢＡＳを示し、５１２は同じくＭＬＰ上への制御情報を示す。ここでは、音声符号化情報が音声情報変換手段により第１の音声符号化情報Ａ１から第２の音声符号化情報Ａ２へ変換されたこと、および制御情報ＣがＨ２２１上の制御情報ＢＡＳ５１１とＭＬＰ上の制御情報５１２へと変換されたことを示す。
【００５５】
勿論、ＩＳＤＮ回線側から受信された第２の音声符号化情報Ａ２は第１の音声符号化情報Ａ１へと変換され、制御情報ＢＡＳとＭＬＰ上の制御情報はＬＡＮ回線上の制御情報Ｃへと変換される。ここでは、映像符号化情報Ｖとデータ情報Ｄは変換されなかったことを示す。
【００５６】
Ｎ−ＩＳＤＮ対応多重分離制御部１０７は、上記の映像符号化情報Ｖ、第２の音声符号化情報Ａ２、データ情報Ｄ、制御情報ＢＡＳ、ＭＬＰを多重化して、５１３に示すＨ．２２１フレーム構造へマルチメディア情報を多重化して送信する。また逆に，Ｎ−ＩＳＤＮから受信したフレーム５１３を各メディア情報へと分離出力する。勿論，上記は、説明を簡単にするための一例であり、その他にも色々な組合せ制御が考えられる。
【００５７】
図６、図７および図８は本実施形態の動作手順を示すフローチャートである。以下に、図６のフローチャートを使って第１の実施形態を詳述する。
まず、ステップＳ１０１において公衆回線網上のマルチメディア通信端末４１よりＬＡＮ回線２上のマルチメディア通信端末２１に対する着呼をインターワーク装置１が受信する。
【００５８】
次に、ステップＳ１０２にてＬＡＮ回線２上の該当する通信端末２１に着呼の通知をするとともに、ＬＡＮ回線２上のコネクションを設定し、さらに、Ｎ−ＩＳＤＮの着呼であり適用伝送レートは６４ｋｂｐｓ／１２８ｋｂｐｓであることを通知する。
【００５９】
次に、ステップＳ１０５にてＬＡＮ回線２上の通信端末２１と公衆回線網（Ｎ−ＩＳＤＮ）上の通信端末４１との間にて制御情報の端末・端末間の通信が可能な様にプロトコル変換を行い、上記通信端末２１と通信端末４１との間にて能力情報交換シーケンスを行い、音声符号化モード・映像符号化モード・適用伝送レート等の少なくとも１つ、好ましくは全ての通信モードを決定させる。
【００６０】
次に、ステップＳ１０６では、ＬＡＮ回線２上のマルチメディア通信端末２１より、上記ステップＳ１０５において確定した通信モードをインターワーク装置１にも通知する。
【００６１】
次に、ステップＳ１０７では、上記通信モードにおいて追加コネクションが必要とされるか否かを判断する。そして、上記判断の結果、追加コネクションが必要ならステップＳ１０８に進み、追加コネクションの設定を行う。ＩＴＵ−Ｔ勧告Ｈ．３２０シリーズに従えば、第１コネクションの発呼側が必要追加コネクションの発呼も行う。また、追加コネクションの必要がなくなれば、ステップＳ１０９に進み、先程決定した通信モードを適用したマルチメディア通信を実際確定して開始する。
【００６２】
また、上述の説明とは逆に、ステップＳ１０３に示したように、ＬＡＮ回線２上のマルチメディア通信端末２１より公衆回線網（Ｎ−ＩＳＤＮ回線網）上の通信端末４１へ発呼要求がなされた場合には、ステップＳ１０４に進み、インターワーク装置１は該当端末４１への発呼を行うとともにコネクションの設定を行い、設定結果を発呼要求した通信端末２１へ通知する。
【００６３】
なお、上記の説明ではＮ−ＩＳＤＮ回線上の端末との相互通信に関して記述したので、適用伝送レートは６４ｋｂｐｓ／１２８ｋｂｐｓである。しかし、ＰＳＴＮの場合には、モデム間接続によりネゴシエーションされた伝送レートを通知する。
【００６４】
上記ステップＳ１０９以降は、上記により決定された通信モードに従い、インターワーク装置１では符号化された映像・音声・データ等は符号化変換を一切行わず、多重化方式の変換等のプロトコル変換を行うだけでインターワークを行う。制御情報に関しては、ＬＡＮ回線２上の制御情報とＮ−ＩＳＤＮ上の制御情報伝送手段が異なるため符号変換も行う。
【００６５】
なお、ＰＳＴＮやＢ−ＩＳＤＮの場合は、ＩＴＵ−Ｔ勧告草案Ｈ．２４５により通信手順を同じように規定することが考えられているが、ＬＡＮ回線２上の通信手順が確定されていないため当面は符号変換も必要となる。
【００６６】
（第２の実施形態）
次に、図７のフローチャートを使って本発明の第２の実施形態を詳述する。まず、ステップＳ２０１にて、公衆回線網上のマルチメディア通信端末４２よりＬＡＮ回線２上のマルチメディア通信端末２２への着呼がインターワーク装置１によって受信される。
【００６７】
次に、ステップＳ２０２に進み、ＬＡＮ回線２上の該当マルチメディア通信端末２２へ着信を通知してコネクションを設定するとともに、マルチメディア通信端末２２にて符号化復号化可能な能力等を取得する。ステップＳ２０５に進み、公衆回線網上のマルチメディア通信端末４２との間で能力交換シーケンスをインターワーク装置１が代行して行い、能力情報交換シーケンスによって得られる両方のマルチメディア通信端末２２、４２の能力と、インターワーク装置１上の能力等を考慮して、インターワーク装置１における処理負荷が少なくなるように最終的な適用符号化モード、適用伝送レート等を決定する。
【００６８】
次に、ステップＳ２０６に進み、追加コネクションが有るか否かを判断する。例えば、通信回線がＮ−ＩＳＤＮ回線時のように、追加コネクション設定が必要である場合にはステップＳ２０７に進み、追加コネクションを設定確立する。発呼の制御条件はＮ−ＩＳＤＮの場合は第１の実施形態で述べた通りである。
【００６９】
次に、ステップＳ２０８において、上記にて決定した通信モードをＬＡＮ回線２上の端末２２へ通知する。ステップＳ２０９では、適用通信モードでのマルチメディア多重化通信を必要に応じて、インターワーク装置１においてプロトコル変換・符号化変換を行いながら実行する。
【００７０】
また逆に、ステップＳ２０３において、ＬＡＮ回線２上のマルチメディア通信端末２２より、公衆回線網上のマルチメディア通信端末４２への発呼要求を受信すると、ステップＳ２０４に進む。インターワーク装置１は該当マルチメディア通信端末４２との間でコネクションの設定確立を行うとともに、ＬＡＮ回線２上の発呼マルチメディア通信端末２２の能力を取得する。その後は、ステップＳ２０５に進み、上述した動作と同様な動作を行う。
【００７１】
例えば、図４で示すように、ＬＡＮ回線２上は音声符号化情報Ａ１の形式でパケット通信を行い、Ｎ−ＩＳＤＮ回線上はＨ．２２１フレーム上に音声符号化情報Ａ２の形式で相互通信されるよう、音声符号化変換処理手段５０７により符号化変換を行う。
【００７２】
同様にＬＡＮ回線２上は制御情報Ｃをパケット形式で通信するが、Ｎ−ＩＳＤＮ上はＨ．２２１上でＢＡＳ情報として、あるいはＭＬＰ上の制御情報として符号化するため、データ符号化変換処理手段５０９にて符号化変換処理を行う。このＬＡＮ回線２上音声符号化Ａ１、Ｎ−ＩＳＤＮ音声符号化情報Ａ２の選択はインターワーク装置１によりその処理負荷上最適な符号化を選択して決定する。
【００７３】
なお、上記の実施形態ではＮ−ＩＳＤＮとＬＡＮ回線２間でのインターワークに関してのみ述べたが、ＰＳＴＮ／Ｂ−ＩＳＤＮ等他の公衆網とＬＡＮ回線２間でも同様に処理可能である。
【００７４】
（第３の実施形態）
次に、図８のフローチャートを使って第３の実施形態を詳述する。
まず、ステップＳ３０１にてＬＡＮ回線２上のマルチメディア通信端末２１、２２間にてマルチメディア通信を行うためのコネクション設定がなされる。
【００７５】
次に、ステップＳ３０２において、ＬＡＮ回線２上での現行トラフィック等に基づき適切な通信速度を決定し、実際の各種通信モードを決定する。
次に、ステップＳ３０３では、上記にて決定された通信モード応じた映像符号化モード、音声符号化モード、適用伝送レートに応じたマルチメディア通信をＬＡＮ回線２の通信端末間で実施する。
【００７６】
次に、ステップＳ３０４では、インターワーク装置１を介して、公衆網接続のマルチメディア通信端末より、上記マルチメディア通信への参加要求がなされないかどうか監視する。ステップＳ３０４の監視の結果、参加要求着呼がなされたことを検知すると、ステップＳ３０５に進み、インターワーク装置１は公衆網接続の発呼端末との間でＬＡＮ回線２上で通信中の端末能力を持って能力情報交換を行う。
【００７７】
次に、ステップＳ３０６に進み、上記能力情報交換の結果に基づき、インターワーク装置上でのプロトコル変換・符号化変換処理の負荷が最適な通信モードを決定し、ＬＡＮ回線２上でのマルチメディア通信の通信モードの変更要求を通信中の端末に通知する。
【００７８】
次に、ステップＳ３０７では、上記ＬＡＮ回線２上の端末間通信モードが上記通知された新通信モードへ変更される準備ができたかどうかを監視する。そして、新通信モードへ変更される準備できたら、次に、ステップＳ３０８に進み、公衆網上の端末を含む多地点間マルチメディア通信を開始する。
【００７９】
上記の説明において、通信モード中の適用伝送レートは、最も遅い速度しか適用できない端末に合わせる場合もある。例えば、ＰＳＴＮ回線網上の端末が２８．８ｋｂｐｓでしか対応できないのに、ＬＡＮ回線２上の伝送レートを高速のままにして、インターワーク装置で伝送レート調整を行うために、符号化変換のための余分な処理を増やすような通信モードを継続しないよう、多地点間通信を行うマルチメディア通信端末の通信モードを制御する。
【００８０】
勿論、公衆回線網がＢ−ＩＳＤＮで通常のイーサネットＬＡＮ回線２等より高速な伝送レートが適用される能力のある場合は、逆に、公衆回線網側の伝送レートを制限することにより、Ｂ−ＩＳＤＮ上のトラフィックをむやみに増大させないように制御可能である。
【００８１】
また、上記の説明においては、プライベートネットワークのＬＡＮ回線２とＰＳＴＮ／ＩＳＤＮ等の公衆回線網３１、３２間のインターワークに関してのみ記述した。しかし、本発明はＰＳＴＮ／Ｎ−ＩＳＤＮ／Ｂ−ＩＳＤＮ等の公衆回線網同志のインターワークにも適用可能であるし、ＣＡＴＶ等とのインターワークに関しても全く同様に適用可能である。
【００８２】
【発明の効果】
本発明は上述したように、ＬＡＮ回線上のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末とのインターワークを、大規模で高価な投資を行うことなしで実現するマルチメディア通信システムを提供することができる。特に、ＯＡ用のコンピュータ・ネットワークに接続された各自のＰＣ／ＷＳと、公衆回線網上のマルチメディア通信端末とのインターワークを行うことができ、かつＬＡＮ回線上の複数のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末との間で容易に多地点間通信が可能な手段を、ＬＡＮ回線上のトラフィックをむやみに増大させることなく提供することが可能となり、ＯＡネットワークとしての通常のＬＡＮ回線上に接続されたＰＣベースのマルチメディア通信と、公衆回線網上のマルチメディア通信端末とのインターワークを容易に実現することができる。
特に、本発明においては、上記ＬＡＮ回線に接続された複数のマルチメディア通信端末と、上記公衆回線網に接続されたマルチメディア通信端末との間にて多地点問通信を行う際の適用伝送レート制御を、最も遅い伝送レートに合わせるように上記ＬＡＮ回線上または公衆回線網上の伝送レートを制御するようにしたので、上記公衆網上と上記ＬＡＮ上での通信速度の差異を考慮した伝送レート制御を行うことができる。
【００８３】
また、本発明の他の特徴によれば、上記インターワークを実現するインターワーク装置のインターワーク処理負荷が極めて少なくて可能なインターワークシステムを提供することができる。
【００８４】
また、本発明のその他の特徴によれば、ＬＡＮ回線上の複数のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末との間のインターワークが可能なマルチメディア通信システムを安価に構築することができる。
【００８５】
また、本発明のその他の特徴によれば、ＬＡＮ回線に接続された複数のマルチメディア通信端末と公衆回線網上のマルチメディア通信端末との間の多地点間マルチメディア通信インターワークを、ＬＡＮ回線に接続されたトラフィックをむやみに増大させることなく構築することができる。
【図面の簡単な説明】
【図１】本発明のマルチメディア通信システムの一実施形態を示す構成図である。
【図２】マルチメディア通信端末の一実施形態を示すブロック図である。
【図３】インターワーク装置の一実施形態を示すブロック図である。
【図４】ＬＡＮ回線上とＩＳＤＮ回線上でのマルチメディア多重化通信のインターワークの一実施形態を説明するデータフロー例を示す図である。
【図５】狭帯域ＩＳＤＮ上でのＩＴＵ−Ｔ勧告Ｈ．２２１フレーム構成図である。
【図６】第１の実施形態を示すフローチャートである。
【図７】第２の実施形態を示すフローチャートである。
【図８】第３の実施形態を示すフローチャートである。
【符号の説明】
１インターワーク装置
２ＬＡＮ回線
２１、２２、２３ＬＡＮ回線に接続されるマルチメディア通信端末
３１、３２公衆回線網
４１、４２公衆回線網に接続されるマルチメディア通信端末
１０１ＬＡＮ回線制御手段
１０２ＬＡＮ回線対応マルチメディア多重分離手段
１０３映像符号化復号化制御手段
１０４音声符号化復号化制御手段
１０５データ符号化復号化制御手段
１０６プロトコル変換手段
１０７Ｎ−ＩＳＤＮ対応多重分離手段
１０８ＰＳＴＮ対応多重分離手段
１０９Ｂ−ＩＳＤＮ対応多重分離手段
１１０Ｎ−ＩＳＤＮ回線制御手段
１１１ＰＳＴＮ回線制御手段
１１３Ｂ−ＩＳＤＮ回線制御手段
１１４システム制御部
１１５記憶部
１１６映像選択／合成手段
１１７音声選択／合成手段
２０１映像入力部
２０２表示部
２０３音声入力部
２０４音声出力部
２０５操作部
２０６映像インターフェイス部
２０７音声インターフェイス部
２０８画像合成処理手段
２０９映像符号化復号化制御手段
２１０音声符号化復号化制御手段
２１１マルチメディア多重分離制御手段
２１２ＬＡＮ回線制御手段
２１３システム制御部
２１４記憶部[0001]
BACKGROUND OF THE INVENTION
The present invention Multimedia communication system, interwork apparatus used therefor, and multimedia communication method For example, a multimedia communication terminal typified by a videophone / conference system that can multiplex multimedia information such as video / audio / data and communicate with each other is connected to a LAN (Local Area Network) line. Multimedia communication for enabling mutual communication between a connected multimedia communication terminal and a multimedia communication terminal connected to a public network such as a PSTN / ISDN line via an interworking device It is about the system.
[0002]
[Prior art]
In recent years, due to the rapid increase in speed, capacity, functionality, and price of personal computers (hereinafter referred to as PCs), ITU-T / ISO etc. have been progressively recommended and standardized. The full-scale spread of multimedia communication services such as video information, audio information, and data has been promoted.
[0003]
In particular, ITU-T Recommendation H.264 by using a narrowband ISDN line (hereinafter referred to as N-ISDN) is used. Multimedia communication based on the 320 series is expected to rapidly spread as a substantial standard of various PC conference systems.
[0004]
At the same time, ITU-T Recommendation H.264 is a multimedia communication based on ATM communication adopted as a communication protocol on broadband ISDN (hereinafter referred to as B-ISDN), which is a future communication network, or on a higher-speed LAN line. ITU-T Recommendation H.310 for multimedia communication application to the 310 series and PSTN lines. The 324 series and the like are also defined sequentially.
[0005]
In addition, LAN facilities as an in-house network accompanying the spread of PCs are rapidly spreading, and in-house PCs are used by being connected to a LAN such as Ethernet. In addition, ITU-T recommendation H.264 is applicable to multimedia communication application for ISV LAN with guaranteed bandwidth. Although the 322 series is being stipulated, there is no recommendation stipulating a recommendation that applies to multimedia communication over a LAN that is not normally guaranteed as a band that is installed as an in-house LAN.
[0006]
In order to perform multimedia communication between a PC connected to a corporate LAN and a PC connected to a public network, a device for interworking between the LAN and a public network such as PSTN / ISDN, that is, generally An interworking device called a gateway or a router is required.
[0007]
In the interworking device, protocol conversion between a LAN communication protocol and various communication protocols of a public network such as PSTN / ISDN, control for absorbing a speed difference between the LAN and the public network, and in some cases, voice / Video information encoding conversion processing and the like are performed.
[0008]
ITU-T recommendation H.T. In the 320 series, the ITU-T recommendation H.264. 221 defines a multimedia multiplexed frame structure. FIG. 5 shows the H.264 on 64 kbps × 1 channel of N-ISDN. It is a figure which shows a 221 frame structure, and the numbers 1-8 of a horizontal axis are bit numbers. Also, the numbers 1 to 80 on the vertical axis are octet numbers, and one octet is composed of 80 octets transmitted on the 1B channel on the N-ISDN.
[0009]
Control of frame synchronization / multiframe synchronization, a communication quality monitoring function, alarm information notification, and the like are performed by FAS (frame synchronization signal) in FIG. ITU-T H242. Defines a communication procedure such as a capability information exchange sequence and a mode switching sequence using an in-channel BAS (bit allocation signal). ITU-TH. 230 defines various control and notification signals necessary for multimedia communication.
[0010]
On the other hand, ITU-T H.I. H.261 defines the encoding / decoding of moving image information at a speed of p × 64 kbps (p = 1 to 30). ITU-TH. 320 is a system aspect of the entire multimedia communication using N-ISDN. Adopted on the MLP (Multi Layered Protocol) as a voice coding G series recommendation to be applied to other multimedia communication and data communication system control. Recommendations for the T120 series to be made are also stipulated sequentially.
[0011]
The existing interworking device for multimedia communication that performs interworking between ISDN and LAN is used for controlling interworking between ISV LAN and ISDN, and the LAN side is special for large capacity communication such as video / audio information. Many of them assume a simple LAN. In addition, some products have attempted to perform interwork control independently on some popular LANs such as Ethernet.
[0012]
[Problems to be solved by the invention]
However, in the above-described conventional multimedia communication system, since the LAN side is a LAN different from the LAN for the OA network, it cannot be used from a PC connected only to a normal OA network. Therefore, conventionally, it has been necessary to install a LAN separately, and since it was expensive, it was not widely spread.
[0013]
In addition, protocol conversion / encoding conversion on the interwork apparatus has not been optimally considered.
In addition, considering that multipoint communication between a plurality of terminals connected to a LAN line and public network terminals can be easily performed without a large-scale multipoint control device, communication on the public network and on the LAN is possible. In consideration of the difference in speed or the like, an interworking apparatus that has been considered not to waste communication traffic on the LAN unnecessarily has not been obtained yet.
[0014]
The present invention has been made in view of the above-mentioned problems, and it is a first object of the present invention to easily realize interworking between a multimedia communication terminal on a LAN line and a multimedia communication terminal on a public line network. Objective.
[0015]
It is a second object of the present invention to enable interworking with a multimedia communication terminal on a public network from each PC / WS connected to a computer network for OA.
[0016]
Furthermore, it is connected to the LAN line to facilitate multipoint communication between a plurality of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network. It is a third object to be able to perform the traffic without increasing it unnecessarily.
[0017]
[Means for Solving the Problems]
The interworking apparatus according to the present invention is applied transmission rate control when performing multipoint inquiry between a plurality of multimedia communication terminals connected to a LAN line and a multimedia communication terminal connected to a public line network. Is characterized by having transmission rate control means for controlling the transmission rate on the LAN line or public line network so as to match the slowest transmission rate.
[0018]
The multimedia communication method of the present invention is a multimedia communication method that enables communication between a multimedia communication terminal connected to a LAN line and a multimedia communication terminal connected to a public line network. In the communication method, the connection line multimedia communication attribute of the multimedia communication terminal connected to either the public line network or the LAN line is set to the multi-line connected to either the public line network or the LAN line. A communication attribute notification procedure for notifying the media communication terminal, a communication mode selection procedure for selecting a communication mode between the multimedia communication terminals based on the communication attribute notified by the communication attribute notification procedure, and connecting to the LAN line And a plurality of multimedia communication terminals connected to the public line network And a transmission rate control procedure for controlling the transmission rate on the LAN line or the public line network so that the applied transmission rate control when performing multipoint interrogation in the network is adjusted to the slowest transmission rate. Yes.
[0020]
Also, the multimedia communication system of the present invention comprises: audio information encoding means for converting analog audio information from analog to digital and encoding according to a specified encoding method; and audio encoded by the audio information encoding means. Audio information output means for decoding information and performing digital-to-analog conversion and outputting as analog audio information; and video information encoding means for analog-to-digital conversion of analog video information and encoding in accordance with a designated encoding method; Video information output means for decoding the video information encoded by the video information encoding means, converting the digital information to analog and outputting it as analog video information, and encoding by the audio information encoding means and the video information encoding means Multi-media information consisting of voice information and video information, and LAN line Multi-media information transmitting means for transmitting via the multi-media information, and multi-media information that is multiplexed by the multi-media information transmitting means when the multi-media information is separated and decoded for each information Similar to the multimedia communication terminal connected to the LAN line having the media information receiving means and the multimedia communication terminal connected to the LAN line, the multimedia information is encoded, decoded and multiplexed to each other. A communication terminal, a multimedia communication terminal connected to a public line network including PSTN / ISDN, a multimedia communication terminal connected to the LAN line, and a multimedia communication terminal connected to the public line network Multimedia that consists of interworking devices that interwork intercommunication with A communication attribute notifying unit for notifying a multimedia communication terminal connected to the LAN line of a connection line communication attribute with the multimedia communication terminal connected to the public line network, and a communication attribute notifying unit; Selects and controls the communication mode including the audio encoding method, video encoding mode, and applicable transmission rate when performing mutual communication with the multimedia communication terminal connected to the public line network based on the connection line communication attribute notified by And a communication mode selection means.
[0021]
Another feature of the present invention is that the first information exchanging means for exchanging capability information with the multimedia communication terminal connected to the LAN line, and the multimedia communication terminal connected to the public line network. A second information exchanging means for exchanging capability information, a communication mode selecting means for selecting a communication mode that minimizes the processing load in the interworking device, and a communication mode selected by the communication mode selecting means. Multimedia communication terminal connected to the public line network, communication mode notification means for notifying the multimedia communication terminal connected to the LAN line, and protocol conversion according to the communication mode notified by the communication mode notification means Conversion processing means for performing processing and encoding conversion processing.
[0022]
Another feature of the present invention is that multipoint communication performed between the multimedia communication terminal connected to the LAN line and the multimedia communication terminal connected to the public line network is controlled. A communication mode that minimizes the processing load on the interworking device according to the capabilities of the communication control unit that performs the communication control and a plurality of multimedia communication devices that participate in the multipoint communication controlled by the communication control unit. And a communication mode selection means for selecting.
[0023]
Another feature of the present invention is that the first information exchanging means for exchanging capability information with the multimedia communication terminal connected to the LAN line, and the capability of the multimedia communication terminal connected to the public line network. Connected to the second public information exchange means for exchanging information, a plurality of multimedia communication terminals connected to the LAN line based on the information exchange by the first and second information exchange means, and the public line network A transmission rate for controlling the transmission rate on the LAN line or the public line network so that the applicable transmission rate control when performing multipoint inquiry with the multimedia communication terminal is adjusted to the slowest transmission rate. And a control means.
[0024]
[Action]
Since the present invention comprises the above technical means, it becomes possible to easily realize interworking between a multimedia communication terminal connected to a normal LAN line as an OA network and a multimedia communication terminal on a public line network. Therefore, it is possible to provide an interworking system that can perform the interworking apparatus that realizes the above-described interworking with an extremely low interworking processing load.
[0025]
According to another aspect of the present invention, a multimedia communication system capable of interworking between a plurality of multimedia communication terminals on a LAN line and a multimedia communication terminal on a public line network is inexpensively constructed. It becomes possible.
[0026]
According to another aspect of the present invention, a multipoint multimedia communication interwork between a plurality of multimedia communication terminals on a LAN line and a multimedia communication terminal on a public line network is performed on the LAN line. It is possible to construct the network without increasing traffic.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of a multimedia communication system of the present invention will be described with reference to the drawings.
FIG. 1 is an overall configuration diagram showing an embodiment of a multimedia communication system according to the present invention.
[0028]
In FIG. 1, reference numeral 1 denotes an interwork apparatus that controls interworking between a LAN line, which is a computer network communication line, and a public line network such as PSTN / ISDN. The interworking apparatus 1 according to the present embodiment enables mutual communication between a multimedia communication terminal connected to the LAN line and a multimedia communication terminal connected to the public line network. And communication attribute notification means for notifying a multimedia communication terminal connected to the LAN line of a connection line communication attribute with the multimedia communication terminal connected to the public line network.
[0029]
Reference numeral 2 denotes a LAN line such as Ethernet / Talk Ring / FDDI / ATM / LAN provided as a private computer / network connection communication line.
Reference numerals 21, 22, and 23 are multimedia communication terminals connected on the LAN line 2, and are configured based on a PC (personal computer) or the like.
[0030]
The multimedia communication terminals 21 to 23 connected on the LAN line 2 convert the analog voice information from analog to digital, and encode the voice information according to a designated encoding method, and the voice information encoding Voice information output means for decoding the voice information encoded by the means and performing digital-to-analog conversion and outputting as analog voice information.
[0031]
Also, the analog video information is converted from analog to digital and encoded according to a specified encoding method, and the video information encoded by the video information encoding means is decoded and converted from digital to analog. Video information output means for outputting as analog video information.
[0032]
Furthermore, multimedia information transmitting means for multiplexing and transmitting the multimedia information composed of the encoded audio information and video information via a LAN line, and the multiplexing information when receiving the multiplexed multimedia information Multimedia information receiving means for separating the converted multimedia information and decoding each piece of information.
[0033]
31 and 32 are public line networks such as PSTN / N-ISDN / B-ISDN. 41 and 42 are multimedia communication terminals connected to the public network. The multimedia communication terminals connected to the public line network communicate with each other by encoding / decoding / multiplexing multimedia information in the same manner as the multimedia communication terminals connected to the LAN line.
[0034]
FIG. 2 is a block diagram showing an outline of the multimedia communication terminal of the present embodiment. 2, 201 denotes a video input unit such as a camera / VTR, and 202 denotes a display unit such as a display / monitor that displays video information and data information. 203 is an audio input unit such as a microphone, and 204 is an audio output unit such as a speaker.
[0035]
Reference numeral 205 denotes an operation unit such as a keyboard / mouse for inputting operations of the multimedia communication terminal and inputting data and the like.
Reference numeral 206 denotes an A / D conversion / D / A conversion function of a video signal for converting an analog video signal and a digital video signal, and a video interface unit for selecting / switching input / output video signals.
[0036]
Reference numeral 207 denotes an audio signal A / D conversion / D / A conversion function for converting an analog audio signal and a digital audio signal, and an audio interface unit for selecting / switching input / output audio signals.
Reference numeral 208 denotes image composition means for performing image composition processing of the self-image / reception partner image and data information to be displayed displayed by the system control unit.
[0037]
Reference numeral 209 denotes video information encoding / decoding means for performing a process of encoding the digitized video signal in the designated encoding mode and a process of decoding the received encoded video information.
[0038]
Reference numeral 210 denotes speech encoding / decoding means that performs processing for encoding the digitized speech information in the designated encoding mode and processing for decoding the received encoded speech information.
[0039]
211 is a multimedia demultiplexing / separating control unit, which is encoded video information output from the video encoding / decoding unit 209, encoded audio information output from the audio encoding / decoding unit 210, and the system control unit 213. Multimedia multiplexing means for multiplexing multimedia information such as data indicated by the data, and multimedia multiplexed information received from the LAN line control means 212 are separated into video information, audio information, data, etc. An encoding / decoding unit 209, a speech encoding / decoding unit 210, and an output unit that outputs to the system control unit 213.
[0040]
Reference numeral 212 denotes LAN line control means for controlling connection with the LAN line 2 and actual information transmission / reception control. The LAN line control means 212 is LAN line control means in the case of the multimedia communication terminals 21, 22, and 23, but in the case of the multimedia communication terminals 41 and 42 connected to the public line network, Depending on the public line to which the terminals 41 and 42 are connected, it becomes PSTN line control means or ISDN line means.
[0041]
Reference numeral 213 denotes a system control unit that controls the entire multimedia communication terminal, and performs overall operation control such as input / output control of data information, control means, and instruction control of each unit.
A storage unit 214 stores multimedia information and various control information, and includes a memory, an HD, and the like.
[0042]
FIG. 3 is a block diagram showing a schematic configuration of an interworking apparatus that actually performs interworking between the LAN line 2 and the public line networks 31, 32, and 33 in the multimedia communication system of the present embodiment.
[0043]
In FIG. 3, 101 is a LAN line control means for controlling communication on the LAN line side, 102 is multiplexed transmission of multimedia information on the LAN line 2, and multimedia multiplexed information received on the LAN line 2 This is a LAN-compatible multimedia demultiplexing control means for performing separation.
[0044]
103 is a video coding / decoding control means for coding / converting video information as required, 104 is a voice coding / decoding control means for coding / converting voice information as needed, and 105 is a data / control information. Data encoding / decoding means for converting as necessary.
[0045]
116 is a video selecting / synthesizing means for selecting and switching video information from a plurality of multimedia communication terminals, and performing synthesis processing, and 117 is for selecting and switching audio information from a plurality of multimedia communication terminals, or for voice synthesis. This is voice selection / synthesis control means for performing processing.
[0046]
Reference numeral 106 denotes protocol conversion means for performing conversion processing between a communication protocol on the LAN line and a communication protocol on the public line network.
Reference numeral 107 denotes N-ISDN-compatible demultiplexing means, which is an N-ISDN line-compatible multimedia multiplex, such as ITU-T Recommendation H.264. 22 controls the demultiplexing of multimedia information according to H.221.
[0047]
Reference numeral 108 denotes PSTN demultiplexing means, which is a multimedia multiplex that supports PSTN lines, such as ITU-T Recommendation H.264. 223 controls multimedia demultiplexing according to H.223.
[0048]
109 is a B-ISDN demultiplexing control means, which is a multimedia multiplex compatible with the B-ISDN line, such as ITU-T Recommendation H.264. 222 performs multimedia demultiplexing control according to 222.
Reference numeral 110 denotes N-ISDN line control means for controlling communication with the N-ISDN line.
[0049]
111 is a PSTN line control means for controlling communication with the PSTN line, and 113 is B-ISDN line control means for controlling communication with the B-ISDN line.
Reference numeral 114 denotes a system control unit that controls the entire interworking apparatus, and reference numeral 115 denotes a storage unit such as a memory / HD that stores and holds various types of information.
[0050]
FIG. 4 is a diagram showing a data flow showing an example of protocol conversion / encoding conversion when interworking between the LAN line and the N-ISDN line of the present embodiment.
[0051]
In FIG. 4, reference numeral 501 denotes a packet in which V (video information), A1 (voice encoded information), D (data information), and C (control information) transmitted on the LAN line 2 are multiplexed and transmitted. It is.
[0052]
Reference numeral 502 denotes video encoded information V, reference numeral 503 denotes first audio encoded information A1, reference numeral 504 denotes data information D, and reference numeral 505 denotes control information C, which are information separated by the LAN demultiplexing control unit 102.
[0053]
Reference numeral 506 denotes a video information encoding / conversion unit, 507 denotes an audio information encoding / conversion unit, 508 denotes a data information encoding / conversion unit, and 509 control information converting unit. This is for performing conversion processing when information needs to be converted.
[0054]
510 represents the second speech coding information A2 on ISDN, and 511 represents H.264. Control information BAS on 221 is shown, and 512 is control information on the MLP. Here, the speech encoded information has been converted from the first speech encoded information A1 to the second speech encoded information A2 by the speech information conversion means, and the control information C is on the control information BAS511 and MLP on H221. It has been converted into the control information 512.
[0055]
Of course, the second voice encoded information A2 received from the ISDN line side is converted into the first voice encoded information A1, and the control information BAS and the control information on the MLP are converted to the control information C on the LAN line. Converted. Here, the video encoding information V and the data information D are not converted.
[0056]
The N-ISDN-compatible demultiplexing control unit 107 multiplexes the video coding information V, the second audio coding information A2, the data information D, the control information BAS, and the MLP, and the H.264 shown in 513. The multimedia information is multiplexed and transmitted to the 221 frame structure. Conversely, the frame 513 received from the N-ISDN is separated and output to each piece of media information. Of course, the above is an example for simplifying the description, and various other combinations can be considered.
[0057]
6, 7 and 8 are flowcharts showing the operation procedure of this embodiment. Hereinafter, the first embodiment will be described in detail with reference to the flowchart of FIG.
First, in step S101, the interwork apparatus 1 receives an incoming call to the multimedia communication terminal 21 on the LAN line 2 from the multimedia communication terminal 41 on the public line network.
[0058]
Next, in step S102, the corresponding communication terminal 21 on the LAN line 2 is notified of the incoming call, and the connection on the LAN line 2 is set. Further, the incoming call is N-ISDN and the applicable transmission rate is Notification of 64 kbps / 128 kbps.
[0059]
Next, in step S105, protocol conversion is performed so that communication between the communication terminal 21 on the LAN line 2 and the communication terminal 41 on the public line network (N-ISDN) is possible. And a capability information exchange sequence is performed between the communication terminal 21 and the communication terminal 41, and at least one of the audio encoding mode, the video encoding mode, the applicable transmission rate, etc., preferably all communication modes are determined. Let
[0060]
Next, in step S106, the multimedia communication terminal 21 on the LAN line 2 notifies the interwork apparatus 1 of the communication mode determined in step S105.
[0061]
Next, in step S107, it is determined whether or not an additional connection is required in the communication mode. As a result of the determination, if an additional connection is necessary, the process proceeds to step S108 to set an additional connection. ITU-T recommendation According to the 320 series, the calling side of the first connection also makes a call for the necessary additional connection. If no additional connection is required, the process proceeds to step S109 to actually confirm and start multimedia communication to which the previously determined communication mode is applied.
[0062]
Contrary to the above description, a call request is made from the multimedia communication terminal 21 on the LAN line 2 to the communication terminal 41 on the public line network (N-ISDN line network) as shown in step S103. If so, the process proceeds to step S104, where the interworking apparatus 1 makes a call to the corresponding terminal 41, sets a connection, and notifies the communication terminal 21 that has made a call request of the setting result.
[0063]
In the above description, since the communication with the terminal on the N-ISDN line is described, the applicable transmission rate is 64 kbps / 128 kbps. However, in the case of PSTN, the transmission rate negotiated by inter-modem connection is notified.
[0064]
After step S109, according to the communication mode determined as described above, the interwork apparatus 1 does not perform any encoding conversion on the encoded video, audio, data, etc., and performs protocol conversion such as multiplexing conversion. Just do interworking. Regarding the control information, since the control information on the LAN line 2 and the control information transmission means on the N-ISDN are different, code conversion is also performed.
[0065]
In the case of PSTN and B-ISDN, the ITU-T recommendation draft H.264 is used. Although it is considered that the communication procedure is defined in the same way by H.245, since the communication procedure on the LAN line 2 has not yet been determined, code conversion is also necessary for the time being.
[0066]
(Second Embodiment)
Next, a second embodiment of the present invention will be described in detail using the flowchart of FIG. First, in step S201, the interwork apparatus 1 receives an incoming call from the multimedia communication terminal 42 on the public line network to the multimedia communication terminal 22 on the LAN line 2.
[0067]
In step S202, the multimedia communication terminal 22 on the LAN line 2 is notified of the incoming call and a connection is set, and the multimedia communication terminal 22 is capable of encoding and decoding. In step S205, the interwork apparatus 1 performs a capability exchange sequence with the multimedia communication terminal 42 on the public line network on behalf of the multimedia communication terminals 42, 42 of both multimedia communication terminals 22 and 42 obtained by the capability information exchange sequence. In consideration of the capability and the capability on the interwork device 1, the final applied encoding mode, the applied transmission rate, and the like are determined so that the processing load on the interwork device 1 is reduced.
[0068]
In step S206, it is determined whether there is an additional connection. For example, when an additional connection setting is necessary, such as when the communication line is an N-ISDN line, the process proceeds to step S207 to establish and establish an additional connection. The call control conditions are as described in the first embodiment in the case of N-ISDN.
[0069]
Next, in step S208, the communication mode determined above is notified to the terminal 22 on the LAN line 2. In step S209, the multimedia multiplexed communication in the applicable communication mode is executed while performing protocol conversion / encoding conversion in the interwork apparatus 1 as necessary.
[0070]
Conversely, when a call request is received from the multimedia communication terminal 22 on the LAN line 2 to the multimedia communication terminal 42 on the public line network in step S203, the process proceeds to step S204. The interworking apparatus 1 establishes connection setting with the corresponding multimedia communication terminal 42 and acquires the capability of the calling multimedia communication terminal 22 on the LAN line 2. After that, it progresses to step S205 and performs the operation | movement similar to the operation | movement mentioned above.
[0071]
For example, as shown in FIG. 4, packet communication is performed on the LAN line 2 in the form of voice encoded information A1, and H.264 is transmitted on the N-ISDN line. Encoding conversion is performed by the audio encoding conversion processing means 507 so that communication is performed in the format of audio encoding information A2 on the 221 frame.
[0072]
Similarly, control information C is communicated in a packet format on the LAN line 2, but H.264 is transmitted on the N-ISDN. In order to encode it as BAS information on 221 or as control information on MLP, the data encoding / conversion processing means 509 performs encoding conversion processing. The selection of the voice coding A1 on the LAN line 2 and the N-ISDN voice coding information A2 is determined by the interwork apparatus 1 by selecting the optimum coding in terms of the processing load.
[0073]
In the above embodiment, only the interworking between the N-ISDN and the LAN line 2 has been described. However, the same processing can be performed between another public network such as PSTN / B-ISDN and the LAN line 2.
[0074]
(Third embodiment)
Next, the third embodiment will be described in detail using the flowchart of FIG.
First, in step S301, connection setting for performing multimedia communication is performed between the multimedia communication terminals 21 and 22 on the LAN line 2.
[0075]
Next, in step S302, an appropriate communication speed is determined based on the current traffic on the LAN line 2, and actual various communication modes are determined.
Next, in step S303, multimedia communication according to the video coding mode, audio coding mode, and applicable transmission rate according to the communication mode determined above is performed between the communication terminals of the LAN line 2.
[0076]
Next, in step S304, it is monitored whether or not a request for participation in the multimedia communication is made from the multimedia communication terminal connected to the public network via the interwork apparatus 1. If it is detected as a result of the monitoring in step S304 that the participation request has been received, the process proceeds to step S305, where the interworking apparatus 1 communicates with the calling terminal connected to the public network on the LAN line 2 with the terminal capability. To exchange capability information.
[0077]
In step S306, based on the result of the capability information exchange, a communication mode in which the load of protocol conversion / encoding conversion processing on the interwork apparatus is optimal is determined, and multimedia communication on the LAN line 2 is determined. The communication mode change request is notified to the communicating terminal.
[0078]
Next, in step S307, it is monitored whether or not the communication mode between terminals on the LAN line 2 is ready to be changed to the notified new communication mode. If preparation for changing to the new communication mode is completed, the process proceeds to step S308, where multipoint multimedia communication including terminals on the public network is started.
[0079]
In the above description, the applied transmission rate during the communication mode may be adjusted to a terminal that can apply only the slowest speed. For example, a terminal on the PSTN line network can only support 28.8 kbps, but the transmission rate on the LAN line 2 remains high and the transmission rate is adjusted by the interworking device. The communication mode of the multimedia communication terminal that performs multipoint communication is controlled so as not to continue the communication mode that increases the extra processing.
[0080]
Of course, if the public line network is B-ISDN and capable of applying a higher transmission rate than the normal Ethernet LAN line 2, etc., conversely, by limiting the transmission rate on the public line network side, B- It is possible to control so that traffic on ISDN is not increased unnecessarily.
[0081]
In the above description, only the interwork between the LAN line 2 of the private network and the public line networks 31 and 32 such as PSTN / ISDN is described. However, the present invention can be applied to interworking between public line networks such as PSTN / N-ISDN / B-ISDN, and can also be applied to interworking with CATV or the like.
[0082]
【The invention's effect】
As described above, the present invention provides a multimedia communication system that realizes interworking between a multimedia communication terminal on a LAN line and a multimedia communication terminal on a public line network without making a large-scale and expensive investment. Can be provided. In particular, each PC / WS connected to a computer network for OA can interwork with a multimedia communication terminal on a public line network, and a plurality of multimedia communication terminals on a LAN line It is possible to provide means capable of easily performing multipoint communication with a multimedia communication terminal on a public line network without increasing traffic on the LAN line. Interworking between the PC-based multimedia communication connected on the LAN line and the multimedia communication terminal on the public line network can be easily realized.
In particular, in the present invention, an applicable transmission rate when performing multipoint inquiry between a plurality of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network. Since the transmission rate on the LAN line or the public line network is controlled so as to match the slowest transmission rate, the transmission rate considering the difference in communication speed between the public network and the LAN Control can be performed.
[0083]
According to another feature of the present invention, it is possible to provide an interworking system that allows an interworking processing load of the interworking device that realizes the above interworking to be extremely small.
[0084]
According to another aspect of the present invention, a multimedia communication system capable of interworking between a plurality of multimedia communication terminals on a LAN line and a multimedia communication terminal on a public line network is inexpensively constructed. be able to.
[0085]
According to another aspect of the present invention, a multipoint multimedia communication interwork between a plurality of multimedia communication terminals connected to a LAN line and a multimedia communication terminal on a public line network is provided as a LAN line. It can be constructed without increasing the traffic connected to.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing an embodiment of a multimedia communication system of the present invention.
FIG. 2 is a block diagram illustrating an embodiment of a multimedia communication terminal.
FIG. 3 is a block diagram illustrating an embodiment of an interworking apparatus.
FIG. 4 is a diagram illustrating an example data flow for explaining an embodiment of interworking of multimedia multiplexed communication on a LAN line and an ISDN line.
FIG. 5 shows ITU-T recommendation H.264 over narrowband ISDN. It is a 221 frame block diagram.
FIG. 6 is a flowchart showing the first embodiment.
FIG. 7 is a flowchart showing a second embodiment.
FIG. 8 is a flowchart showing a third embodiment.
[Explanation of symbols]
1 Interworking device
2 LAN line
21, 22, 23 Multimedia communication terminal connected to LAN line
31, 32 Public network
41, 42 Multimedia communication terminal connected to public line network
101 LAN line control means
102 Multimedia demultiplexing means for LAN line
103 Video coding / decoding control means
104 Voice coding / decoding control means
105 Data encoding / decoding control means
106 Protocol conversion means
107 Demultiplexing means for N-ISDN
108 PSTN-compatible demultiplexing means
109 B-ISDN compatible demultiplexing means
110 N-ISDN line control means
111 PSTN line control means
113 B-ISDN line control means
114 System control unit
115 Storage unit
116 Video selection / combination means
117 Voice selection / synthesis means
201 Video input section
202 Display section
203 Voice input unit
204 Audio output unit
205 Operation unit
206 Video interface
207 Voice interface
208 Image composition processing means
209 Video coding / decoding control means
210 Voice coding / decoding control means
211 Multimedia demultiplexing control means
212 LAN line control means
213 System control unit
214 Storage unit

Claims

Audio information encoding means for converting analog audio information from analog to digital and encoding in accordance with a specified encoding method;
Audio information output means for decoding the audio information encoded by the audio information encoding means and converting the audio information into digital / analog and outputting it as analog audio information;
Analog video information is converted from analog to digital and encoded according to a specified encoding method, and the video information encoded by the video information encoding means is decoded and converted from digital to analog. Video information output means for outputting as analog video information;
Multimedia information transmitting means for multiplexing multimedia information composed of audio information and video information encoded by the audio information encoding means and video information encoding means and transmitting the information via a LAN line; and multimedia information transmission Multimedia information receiving means for separating the multiplexed multimedia information and decoding each information when receiving the multimedia information multiplexed by the means, the multimedia connected to the LAN line A communication terminal;
Similar to the multimedia communication terminal connected to the LAN line, it is a terminal that communicates with each other by encoding / decoding / multiplexing multimedia information, and connected to a public line network including PSTN / ISDN. Multimedia communication terminals,
In a multimedia communication system comprising an interworking device for interworking mutual communication between a multimedia communication terminal connected to the LAN line and a multimedia communication terminal connected to the public line network,
Communication attribute notification means for notifying a multimedia communication terminal connected to the LAN line of a connection line communication attribute with the multimedia communication terminal connected to the public line network;
Includes voice encoding method, video encoding mode, and applicable transmission rate when performing mutual communication with the multimedia communication terminal connected to the public line network based on the connection line communication attribute notified by the communication attribute notification means A multimedia communication system comprising communication mode selection means for selecting and controlling a communication mode.

First information exchanging means for exchanging capability information with a multimedia communication terminal connected to the LAN line;
A second information exchanging means for exchanging capability information with a multimedia communication terminal connected to the public line network;
Communication mode selection means for selecting a communication mode that minimizes the processing load in the interworking device;
A communication mode notification means for notifying the communication mode selected by the communication mode selection means to the multimedia communication terminal connected to the public line network and the multimedia communication terminal connected to the LAN line;
The multimedia communication system according to claim 1, further comprising: a conversion processing unit that performs a protocol conversion process and a coding conversion process according to the communication mode notified by the communication mode notification unit.

Communication control means for controlling multipoint communication performed between the multimedia communication terminal connected to the LAN line and the multimedia communication terminal connected to the public line network;
Communication mode selection for selecting a communication mode according to the ability of a plurality of multimedia communication devices participating in multipoint communication controlled by the communication control means so as to minimize the processing load on the interworking device The multimedia communication system according to claim 1 or 2, further comprising: means.

Applicable transmission rate control when performing multipoint inquiry between a plurality of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network is the slowest transmission rate. The multimedia communication system according to any one of claims 1 to 3, further comprising transmission rate control means for controlling a transmission rate on the LAN line or the public line network so as to match the network.

In a multimedia communication method that enables communication between a multimedia communication terminal connected to a LAN line and a multimedia communication terminal connected to a public line network,
A first information exchange procedure for exchanging capability information with a multimedia communication terminal connected to a LAN line;
A second information exchange procedure for exchanging capability information with a multimedia communication terminal connected to the public network;
Based on the information exchange in the first and second information exchange procedures, a large number of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network A transmission rate control procedure for controlling a transmission rate on the LAN line or the public line network so that an applicable transmission rate control for performing point interrogation communication is adjusted to the slowest transmission rate. Communication method.

In an interworking device that enables communication between a multimedia communication terminal connected to a LAN line and a multimedia communication terminal connected to a public line network,
First information exchanging means for exchanging capability information with a multimedia communication terminal connected to a LAN line;
A second information exchange means for exchanging capability information with a multimedia communication terminal connected to the public network;
Based on the information exchange by the first and second information exchange means, a plurality of multimedia communication terminals connected to the LAN line and a multimedia communication terminal connected to the public line network Transmission rate control means for controlling the transmission rate on the LAN line or the public line network so that the applicable transmission rate control when performing point interrogation communication is adjusted to the slowest transmission rate. apparatus.