JP3683210B2

JP3683210B2 - Video / audio transmission system

Info

Publication number: JP3683210B2
Application number: JP2001370405A
Authority: JP
Inventors: 康貴秋田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2001-12-04
Filing date: 2001-12-04
Publication date: 2005-08-17
Anticipated expiration: 2021-12-04
Also published as: JP2003174599A

Description

【０００１】
【発明の属する技術分野】
この発明は、映像と音声をそれぞれデジタル符号化して送信する映像符号化装置と、映像符号化装置から受信したこれらの符号化映像と符号化音声を復号して再生する映像復号化装置とを有する映像音声伝送システムに関するものである。
【０００２】
【従来の技術】
国内ではＣＳデジタル放送に続き、２０００年からＢＳデジタル放送が開始され、さらに２００３年には地上波放送のデジタル化が予定されている。放送などの映像音声伝送システムにおけるデジタル化のメリットのひとつとして、デジタル符号化処理による伝送情報量の圧縮削減がある。この効果により、従来ひとつの番組配信に必要とされていた伝送容量と同じ容量を使って、同時に複数の番組伝送を行うことができるようになる。映像符号化装置は入力映像及び入力音声をそれぞれ所定の方式に基づいてデジタル符号化し、映像復号化装置は逆にこれらの符号化映像及び符号化音声をそれぞれ元通りに復号して再生する。
【０００３】
一方、伝送する映像や音声の情報量を圧縮するためには、例えばＭＰＥＧ−２などのデジタル圧縮符号化方式が適用されるが、このようなデジタル圧縮符号化方式を用いる場合、映像や音声の符号化及び復号化のためにそれぞれの処理時間が必要となり、処理遅延が発生する。従って、デジタル圧縮符号化方式を用いた映像音声伝送システムでは、伝送路上での伝送遅延が無いと仮定しても、符号化及び復号化に伴う処理遅延が発生する。さらに映像の符号化と復号化に必要な処理時間は、音声の符号化と復号化に必要な処理時間よりもかなり長い。このため、映像と音声の処理時間の差を補正しないと、映像復号化装置で再生される映像は音声よりも遅れるため、映像と音声が一致せず、視聴者に不自然な印象を与えることになる。
【０００４】
このような課題、即ち再生時の映像と音声の不一致を解消するため、処理時間の少ない音声に対して時間的に遅延させる遅延手段を映像復号化装置か、あるいは映像符号化装置と映像復号化装置の双方に設けて、処理時間の長い映像に時間的に同期させるようにし、視聴者に不自然な印象を与えないようにするのが一般的である。しかし、このような方法によれば、例えば距離が離れ、かついずれにも映像符号化装置と映像復号化装置とが設置された複数地点間で映像とこれに付随する音声を伝送するシステムでは、各地点間で掛け合いの会話を行う場合に、一方の会話の音声と他方の会話の音声との間に、音声の時間的な遅延による無音期間が発生し、双方の会話の自然さが損なわれるという課題が出るため、これを低減する方法が示されている（例えば特開平１１−２９８８７０号公報）。
【０００５】
図５は、従来の映像音声伝送システムにおける映像符号化装置および映像復号化装置の一例を示すブロック図である。映像符号化装置１は、映像符号化手段１１と、音声符号化手段１２と、多重化手段１３とから概略構成されている。また映像復号化装置２は、映像復号化手段２１と、音声復号化手段２２と、分離手段２３と、遅延手段２６とから概略構成されている。
【０００６】
映像符号化装置１において、映像符号化手段１１は、外部のテレビカメラ等（図示せず）からの映像１１１を例えばＭＰＥＧ−２等の所定の符号化方式によって高能率符号化して圧縮し、符号化映像１１２を出力する。一方、音声符号化手段１２は、外部のマイクロフォン等（図示せず）からの音声１２１を例えばＭＰＥＧ−１等の所定の符号化方式によって高能率符号化して圧縮し、符号化音声１２２を出力する。多重化手段１３は、符号化映像１１２と、符号化音声１２２とを時分割多重し、多重化信号１３１として伝送路に出力する。
【０００７】
また、映像復号化装置２において、分離手段２３は、伝送路から受信した多重化信号１３１を、符号化映像２１１と符号化音声２２１とに分離する。映像復号化手段２１は、分離された符号化映像２１１を映像符号化装置１での映像符号化方式に対応して復号化し、再生された映像２１２として外部に出力する。音声復号化手段２２は、入力する符号化音声２２１を映像符号化装置１での音声符号化方式に対応して復号化し、再生された音声２２３として出力する。一方、遅延手段２６は、映像の符号化処理時間と復号化処理時間の和と、音声の符号化処理時間と復号化処理時間の和との差に相当する時間だけ復号後の音声２２３を遅延させて遅延音声２２４として出力する。映像復号化装置では、出力映像に同期させるために遅延させた音声２２４と、映像に同期させるための遅延を行わない音声２２３とが、それぞれの出力端子から同時に出力されている。
【０００８】
【発明が解決しようとする課題】
従来の映像音声伝送システムにおける映像復号化装置では、出力映像に同期させるために時間的な遅延を加えた音声の出力端子と、音声の掛け合いによる会話の不自然さを低減するためにその遅延を加えない音声の出力端子とをそれぞれ装備する必要があり、さらに、音声復号化手段にて音声が復号化された後に遅延手段が設けられているが、復号化されて多量の情報量となった音声の遅延のために大規模な蓄積回路等で構成される遅延手段を備える必要があり、映像復号化装置の小型化や低廉化が困難となる問題点があった。
【０００９】
この発明は、前記のような問題点を解決するためになされたもので、出力映像に同期させるために音声を遅延させるか、あるいは音声に遅延を加えずに掛け合いによる会話の不自然さを低減するかを、用途に応じて容易に選択することができ、かつ、小規模な蓄積回路等で構成される遅延手段を用いて映像復号化装置の小型化と低廉化を実現することができる、映像音声伝送システムを得ることを目的としている。
【００１０】
【課題を解決するための手段】
この発明は、映像を符号化する映像符号化手段と、音声を符号化する音声符号化手段と、前記符号化映像と符号化音声とを多重化して伝送路に送出する多重化手段とを備えた映像符号化装置と、前記伝送路からの多重化された符号化映像と符号化音声とをそれぞれに分離する分離手段と、分離された符号化映像を復号化して映像を再生する映像復号化手段と、分離された符号化音声を復号化して音声を再生する音声復号化手段とを備えた映像復号化装置とを有し、該映像復号化装置が、前記分離手段で分離された符号化音声を時間的に遅延させて出力する遅延手段と、該遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段に出力する音声選択手段とを有する映像音声伝送システムにおいて、前記映像符号化装置は、前記映像復号化装置に対する音声制御情報を生成する音声制御情報生成手段を有し、前記音声制御情報を符号化映像と符号化音声とともに多重化して伝送路に送出し、前記映像復号化装置における分離手段は前記伝送路からの多重化された符号化映像と符号化音声とともに、受信した前記音声制御情報を解読して前記音声選択手段に選択指示信号を出力する。
【００１１】
この発明において、前記音声選択手段は、前記音声制御情報に従った選択指示信号により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力する。
【００１２】
この発明において、前記音声選択手段は、前記映像復号化装置の外部ユーザインタフェースでの設定により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力する。
【００１３】
この発明において、前記外部ユーザインタフェースとして、前記映像復号化装置にリモートで制御や監視を行える外部制御装置を用いる。
【００１４】
この発明において、前記音声制御情報は前記多重化手段によりは符号化映像と符号化音声とともに多重化される。
【００１５】
この発明において、前記音声制御情報は前記映像符号化手段により符号化映像の中に多重して出力される。
【００１６】
この発明において、前記音声制御情報は前記音声符号化手段により符号化音声の中に多重して出力される。
【００１７】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図について説明する。図１において、映像符号化装置１は、映像符号化手段１１と、音声符号化手段１２と、音声制御情報生成手段１４と、多重化手段１３とから概略構成されている。また映像復号化装置２は、映像復号化手段２１と、音声復号化手段２２と、分離手段２３と、遅延手段２４と、音声選択手段２５とから概略構成されている。
【００１８】
映像符号化装置１において、映像符号化手段１１は、外部のテレビカメラ等（図示せず）からの映像１１１を例えばＭＰＥＧ−２等の所定の符号化方式によって高能率符号化して圧縮し、符号化映像１１２を出力する。一方、音声符号化手段１２は、外部のマイクロフォン等（図示せず）からの音声１２１を例えばＭＰＥＧ−１等の所定の符号化方式によって高能率符号化して圧縮し、符号化音声１２２を出力する。また、音声制御情報生成手段１４は、後述する映像復号化装置２における音声選択手段への選択指示を行うための音声制御情報１４１を生成して出力する。多重化手段１３は、符号化映像１１２と、符号化音声１２２を時分割多重すると共に、これに音声制御情報１４１を定期的に多重化した多重化信号１３１を伝送路に出力する。
【００１９】
また、映像復号化装置２において、分離手段２３は、伝送路から受信した多重化信号１３１を、符号化映像２１１と符号化音声２２１とに分離するとともに、音声制御情報１４１を受信するごとにその内容を解読して選択指示信号２５１を出力する。映像復号化手段２１は、分離された符号化映像２１１を映像符号化装置１での映像符号化方式に対応して復号化し、再生された映像２１２として外部に出力する。一方、遅延手段２４は、映像の符号化処理時間と復号化処理時間の和と、音声の符号化処理時間と復号化処理時間の和との差に相当する時間だけ分離された符号化音声２２１を遅延させた符号化音声２２２として出力する。この遅延手段２４における蓄積回路は、復号化前の圧縮された符号化音声に対応しており、復号化後の多量の情報量の音声に対応した蓄積回路の規模に比べて小さいことは言うまでも無い。音声選択手段２５は、選択指示信号２５１に従って符号化音声２２１か遅延させた符号化音声２２２のいずれか一方を選択して出力する。音声復号化手段２２は、入力される符号化音声２２１か遅延符号化音声２２２のいずれかを映像符号化装置１での音声符号化方式に対応して復号化し、再生された音声２２３として外部に出力する。
【００２０】
図３は、映像符号化装置１に入力された映像１１１と音声１２１に対する映像符号化手段１１と音声符号化手段１２でのそれぞれの符号化処理時間Ｔ_{Ｖ−ＥＮＣ}とＴ_{Ａ−ＥＮＣ}、映像復号化装置２における符号化映像２１１と符号化音声２２１に対する映像復号化手段２１と音声復号化手段２２でのそれぞれの復号化処理時間Ｔ_{Ｖ−ＤＥＣ}とＴ_{Ａ−ＤＥＣ}を模式的に示した図である。前述のように、映像の符号化処理時間Ｔ_{Ｖ−ＥＮＣ}と復号化処理時間Ｔ_{Ｖ−ＤＥＣ}の和は、音声の符号化処理時間Ｔ_{Ａ−ＥＮＣ}と復号化処理時間Ｔ_{Ａ−ＤＥＣ}の和に比べて大きいため、映像符号化装置１に音声と同時に入力された映像は、映像復号化装置の出力時にこれらの和の差（Ｔ_{Ｖ−ＥＮＣ}＋Ｔ_{Ｖ−ＤＥＣ}）―（Ｔ_{Ａ−ＥＮＣ}＋Ｔ_{Ａ−ＤＥＣ}）の分だけ音声から遅れる。
【００２１】
一方、図４は、遅延手段２４にて符号化音声２２１に対して前述の和の差（Ｔ_{Ｖ−ＥＮＣ}＋Ｔ_{Ｖ−ＤＥＣ}）―（Ｔ_{Ａ−ＥＮＣ}＋Ｔ_{Ａ−ＤＥＣ}）の時間Ｔ_ＤＬＹに相当する遅延を行って遅延符号化音声２２２を出力し、該遅延符号化音声２２２を音声復号化手段２２で復号化して音声２２３を出力する場合を模式的に示した図であり、この場合、映像符号化装置１に同時に入力された映像と音声は映像復号化装置２で同時に出力される。
【００２２】
音声選択手段２５は、選択指示信号２５１により分離手段２３から分離された符号化音声２２１の選択指示があれば該符号化音声２２１を音声復号化手段２２に出力し、選択指示信号２５１により遅延符号化音声２２２の選択指示があれば該遅延符号化音声２２２を音声復号化手段２２に出力する。図３は前者に対応する処理時間の関係を示し、図４は後者に対応する処理時間の関係を示している。
【００２３】
実施の形態２．
図２は、この発明の実施の形態２についての説明図であり、第２の選択指示信号２５２の記載以外は図１と同様である。第２の選択指示信号２５２は、映像復号化装置２の外部ユーザインタフェースからの設定により、分離された符号化音声２２１か遅延符号化音声２２２のいずれか一方の選択を音声選択手段２５に対して指示する。外部ユーザインタフェースの具体的な例としては、映像復号化装置２に具備され、利用者が操作可能な設定スイッチがある。この場合、映像復号化装置２は本スイッチの設定状態により、前述の音声の選択を行う。
【００２４】
実施の形態３．
前述の形態２で示した外部ユーザインタフェースの別の例として、映像復号化装置２にリモートで制御や監視を実施できる外部制御装置でもよい。この場合、映像復号化装置２は本外部制御装置からのリモート制御を受けて、前述の音声の選択を行う。
【００２５】
実施の形態４．
前述の形態1，２では、映像符号化装置１における音声制御情報１４１は符号化映像１１２、符号化音声１２２とは別に多重化手段１３で多重化されるが、音声制御情報１４１を映像符号化手段１１にて符号化映像１１２の中に多重して出力し、映像復号化装置２における映像復号化手段２１にて、分離手段２３で分離された符号化映像２１１から音声制御情報１４１を分離して解読し、映像復号化手段２１から選択指示信号２５１を出力しても同様の効果を奏する。
【００２６】
実施の形態５．
前述の形態1，２では、映像符号化装置１における音声制御情報１４１は符号化映像１１２、符号化音声１２２とは別に多重化手段１３で多重化されるが、音声制御情報１４１を音声符号化手段１２にて符号化音声１２２の中に多重して出力し、映像復号化装置２における音声復号化手段２２にて、符号化音声２２１または遅延符号化音声２２２から音声制御情報１４１を分離して解読し、音声復号化手段２２から選択指示信号２５１を出力しても同様の効果を奏する。
【００２７】
なお、前述した実施の形態では、映像と音声のデジタル圧縮符号化方式の例としてそれぞれＭＰＥＧ−２、ＭＰＥＧ−１を挙げたが、この発明はこれらに限ったものではなく、他の符号化方式を適用しても同様の効果を奏する。
【００２８】
【発明の効果】
この発明は、映像を符号化する映像符号化手段と、音声を符号化する音声符号化手段と、前記符号化映像と符号化音声とを多重化して伝送路に送出する多重化手段とを備えた映像符号化装置と、前記伝送路からの多重化された符号化映像と符号化音声とをそれぞれに分離する分離手段と、分離された符号化映像を復号化して映像を再生する映像復号化手段と、分離された符号化音声を復号化して音声を再生する音声復号化手段とを備えた映像復号化装置とを有し、該映像復号化装置が、前記分離手段で分離された符号化音声を時間的に遅延させて出力する遅延手段と、該遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段に出力する音声選択手段とを有する映像音声伝送システムにおいて、前記映像符号化装置は、前記映像復号化装置に対する音声制御情報を生成する音声制御情報生成手段を有し、前記音声制御情報を符号化映像と符号化音声とともに多重化して伝送路に送出し、前記映像復号化装置における分離手段は前記伝送路からの多重化された符号化映像と符号化音声とともに、受信した前記音声制御情報を解読して前記音声選択手段に選択指示信号を出力するので、その用途に応じて、映像復号化装置が出力する音声を映像に同期させて視聴者に不自然な印象を与えないようにもできるし、あるいは他地点との音声の掛け合いによる会話の不自然さを低減することもできると共に、音声出力の選択を映像符号化装置からの指示で制御でき、受信側の映像復号化装置を操作しなくても遠隔地の送信側から選択できる効果がある。
【００２９】
さらに、この発明において、前記音声選択手段は、前記映像復号化装置の外部ユーザインタフェースでの設定により、前記遅延手段で遅延を施された符号化音声または前記分離手段で分離された符号化音声のいずれか一方を選択して音声復号化手段へ出力するので、音声出力の選択を遠隔地の送信側からの制御だけでなく、映像復号化装置での操作でもでき、送信側だけでなく受信側の都合にも適宜対応して選択できる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【図２】この発明の実施の形態２の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【図３】この発明の映像音声伝送システムにおける映像符号化装置での映像符号化処理時間と音声符号化処理時間、ならびに映像復号化装置での映像復号化処理時間と音声復号化処理時間の関係を示す説明図である。
【図４】音声を出力映像に同期させる場合について、図３に遅延手段による遅延時間を付加した各処理時間の関係を示す説明図である。
【図５】従来の映像音声伝送システムにおける映像符号化装置と映像復号化装置を示すブロック図である。
【符号の説明】
１映像符号化装置、１１映像符号化手段、１２音声符号化手段、１３多重化手段、１４音声制御情報生成手段
２映像復号化装置、２１映像復号化手段、２２音声復号化手段、２３分離手段、２４遅延手段、２５音声選択手段[0001]
BACKGROUND OF THE INVENTION
The present invention includes a video encoding device that digitally encodes and transmits video and audio, and a video decoding device that decodes and reproduces these encoded video and encoded audio received from the video encoding device. The present invention relates to a video / audio transmission system.
[0002]
[Prior art]
In Japan, BS digital broadcasting was started in 2000 following CS digital broadcasting, and terrestrial broadcasting will be digitized in 2003. One of the merits of digitization in video / audio transmission systems such as broadcasting is the reduction of the amount of transmission information by digital encoding processing. With this effect, a plurality of programs can be transmitted at the same time using the same capacity as that required for the distribution of a single program. The video encoding device digitally encodes the input video and the input audio based on a predetermined method, and the video decoding device reversely decodes and reproduces these encoded video and encoded audio.
[0003]
On the other hand, in order to compress the amount of information of video and audio to be transmitted, for example, a digital compression encoding method such as MPEG-2 is applied. When such a digital compression encoding method is used, video and audio information is compressed. Each processing time is required for encoding and decoding, and processing delay occurs. Therefore, in a video / audio transmission system using the digital compression encoding method, processing delays accompanying encoding and decoding occur even if there is no transmission delay on the transmission path. Furthermore, the processing time required for video encoding and decoding is considerably longer than the processing time required for audio encoding and decoding. For this reason, if the difference in processing time between video and audio is not corrected, the video played back by the video decoding device will be delayed from the audio, so the video and audio will not match, giving the viewer an unnatural impression. become.
[0004]
In order to eliminate such a problem, that is, the discrepancy between video and audio during playback, the video decoding device or the video encoding device and the video decoding are used as a delay means for temporally delaying the audio with a short processing time. In general, it is provided in both devices so as to synchronize temporally with video having a long processing time so as not to give the viewer an unnatural impression. However, according to such a method, for example, in a system that transmits a video and audio accompanying it between a plurality of points where a distance is set and a video encoding device and a video decoding device are installed in any of them, When conducting conversations between points, a silence period occurs due to the time delay of the voice between the voice of one conversation and the voice of the other conversation, and the naturalness of both conversations is impaired. Therefore, a method for reducing this problem is disclosed (for example, Japanese Patent Application Laid-Open No. 11-298870).
[0005]
FIG. 5 is a block diagram showing an example of a video encoding device and a video decoding device in a conventional video / audio transmission system. The video encoding apparatus 1 is generally configured by a video encoding unit 11, an audio encoding unit 12, and a multiplexing unit 13. Further, the video decoding device 2 is roughly configured by a video decoding unit 21, an audio decoding unit 22, a separation unit 23, and a delay unit 26.
[0006]
In the video encoding device 1, the video encoding means 11 compresses the video 111 from an external television camera or the like (not shown) by high-efficiency encoding by a predetermined encoding method such as MPEG-2, The converted video 112 is output. On the other hand, the voice encoding means 12 compresses the voice 121 from an external microphone or the like (not shown) by high-efficiency coding by a predetermined coding method such as MPEG-1, and outputs the coded voice 122. . The multiplexing means 13 time-division multiplexes the encoded video 112 and the encoded audio 122 and outputs the multiplexed signal 131 to the transmission path.
[0007]
In the video decoding device 2, the separating unit 23 separates the multiplexed signal 131 received from the transmission path into the encoded video 211 and the encoded audio 221. The video decoding means 21 decodes the separated encoded video 211 in accordance with the video encoding method in the video encoding device 1 and outputs it as a reproduced video 212 to the outside. The audio decoding unit 22 decodes the input encoded audio 221 corresponding to the audio encoding method in the video encoding device 1 and outputs it as reproduced audio 223. On the other hand, the delay means 26 delays the decoded audio 223 by a time corresponding to the difference between the sum of the video encoding processing time and the decoding processing time and the sum of the audio encoding processing time and the decoding processing time. And output as delayed sound 224. In the video decoding device, the audio 224 delayed to synchronize with the output video and the audio 223 without delay for synchronizing with the video are simultaneously output from the respective output terminals.
[0008]
[Problems to be solved by the invention]
In a conventional video decoding apparatus in a video / audio transmission system, an audio output terminal to which a time delay is added in order to synchronize with an output video and a delay in order to reduce the unnaturalness of conversation due to the interaction of the audio are reduced. It is necessary to equip each with a voice output terminal that is not added, and furthermore, a delay means is provided after the voice is decoded by the voice decoding means, but the decoding has resulted in a large amount of information In order to delay audio, it is necessary to provide delay means composed of a large-scale storage circuit or the like, which makes it difficult to reduce the size and cost of the video decoding apparatus.
[0009]
The present invention has been made to solve the above-described problems, and delays the voice in order to synchronize with the output video, or reduces the unnaturalness of conversation due to the interaction without adding a delay to the voice. It can be easily selected according to the application, and the video decoding device can be reduced in size and cost by using a delay unit constituted by a small-scale storage circuit or the like. The purpose is to obtain a video / audio transmission system.
[0010]
[Means for Solving the Problems]
The present invention comprises video encoding means for encoding video, audio encoding means for encoding audio, and multiplexing means for multiplexing the encoded video and encoded audio and sending them to a transmission line. A video encoding device, a separating means for separating multiplexed encoded video and encoded audio from the transmission path, respectively, and video decoding for decoding the separated encoded video and reproducing the video And a video decoding device comprising: audio decoding means for decoding the separated encoded audio and reproducing the audio, wherein the video decoding device is encoded by the separation means A delay means for delaying and outputting the speech in time, and either the encoded speech delayed by the delay means or the encoded speech separated by the separation means to select the speech decoding means audiovisual Den and a sound selection means for outputting In the system, the video encoding device includes audio control information generation means for generating audio control information for the video decoding device, and multiplexes the audio control information together with encoded video and encoded audio into a transmission path. The separating means in the video decoding apparatus decodes the received audio control information together with the multiplexed encoded video and encoded audio from the transmission path, and outputs a selection instruction signal to the audio selecting means To do.
[0011]
In the present invention, the voice selection means may select either one of the coded voice delayed by the delay means or the coded voice separated by the separation means by a selection instruction signal according to the voice control information. Select and output to speech decoding means.
[0012]
In the present invention, the audio selection means is either one of the encoded audio delayed by the delay means or the encoded audio separated by the separation means according to the setting in the external user interface of the video decoding device. One is selected and output to the speech decoding means.
[0013]
In the present invention, an external control device that can remotely control and monitor the video decoding device is used as the external user interface.
[0014]
In the present invention, the audio control information is multiplexed together with encoded video and encoded audio by the multiplexing means.
[0015]
In this invention, the audio control information is multiplexed and output in the encoded video by the video encoding means.
[0016]
In the present invention, the voice control information is multiplexed and outputted in the coded voice by the voice coding means.
[0017]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
Embodiment 1 of the present invention will be described below with reference to the drawings. In FIG. 1, the video encoding device 1 is roughly configured by a video encoding unit 11, an audio encoding unit 12, an audio control information generation unit 14, and a multiplexing unit 13. Further, the video decoding device 2 is roughly composed of a video decoding unit 21, an audio decoding unit 22, a separation unit 23, a delay unit 24, and an audio selection unit 25.
[0018]
In the video encoding device 1, the video encoding means 11 compresses the video 111 from an external television camera or the like (not shown) by high-efficiency encoding by a predetermined encoding method such as MPEG-2, The converted video 112 is output. On the other hand, the voice encoding means 12 compresses the voice 121 from an external microphone or the like (not shown) by high-efficiency coding by a predetermined coding method such as MPEG-1, and outputs the coded voice 122. . Also, the audio control information generation unit 14 generates and outputs audio control information 141 for instructing selection to the audio selection unit in the video decoding device 2 described later. The multiplexing means 13 time-division multiplexes the encoded video 112 and the encoded audio 122 and outputs a multiplexed signal 131 obtained by periodically multiplexing the audio control information 141 to the transmission path.
[0019]
In the video decoding device 2, the separating unit 23 separates the multiplexed signal 131 received from the transmission path into the encoded video 211 and the encoded audio 221, and every time the audio control information 141 is received. The contents are decoded and a selection instruction signal 251 is output. The video decoding means 21 decodes the separated encoded video 211 in accordance with the video encoding method in the video encoding device 1 and outputs it as a reproduced video 212 to the outside. On the other hand, the delay means 24 encodes the encoded audio 221 separated by a time corresponding to the difference between the sum of the video encoding processing time and the decoding processing time and the sum of the audio encoding processing time and the decoding processing time. Is output as the encoded speech 222 delayed. It goes without saying that the storage circuit in the delay means 24 corresponds to compressed encoded speech before decoding, and is smaller than the scale of the storage circuit corresponding to speech with a large amount of information after decoding. There is no. The voice selection means 25 selects and outputs either the coded voice 221 or the coded voice 222 delayed in accordance with the selection instruction signal 251. The audio decoding means 22 decodes either the input encoded audio 221 or the delayed encoded audio 222 in accordance with the audio encoding method in the video encoding device 1 and outputs it as reproduced audio 223 to the outside. Output.
[0020]
FIG. 3 shows respective encoding processing times T _V-ENC and T _A-ENC in the video encoding means 11 and audio encoding means 12 for the video 111 and audio 121 input to the video encoding device 1, and video decoding. FIG. 7 is a diagram schematically showing respective decoding processing times T _V-DEC and T _A-DEC in the video decoding means 21 and the audio decoding means 22 for the encoded video 211 and the encoded audio 221 in the encoding apparatus 2. is there. As described above, the sum of the video encoding processing time T _V-ENC and the decoding processing time T _{V-DEC is} the sum of the audio encoding processing time T _A-ENC and the decoding processing time T _A-DEC . Since the video is input to the video encoding device 1 simultaneously with the audio, the difference between these sums at the output of the video decoding device (T _V−ENC + T _V−DEC ) − (T _A−ENC + T _{A -DEC} ) is delayed from the sound.
[0021]
On the other hand, FIG. 4 corresponds to the time T _DLY of the above-described sum difference (T _V−ENC + T _V−DEC ) − (T _A−ENC + T _A−DEC ) with respect to the encoded speech 221 by the delay means 24. FIG. 6 is a diagram schematically showing a case where the delay encoded audio 222 is output by performing the delay and the delay encoded audio 222 is decoded by the audio decoding means 22 and the audio 223 is output. The video and audio input simultaneously to the encoding device 1 are output simultaneously from the video decoding device 2.
[0022]
If there is an instruction to select the encoded speech 221 separated from the separating means 23 by the selection instruction signal 251, the speech selection means 25 outputs the encoded speech 221 to the speech decoding means 22, and a delay code is received by the selection instruction signal 251. If there is an instruction to select the coded speech 222, the delayed coded speech 222 is output to the speech decoding means 22. FIG. 3 shows the relationship between processing times corresponding to the former, and FIG. 4 shows the relationship between processing times corresponding to the latter.
[0023]
Embodiment 2. FIG.
FIG. 2 is an explanatory diagram for the second embodiment of the present invention, and is the same as FIG. 1 except for the description of the second selection instruction signal 252. The second selection instruction signal 252 selects either the separated encoded audio 221 or the delayed encoded audio 222 for the audio selection means 25 according to the setting from the external user interface of the video decoding device 2. Instruct. As a specific example of the external user interface, there is a setting switch provided in the video decoding device 2 and operable by a user. In this case, the video decoding device 2 performs the above-described audio selection according to the setting state of this switch.
[0024]
Embodiment 3 FIG.
As another example of the external user interface shown in the above-described embodiment 2, an external control device that can remotely control and monitor the video decoding device 2 may be used. In this case, the video decoding apparatus 2 receives the remote control from the external control apparatus and performs the above-described audio selection.
[0025]
Embodiment 4 FIG.
In the first and second embodiments, the audio control information 141 in the video encoding device 1 is multiplexed by the multiplexing unit 13 separately from the encoded video 112 and the encoded audio 122, but the audio control information 141 is encoded by the video. The audio control information 141 is separated from the encoded video 211 separated by the separation means 23 by the video decoding means 21 in the video decoding apparatus 2 after being multiplexed and output in the encoded video 112 by the means 11. The same effect can be obtained even if the selection instruction signal 251 is output from the video decoding means 21.
[0026]
Embodiment 5 FIG.
In the first and second embodiments described above, the audio control information 141 in the video encoding device 1 is multiplexed by the multiplexing unit 13 separately from the encoded video 112 and the encoded audio 122. However, the audio control information 141 is encoded by audio. The means 12 multiplexes and outputs the encoded audio 122 and the audio decoding means 22 in the video decoding apparatus 2 separates the audio control information 141 from the encoded audio 221 or the delayed encoded audio 222. Decoding and outputting the selection instruction signal 251 from the voice decoding means 22 can achieve the same effect.
[0027]
In the above-described embodiment, MPEG-2 and MPEG-1 are cited as examples of video and audio digital compression coding systems, respectively, but the present invention is not limited to these, and other coding systems. The same effect can be achieved even if is applied.
[0028]
【The invention's effect】
The present invention comprises video encoding means for encoding video, audio encoding means for encoding audio, and multiplexing means for multiplexing the encoded video and encoded audio and sending them to a transmission line. A video encoding device, a separating means for separating multiplexed encoded video and encoded audio from the transmission path, respectively, and video decoding for decoding the separated encoded video and reproducing the video And a video decoding device comprising: audio decoding means for decoding the separated encoded audio and reproducing the audio, wherein the video decoding device is encoded by the separation means A delay means for delaying and outputting the speech in time, and either the encoded speech delayed by the delay means or the encoded speech separated by the separation means to select the speech decoding means video and audio Den to have a voice and a selection means for outputting In the system, the video encoding apparatus, an audio control information generating means for generating an audio control information for the image decrypted device, the transmission path the voice control information is multiplexed with the coded video and coded audio The separation means in the video decoding apparatus decodes the received audio control information together with the multiplexed encoded video and encoded audio from the transmission path, and sends a selection instruction signal to the audio selection means. since the output, depending on the application, can either to avoid giving an unnatural impression to the viewer synchronizes the audio output from the video decoding apparatus in a video or a voice conversation of negotiations with the other sites, together can also reduce the unnaturalness of the selection of the audio output can be controlled by an instruction from the video encoding apparatus, the sender of the remote locations without operating the video decoding apparatus on the receiving side There is an effect that can be al selection.
[0029]
Further, in the present invention, the audio selection means is configured to transmit the encoded audio delayed by the delay means or the encoded audio separated by the separation means according to the setting in the external user interface of the video decoding apparatus. Since either one is selected and output to the audio decoding means, the audio output can be selected not only by control from the remote transmission side but also by operation on the video decoding device. There is an effect that can be selected corresponding to the convenience of.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a video encoding device and a video decoding device in a video / audio transmission system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a video encoding device and a video decoding device in a video / audio transmission system according to Embodiment 2 of the present invention;
FIG. 3 shows the relationship between the video encoding processing time and the audio encoding processing time in the video encoding device and the video decoding processing time and the audio decoding processing time in the video decoding device in the video / audio transmission system of the present invention. It is explanatory drawing which shows.
FIG. 4 is an explanatory diagram showing a relationship between processing times obtained by adding a delay time by delay means to FIG. 3 in the case where audio is synchronized with output video.
FIG. 5 is a block diagram showing a video encoding device and a video decoding device in a conventional video / audio transmission system.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Video coding apparatus, 11 Video coding means, 12 Audio coding means, 13 Multiplexing means, 14 Audio control information generation means 2 Video decoding apparatus, 21 Video decoding means, 22 Audio decoding means, 23 Separation means 24 delay means 25 voice selection means

Claims

Video encoding means comprising: video encoding means for encoding video; audio encoding means for encoding audio; and multiplexing means for multiplexing the encoded video and encoded audio and sending them to a transmission line Equipment,
Separation means for separating the multiplexed encoded video and encoded audio from the transmission path, respectively, video decoding means for decoding the separated encoded video and reproducing the video, and separated code A video decoding device comprising: audio decoding means for decoding audio and reproducing audio;
The video decoding apparatus includes: a delay unit that outputs the encoded audio separated by the separation unit with a time delay; and the encoded audio that has been delayed by the delay unit or the separation unit In a video / audio transmission system having audio selection means for selecting any one of encoded audio and outputting it to audio decoding means ,
The video encoding device includes audio control information generation means for generating audio control information for the video decoding device, multiplexes the audio control information together with encoded video and encoded audio, and sends the multiplexed information to a transmission path.
The separation means in the video decoding device decodes the received audio control information together with the multiplexed encoded video and encoded audio from the transmission path and outputs a selection instruction signal to the audio selection means. A featured audio / video transmission system.

The voice selecting means selects either one of the coded voice delayed by the delay means or the coded voice separated by the separation means by the selection instruction signal according to the voice control information, and the voice is selected. 2. The video / audio transmission system according to claim 1 , wherein the video / audio transmission system outputs to the decoding means.

The audio selection unit selects either one of the encoded audio delayed by the delay unit or the encoded audio separated by the separation unit according to the setting in the external user interface of the video decoding device. 3. The video / audio transmission system according to claim 1 , wherein the video / audio transmission system outputs the audio to the audio decoding means.

4. The video / audio transmission system according to claim 3 , wherein an external control device capable of remotely controlling and monitoring the video decoding device is used as the external user interface.

Said audio control information audiovisual transmission system as claimed in any one of 4 to claims 1, characterized in that it is multiplexed with the coded video and coded audio by the multiplexing means.

It said audio control information audiovisual transmission system as claimed in any one of claims 1 to 4, characterized in that it is multiplexed and output in the coded video by the video coding means.

It said audio control information audiovisual transmission system as claimed in any one of claims 1 to 4, characterized in that it is multiplexed and output in the coded speech by the speech coding means.