JP4074019B2 - Multiplexer - Google Patents

Description

【００３３】
遅延時間変数ｘは、各メディアデータの多重化処理での残された時間を示すため、メディアデータが多重化バッファ手段１に到着してから徐々に減っていき、この値が０になった時点でそのメディアデータは受信装置にとって不要となる。そのため、値が０となったメディアデータは多重化の必要はなくなり、多重化装置内で廃棄するのが適当である。
データを廃棄しないためにも、遅延時間変数が０に近いものから多重化データとして選択すべきである。
【００３４】
以上のように、多重化制御手段３において、遅延時間変数の小さいメディアデータから多重化にすることによって、各メディアデータの最大遅延可能時間を超えないように多重化を行うことができるという効果がある。
【００３５】
図２は、あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
あるメディアデータが多重化バッファ手段１に到着した時点で、遅延時間変数はそのメディアの最大遅延可能時間を示す。
その後、時間経過と共に遅延時間変数は、経過した時間分だけ値が減じられ、最大遅延可能時間経過後に値は０となる。
【００３６】
遅延時間変数をそのまま多重の優先順位の評価基準とすることで、一意に多重化の優先順位は決定する。しかしながら、遅延時間変数を用いた関数を評価基準にすることで、遅延時間だけでないメディア独特の優先順位付けも考慮することが可能となる。
【００３７】
多重化制御手段３では、遅延時間変数ｘの関数をデータ優先度評価値ｆ（ｘ）とし、多重化の優先度をこのデータ優先度評価値ｆ（ｘ）により決定する。
データ優先度評価値ｆ（ｘ）を与える関数は、基本的に遅延時間変数ｘが０に近づくにつれデータ優先度評価値ｆ（ｘ）の値を小さくするものであり、多重化制御手段３は、データ優先度評価値ｆ（ｘ）が小さいものから優先的に多重を行うものとする。
【００３８】
多重化制御部３は、データ優先度評価値ｆ（ｘ）の小さいものから多重していくことにより、最大遅延可能時間が迫ってきたメディアデータから多重される。これにより、各メディアデータの許容される遅延時間を使い切らないように、多重化が行われる。
【００３９】
以上のように、遅延時間変数ｘを関数としたデータ優先度評価値ｆ（ｘ）を用いて多重制御を行うことにより、各メディアデータの許容遅延時間を超えないような多重化制御が行えるいう効果がある。
【００４０】
また、多重化制御部３では、データ優先度評価値ｆ（ｘ）だけで多重するメディアデータを選択するのではなく、各メディアに依存した情報優先度評価値と併用することでさらに多彩な多重制御が行える。
ここで、情報優先度評価値とは、各メディア（情報源）に固有の多重のための優先度を付与したものである。
【００４１】
例として、情報優先度評価値とデータ優先度評価値の２種類の評価値を使用した多重化制御について示す。
オーディオ、ビデオ、汎用データの３種類のメディアが存在し、汎用データのみ情報優先度評価値による優先度が低いとする。多重化制御部３は、まず、ビデオとオーディオのデータ優先度評価値により優先度の高いメディアデータを多重化データとして選択する。その後もビデオとオーディオでデータ優先度評価値により優先度の高いデータを多重化データとして選択し続け、ビデオ、オーディオとも選択できるデータが多重化バッファ手段の中に存在しない場合に、汎用データを多重化データとして選択する。
これにより、ビデオとオーディオは、常に優先されると共に遅延時間を考慮した多重が行える。
【００４２】
また、逆に、汎用データのみ情報優先度評価値による優先後が高い場合には、まず、汎用データ用の多重化バッファ手段が空になるまで、汎用データが多重化データとして選択され、その後、ビデオとオーディオがデータ優先度評価値により遅延時間を考慮した多重化データの選択が行われる。
これにより、汎用データは常に優先的に多重化され、残った時間をビデオとオーディオで遅延時間を考慮しながら多重化が行われる。
【００４３】
以上のように、情報優先度評価値及びデータ優先度評価値を併用することにより、メディアによる優先度と遅延時間による優先度の２つの優先度を考慮した多重化制御が行えるという効果がある。
【００４４】
次に、データ優先度評価値の関数を決定するための手段を以下に示す。例として、遅延時間変数ｘの１次関数をデータ優先度評価値ｆ（ｘ）とした場合について式（２）に示す。
ｆ（ｘ）＝Ａｘ＋Ｂ ・・・（２）
ここで、Ａ，Ｂ：メディア別変数
【００４５】
許容可能な遅延時間を越えたものは、その情報に利用価値がないものとして廃棄されるべきである。そのため、遅延時間変数ｘは負にはならない。
メディアデータの中に廃棄可能なものが存在する場合、それ以外のメディアデータの許容可能な遅延時間を超える前に、廃棄可能なメディアデータを廃棄し、それ以外のメディアデータを多重する割合を増やすことによって、それ以外のメディアデータを許容時間以内に多重化することが可能となる。
そこで、廃棄可能なメディアデータの優先度をある程度以上高くならないようにする。
【００４６】
データ優先度評価値ｆ（ｘ）が式（２）で表される場合、廃棄可能なメディアの優先度をある程度以上高くしないためには、データ優先度評価値の値がある程度以上小さくならなければよい。
式（２）の変数Ｂに正数を設定することで、データ優先度評価値ｆ（ｘ）は常にＢ（＞０）以上となり、そのメディアの優先度が最高（データ優先度評価値＝０）となることはない。
【００４７】
他のメディアデータのデータ優先度評価値ｆ（ｘ）が常にＢ以下の場合、つまり多重化のために許容されている遅延時間の残りが少ない場合、廃棄可能なメディアは送信されず廃棄される。一方、他のメディアデータの許容される遅延時間の残りが多いとき、データ優先度評価値はＢを超えているため、廃棄可能なメディアは多重化され送信される。
つまり、式（２）の変数Ｂは、メディア別のデータ廃棄可能な度合いを表す係数、すなわちゼロもしくは正数で、０は廃棄不可を示し、値が大きくなるにつれて、データ廃棄の可能性が高くなる。
【００４８】
以上のように、廃棄可能なデータの優先度を定められた値以上高くならないようにすることによって、他のデータの廃棄の可能性が減るような多重化制御、すなわちデータ優先度評価値が小さいデータより優先的に多重伝送が行えるという効果がある。
【００４９】
ところで、従来例では、情報発生量を多重化バッファのバッファ蓄積量で行っている。蓄積量が多い場合には情報発生量を減らし、蓄積量が少ない場合には情報発生量を増やして、多重化データ全体の出力レートに個々のメディアデータの入力レートとの合計が一致するようにしている。
【００５０】
レート制御を有効に行うためには、レート制御が行えるメディアに対して割り与えられる帯域（レート）を顕著に表すようなバッファ蓄積量の変動が必要である。そのために、レート制御が行えないメディアの優先度を高くして、優先的に多重させ、残った帯域（時間）でレート制御可能なメディアを多重すれば、レート制御可能なメディアに割り与えられるレートと現在の発生レートとの差分が顕著に多重化バッファ手段１の蓄積量に表れる。
【００５１】
ただし、レート制御可能なメディアにも、最大遅延可能時間が設定されるため、その時間を超えることは避けなければならず、そのために遅延時間変数ｘが０に近づいた場合は優先度が最高（データ優先度評価値ｆ（ｘ）＝０）となる必要がある。
【００５２】
よって、情報源で発生するデータ量を制御可能なデータに対しては、通常優先度を低くし、遅延時間が大きくなる、つまり遅延時間変数ｘが０に近づくにつれて優先度が最高になるようにする。
【００５３】
データ優先度評価値ｆ（ｘ）が式（２）で表される場合、レート制御可能なメディアに対しては、遅延時間変数ｘが０の時データ優先度評価値ｆ（ｘ）が０になり、かつ他のメディアより通常はデータ優先度評価値ｆ（ｘ）が大きくなる必要がある。
【００５４】
式（２）の変数Ａの値を大きくすることで、データ優先度評価値ｆ（ｘ）は他のメディアより比較的大きくなり、変数Ｂが０の場合は遅延時間変数ｘが０に近づくにつれてデータ優先度評価値ｆ（ｘ）も０に近づき最高の優先度になりうる。つまり、式（２）の変数Ａは、メディア別の情報発生量の制御可能な、すなわちレート制御が可能な度合いを表す正数で、値が大きくなるにつれて、制御可能な情報量の範囲が広くなる。
【００５５】
以上のように、情報源で発生するデータ量を制御可能なデータに対して、通常優先度を低くし、遅延時間変数ｘが０に近づくにつれて優先度が最高になるようにすることによって、レート制御をダイナミックに行えるという効果がある。
【００５６】
また、遅延時間に制約（制限）のないメディアデータは、いつ多重してもよいため、優先度を最低にして、他のメディアで多重するデータがない場合に、この遅延時間に制約のないメディアデータを多重送信する。
そのため、最大遅延可能時間を考慮したデータ優先度評価値による優先度付けは行わず、情報優先度評価値を用いて、常に優先度を低くする。
【００５７】
以上のように、遅延時間に制約のないメディアは、情報優先度評価値による優先度を最低にすることによって、他のメディアの多重すべきデータがない場合だけ選択多重されるため、他のメディアの送出に制限を加えずに多重化が行えるという効果がある。
【００５８】
一般に、メディアデータは、ある符号化単位で符号化されている。受信装置では符号化データの一部が廃棄されると、その符号化単位全てが復号できなくなる場合がある。
そこで、多重化装置で、遅延時間超過等により廃棄されるメディアデータ、すなわち、最大遅延可能時間を超過したデータと同一の符号化単位であるメディアデータを同時に廃棄することにより、受信装置で復号不可能なデータを受信せずに済み、また、多重化装置では復号不可能なその同一の符号化単位のデータの伝送時間を他のメディアの伝送に使用できる。
【００５９】
以上のように、廃棄するメディアデータと同一の符号化単位のメディアデータも同時に廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【００６０】
さらに、多重化されるのを待っているメディアデータとその同一符号化単位であるメディアデータ全てを送出するために必要な時間を、そのメディアに割り与えられる可能性のある最大レートとから算出し、その同一符号化単位のメディアデータ全てが各々最大遅延可能時間内に遅れそうもない場合、その同一符号化単位のメディアデータ全てを廃棄する。
【００６１】
以上のように、同一符号化単位のメディアデータを全て最大遅延可能時間内に送信できない状況を認識し、最大遅延可能時間になる前に廃棄することによって、すなわち、各データの符号化単位をすべて送信するために必要な時間が遅延可能時間より大きい場合に、その符号化単位すべてを多重化バッファ手段から廃棄することによって、受信装置で不要なデータを受信せず、また、多重化装置ではその代わりに他のメディアデータを多重できるため、多重化装置出力の伝送容量を効率的に使用できるという効果がある。
【００６２】
また、多重化バッファ手段１内のメディアデータの遅延時間を計測する手段として、符号化単位を検出し、符号化単位の先頭のデータが、多重化バッファ手段１に到着した時にその時刻を記憶し、同一符号化単位の最終データがバッファから出力される時刻までを、それらの同一符号化単位全体の共通の遅延時間として計算する。
このようにすることで、１符号化単位データで１つの時間管理をすればよいので、１バイトずつ時間管理をする必要がなく簡易な装置構成が実現できる。
【００６３】
以上のように、遅延時間を測定する単位を符号化単位とすることにより、時間管理を行うデータ数が減り、簡易に遅延時間を測定できるという効果がある。
【００６４】
次に、多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段は、１バイト毎に書き込み・読み出しが行えると共に、１バイトのデータに対して１ビットのデータの有無を示すフラグを具備する。
各情報源毎に最大情報発生レートのクロックで多重化バッファ手段１にメディアデータを書きこむ。しかし、必ずしも書きこむデータがあるわけではないため、実際受信したデータを書きこんだ時には上記データの有無を示すフラグを「有」にし、受信したデータがない場合にはこのフラグを「無」にする。
【００６５】
多重化バッファ手段１よりデータを読み出す場合には、このフラグが「有」となっているデータのみを読み出す。これにより、有効なデータのみを読み出すことができる。
多重化バッファ手段１には、データを一定レートで書き込みを行っているため、書き込み後まだ読み出しが行われていない部分、つまりバッファ残量（フラグが「無」となっているデータも含む）を計測し、それを書き込みを行ったレート（最大情報発生レート）で除算することにより、先頭のデータの遅延時間を計測することができる。
【００６６】
図３は、多重化バッファ手段１の構造の一例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れると共に、1ビットのデータ有無のフラグを設定する。バッファの読み出しはバッファ下部より行い、データ有無フラグが「有」となっているデータのみ有効とする。
この時データの書き込みが行われているバッファ残量によって、最も古い（図では最下部に位置する）データの遅延時間が計算できる。
【００６７】
以上のように、多重化バッファ手段１に１バイトのデータ書き込み領域に対して１ビットのデータ有無のフラグを具備し、常に各情報源の最大情報発生レートでデータの書き込みを行い、実際に受信データがある場合にのみフラグを「有」にすることによって、バッファ残量を書き込みレートで割ることによりデータの遅延時間を容易に計測できるという効果がある。
【００６８】
多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段１には、１バイトのデータを書きこむ領域と、データの書き込みを行った時刻を書きこむ領域が存在する。多重化バッファ手段１は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、書き込みを行った時刻を一緒にバッファへ書き込む。
多重化バッファ手段１よりメディアデータが読み出される時は、読み出されるデータに付随する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【００６９】
図４は、多重化バッファ手段１の構造の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れると共に、現在の時刻（つまりデータの書き込み時刻）を書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、データの書き込みが行われた時刻を参照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【００７０】
以上のように、多重化バッファ手段１に１バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【００７１】
さらに、多重化バッファ手段１内のメディアデータの遅延時間を計測する別の手段を示す。
多重化バッファ手段１には、データを書き込む領域と、データＮ（Ｎは整数）バイト毎に時刻情報を書き込む領域が存在する。
多重化バッファ手段１は、情報源よりメディアデータを受信したら、1バイトずつ受信データをバッファに書き込みを行うと同時に、データをＮバイト書き込む度に現在の時刻を時刻情報領域に書き込む。
多重化バッファ手段１よりメディアデータが読み出される時は、読み出されるデータからＮバイト以内に存在する時刻情報と現在の時刻を比較することによって遅延時間が計算できる。
【００７２】
図５は、多重化バッファ手段１の構造の別の例を示した説明図である。
多重化バッファの上部より読み込んだ受信データ（８bit）を入れる。データをＮバイト書き込んだら、現在の時刻（つまりデータの書き込み時刻）を時刻情報領域に書き込む。バッファの読み出しはバッファ下部よりデータ部分のみを読み出す。
この時、バッファからデータを読み出す際に、読み出すデータのＮバイト以内に存在する時刻情報を照し、現在の時刻と比較することで、そのデータのバッファにおける遅延時間が算出できる。
【００７３】
以上のように、多重化バッファ手段１にＮ（Ｎは整数）バイトのデータ書き込み領域に対して、時刻情報を書き込む領域を具備することによって、データ読み出し時に時刻情報領域を参照し現在の時刻と比較することによってデータの遅延時間を容易に計測できるという効果がある。
【００７４】
実施の形態２．
上述した実施の形態１では、多重するデータを選択するための手段についてのものであるが、次に情報源の情報発生量を制御する実施の形態を示す。
図６は、このような場合の多重化装置を示す構成図である。
図において、６は遅延測定手段２ａ〜２ｃにより通知されるデータの遅延時間を基に、多重するメディアデータを選択し多重化手段４に通知し、さらに同遅延時間を基に情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量の制御を行う多重化制御手段である。図６において、図１と同一の参照番号は図１と同一または同等の要素であるので、詳細説明を省略する。
【００７５】
次に動作について説明する。
メディアデータ１００ａ〜１００ｃは、対応する多重化バッファ手段１ａ〜１ｃに蓄積され多重化されるのを待つ。
遅延測定手段２ａ〜２ｃは、各メディアデータ１００ａ〜１００ｃの多重化バッファ手段１ａ〜１ｃでの遅延時間を検出し、遅延時間を多重化制御手段３に通知する。
【００７６】
多重化制御手段３では、遅延測定手段６ａ〜６ｃで検出した遅延時間をもとに多重するメディアデータを選択し、さらにこの遅延時間を基に、情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量を制御する。多重化部４では多重化制御手段６の選択したメディアデータを多重化データとして送出する。
【００７７】
多重化制御手段６では、情報量制御データ２００ａ〜２００ｃを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
これにより、多重化バッファ手段１で蓄積されているデータの遅延時間が小さい場合、情報発生量を増加することにより、データ遅延時間が増加し、多重化バッファ手段のアンダーフローを避けることができる。逆に多重化バッファ手段１で蓄積されているデータの遅延時間が大きい場合、情報発生量を減少することにより、データ遅延時間が減少し、多重化バッファ手段のオーバーフローを避けることができる。
【００７８】
また、バッファ蓄積量が少なくてもバッファからの出力量が少ないと、バッファにおける遅延時間が増大してしまうが、バッファでの遅延時間を基に情報発生量を決定するためバッファでの遅延時間が大きくなることはなくなる。
【００７９】
ここでの情報発生量の制御とは、純粋に情報源で発生させる情報量を制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は各メディア単位に情報発生量を所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに全体の情報発生量を制御するために利用できる。
【００８０】
以上のように、情報源の情報発生量を各多重化バッファ手段１でのメディアデータの遅延時間によって制御するために、多重化バッファ手段のオーバーフローやアンダーフローおよびバッファ内での遅延時間の増大を防ぐことができるという効果がある。
【００８１】
実施の形態３．
以上の実施の形態１、２では、１つの多重化装置について示したものであるが、ここでは多重化装置を多段接続する実施の形態を示す。
図７は、このような場合の多重化装置を示す構成図である。
図７において、７は伝送レートデータ２０１により出力レートを制御しながら、多重制御手段６で選択したメディアデータの蓄積されている多重化バッファ手段１よりデータを読み出し、多重化データ１０１として出力する多重化手段である。なお、図７において、図６と同一の参照番号は図６と同一または同等の要素であるので、詳細説明を省略する。
【００８２】
次に動作について説明する。
メディアデータ１００ａ〜１００ｃは、対応する多重化バッファ手段１ａ〜１ｃに蓄積され多重化されるのを待つ。
遅延測定手段２ａ〜２ｃは、各メディアデータ１００ａ〜１００ｃの多重化バッファ手段１ａ〜１ｃでの遅延時間を検出し、遅延時間を多重化制御手段６に通知する。
【００８３】
多重化制御手段６では、遅延測定手段２ａ〜２ｃで検出した遅延時間を基に多重するメディアデータを選択する。さらに、この遅延時間を基に、情報源（図示せず）に対して情報量制御データ２００ａ〜２００ｃを用いて情報発生量を制御する。多重化部７は、出力レートデータ２０１により出力レートを外部より制御されながら、多重化制御手段３で選択したメディアデータを多重化データとして送出する。
【００８４】
多重化制御手段６では、情報量制御データ２００ａ〜２００ｃを用いて、検出した遅延時間が大きい場合には情報発生量を少なくするように、遅延時間が小さい場合には情報発生量を多くするような情報を通知する。
多重化手段７において、出力レートの制御とは、純粋に多重化手段で発生させる出力レートを制御する場合と、情報源における量子化ステップ等を制御する場合がある。前者は出力レートを所望の値に近づけるために、後者は各メディア間の量子化ステップサイズを共通にしさらに出力レートを制御するために利用できる。
【００８５】
以上のように、出力レートを外部からの制御データにより制御できるようにしたため、多重化装置の出力データを受信する装置が必要とするだけのデータ量を受信することができるという効果がある。
【００８６】
図８は、多重化装置の多段接続の例を示した説明図である。
図８において、９は、図７に示される多重化装置であり、複数段木構造状に多段接続されている。なお、図８において、図７と同一の参照番号は図７と同一または同等の要素であるので、詳細説明を省略する。
【００８７】
次に動作について説明する。
メディアデータ１００ａ〜１００ｄは、情報量制御データ２００ａ〜２００ｄにより出力情報量を制御された状態で、多重化装置９ａ、９ｃに入力される。多重化装置９ａ、９ｃはそれぞれ出力レートデータ２０１ａ、２０１ｃにより出力レートを制御しながら、メディアデータ１００ａ〜１００ｄを多重して、多重化データ１０１ａ、１０１ｃを出力する。
【００８８】
多重化装置９ｅでは、この多重化データ１０１ａ、１０１cを受信データ（メディアデータ）１００ｅ、１００ｆとして扱い、さらにその情報量の制御を行う出力レートデータ２０１ａ、２０１ｃを情報量制御データ２００ｅと扱うことで、多重化装置９ｅは多重化装置９ａ、９ｃの出力を多重する多重化装置となる。そしてこの多重化データ１０１ｅは出力レートデータ２０１ｅにより制御される。
【００８９】
多重化装置９ｅで多重化を行う多重化データの出力情報量は、出力レートデータ２０１ｅにより制御される。この出力レートの制御により、受信データ１００ｅ、１００ｆを受信するバッファが破綻しないように、情報量制御データ２００ｅ、２００ｆを用いて入力レートの制限を行う。
【００９０】
多重化装置９ａ、９ｃでは、情報量制御データ２００ｅ、２００ｆを出力レートデータ２０１ａ、２０１ｃとみなし、多重化データ１０１a、１０１ｃの出力レートを制限する。またこの出力レートに応じて、メディアデータ１００ａ〜１００ｄの入力レートの制限も行う。
【００９１】
このようにすることで、多段に接続された各多重化装置内の受信バッファが破綻することなく多重が行える。
例えば、ディジタル放送などで、ビデオ、オーディオ等を多重して１つの番組を作成し、さらにこれらの番組を複数多重して放送する場合などに、このような多段の多重を用いることができる。
【００９２】
以上のように、多重化装置を木構造状に多段に接続しても、入出力のレート制御を適正に行うことができるようにしたので、多重化を複数回繰り返す場合でも多重化装置内のバッファの破綻をきたすことなく多重化を行うことができるという効果がある。
【００９３】
実施の形態４．
以上の実施の形態１、２、３では、通信プロトコルにおける１つのレイヤの多重化機能の実現について示したものであるが、ここでは複数のレイヤにおける多重化を一度に行う実施の形態を示す。
このような場合の多重化装置を示す構成図は、図１、図６もしくは図７と同様である。
【００９４】
次に動作について説明する。
多重化制御手段は、特定の情報源の中か多重化されるデータを選択する。この場合選択する方法については上記の通り。また、特定の情報源とは、外部から選択されたり、時々刻々と変化するようなものであってもよい。
【００９５】
一般に、下位レイヤにおける多重化制御は、ある一定間隔で多重される対象を変更することがある。例えば時分割多重などでは、複数の多重対象をある時間間隔で切り替えて多重を行っている。
【００９６】
図９は、このような複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
図９では、このような時分割多重を用いて２つの番組の多重を行う下位レイヤの多重と、ビデオ、オーディオなどのメディア多重を行う上位レイヤの多重を同時に行う例を示す。
【００９７】
２つの番組は、それぞれ複数のメディアからなる。ここでは、番組１はメディアａ，ｂ，ｃ、番組２はメディアｄ，ｅ，ｆからなるものとする。また下位レイヤの多重化の制約により、番組１と番組２はある一定間隔で交互に送信されるものとする。
【００９８】
多重化制御手段は、多重化パターンが番組１を送信する時間であれば、メディアａ、ｂ、ｃの中から、データ優先度評価値などにより多重すべきメディアを選択する。同様に番組２を送信する時間であればメディアｄ，ｅ，ｆの中から多重すべきメディアを選択する。
これにより、２つの番組を一定間隔で交互に送るような多重化機能を実現できる。
【００９９】
以上のように、多重化制御手段で選択するメディアに制限をつけるようにしたため、時分割多重等の機能も実現でき、複数回の多重化を１度に行えるという効果がある。
【０１００】
時分割多重の対象が固定的でない場合、つまり時分割多重の最小多重時間は一定であるが、選択される対象が不定の場合について説明する。
図９において、番組多重パターンは番組１と番組２が交互になっているが、この多重パターンを多重化装置で任意に変更できる場合、多重化装置は送りたい番組を選択して送る。
【０１０１】
番組にはそれぞれ３つのメディアが多重されており、これらのメディアの中（重複可能）で送信可能なデータのデータ優先度評価値を算出する。
３つのデータ単位に番組多重パターンを変更する場合、それぞれの番組に含まれるメディアグループの中で３番目に優先度の高いデータのデータ優先度評価値を検出する。
そして、番組１と２のそれぞれの３番目のデータ優先度評価値を比較し、優先度の高い方を次回の番組多重パターンに選択し、最小時分割多重時間（図では３）が終了するまでその番組内のメディア（重複可能）の中から優先度の高いデータを３つ選択する。
この動作は最小時分割多重時間単位毎に行われ、その都度どの番組を多重するかを選定する。
【０１０２】
以上のように、複数の情報源を複数のグループに分割し、そのグループ内でｎ番目に優先度の高いデータのデータ優先度評価値を各グループ間で比較し、優先度の最も高いグループから、ｎ個のデータを選択送出することにより、グループの効率的な多重化を行うことができるという効果がある。
【０１０３】
【発明の効果】
以上のように、この発明に係る多重化装置よれば、メディア毎にバッファ内に蓄積される遅延時間を考慮して、多重化部の多重制御及び符号化部の情報発生量の制御を行うことができる。
【図面の簡単な説明】
【図１】 この発明の実施の形態１に係る多重化装置を示す構成図である。
【図２】 あるメディアデータの遅延時間変数の時間的経過を示した説明図である。
【図３】 多重化バッファ手段１の構造の一例を示した説明図である。
【図４】 多重化バッファ手段１の構造の他の例を示した説明図である。
【図５】 多重化バッファ手段１の構造のさらに他の例を示した説明図である。
【図６】 この発明の実施の形態２に係る多重化装置を示す構成図である。
【図７】 この発明の実施の形態３に係る多重化装置を示す構成図である。
【図８】 多重化装置の多段接続の例を示した説明図である。
【図９】 この発明の実施の形態４に係るもので、複数レイヤの同時多重化を行う際の多重化のタイミングを示す説明図である。
【図１０】 特開平９−１１６５２０号公報に示された従来の多重化装置を示す構成図である。
【符号の説明】
１ａ，１ｂ，１ｃ 多重化バッファ装置、２ａ，２ｂ，２ｃ 遅延測定手段、３，６ 多重化制御手段、４，７ 多重化手段、９ａ，９ｃ，９ｅ 多重化装置。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a multiplexing device that multiplexes multimedia data such as digitized video data, audio data, and general-purpose data.
[0002]
[Prior art]
Conventionally, as a multiplexing apparatus, there is one disclosed in, for example, Japanese Patent Laid-Open No. 9-116520.
FIG. 10 is a block diagram showing a conventional multiplexing apparatus disclosed in Japanese Patent Laid-Open No. 9-116520.
In FIG. 10, 10a to 10n are n encoding units for encoding various media information 20a to 20n such as video and audio, and 11a to 11n are encoded data 21a output from the encoding units 10a to 10n. A multiplexing buffer as n multiplexing buffer means for storing up to 21n, and 12 as multiplexing means for multiplexing the encoded data 22a to 22n stored in the multiplexing buffers 11a to 11n and outputting them as a multiplexed stream The multiplexing unit 13, based on the information of the buffer accumulation amounts 23 a to 23 n of the encoded data 21 a to 21 n in the respective multiplexing buffers 11 a to 11 n, outputs the encoded data to be multiplexed and output by the multiplexing unit 13. Multiplexing as multiplexing control means for selecting from the encoded data stored in the multiplexing buffers 11a to 11n It is a part.
[0003]
Next, the operation will be described.
The encoding units 10a to 10n encode the media information 20a to 20n and output the encoded data 21a to 21n to the multiplexing buffers 11a to 11n. The multiplexing control unit 13 selects encoded data to be multiplexed based on the buffer accumulation amounts 23a to 23n information of the multiplexing buffers 11a to 11n, and notifies the multiplexing unit 12 of the selected data. Upon receiving the notification, the multiplexing unit 12 takes out the encoded data 22 from the multiplexing buffer 11 to be selected, and outputs it as a multiplexed stream.
[0004]
Also, the encoding units 10a to 10n control the information generation amounts of the encoded data 21a to 21n by the buffer accumulation amounts 23a to 23n of the corresponding multiplexing buffers 11a to 11n, respectively.
[0005]
In the configuration shown in FIG. 10, the multiplexing buffers 11a to 11n are multiplexed starting from the one with the largest buffer storage amount 23a to 23n, so that each multiplexing buffer does not overflow and is generated by the encoding units 10a to 10n. Multiplexing can be performed in proportion to the amount of information generated. Furthermore, since the amount of information generated by the encoding units 10a to 10n is controlled by the remaining amount of the multiplexing buffers 11a to 11n, each multiplexing buffer 11a to 11n is multiplexed by the multiplexing unit 12 without overflow or underflow. Can be made.
[0006]
[Problems to be solved by the invention]
However, in the above-described conventional multiplexing apparatus, since the medium to be multiplexed is selected according to the buffer accumulation amount, the time accumulated in the multiplexing buffer before multiplexing (delay time at the time of multiplexing) is considered. Not.
For example, in media with variable information generation amount, when the amount of information generation temporarily decreases, the buffer storage amount does not increase, so it is not easily selected as data to be multiplexed, and the delay time when multiplexing the data is It will be big. As described above, since there is no limit on the delay time at the time of multiplexing, there is a problem that the multiplexing is extremely delayed.
[0007]
Also, since the information generation amount of the encoding unit is controlled by the buffer accumulation amount, the buffer is always filled to some extent, and the delay time of the data accumulated in the buffer increases when the read amount from the buffer is small There is a problem of doing.
[0008]
The present invention has been made in order to solve the above-described problems. In consideration of the delay time accumulated in the buffer for each medium, the multiplexing control of the multiplexing unit and the information generation amount of the encoding unit. An object of the present invention is to provide a multiplexing device capable of controlling the above.
[0009]
[Means for Solving the Problems]
  The multiplexing apparatus according to the present invention comprises a plurality of multiplexing buffer means for storing data from a plurality of information sources, a multiplexing means for multiplexing and outputting the data stored in the multiplexing buffer means, and the multiplexing Delay measuring means for measuring the accumulation time of each data accumulated in the data buffer, and the value obtained by subtracting the delay time in each multiplexing buffer measured by the delay measuring means from the maximum delay possible time set for each data And multiplexing control means for selecting data to be multiplexed by the multiplexing means based on the data priority evaluation value based onThe data priority evaluation value used in the multiplexing control means is expressed as Ax + B, where A is a value obtained by subtracting the delay time in the buffer from the maximum possible delay time for each data to the current time, and A is a positive value. The number is set to be as large as possible to control the rate, and B is set to a value that is zero or positive so that the data can be discarded. Multiple data is preferentially transmitted over data with a low data priority evaluation value. .
  The delay measuring means recognizes the coding unit of each data, and discards data exceeding the maximum delay possible time and data of the same coding unit as the data from the multiplexing buffer means. To do.
  The multiplexing control means controls the information generation amount of each information source based on the delay time in the multiplexing buffer means of the data of each information source.
  Further, the multiplexing control means divides the plurality of information sources into a plurality of groups, compares the data priority evaluation values of the n-th highest priority data within the group, and compares the priority levels. It is characterized in that n pieces of data are selectively transmitted from the highest group.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Embodiment 1 FIG.
1 is a block diagram showing a multiplexing apparatus according to Embodiment 1 of the present invention.
In FIG. 1, 1a to 1c are multiplexing buffer means for storing media data 100a to 100c, and 2a to 2c are delay measuring means for measuring delay times of data stored in the multiplexing buffer means 1a to 1c. Is a multiplexing control means for selecting media data to be multiplexed based on the delay times detected by the delay measuring means 2a to 2c, and 4 is a multiplexing buffer means 1 in which the media data selected by the multiplexing control means 3 is stored. It is a multiplexing means for reading out data and outputting it as multiplexed data 101. In this embodiment, only three inputs are described, but any number of inputs may be used as long as the inputs are plural.
[0028]
Next, the operation will be described.
The media data 100a to 100c are stored in the corresponding multiplexing buffer means 1a to 1c and wait for multiplexing.
The delay measuring means 2a to 2c detect the delay time of the media data 100a to 100c in the multiplexing buffer means 1a to 1c and notify the multiplexing control means 3 of the delay time.
[0029]
The multiplexing control unit 3 selects media data to be multiplexed based on the delay times measured by the delay measuring units 2a to 2c, and the multiplexing unit 4 transmits the media data as multiplexed data.
[0030]
At the time of multiplexing, a plurality of media data are selected and transmitted while being multiplexed, so that a delay occurs for each media data.
In a receiving apparatus that receives data obtained by multiplexing the plurality of media data, decoding is performed for each medium. At that time, since the delay time allowable in the receiving device differs for each media data, the multiplexing device sets a limit on the delay time generated when multiplexing for each medium, and the delay time that is always allowed in the receiving device. Within each media data must be transferred within.
[0031]
Therefore, from the delay time allowed when each media data is multiplexed (maximum delay possible time for each data), the time that the data has remained in the multiplexing buffer up to the present (delay time in the buffer up to now) ) Is the time remaining until the media data is multiplexed.
It is necessary to preferentially multiplex the media data having a small remaining time.
[0032]
The multiplexing control means 3 calculates the remaining time for each media data, puts this time as a delay time variable x, and selects the media data at the time of multiplexing using this delay time variable x. The delay time variable x is as shown in Equation (1).

[0033]
Since the delay time variable x indicates the remaining time in the multiplexing process of each media data, it gradually decreases after the media data arrives at the multiplexing buffer means 1, and when this value becomes 0 The media data becomes unnecessary for the receiving apparatus. For this reason, it is not necessary to multiplex media data having a value of 0, and it is appropriate to discard the media data in the multiplexing device.
In order not to discard the data, the multiplexed data should be selected from those whose delay time variable is close to zero.
[0034]
As described above, in the multiplexing control means 3, by multiplexing from media data with a small delay time variable, it is possible to perform multiplexing so as not to exceed the maximum delay possible time of each media data. is there.
[0035]
FIG. 2 is an explanatory diagram showing a time course of a delay time variable of certain media data.
When a certain media data arrives at the multiplexing buffer means 1, the delay time variable indicates the maximum delay possible time of the media.
Thereafter, the value of the delay time variable is reduced by the elapsed time with the passage of time, and the value becomes 0 after the maximum delay time has elapsed.
[0036]
By using the delay time variable as it is as an evaluation criterion for multiple priorities, the priorities for multiplexing are uniquely determined. However, by using a function using a delay time variable as an evaluation criterion, it is possible to consider not only delay time but also a unique prioritization of media.
[0037]
In the multiplexing control means 3, the function of the delay time variable x is set as the data priority evaluation value f (x), and the multiplexing priority is determined by the data priority evaluation value f (x).
The function that gives the data priority evaluation value f (x) basically decreases the value of the data priority evaluation value f (x) as the delay time variable x approaches 0. The multiplexing control means 3 It is assumed that multiplexing is performed preferentially from the data with the smaller data priority evaluation value f (x).
[0038]
The multiplexing control unit 3 multiplexes from the media data whose maximum delay time is approaching by multiplexing from the data priority evaluation value f (x) starting from the smallest. As a result, multiplexing is performed so that the allowable delay time of each media data is not used up.
[0039]
As described above, by performing multiplexing control using the data priority evaluation value f (x) with the delay time variable x as a function, multiplexing control that does not exceed the allowable delay time of each media data can be performed. effective.
[0040]
In addition, the multiplexing control unit 3 does not select media data to be multiplexed based only on the data priority evaluation value f (x), but uses it in combination with information priority evaluation values depending on each medium, thereby further increasing the variety of multiplexing. Control is possible.
Here, the information priority evaluation value is a value given to each medium (information source) with a priority for multiplexing.
[0041]
As an example, multiplexing control using two types of evaluation values, that is, an information priority evaluation value and a data priority evaluation value will be described.
Assume that there are three types of media: audio, video, and general-purpose data, and only the general-purpose data has a low priority based on the information priority evaluation value. The multiplexing control unit 3 first selects media data having high priority as multiplexed data based on the data priority evaluation values of video and audio. After that, if video and audio continue to select data with high priority according to the data priority evaluation value as multiplexed data, and there is no data that can be selected for both video and audio in the multiplexing buffer means, general-purpose data is multiplexed. Select as digitized data.
As a result, video and audio are always prioritized and can be multiplexed in consideration of the delay time.
[0042]
On the other hand, when the priority after the information priority evaluation value is high only for general data, first, the general data is selected as multiplexed data until the multiplexing buffer means for general data is empty, and then For video and audio, multiplexed data is selected in consideration of the delay time based on the data priority evaluation value.
As a result, the general-purpose data is always multiplexed with priority, and the remaining time is multiplexed with video and audio taking into account the delay time.
[0043]
As described above, by using the information priority evaluation value and the data priority evaluation value in combination, there is an effect that multiplexing control can be performed in consideration of two priorities, that is, a medium priority and a delay time priority.
[0044]
Next, means for determining the function of the data priority evaluation value will be shown below. As an example, Equation (2) shows a case where a linear function of the delay time variable x is a data priority evaluation value f (x).
f (x) = Ax + B (2)
Where A, B: Media-specific variables
[0045]
Anything beyond an acceptable delay should be discarded as the information has no utility value. For this reason, the delay time variable x is not negative.
If some media data can be discarded, discard the discardable media data and increase the rate of multiplexing other media data before exceeding the allowable delay time of other media data. As a result, other media data can be multiplexed within an allowable time.
Therefore, the priority of media data that can be discarded should not be increased to a certain degree.
[0046]
When the data priority evaluation value f (x) is expressed by the equation (2), in order not to raise the priority of the medium that can be discarded more than a certain level, the value of the data priority evaluation value must be decreased to a certain degree. Good.
By setting a positive number to the variable B in the expression (2), the data priority evaluation value f (x) is always B (> 0) or more, and the priority of the medium is the highest (data priority evaluation value = 0). ).
[0047]
When the data priority evaluation value f (x) of other media data is always B or less, that is, when the remaining delay time allowed for multiplexing is small, the discardable media is discarded without being transmitted. . On the other hand, when the remaining delay time of other media data is large, since the data priority evaluation value exceeds B, the discardable media is multiplexed and transmitted.
In other words, the variable B in the equation (2) is a coefficient representing the degree of data discard by medium, that is, zero or a positive number. 0 indicates that the data cannot be discarded. Become.
[0048]
As described above, by making the priority of discardable data not higher than a predetermined value, multiplexing control that reduces the possibility of discarding other data, that is, the data priority evaluation value is small. There is an effect that multiplex transmission can be performed with priority over data.
[0049]
Incidentally, in the conventional example, the information generation amount is performed by the buffer accumulation amount of the multiplexing buffer. If the accumulated amount is large, the information generation amount is reduced, and if the accumulated amount is small, the information generation amount is increased so that the total output rate of the multiplexed data matches the input rate of each media data. ing.
[0050]
In order to effectively perform the rate control, it is necessary to change the buffer accumulation amount so as to remarkably represent the band (rate) allocated to the medium capable of rate control. For this reason, if the priority of media that cannot be rate-controlled is increased and multiplexed preferentially, and the rate-controllable media is multiplexed in the remaining bandwidth (time), the rate assigned to the rate-controllable media The difference between the current generation rate and the current generation rate appears remarkably in the accumulation amount of the multiplexing buffer means 1.
[0051]
However, since the maximum delay possible time is set for the rate-controllable medium, it is necessary to avoid exceeding that time. For this reason, when the delay time variable x approaches 0, the priority is the highest ( The data priority evaluation value f (x) = 0) is required.
[0052]
Therefore, for data that can control the amount of data generated at the information source, the normal priority is lowered and the delay time is increased, that is, the priority is maximized as the delay time variable x approaches 0. To do.
[0053]
When the data priority evaluation value f (x) is expressed by Expression (2), the data priority evaluation value f (x) is set to 0 when the delay time variable x is 0 for a rate-controllable medium. In general, the data priority evaluation value f (x) needs to be larger than other media.
[0054]
By increasing the value of the variable A in the expression (2), the data priority evaluation value f (x) becomes relatively larger than other media. When the variable B is 0, the delay time variable x approaches 0. The data priority evaluation value f (x) approaches 0 and can be the highest priority. That is, the variable A in Expression (2) is a positive number that represents the degree of control of the amount of information generated for each medium, that is, the rate controllable, and the range of controllable information amount increases as the value increases. Become.
[0055]
As described above, for data that can control the amount of data generated at the information source, the normal priority is lowered so that the priority becomes the highest as the delay time variable x approaches 0, thereby increasing the rate. There is an effect that the control can be performed dynamically.
[0056]
In addition, media data without any restriction (limitation) on the delay time may be multiplexed at any time. Therefore, when there is no data to be multiplexed with other media with the lowest priority, this medium with no restriction on the delay time. Multiplex data transmission.
For this reason, prioritization based on the data priority evaluation value in consideration of the maximum delay possible time is not performed, and the priority is always lowered using the information priority evaluation value.
[0057]
As described above, media with no restriction on delay time are selectively multiplexed only when there is no data to be multiplexed on other media by minimizing the priority based on the information priority evaluation value. There is an effect that multiplexing can be performed without restricting the transmission of the message.
[0058]
In general, media data is encoded in a certain encoding unit. If a part of the encoded data is discarded in the receiving apparatus, all the encoding units may not be decoded.
Therefore, the media data that is discarded by the multiplexing device when the delay time is exceeded, that is, the media data that is in the same encoding unit as the data that exceeds the maximum delay time is discarded at the same time. It is not necessary to receive possible data, and the transmission time of data of the same coding unit that cannot be decoded by the multiplexing apparatus can be used for transmission of other media.
[0059]
As described above, media data in the same encoding unit as media data to be discarded is discarded at the same time, so that the receiving device does not receive unnecessary data, and the multiplexing device substitutes other media data instead. Since multiplexing is possible, there is an effect that the transmission capacity of the multiplexer output can be used efficiently.
[0060]
In addition, the media data waiting to be multiplexed and the time required to send all the media data in the same encoding unit are calculated from the maximum rate that can be allocated to the media. If all the media data of the same coding unit is unlikely to be delayed within the maximum delay possible time, all the media data of the same coding unit is discarded.
[0061]
As described above, by recognizing the situation where all the media data of the same coding unit cannot be transmitted within the maximum delay possible time and discarding it before reaching the maximum delay possible time, that is, all the coding units of each data When the time required for transmission is larger than the delay possible time, all the coding units are discarded from the multiplexing buffer means, so that the receiving device does not receive unnecessary data. Instead, since other media data can be multiplexed, the transmission capacity of the multiplexer output can be used efficiently.
[0062]
Further, as means for measuring the delay time of the media data in the multiplex buffer means 1, the encoding unit is detected, and when the head data of the encoding unit arrives at the multiplex buffer means 1, the time is stored. The time until the last data of the same coding unit is output from the buffer is calculated as a common delay time of the entire same coding unit.
In this way, since one time management may be performed with one encoding unit data, it is not necessary to perform time management for each byte, and a simple device configuration can be realized.
[0063]
As described above, by setting the unit for measuring the delay time as the encoding unit, the number of data for time management is reduced, and the delay time can be easily measured.
[0064]
Next, another means for measuring the delay time of the media data in the multiplexing buffer means 1 will be shown.
The multiplexing buffer means can perform writing / reading for each byte and includes a flag indicating the presence / absence of 1-bit data for 1-byte data.
The media data is written into the multiplexing buffer means 1 at the maximum information generation rate clock for each information source. However, since there is not necessarily data to be written, the flag indicating the presence / absence of the above data is set to “Yes” when the actually received data is written, and this flag is set to “None” when there is no received data. To do.
[0065]
When data is read from the multiplexing buffer means 1, only data for which this flag is “read” is read. Thereby, only valid data can be read.
Since data is written to the multiplexing buffer means 1 at a constant rate, the portion that has not yet been read after writing, that is, the remaining buffer capacity (including data for which the flag is “none”) is included. The delay time of the head data can be measured by measuring and dividing by the rate at which the data was written (maximum information generation rate).
[0066]
FIG. 3 is an explanatory diagram showing an example of the structure of the multiplexing buffer means 1.
The received data (8 bits) read from the upper part of the multiplexing buffer is entered and a 1-bit data presence / absence flag is set. Reading of the buffer is performed from the bottom of the buffer, and only data for which the data presence flag is “present” is valid.
At this time, the delay time of the oldest data (located at the bottom in the figure) can be calculated according to the remaining buffer capacity in which data is written.
[0067]
As described above, the multiplexing buffer means 1 is provided with a 1-bit data presence / absence flag for the 1-byte data write area, and data is always written at the maximum information generation rate of each information source and actually received. By setting the flag to “present” only when there is data, there is an effect that the data delay time can be easily measured by dividing the remaining buffer capacity by the write rate.
[0068]
Another means for measuring the delay time of the media data in the multiplexing buffer means 1 is shown.
The multiplexing buffer means 1 has an area for writing 1-byte data and an area for writing the time when data was written. When receiving the media data from the information source, the multiplexing buffer means 1 writes the received data into the buffer byte by byte, and at the same time writes the writing time to the buffer.
When media data is read from the multiplexing buffer means 1, the delay time can be calculated by comparing the current time with the time information associated with the read data.
[0069]
FIG. 4 is an explanatory view showing an example of the structure of the multiplexing buffer means 1.
The received data (8 bits) read from the upper part of the multiplexing buffer is entered and the current time (that is, the data write time) is written. When reading the buffer, only the data portion is read from the bottom of the buffer.
At this time, when reading data from the buffer, the delay time of the data in the buffer can be calculated by referring to the time when the data was written and comparing it with the current time.
[0070]
As described above, by providing the multiplexing buffer means 1 with an area for writing time information with respect to a 1-byte data writing area, data is obtained by referring to the time information area at the time of data reading and comparing it with the current time. The delay time can be easily measured.
[0071]
Furthermore, another means for measuring the delay time of the media data in the multiplexing buffer means 1 is shown.
The multiplexing buffer means 1 has an area for writing data and an area for writing time information for each data N (N is an integer) bytes.
When receiving the media data from the information source, the multiplexing buffer means 1 writes the received data into the buffer byte by byte, and at the same time writes the current time in the time information area every time N bytes of data are written.
When media data is read from the multiplexing buffer means 1, the delay time can be calculated by comparing the current time with the time information existing within N bytes from the read data.
[0072]
FIG. 5 is an explanatory view showing another example of the structure of the multiplexing buffer means 1.
The received data (8 bits) read from the upper part of the multiplexing buffer is entered. After writing N bytes of data, the current time (that is, the data write time) is written in the time information area. When reading the buffer, only the data portion is read from the bottom of the buffer.
At this time, when data is read from the buffer, the time information existing within N bytes of the read data is referred to and compared with the current time, whereby the delay time of the data in the buffer can be calculated.
[0073]
As described above, the multiplexing buffer means 1 has an area for writing time information with respect to an N (N is an integer) byte data writing area, so that the time information area can be referred to by referring to the time information area at the time of data reading. By comparing, the delay time of data can be easily measured.
[0074]
Embodiment 2. FIG.
The first embodiment described above relates to a means for selecting data to be multiplexed. Next, an embodiment in which the information generation amount of the information source is controlled will be described.
FIG. 6 is a block diagram showing a multiplexing device in such a case.
In the figure, reference numeral 6 designates media data to be multiplexed based on the delay times of the data notified by the delay measuring means 2a to 2c, notifies the multiplexing means 4 of the media data, and further information sources (not shown) based on the delay times. 2) is a multiplexing control means for controlling the information generation amount using the information amount control data 200a to 200c. 6, the same reference numerals as those in FIG. 1 are the same or equivalent elements as those in FIG.
[0075]
Next, the operation will be described.
The media data 100a to 100c are stored in the corresponding multiplexing buffer means 1a to 1c and wait for multiplexing.
The delay measuring means 2a to 2c detect the delay time of the media data 100a to 100c in the multiplexing buffer means 1a to 1c and notify the multiplexing control means 3 of the delay time.
[0076]
The multiplexing control means 3 selects media data to be multiplexed based on the delay times detected by the delay measuring means 6a to 6c, and further, based on this delay time, the amount of information with respect to an information source (not shown). The amount of information generation is controlled using the control data 200a to 200c. The multiplexing unit 4 sends the media data selected by the multiplexing control means 6 as multiplexed data.
[0077]
The multiplexing control means 6 uses the information amount control data 200a to 200c to reduce the information generation amount when the detected delay time is large, and to increase the information generation amount when the delay time is small. Notify information.
As a result, when the delay time of the data stored in the multiplexing buffer means 1 is small, increasing the amount of information generated increases the data delay time and avoids underflow of the multiplexing buffer means. Conversely, when the delay time of the data stored in the multiplexing buffer unit 1 is large, by reducing the amount of information generated, the data delay time can be reduced and overflow of the multiplexing buffer unit can be avoided.
[0078]
Even if the buffer accumulation amount is small, if the output amount from the buffer is small, the delay time in the buffer will increase, but the delay time in the buffer will be determined to determine the amount of information generated based on the delay time in the buffer. It will never grow.
[0079]
The control of the amount of information generated here includes the case of controlling the amount of information generated purely by the information source and the case of controlling the quantization step in the information source. The former can be used to bring the information generation amount close to a desired value for each media unit, and the latter can be used to control the overall information generation amount by making the quantization step size between the media common.
[0080]
As described above, in order to control the information generation amount of the information source by the delay time of the media data in each multiplexing buffer means 1, the overflow and underflow of the multiplexing buffer means and the delay time in the buffer are increased. There is an effect that can be prevented.
[0081]
Embodiment 3 FIG.
In the first and second embodiments described above, one multiplexer is shown. Here, an embodiment in which the multiplexers are connected in multiple stages is shown.
FIG. 7 is a block diagram showing a multiplexing device in such a case.
In FIG. 7, reference numeral 7 denotes a multiplex that reads out data from the multiplex buffer means 1 in which the media data selected by the multiplex control means 6 is stored while controlling the output rate by the transmission rate data 201 and outputs the data as multiplexed data 101. Means. In FIG. 7, the same reference numerals as those in FIG. 6 are the same or equivalent elements as those in FIG.
[0082]
Next, the operation will be described.
The media data 100a to 100c are stored in the corresponding multiplexing buffer means 1a to 1c and wait for multiplexing.
The delay measuring means 2a to 2c detect the delay time of the media data 100a to 100c in the multiplexing buffer means 1a to 1c and notify the multiplexing control means 6 of the delay time.
[0083]
The multiplexing control means 6 selects media data to be multiplexed based on the delay times detected by the delay measuring means 2a to 2c. Furthermore, based on this delay time, the information generation amount is controlled using information amount control data 200a to 200c for an information source (not shown). The multiplexing unit 7 sends the media data selected by the multiplexing control means 3 as multiplexed data while the output rate is controlled from the outside by the output rate data 201.
[0084]
The multiplexing control means 6 uses the information amount control data 200a to 200c to reduce the information generation amount when the detected delay time is large, and to increase the information generation amount when the delay time is small. Notify information.
In the multiplexing means 7, the output rate control includes a case where the output rate generated purely by the multiplexing means is controlled and a case where the quantization step in the information source is controlled. The former can be used to bring the output rate closer to a desired value, and the latter can be used to make the quantization step size between the media common and further control the output rate.
[0085]
As described above, since the output rate can be controlled by the control data from the outside, there is an effect that it is possible to receive the data amount necessary for the device that receives the output data of the multiplexing device.
[0086]
FIG. 8 is an explanatory diagram showing an example of multi-stage connection of multiplexing devices.
In FIG. 8, reference numeral 9 denotes the multiplexing device shown in FIG. 7, which is connected in multiple stages in a multi-stage tree structure. In FIG. 8, the same reference numerals as those in FIG. 7 are the same as or equivalent to those in FIG.
[0087]
Next, the operation will be described.
The media data 100a to 100d are input to the multiplexing devices 9a and 9c in a state where the output information amount is controlled by the information amount control data 200a to 200d. Multiplexers 9a and 9c multiplex media data 100a to 100d and output multiplexed data 101a and 101c while controlling the output rate by output rate data 201a and 201c, respectively.
[0088]
In the multiplexing device 9e, the multiplexed data 101a and 101c are handled as received data (media data) 100e and 100f, and the output rate data 201a and 201c for controlling the information amount are handled as the information amount control data 200e. The multiplexer 9e is a multiplexer that multiplexes the outputs of the multiplexers 9a and 9c. The multiplexed data 101e is controlled by output rate data 201e.
[0089]
The output information amount of the multiplexed data that is multiplexed by the multiplexing device 9e is controlled by the output rate data 201e. By controlling the output rate, the input rate is limited using the information amount control data 200e and 200f so that the buffer for receiving the received data 100e and 100f does not fail.
[0090]
The multiplexing devices 9a and 9c regard the information amount control data 200e and 200f as output rate data 201a and 201c, and limit the output rates of the multiplexed data 101a and 101c. Also, the input rate of the media data 100a to 100d is limited according to the output rate.
[0091]
In this way, multiplexing can be performed without failure of the reception buffer in each multiplexing apparatus connected in multiple stages.
For example, such multi-stage multiplexing can be used when a single program is created by multiplexing video, audio, and the like in digital broadcasting, and a plurality of these programs are broadcast.
[0092]
As described above, since the input / output rate control can be appropriately performed even when the multiplexers are connected in a multi-stage in a tree structure, even when multiplexing is repeated a plurality of times, There is an effect that multiplexing can be performed without causing a buffer failure.
[0093]
Embodiment 4 FIG.
In the first, second, and third embodiments described above, the implementation of the multiplexing function of one layer in the communication protocol has been described. Here, an embodiment in which multiplexing in a plurality of layers is performed at once is shown.
The configuration diagram showing the multiplexing device in such a case is the same as that of FIG. 1, FIG. 6, or FIG.
[0094]
Next, the operation will be described.
The multiplexing control means selects data to be multiplexed from among specific information sources. In this case, the method of selection is as described above. The specific information source may be selected from the outside or may change every moment.
[0095]
In general, the multiplexing control in the lower layer may change the target to be multiplexed at a certain interval. For example, in time division multiplexing, multiplexing is performed by switching a plurality of multiplexing targets at a certain time interval.
[0096]
FIG. 9 is an explanatory diagram showing multiplexing timing when performing simultaneous multiplexing of a plurality of layers.
FIG. 9 shows an example in which multiplexing of a lower layer that multiplexes two programs using such time division multiplexing and multiplexing of an upper layer that multiplexes media such as video and audio are performed simultaneously.
[0097]
Each of the two programs consists of a plurality of media. Here, it is assumed that program 1 includes media a, b, and c, and program 2 includes media d, e, and f. Further, it is assumed that program 1 and program 2 are alternately transmitted at a certain interval due to the restriction of multiplexing of lower layers.
[0098]
If the multiplexing pattern is a time for transmitting the program 1, the multiplexing control means selects a medium to be multiplexed from the media a, b, and c based on the data priority evaluation value. Similarly, the medium to be multiplexed is selected from the media d, e, and f if it is time to transmit the program 2.
This makes it possible to realize a multiplexing function that alternately sends two programs at regular intervals.
[0099]
As described above, since the media to be selected by the multiplexing control means are limited, functions such as time division multiplexing can be realized, and there is an effect that multiplexing can be performed a plurality of times at once.
[0100]
A case where the target of time division multiplexing is not fixed, that is, the minimum multiplexing time of time division multiplexing is constant but the target to be selected is indefinite will be described.
In FIG. 9, the program multiplex pattern is alternated between program 1 and program 2. If the multiplex pattern can be arbitrarily changed by the multiplexer, the multiplexer selects and sends the program to be sent.
[0101]
Three media are multiplexed in each program, and a data priority evaluation value of data that can be transmitted in these media (which can be duplicated) is calculated.
When the program multiplex pattern is changed in units of three data, the data priority evaluation value of the third highest priority data is detected in the media group included in each program.
Then, the third data priority evaluation values of the programs 1 and 2 are compared, the higher priority is selected as the next program multiplexing pattern, and the minimum time division multiplexing time (3 in the figure) is completed. Three pieces of high priority data are selected from the media (can be duplicated) in the program.
This operation is performed for each minimum time division multiplexing time unit, and which program is to be multiplexed is selected each time.
[0102]
As described above, a plurality of information sources are divided into a plurality of groups, and the data priority evaluation values of the nth highest priority data in the group are compared between the groups. By selectively transmitting n pieces of data, there is an effect that the group can be efficiently multiplexed.
[0103]
【The invention's effect】
As described above, according to the multiplexing device of the present invention, the multiplexing control of the multiplexing unit and the information generation amount of the encoding unit are controlled in consideration of the delay time accumulated in the buffer for each medium. Can do.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a multiplexing device according to Embodiment 1 of the present invention;
FIG. 2 is an explanatory diagram showing a time course of a delay time variable of certain media data.
FIG. 3 is an explanatory diagram showing an example of the structure of the multiplexing buffer means 1;
4 is an explanatory diagram showing another example of the structure of the multiplexing buffer means 1. FIG.
FIG. 5 is an explanatory view showing still another example of the structure of the multiplexing buffer means 1;
FIG. 6 is a block diagram showing a multiplexing apparatus according to Embodiment 2 of the present invention.
FIG. 7 is a block diagram showing a multiplexing apparatus according to Embodiment 3 of the present invention.
FIG. 8 is an explanatory diagram showing an example of multistage connection of a multiplexing device.
FIG. 9 is an explanatory diagram illustrating multiplexing timing when performing simultaneous multiplexing of a plurality of layers according to the fourth embodiment of the present invention.
FIG. 10 is a block diagram showing a conventional multiplexing apparatus disclosed in Japanese Patent Laid-Open No. 9-116520.
[Explanation of symbols]
1a, 1b, 1c Multiplexing buffer device, 2a, 2b, 2c Delay measuring means, 3, 6 Multiplexing control means, 4, 7 Multiplexing means, 9a, 9c, 9e Multiplexing device.

Claims (4)

A plurality of multiplexing buffer means for storing data from a plurality of information sources;
Multiplexing means for multiplexing and outputting data stored in these multiplexing buffer means;
A delay measuring means for measuring an accumulation time of each data accumulated in the multiplexing buffer;
Select the data to be multiplexed by the multiplexing means based on the data priority evaluation value based on the value obtained by subtracting the delay time in each multiplexing buffer measured by the delay measuring means from the maximum delay possible time set for each data. and a multiplexing control means for,
The data priority evaluation value used in the multiplexing control means is represented by Ax + B when a value obtained by subtracting the delay time in the buffer up to the present from the maximum delay time for each data is represented by Ax + B, and A is a positive number. Is a value that is large enough to enable rate control, and B is set to a value that is zero or a positive number and large enough to allow data discard, and multiplex-transmits preferentially over data with a low data priority evaluation value . 2. The multiplexing apparatus according to claim 1, wherein the delay measuring unit recognizes a coding unit of each data, and multiplexes data exceeding the maximum delay possible time and data of the same coding unit as the data. A multiplexing apparatus for discarding from a buffer means. 3. The multiplexing apparatus according to claim 1, wherein the multiplexing control means controls the information generation amount of each information source based on a delay time in the multiplexing buffer means of the data of each information source. Multiplexing device. 4. The multiplexing apparatus according to claim 3 , wherein the multiplexing control unit divides a plurality of information sources into a plurality of groups, and sets a data priority evaluation value of data having the nth highest priority in the group. A multiplexing apparatus characterized in that n data are selectively transmitted from a group having the highest priority compared between groups.

Images