JP4596135B2

JP4596135B2 - 多重化装置およびそのデータ処理方法

Info

Publication number: JP4596135B2
Application number: JP2005004217A
Authority: JP
Inventors: 博紀伊藤; 和広小山; 一範小澤
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2005-01-11
Filing date: 2005-01-11
Publication date: 2010-12-08
Anticipated expiration: 2025-01-11
Also published as: KR20060082057A; US20060153249A1; US7792159B2; KR100777952B1; CN100477792C; CN1805545A; JP2006197007A; EP1679905A1

Description

本発明は、入力した複数のデータを多重化する多重化装置に関する。

これまでマルチメディア通信に関する様々な規格が規定されてきている。例えば、ＩＴＵ−Ｔ勧告Ｈ．３２４では、アナログ回線を用いたマルチメディア通信のシステムおよび端末装置が規定されている。また、モバイル回線交換網向けにＨ．３２４／Ｍが規定され、次世代移動体通信網向けに３Ｇ−３２４Ｍが規定されている。

これらの規格において制御データ、音声符号化データ、および画像符号化データを単一のストリームに多重化する方式としてＨ．２２３が規定されている。

Ｈ．２２３では、音声データ、画像データ、および制御データの各々に対して論理チャネルが提供され、論理チャネル毎にＱｏＳ（ＱｕａｌｉｔｙｏｆＳｅｒｖｉｃｅ）制御が可能である。

また、Ｈ．３２４／Ｍおよび３Ｇ−３２４Ｍ向けとして、Ｈ．２２３本体の伝送路誤り耐性を向上させた方式が、Ｈ．２２３ＡｎｎｅｘＡ，Ｂ，Ｃにて規定されている。

このような規格等に基づき、音声データ、画像データ、および制御データを多重化するシステム等が提案され（例えば特許文献１参照）、またその開発が進められている。
特開２００２−１５２７３０号公報

ＩＴＵ−Ｔ勧告Ｈ．２２３から考えられる従来の一般的な多重化装置について説明する。

図６は、一般的な多重化装置の構成を示すブロック図である。図６を参照すると、一般的な多重化装置は、多重化パラメータ制御部１０３、制御データアダプテーション部１０４、音声データアダプテーション部１０５、画像データアダプテーション部１０６、および多重化レイヤ部１０７を有している。

図６に示した多重化装置は、符号化された画像および音声を単一のストリームに多重化する装置である。本多重化装置には、画像が符号化された画像データ１０２および音声が符号化された音声データ１０１の他に、音声や画像の符号化方式や多重化方式などに関する制御情報が制御データ１００として入力される。

制御データ１００は制御データアダプテーション部１０４に入力され、音声データ１０１は音声データアダプテーション部１０５に入力され、画像データ１０２が画像データアダプテーション部１０６に入力される。

多重化パラメータ制御部１０３は、制御データアダプテーション部１０４、音声データアダプテーション部１０５、および画像データアダプテーション部１０６の各々に、最大ＡＬ−ＳＤＵ（ＡｄａｐｔａｔｉｏｎＬａｙｅｒ−ＳｅｒｖｉｃｅＤａｔａＵｎｉｔ）サイズを与える。

ＡＬ−ＳＤＵは、アダプテーションレイヤのＳＤＵであり、最大ＡＬ−ＳＤＵサイズとは、ＡＬ−ＳＤＵの最大サイズを規定するパラメータである。制御データアダプテーション部１０４の最大ＡＬ−ＳＤＵサイズを最大ＡＬ１−ＳＤＵサイズ、音声データアダプテーション部１０５の最大ＡＬ−ＳＤＵサイズを最大ＡＬ２−ＳＤＵサイズ、画像データアダプテーション部１０６の最大ＡＬ−ＳＤＵサイズを最大ＡＬ３−ＳＤＵサイズとする。

また、多重化パラメータ制御部１０３は、多重化レイヤ部１０７部に最大ＭＵＸ−ＰＤＵ（Ｍｕｌｔｉｐｌｅｘ−ＰｒｏｔｏｃｏｌＤａｔａＵｎｉｔ）サイズを与える。

ＭＵＸ−ＰＤＵは、多重化レイヤにおけるＰＤＵであり、最大ＭＵＸ−ＰＤＵサイズは、ＭＵＸ−ＰＤＵの最大サイズを規定するパラメータである。

制御データアダプテーション部１０４、音声データアダプテーション部１０５、および画像データアダプテーション部１０６は、各データの特性に応じたアダプテーションレイヤの機能を提供する。

制御データアダプテーション部１０４は、入力した制御データ１００を格納したＡＬ−ＰＤＵ（ＡＬ１−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、入力した制御データ１００のサイズが最大ＡＬ１−ＳＤＵサイズ以下であれば、制御データアダプテーション部１０４は、その制御データ１００をそのままＡＬ−ＳＤＵ（ＡＬ１−ＳＤＵ）とする。また、制御データ１００のサイズが最大ＡＬ１−ＳＤＵサイズより大きければ、制御データアダプテーション部１０４は、制御データ１００を最大ＡＬ１−ＳＤＵサイズ毎に分割し、分割された各々をＡＬ１−ＳＤＵとする。制御データについては付加情報はなく、ＡＬ１−ＳＤＵがそのままＡＬ１−ＰＤＵとなる。

音声データアダプテーション部１０５は、入力した音声データ１０１を格納したＡＬ−ＰＤＵ（ＡＬ２−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、入力した音声データ１０１のサイズが最大ＡＬ２−ＳＤＵサイズ以下であれば、音声データアダプテーション部１０４は、その音声データ１０１をそのままＡＬ−ＳＤＵ（ＡＬ２−ＳＤＵ）とする。また、音声データ１０１のサイズが最大ＡＬ２−ＳＤＵサイズより大きければ、音声データアダプテーション部１０５は、音声データ１０１を最大ＡＬ２−ＳＤＵサイズ毎に分割し、分割された各々をＡＬ２−ＳＤＵとする。音声データについては、ＡＬ２−ＳＤＵに対して、必要に応じてシーケンス番号およびＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）符号が付加され、ＡＬ２−ＰＤＵとなる。シーケンス番号はデータの順序を示す番号である。ＣＲＣ符号はビット誤りの検出に用いられる符号である。

画像データアダプテーション部１０６は、入力した画像データ１０２を格納したＡＬ−ＰＤＵ（ＡＬ３−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、入力した画像データ１０２のサイズが最大ＡＬ３−ＳＤＵサイズ以下であれば、画像データアダプテーション部１０６は、その画像データ１０２をそのままＡＬ−ＳＤＵ（ＡＬ３−ＳＤＵ）とする。また、画像データ１０２のサイズが最大ＡＬ３−ＳＤＵサイズより大きければ、画像データアダプテーション部１０６は、画像データ１０２を最大ＡＬ３−ＳＤＵサイズ毎に分割し、分割された各々をＡＬ３−ＳＤＵとする。画像データについては、ＡＬ３−ＳＤＵに対して、必要に応じてシーケンス番号およびＣＲＣ符号が付加され、ＡＬ３−ＰＤＵとなる。

多重化レイヤ部１０７は、制御データアダプテーション部１０４からのＡＬ１−ＰＤＵ、音声データアダプテーション部１０５からのＡＬ２−ＰＤＵ、および画像データアダアプテーション部１０６からのＡＬ３−ＰＤＵを多重化し、それにＭＵＸ−ＰＤＵヘッダを付加してＭＵＸ−ＰＤＵを生成し、多重化データ１０８として出力する。その際、多重化レイヤ部１０７は、ＭＵＸ−ＰＤＵのサイズが最大ＭＵＸ−ＰＤＵサイズ以内となるように必要に応じてＡＬ−ＰＤＵを分割する。多重化に用いる複数の多重化テーブルが予め準備されており、多重化レイヤ部１０７はいずれかの多重化テーブルをこの多重化処理に用いる。

ＭＵＸ−ＰＤＵヘッダは、ＰＭ（ＰａｃｋｅｔＭａｒｋｅｒ）、ＭＣ（ＭｕｌｔｉｐｌｅｘＣｏｄｅ）、およびＨＥＣ（ＨｅａｄｅｒＥｒｒｏｒＣｏｎｔｒｏｌ）で構成される。ＰＭは、ＡＬ−ＳＤＵの最後のバイトを含むか否か示す。ＭＣは、使用した多重化テーブルを示す。ＨＥＣは、ＭＵＸ−ＰＤＵヘッダの誤りを検出するための情報である。

一般的な多重化装置では、ハードウェア等の制約上、処理できるデータのサイズに上限がある。しかし、一般に画像データ１０２は制御データ１００や音声データ１０１に比べてサイズが大きく、この上限を超えた大きなサイズの画像データ１０２が入力されることがある。その場合、画像データ１０２の分割や廃棄が起こる。廃棄が起これば、入力されたデータを正しく多重化することができなくなってしまう。

また、一般に画像データ１０２はＶＰ（ＶｉｄｅｏＰａｃｋｅｔ）の単位あるいはそれが分割された単位で入力されるが、多重化装置が画像データ１０２をＶＰの区切りと無関係に単純に分割すると、ＶＰの区切りが崩れ、多重化された画像データは正しく復号できないものとなってしまう。

本発明の目的は、大きなサイズのデータが入力されても、またデータの単位が分割されて入力されても、それらの画像データを正しく扱うことができる多重化装置を提供することである。

上記目的を達成するために、本発明の多重化装置は、
複数のデータを多重化する多重化装置であって、
複数のデータ入力のうち画像データのデータ入力に対応してアダプテーションレイヤの前段に備えられ、対応するデータ入力にて所定のデータ単位または該データ単位が分割された状態で画像データが入力すると、該画像データを分割または結合することにより、所定の制限サイズを越えることがなくかつ前記データ単位の区切りで区切られるように変換するデータ変換部と、
前記データ変換部が備えられたデータ入力を含む前記複数のデータ入力の各々に対応しており、対応する前記データ入力のデータに対し、該データの特性に応じたアダプテーションレイヤの機能を提供する複数のアダプテーション部と、
前記複数のアダプテーション部からの複数のデータを多重化して送出する多重化レイヤ部とを有している。

したがって、本発明によれば、データ変換部は、データが所定の制限サイズを越えないように、かつデータ単位の区切りで区切られるように、入力したデータの分割または結合を行ってアダプテーション部に送るので、多重化装置に大きなサイズのデータが入ってもアダプテーション部または多重化レイヤ部に、処理できるサイズを超えた画像データが送られるのが防止され、かつデータ単位の区切りも維持され、データを正しく扱うことができる。

また、前記複数のアダプテーション部は、各々の切り出すデータの最大サイズである第１の最大サイズが予め定められており、前記第１の最大サイズを越える前記データを前記第１の最大サイズで切り出しながら前記アダプテーションレイヤの機能を提供することとしてもよい。

また、前記データ変換部で変換されたデータに対応するアダプテーション部は、前記多重化レイヤ部の出力データとして許容される第２の最大サイズから、他のアダプテーション部から出力されたデータのサイズ、および前記多重化レイヤ部で付与するヘッダのサイズを減算して得た第３の最大サイズが、前記アダプテーション部に予め定められている前記第１の最大サイズ以下であれば、前記第３の最大サイズで前記データを切り出すこととしてもよい。

これによれば、アダプテーション部にてデータを分割する際に、他のアダプテーション部のデータサイズおよび多重化レイヤ部の許容サイズから、適切なサイズが切り出されるので、多重化効率を向上させることができる。

また、前記データ変換部は、対応するアダプテーション部における前記第１の最大サイズまたはその正の整数倍の値を前記制限サイズとすることとしてもよい。

これによれば、データ変換部は、入力したデータを、第１の最大サイズまたはその正の整数倍に調整してアダプテーション部に送り、アダプテーション部は、その第１の最大サイズをデータの切り出しに用いるので、データの分割がより効率良く行われ、多重化効率が向上する。

また、前記複数のデータ入力は画像データ、音声データ、および制御データの入力であり、
前記データ変換部は、前記画像データに対して備えられていることとしてもよい。

また、前記所定のデータ単位はＶｉｄｅｏＰａｃｋｅｔであるとしてもよい。

本発明によれば、データ変換部は、データが所定の制限サイズを越えないように、かつデータ単位の区切りで区切られるように、入力したデータの分割または結合を行ってアダプテーション部に送るので、多重化装置に大きなサイズのデータが入ってもアダプテーション部または多重化レイヤ部に、処理できるサイズを超えた画像データが送られるのが防止され、かつデータ単位の区切りも維持され、データを正しく扱うことができる。

本発明を実施するための形態について図面を参照して詳細に説明する。

図１は、本発明の一実施形態による多重化装置の構成を示すブロック図である。図１を参照すると、本実施形態の多重化装置は、多重化パラメータ制御部１０３、制御データアダプテーション部２０４、音声データアダプテーション部２０５、画像データアダプテーション部２０６、多重化レイヤ部１０７、およびデータ分割部２１０を有している。

本実施形態の多重化装置は、符号化された画像および音声を単一のストリームに多重化する装置である。本多重化装置には、画像が符号化された画像データ１０２、画像データ１０２の単位の終結を示す終結フラグ２０９、音声が符号化された音声データ１０１、音声や画像の符号化方式や多重化方式などに関する制御情報である制御データ１００が入力される。

制御データ１００は制御データアダプテーション部２０４に入力され、音声データ１０１は音声データアダプテーション部２０５に入力され、画像データ１０２および終結フラグ２０９はデータ分割部２１０に入力される。

多重化パラメータ制御部１０３は、制御データアダプテーション部２０４、音声データアダプテーション部２０５、および画像データアダプテーション部２０６の各々に、最大ＡＬ−ＳＤＵ（ＡｄａｐｔａｔｉｏｎＬａｙｅｒ−ＳｅｒｖｉｃｅＤａｔａＵｎｉｔ）サイズを与える。

ＡＬ−ＳＤＵは、アダプテーションレイヤのＳＤＵであり、最大ＡＬ−ＳＤＵサイズとは、ＡＬ−ＳＤＵの最大サイズを規定するパラメータである。制御データアダプテーション部２０４の最大ＡＬ−ＳＤＵサイズを最大ＡＬ１−ＳＤＵサイズ、音声データアダプテーション部２０５の最大ＡＬ−ＳＤＵサイズを最大ＡＬ２−ＳＤＵサイズ、画像データアダプテーション部２０６の最大ＡＬ−ＳＤＵサイズを最大ＡＬ３−ＳＤＵサイズとする。

また、多重化パラメータ制御部１０３は、多重化レイヤ部１０７部および画像データアダプテーション部２０６に最大ＭＵＸ−ＰＤＵ（Ｍｕｌｔｉｐｌｅｘ−ＰｒｏｔｏｃｏｌＤａｔａＵｎｉｔ）サイズを与える。

制御データアダプテーション部２０４、音声データアダプテーション部２０５、および画像データアダプテーション部２０６は、各データの特性に応じたアダプテーションレイヤの機能を提供する。

制御データアダプテーション部２０４は、入力した制御データ１００を格納したＡＬ−ＰＤＵ（ＡＬ１−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、入力した制御データ１００のサイズが最大ＡＬ１−ＳＤＵサイズ以下であれば、制御データアダプテーション部１０４は、その制御データ１００をそのままＡＬ−ＳＤＵ（ＡＬ１−ＳＤＵ）とする。また、制御データ１００のサイズが最大ＡＬ１−ＳＤＵサイズより大きければ、制御データアダプテーション部１０４は、制御データ１００を最大ＡＬ１−ＳＤＵサイズ毎に分割し、分割された各々をＡＬ１−ＳＤＵとする。制御データについては付加情報がなく、ＡＬ１−ＳＤＵがそのままＡＬ１−ＰＤＵとなる。

そして、制御データアダプテーション部２０４は、ＡＬ１−ＰＤＵを多重化レイヤ部１０７に送ると共に、そのＡＬ１−ＰＤＵのサイズを示すＡＬ１−ＰＤＵサイズを画像データアダプテーション部２０６に通知する。

音声データアダプテーション部２０５は、入力した音声データ１０１を格納したＡＬ−ＰＤＵ（ＡＬ２−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、入力した音声データ１０１のサイズが最大ＡＬ２−ＳＤＵサイズ以下であれば、音声データアダプテーション部２０４は、その音声データ１０１をそのままＡＬ−ＳＤＵ（ＡＬ２−ＳＤＵ）とする。また、音声データ１０１のサイズが最大ＡＬ２−ＳＤＵサイズより大きければ、音声データアダプテーション部２０５は、音声データ１０１を最大ＡＬ２−ＳＤＵサイズ毎に分割し、分割された各々をＡＬ２−ＳＤＵとする。音声データについては、ＡＬ２−ＳＤＵに対して、必要に応じてシーケンス番号およびＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）符号が付加され、ＡＬ２−ＰＤＵとなる。シーケンス番号はデータの順序を示す番号である。ＣＲＣ符号はビット誤りの検出に用いられる符号である。

そして、音声データアダプテーション部２０４は、ＡＬ２−ＰＤＵを多重化レイヤ部１０７に送ると共に、そのＡＬ２−ＰＤＵのサイズを示すＡＬ２−ＰＤＵサイズを画像データアダプテーション部２０６に通知する。

データ分割部２１０は、入力した画像データ１０２を、所定の制限サイズと終結フラグ２０９に基づいて、必要に応じて分割または結合して画像データアダプテーション部２０６に送る。

制限サイズは、多重化装置のハードウェア等の制限により、多重化装置で扱うことのできる画像データの最大サイズである。

また、画像データは、一般にはＶＰ（ＶｉｄｅｏＰａｃｋｅｔ）単位、あるいはＶＰサイズが制限を越える場合にはＶＰが分割された単位で、多重化装置に入力される。入力された画像データ１０２の最後がＶＰの終端であれば終結フラグ２０９は“１”であり、それ以外の画像データ１０２が入力されるとき終結フラグは“０”である。

データ分割部２１０は、所定の制限サイズを越える画像データ１０２が画像データアダプテーション２０６部に入力されることが無いように、また終端フラグ２０９に基づきＶＰの区切りで画像データが区切られるように、画像データ１０２を分割または結合する。

図２は、データ分割部の動作を示すフローチャートである。

データ分割部２１０は以前の処理によりデータ（以下「残りデータ」という）を保持している場合があるので、データ分割部２１０は、画像データ１０２が入力すると、まず残りデータがあるか否か判定する（ステップ４００）。残りデータがあれば、データ分割部２１０は、入力した画像データ１０２の前に残りデータを結合する（ステップ４０１）。

ステップ４００の判定で残りデータが無かったとき、あるいはステップ４０１の処理が終了した後、データ分割部２１０は、次に、終結フラグ２０９の判定を行う（ステップ４０２）。

終結フラグが“０”すなわちＶＰの終端でなければ、データ分割部２１０は、画像データ１０２が制限サイズ以上であるか、ゼロより大きく制限サイズ未満であるか、あるいはゼロであるか判定する（ステップ４０３）。画像データ１０２のサイズがゼロであれば、データ分割部２１０は、そのまま処理を終了する。

画像データ１０２のサイズが、ゼロより大きく制限サイズ未満であれば、その画像データを保持して処理を終了する（ステップ４０４）。

また、画像データ１０２のサイズが制限サイズ以上であれば、データ分割部２１０は、画像データ１０２の先頭から制限サイズ分だけ切り出して画像データアダプテーション部２０６に送り（ステップ４０５）、データサイズから制限サイズを減算（ステップ４０６）してステップ４０３の処理に戻る。

一方、ステップ４０２の判定において、終結フラグが“１”すなわちＶＰの終端であれば、データ分割部２１０は、画像データ１０２が制限サイズより大きいか、ゼロより大きく制限サイズ以下であるか、あるいはゼロであるか判定する（ステップ４０７）。画像データ１０２のサイズがゼロであれば、データ分割部２１０は、そのまま処理を終了する。

画像データ１０２のサイズがゼロより大きく制限サイズ以下であれば、その画像データを画像データアダプテーション部２０６に出力して終了する（ステップ４０８）。

また、画像データ１０２のサイズが、制限サイズを越えていれば、データ分割部２１０は、画像データ１０２の先頭から制限サイズ分だけ切り出して画像データアダプテーション部２０６に送り（ステップ４０９）、データサイズから制限サイズを減算（ステップ４１０）してステップ４０７の処理に戻る。

画像データアダプテーション部２０６は、データ分割部２１０からの画像データ１０２を格納したＡＬ−ＰＤＵ（ＡＬ３−ＰＤＵ）を生成して多重化レイヤ部１０７に送る。その際、データ分割部２１０は、制御データアダプテーション部２０４からのＡＬ１−ＰＤＵサイズ、音声データアダプテーション部２０５からのＡＬ２−ＰＤＵサイズ、多重化パラメータ制御部１０３からの最大ＡＬ３−ＳＤＵサイズに基づいてＡＬ３−ＰＤＵの適切なサイズを求める。

図３は、画像データアダプテーション部の動作を示すフローチャートである。図３を参照すると、画像データアダプテーション部２０６は、条件１の判定を行う（ステップ５００）。条件１の判定とは、｛（最大ＭＵＸ−ＰＤＵサイズ）−（ＡＬ１−ＰＤＵサイズ）−（ＡＬ２−ＰＤＵサイズ）−（ＡＬ３−ＳＤＵヘッダサイズ）｝をＡとし、データ分割部２１０からの画像データのデータサイズがＡ以下であるか否かの判定である。

データサイズがＡ以下であれば、画像データアダプテーション部２０６は、次に、条件２の判定を行う（ステップ５０１）。条件２の判定とは、データサイズが最大ＡＬ３−ＳＤＵサイズ以下であるか否かの判定である。

データサイズが最大ＡＬ３−ＳＤＵサイズ以下であれば、画像データアダプテーション部２０６は、その画像データを多重化レイヤ部１０７に送って処理を終了する（ステップ５０２）。一方、データサイズが最大ＡＬ３−ＳＤＵサイズ以下でなければ、画像データアダプテーション部２０６は、画像データの先頭から最大ＡＬ３−ＳＤＵサイズ分を切り出して多重化レイヤ部１０７に送り（ステップ５０３）、データサイズから最大ＡＬ３−ＳＤＵサイズを減算し（ステップ５０４）、ステップ５００の処理に戻る。

なお、画像データアダプテーション部２０６は、切り出した画像データを多重レイヤ部１０７に送るとき、その画像データをＡＬ３−ＳＤＵとし、それにＡＬ３−ＰＤＵヘッダを付加し、ＡＬ−ＰＤＵ（ＡＬ３−ＰＤＵ）として多重化レイヤ部１０７に送る。

また、条件１の判定において、データサイズがＡ以下でなければ、画像データアダプテーション部２０６は、次に条件３の判定を行う（ステップ５０５）。条件３の判定とは、Ａが最大ＡＬ３−ＳＤＵサイズ以下であるか否かの判定である。

Ａが最大ＡＬ３−ＳＤＵサイズ以下であれば、画像データアダプテーション部２０６は、画像データの先頭からＡの分を切り出して多重化レイヤ部１０７に送り（ステップ５０６）、データサイズからＡを減算し（ステップ５０７）、ステップ５００の処理に戻る。

Ａが最大ＡＬ３−ＳＤＵサイズ以下でなけば、画像データアダプテーション部２０６は、画像データの先頭から最大ＡＬ３−ＳＤＵサイズ分を切り出して多重化レイヤ部１０７に送り（ステップ５０８）、データサイズから最大ＡＬ３−ＳＤＵサイズを減算し（ステップ５０９）、ステップ５００の処理に戻る。

多重化レイヤ部１０７は、制御データアダプテーション部２０４からのＡＬ１−ＰＤＵ、音声データアダプテーション部２０５からのＡＬ２−ＰＤＵ、および画像データアダアプテーション部２０６からのＡＬ３−ＰＤＵを多重化し、それにＭＵＸ−ＰＤＵヘッダを付加してＭＵＸ−ＰＤＵを生成し、多重化データ１０８として出力する。多重化に用いる複数の多重化テーブルが予め準備されており、多重化レイヤ部１０７はいずれかの多重化テーブルをこの多重化処理に用いる。

また、多重化レイヤ部１０７は、その際、ＭＵＸ−ＰＤＵのサイズが最大ＭＵＸ−ＰＤＵサイズ以内となるように必要に応じてＡＬ−ＰＤＵを分割する機能を有している。しかし、画像データアダプテーション部２０６からのＡＬ３−ＰＤＵが既に最大ＭＵＸ−ＰＤＵサイズを考慮したサイズとなっているので、正常な状態では多重化レイヤ部１０７がＡＬ−ＰＤＵを分割することはない。

以上説明したように、本実施形態によれば、データ分割部２１０は、画像データが所定の制限サイズを越えないように、かつＶＰの区切りで画像データが区切られるように、入力した画像データの分割または結合を行って画像データアダプテーション部２０６に送るので、多重化装置に大きなサイズのデータが入っても画像データアダプテーション部２０６または多重化レイヤ部１０７に、処理できるサイズを超えた画像データが送られることが無く、かつＶＰの区切りも維持され、大きな画像データを正しく扱うことができる。

ここで具体的な一実施例を挙げて、本実施形態の多重化装置と従来の一般的な多重化装置との処理の違いを説明する。図４は、本実施形態の多重化装置と従来の一般的な多重化装置との処理の違いを示す表である。

ここでは、最大ＡＬ１−ＳＤＵサイズ、最大ＡＬ２−ＳＤＵサイズ、および最大ＡＬ３−ＳＤＵサイズが全て２００バイトであり、最大ＭＵＸ−ＰＤＵサイズが１６０バイトであるとする。

また、アダプテーションレイヤでは、ＡＬ１−ＰＤＵヘッダが無く、ＡＬ２−ＰＤＵヘッダが１バイトであり、ＡＬ３−ＰＤＵヘッダが２バイトであり、多重化レイヤでは、ＭＵＸ−ＰＤＵヘッダが１バイトであるとする。

また、多重化レイヤ部１０７にはＴ１およびＴ２という２つの多重化テーブルが準備されているものとする。制御データ、音声データ、画像データの各々に割り当てられる論理チャネル番号をＬＣＮ０、ＬＣＮ１、ＬＣＮ２とすると、多重化テーブルＴ１は、最初にＬＣＮ０を１０バイト、次にＬＣＮ１を３３バイト、次にＬＣＮ２を最大ＭＵＸ−ＰＤＵサイズを越えない範囲で配置するように定義されている。また、多重化テーブルＴ２は、ＬＣＮ２のみを最大ＭＵＸ−ＰＤＵサイズを越えない範囲で配置するように定義されている。

そして、入力する制御データ１００、音声データ１０１、画像データ１０２の各々のサイズが１０バイト、３２バイト、２４０バイトであるとする。

従来の多重化装置では、アダプテーションレイヤにて１０（１０＋０）バイトのＡＬ１−ＰＤＵ、３３（３２＋１）バイトのＡＬ２−ＰＤＵ、および２０２（２００＋２）バイトと４２（４０＋２）バイトの２つのＡＬ３−ＰＤＵが生成される。

多重化レイヤでは、多重化テーブルＴ１を用いて、制御データおよび音声データを含むＭＵＸ−ＰＤＵが生成される。その際、最大ＭＵＸ−ＰＤＵサイズを越えない様に、２０２バイトのＡＬ３−ＰＤＵから１１６バイトが切り出される。多重化テーブルＴ２を用いて、１１６バイトが切り出された残りの８６バイトの画像データを含む８７（８６＋１）バイトのＭＵＸ−ＰＤＵと、４２バイトの画像データを含む４３（４２＋１）バイトのＭＵＸ−ＰＤＵとが生成される。

一方、本実施形態の多重化装置では、アダプテーションレイヤにて１０（１０＋０）バイトのＡＬ１−ＰＤＵ、３３（３２＋１）バイトのＡＬ２−ＰＤＵ、および１１６（１１４＋２）バイトと１２８（１２６＋２）バイトの２つのＡＬ３−ＰＤＵが生成される。

多重化レイヤでは、多重化テーブルＴ１を用いて、制御データおよび音声データを含むＭＵＸ−ＰＤＵが生成される。その際、１０バイトのＡＬ１−ＰＤＵ、３３バイトのＡＬ２−ＰＤＵ、および１１６バイトのＡＬ３−ＰＤＵにより、１６０バイトのＭＵＸ−ＰＤＵが生成される。また、多重化テーブルＴ２を用いて、１２８バイトのＡＬ３−ＰＤＵを含む１２９バイトのＭＵＸ−ＰＤＵが生成される。

以上より、従来の多重化装置では３つのＭＵＸ−ＰＤＵが生成されていたところ、本実施形態の多重化装置では２つのＭＵＸ−ＰＤＵとなっている。これにより、合計のバイト数で従来では２９０バイトであったのに対し、本実施形態では２８９バイトとなっている。つまり、ＭＵＸ−ＰＤＵヘッダの数が減り、ＭＵＸ−ＰＤＵヘッダが不要になった分だけ多重化効率が向上していることが分かる。

また、ここではＭＵＸ−ＰＤＵヘッダが１バイトの場合を例示したが、伝送路誤り耐性を向上させた方式ではＭＵＸ−ＰＤＵヘッダのバイト数が大きくなる。例えば、ＭＵＸ−ＰＤＵヘッダが４バイトに拡張されたものがある。また、ＭＵＸ−ＰＤＵの区切りを判別するための４バイトのフラグが挿入される方式もある。これらの場合、本実施形態において伝送効率の向上効果は更に大きなものとなる。

従来の多重化装置では、アダプテーションレイヤおよび多重化レイヤが、与えられたパラメータに基づき各々にデータを分割するので、効率の良くない分割がされていた。しかし、本実施形態によれば、アダプテーションレイヤにて画像データのＡＬ３−ＰＤＵを分割する際に、制御データのＡＬ１−ＰＤＵサイズ、音声データのＡＬ２−ＰＤＵサイズ、多重化レイヤの最大ＭＵＸ−ＰＤＵサイズに基づいて、適切なサイズが切り出されるので、多重化効率を向上させることができる。

本発明の他の実施形態について説明する。

図５は、本発明の他の実施形態による多重化装置の構成を示すブロック図である。図５を参照すると、多重化装置は、多重化パラメータ制御部３０３、制御データアダプテーション部２０４、音声データアダプテーション部２０５、画像データアダプテーション部２０６、多重化レイヤ部１０７、およびデータ分割部３１０を有している。

本実施形態も図１に示したものと同様に、符号化された画像および音声を単一のストリームに多重化する装置である。本多重化装置には、画像が符号化された画像データ１０２、画像データ１０２の単位の終結を示す終結フラグ２０９、音声が符号化された音声データ１０１、音声や画像の符号化方式や多重化方式などに関する制御情報である制御データ１００が入力される。

また、本実施形態において、制御データアダプテーション部２０４、音声データアダプテーション部２０５、画像データアダプテーション部２０６、および多重化レイヤ部１０７は図１に示したものと同じである。一方、多重化パラメータ制御部３０３とデータ分割部３１０は、図１に示したものと異なる。

多重化パラメータ制御部３０３は、図１の多重化パラメータ制御部１０３と同様の動作をするが、画像データアダプテーション部２０６へのパラメータである最大ＡＬ３−ＳＤＵをデータ分割部３１０にも与える点で相違する。

データ分割部３１０は、図１のデータ分割部２１０と同様に図４に示した動作をするが、多重化パラメータ制御部３０３から与えられた最大ＡＬ３−ＳＤＵまたはその正の整数倍の値を、図４のステップ４０３、４０７における制限サイズとして用いる点で相違する。

本実施形態によれば、データ分割部３１０は、入力した画像データ１０２を、最大ＡＬ３−ＰＤＵサイズまたはその正の整数倍に調整して画像データアダプテーション部２０６に送り、画像データアダプテーション部２０６は、その最大ＡＬ３−ＰＤＵサイズをデータの切り出しに用いるので、ＡＬ３−ＰＤＵへの分割がより効率良く行われ、多重化効率が向上する。

本発明の一実施形態による多重化装置の構成を示すブロック図である。データ分割部の動作を示すフローチャートである。画像データアダプテーション部の動作を示すフローチャートである。本実施形態の多重化装置と従来の一般的な多重化装置との処理の違いを示す表である。本発明の他の実施形態による多重化装置の構成を示すブロック図である。一般的な多重化装置の構成を示すブロック図である。

符号の説明

１００制御データ
１０１音声データ
１０２画像データ
１０３、３０３多重化パラメータ制御部
１０７多重化レイヤ部
１０８多重化データ
２０４制御データアダプテーション部
２０５音声データアダプテーション部
２０６画像データアダプテーション部
２０９終結フラグ
２１０、３１０データ分割部
４００〜４１０、５００〜５０９ステップ

Claims

複数のデータを多重化する多重化装置であって、
複数のデータ入力のうち画像データのデータ入力に対応してアダプテーションレイヤの前段に備えられ、対応するデータ入力にて所定のデータ単位または該データ単位が分割された状態で画像データが入力すると、該画像データを分割または結合することにより、所定の制限サイズを越えることがなくかつ前記データ単位の区切りで区切られるように変換するデータ変換部と、
前記データ変換部が備えられたデータ入力を含む前記複数のデータ入力の各々に対応しており、対応する前記データ入力のデータに対し、該データの特性に応じたアダプテーションレイヤの機能を提供する複数のアダプテーション部と、
前記複数のアダプテーション部からの複数のデータを多重化して送出する多重化レイヤ部とを有する多重化装置。
前記複数のアダプテーション部は、各々の切り出すデータの最大サイズである第１の最大サイズが予め定められており、前記第１の最大サイズを越える前記データを前記第１の最大サイズで切り出しながら前記アダプテーションレイヤの機能を提供する、請求項１記載の多重化装置。
前記データ変換部で変換されたデータに対応するアダプテーション部は、前記多重化レイヤ部の出力データとして許容される第２の最大サイズから、他のアダプテーション部から出力されたデータのサイズ、および前記多重化レイヤ部で付与するヘッダのサイズを減算して得た第３の最大サイズが、前記アダプテーション部に予め定められている前記第１の最大サイズ以下であれば、前記第３の最大サイズで前記データを切り出す、請求項２記載の多重化装置。
前記データ変換部は、対応するアダプテーション部における前記第１の最大サイズまたはその正の整数倍の値を前記制限サイズとする、請求項２または３に記載の多重化装置。
前記複数のデータ入力は画像データ、音声データ、および制御データの入力であり、
前記データ変換部は、前記画像データに対して備えられている、請求項１〜４のいずれか１項に記載の多重化装置。
前記所定のデータ単位はＶｉｄｅｏＰａｃｋｅｔである、請求項５記載の多重化装置。
複数のデータ入力の各々に対応する複数のアダプテーション部と複数のデータ入力に共通の多重化レイヤを有する構成により、複数のデータを多重化する多重化装置において、少なくとも１つのアダプテーション部に与えるデータを処理するデータ処理方法であって、
画像データのアダプテーション部に与える画像データが入力されると、以前の処理により保持しておいた残りデータがあれば、入力された前記画像データの前に前記残りデータを結合するステップと、
前記画像データの終端が所定のデータ単位の終端であれば、前記画像データの先頭から所定の制限サイズ毎に区切り、前記画像データの終端を含む最後のデータまで前記画像データのアダプテーション部に与えるステップと、
前記画像データの終端が前記データ単位の終端でなければ、前記画像データの先頭から所定の制限サイズ毎に区切って前記画像データのアダプテーション部に与え、前記画像データの終端を含む最後のデータが前記制限サイズ未満であれば、前記最後のデータを前記画像データのアダプテーション部に与えずに保持するステップとを有するデータ処理方法。