JP4091582B2 - 動画像符号化装置、及び動画像符号化方法 - Google Patents

Description

本発明は、動画像符号化装置、及び動画像符号化方法に関し、符号化された一つの動画像データから複数のフレームレートで再生を可能にするものである。

ＮＴＳＣ圏のＴＶは６０フィールド／秒である一方、ＰＡＬ圏では５０フィールド／秒であり、圏毎に一秒間に表示されるフィールド量が異なっていた。そして、映画をＴＶ向けに編集する際、映画は２４フレーム／秒であるため、ＮＴＳＣ圏では、３：２プルダウンを行い、１フレームおきに３フィールド、２フィールドをつくり、２４フレーム／秒から６０フィールド／秒の動画像を作成する。またＰＡＬ圏のＴＶでは早回しにより２５フレームを１秒に表示して５０フィールド／秒としている。

また、ディスク等に記録する際に映画を２４フレーム／秒として共通に符号化しておき、ＮＴＳＣ圏では３：２プルダウンによりアナログ信号を生成することで再生を行い、一方、ＰＡＬ圏ではマスタークロックを２５／２４倍に早めたアナログ信号を生成することで５０フィールド／秒で再生を行う方法が提案されている（例えば特許文献１）。これにより映画を符号化するに際し、ＰＡＬ圏およびＮＴＳＣ圏の各々について符号化する必要がなかった。

一方、ＨＤＤＶＤをＨＤＴＶで再生する際に、符号化されたデジタル信号からアナログ信号を生成する必要がなく、直接デジタル信号による再生が可能である。しかし、ＨＤＴＶにおいて、ＮＴＳＣ圏とＰＡＬ圏の画像サイズが一緒ではあるが、フレームレートが異なる。このためＨＤＤＶＤを作成するためのＨＤＤＶＤオーサリングでは、ＮＴＳＣ圏とＰＡＬ圏のそれぞれについてエレメンタリーストリームを作成する必要があった。

特開２０００−１０２０３４号公報

しかしながら、この場合、ＨＤＴＶサイズの動画像のエレメンタリーストリームを作成するためには時間がかかるため、ＮＴＳＣ圏、ＰＡＬ圏などの異なるフレームレート毎にエレメンタリーストリームを作成する場合、かかる時間が膨大となるという問題がある。

さらに、ＨＤＴＶサイズの動画像の場合、エレメンタリーストリームの保存に必要な記憶容量が大きいため、ＮＴＳＣ圏用、ＰＡＬ圏用などの異なるフレームレート毎にエレメンタリーストリームをそれぞれ保存する場合、大きなディスクスペースを確保しなければならないという問題がある。

本発明は、上記に鑑みてなされたものであって、エレメンタリーストリームの作成時にフレームレート毎に異なる受信バッファの制約条件を同時に満たすように動画像符号化を行い、一つのエレメンタリーストリームを複数のフレームレートで使用可能にすることで、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することを可能とする動画像符号化装置、及び動画像符号化方法を提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明にかかる動画像符号化装置は、１秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化装置において、PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する第１の受信記憶領域に占める第１の占有量を記憶する第１の記憶手段と、前記符号化データの再生時に前記第１の受信記憶領域が受信した前記符号化データの第１の受信量、及び前記符号化データの再生時に表示される各画像の第１の符号量に基づいて、前記第１の記憶手段が記憶する前記第１の占有量を変動させる第１の変動手段と、前記第１の変動手段により変動した前記第１の占有量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記第１の符号量の条件を示す第１の符号量条件を導出する第１の導出手段と、NTSC規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する第２の受信記憶領域に占める第２の占有量を記憶する第２の記憶手段と、３：２プルダウンを用いた前記符号化データの再生時に前記第２の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の第２の符号量に基づいて、前記第２の記憶手段が記憶する前記第２の占有量を変動させる第２の変動手段と、前記第２の変動手段により変動した前記第２の占有量に基づいて、前記NTSC規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記第２の符号量の条件を示す第２の符号量条件を導出する第２の導出手段と、前記第１の導出手段により導出された前記第１の符号量条件と、前記第２の導出手段により導出された前記第２の符号量条件とを満たす符号量で、前記入力動画像を符号化する符号化手段と、を備えることを特徴とする。

また、本発明にかかる動画像符号化装置は、１秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化装置において、PAL規格フレームレートでは第１のビットレートで再生され且つNTSC規格フレームレートでは第２のビットレートで再生される前記符号化データであって、前記PAL規格フレームレートと前記NTSC規格フレームレートとの比、および、前記第１のビットレートと前記第２のビットレートとの比の両方が一致する前記符号化データを出力する際、前記PAL規格フレームレート及び前記NTSC規格フレームレートから、任意に選択された一つのフレームレートを示す選択フレームレートによる前記符号化データの再生時の受信記憶領域に占める占有量を記憶する記憶手段と、前記選択フレームレートによる前記符号化データの再生時において、前記受信記憶領域が受信した前記符号化データの受信量及び表示される各画像の符号量に基づいて、前記記憶手段が記憶する前記占有量を変動させる変動手段と、前記変動手段により変動した前記占有量に基づいて、前記選択フレームレートによる前記符号化データの再生時に前記受信記憶領域で１ビットのマージンを有するよう、表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出手段と、前記導出手段により導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化手段と、を備えることを特徴とする。
また、本発明にかかる動画像符号化装置は、１秒ごとに２４フレーム表示する入力動画像を可変ビットレートで符号化して符号化データを出力する動画像符号化装置において、前記符号化データを再生する対象となるPAL規格フレームレート、及び前記符号化データを３：２プルダウンで再生する対象となるNTSC規格フレームレートを含む複数のフレームレートから、フレームレートが最も高いPAL規格フレームレートを選択する選択手段と、前記PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する受信記憶領域に占める占有量を記憶する記憶手段と、前記PAL規格フレームレートによる前記符号化データの再生時に前記受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、前記記憶手段が記憶する前記占有量を変動させる変動手段と、前記変動手段により変動した前記占有量に基づいて、前記選択手段により選択された前記フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出手段と、前記導出手段により導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化手段と、を備えることを特徴とする。

また、本発明にかかる動画像符号化方法は、１秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化方法において、PAL規格フレームレートによる前記符号化データの再生時に第１の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記第１の受信記憶領域に占める第１の占有量を変動させる第１の変動ステップと、前記第１の変動ステップにより変動した前記第１の占有量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す第１の符号量条件を導出する第１の導出ステップと、前記符号化データの再生時に第２の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、NTSC規格フレームレートによる３：２プルダウンを用いた前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記第２の受信記憶領域に占める第２の占有量を変動させる第２の変動ステップと、前記第２の変動ステップにより変動した前記第２の占有量に基づいて、前記NTSC規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す第２の符号量条件を導出する第２の導出ステップと、前記第１の導出ステップにより導出された前記第１の符号量条件と、前記第２の導出ステップにより導出された前記第２の符号量条件とを満たす符号量で、前記入力動画像を符号化する符号化ステップと、を備えることを特徴とする。
また、本発明にかかる動画像符号化方法は、１秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化方法において、PAL規格フレームレートでは第１のビットレートで再生され且つNTSC規格フレームレートでは第２のビットレートで再生される前記符号化データであって、前記PAL規格フレームレートと前記NTSC規格フレームレートとの比と、および、前記第１のビットレートと前記NTSC規格ビットレートとの比の両方が一致する前記符号化データを出力する際、前記PAL規格フレームレート及び前記NTSC規格フレームレートから、任意に選択された一つのフレームレートを示す選択フレームレートによる前記符号化データの再生時において、受信記憶領域が受信した前記符号化データの受信量及び表示される各画像の符号量に基づいて、選択フレームレートによる前記符号化データの再生時の前記受信記憶領域に占める占有量を変動させる変動ステップと、前記変動ステップにより変動した前記占有量に基づいて、前記選択フレームレートによる前記符号化データの再生時に前記受信記憶領域で１ビットのマージンを有するよう、表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出ステップと、前記導出ステップにより導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化ステップと、を備えることを特徴とする。

また、本発明にかかる動画像符号化方法は、１秒ごとに２４フレーム表示する入力動画像を可変ビットレートで符号化して符号化データを出力する動画像符号化方法において、前記符号化データを再生する対象となるPAL規格フレームレート、及び前記符号化データを３：２プルダウンで再生する対象となるNTSC規格フレームレートを含む複数のフレームレートから、フレームレートが最も高いPAL規格フレームレートを選択する選択ステップと、前記PAL規格フレームレートによる前記符号化データの再生時に受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、当該PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記受信記憶領域に占める占有量を変動させる変動ステップと、前記変動ステップにより変動した前記占有量に基づいて、前記選択ステップにより選択された前記フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出ステップと、前記導出ステップにより導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化ステップと、を備えることを特徴とする。

本発明によれば、第１の符号量条件と第２の符号量条件とを満たす符号量で、入力動画像の符号化をするため、符号化された符号化データはPAL規格フレームレート及びNTSC規格フレームレートのいずれの再生時でもオーバーフロー及びアンダーフローが生じないため、複数のフレームレートにより使用可能な符号化データを出力することとなり、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することが可能という効果を奏する。
また、本発明によれば、符号量条件を満たす符号量で、入力動画像の符号化をするため、符号化された符号化データは、PAL規格フレームレートを第１のビットレートで再生時及びNTSC規格フレームレートを第２のビットデータで再生時でもオーバーフロー及びアンダーフローが生じないため、当該複数のフレームレートにより使用可能な符号化データを出力することとなり、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することが可能という効果を奏する。

また、本発明によれば、入力動画像を可変ビットレートで符号化する場合において、PAL規格フレームレート、及び前記符号化データを３：２プルダウンで再生する対象となるNTSC規格フレームレートを含む複数のフレームレートについて再生するために導出された符号量条件を満たす符号量で、入力動画像の符号化をするため、符号化後動画像情報は複数のフレームレートによる再生時にアンダーフローが生じないように符号化したため、複数のフレームレートにより使用可能な符号化データを出力することとなり、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することが可能という効果を奏する。

以下に添付図面を参照して、この発明にかかる動画像符号化装置、及び動画像符号化方法の最良な実施の形態を詳細に説明する。

（第１の実施の形態）
第１の実施の形態は、データに変換する際にＣＢＲ（Constant Bit Rate）によりレート制御を行う場合に適した動画像符号化装置１００、及び動画像符号化装置１００により符号化された符号化後動画像データを多重化する動画像多重化編集装置１１００を説明する。なお、本実施の形態は、動画像符号化装置１００に用いられるレート制御をＣＢＲに制限するものではなく、ＶＢＲ（Variable Bit Rate）に用いても良い。

図１は、本発明の第１の実施の形態にかかる動画像符号化装置１００の構成を示すブロック図である。動画像符号化装置１００は、動画像符号化部１０１、ＰＡＬ用占有量加算部１０９、ＰＡＬ用占有量減算部１０２、ＰＡＬ用仮想受信バッファ１０３、ＰＡＬ用符号量条件導出部１０４、ＮＴＳＣ用占有量加算部１１０、ＮＴＳＣ用占有量減算部１０５、ＮＴＳＣ用仮想受信バッファ１０６、ＮＴＳＣ用符号量条件導出部１０７、符号量条件設定部１０８から構成される。これらの構成を備えることにより、動画像符号化装置１００は、入力された符号前動画像データからＰＡＬ圏内あるいはＮＴＳＣ圏内で再生してもアンダーフローもオーバーフローも発生しないような条件を満たした符号化後動画像データを出力することが可能となる。

また、動画像符号化装置１００から出力された符号化後動画データはＰＡＬ圏内で再生するためのタイミングデータが設定されているものとし、ＮＴＳＣ圏内で再生するためにはタイミングデータを変更する必要がある。ＮＴＳＣ圏内で再生するためのタイミングデータに変更する動画像多重化編集装置は後述する。なお、動画像符号化装置１００から出力される符号化後動画データは、ＰＡＬ圏内で再生するためのタイミングデータが設定されることに制限するものではなく、ＮＴＳＣ圏内で再生するためのタイミングデータが設定されることにしてもよい。

動画像符号化部１０１は、後述する符号量条件設定部１０８により設定された符号化するための条件に従って入力された符号化前動画像データを符号化し、符号化された符号化後動画像データを出力する。また本実施の形態において、動画像データを符号化する方法はＨ．２６４を用いて行う。また、符号化方法をＨ．２６４に制限するものではなく、例えば、ＭＰＥＧ２などが考えられる。

なお、ＮＴＳＣ圏用の符号化後動画像データとＰＡＬ圏用の符号化後動画像データではタイミングデータのサイズ（詳しくは後述するbit_rate_value_minus1情報の符号長等）が異なる場合がある。このため動画像符号化部１０１は、符号化時にサイズが大きいほうに合わせてタイミングデータの領域（詳しくは後述するSequence Parameter SET RBSP等）のサイズを決定する。本実施の形態ではＮＴＳＣ圏用のタイミングデータの領域が大きいため、それに合わせてＰＡＬ圏用のタイミングデータの領域を決定する。そして、動画像符号化部１０１は、符号化時に未使用領域についてゼロスタッフィングする。なお具体的なサイズの違いについては後述する。

なおタイミングデータの領域のサイズはＮＴＳＣ圏用およびＰＡＬ圏用のタイミングデータについての領域のみを確保することに制限するものではなく、再生する対象となる複数のフレームレートのタイミングデータについて十分な領域を確保する必要がある。

ＰＡＬ用仮想受信バッファ１０３は、ＰＡＬ圏において再生時に用いられる受信バッファを仮想的に実現し、受信バッファが記憶可能な容量、及び動画像符号化部１０１から出力された符号化後動画像データが再生された場合の受信バッファ内のバッファ占有量を記憶する。

ＰＡＬ用占有量加算部１０９は、ＰＡＬ圏用に設定されたビットレートに応じたピクチャｋ―１の引き去り時刻からピクチャｋの引き去り時刻までにバッファ占有量の増加量をＰＡＬ用仮想受信バッファ１０３に加算する。

ＰＡＬ用占有量減算部１０２は、ＰＡＬ圏で用いられるフレームレートでのピクチャｋの引き去り時刻に、ＰＡＬ用仮想受信バッファ１０３が記憶するバッファ占有量から、動画像符号化部１０１により符号化前動画像データを符号化して得られるピクチャｋの発生ビットを減算する。なお、ｋは０から始まる整数とし、入力された符号化前動画像データが保持するピクチャの数だけあるものとする。

ＰＡＬ用符号量条件導出部１０４は、動画像符号化部１０１により入力された符号化後動画像データが、ＰＡＬ用仮想受信バッファ１０３により実現されるＰＡＬ圏における受信バッファをオーバーフローが発生しないように、あるいはＰＡＬ用占有量減算部１０２によるＰＡＬ用仮想受信バッファ１０３に対するバッファ占有量の減算によりアンダーフローが発生しないように、動画像符号化部１０１から出力されるピクチャｋの発生ビットの条件を導出する。

ＮＴＳＣ用仮想受信バッファ１０６は、ＮＴＳＣ圏において再生時に用いられる受信バッファを仮想的に実現し、受信バッファが記憶可能な容量、及び動画像符号化部１０１から出力された符号化後動画像データが再生された場合の受信バッファ内のバッファ占有量を記憶する。

ＮＴＳＣ用占有量加算部１１０は、ＮＴＳＣ圏用に設定されたビットレートに応じて、ピクチャｋ―１の引き去り時刻からピクチャｋの引き去り時刻までのバッファ占有量の増加量をＮＴＳＣ用仮想受信バッファ１０６に加算する。

ＮＴＳＣ用占有量減算部１０５は、ＮＴＳＣ圏で用いられるフレームレートでのピクチャｋの引き去り時刻に、ＮＴＳＣ用仮想受信バッファ１０６が記憶するバッファ占有量から、動画像符号化部１０１により符号化前動画像データを符号化して得られるピクチャｋの発生ビットを減算する。

また、ＮＴＳＣ圏では入力された符号化前動画像データについて３：２プルダウンを行い、ピクチャ毎に3field，2field，3field，2field…と割り当てていくため、ＮＴＳＣ用占有量減算部１０５は、3field，2field，3field，2field…毎に引き去り時刻を設定するものとする。

ＮＴＳＣ用符号量条件導出部１０７は、動画像符号化部１０１により入力された符号化後動画像データが、ＮＴＳＣ用仮想受信バッファ１０６により実現されるＮＴＳＣ圏における受信バッファをオーバーフローが発生しないように、あるいはＮＴＳＣ用占有量減算部１０５によるＮＴＳＣ用仮想受信バッファ１０６に対するバッファ占有量の減算によりアンダーフローが発生しないように、動画像符号化部１０１から出力されるピクチャｋの発生ビットの条件を導出する。

符号量条件設定部１０８は、ＰＡＬ用符号量条件導出部１０４により導出される符号化後動画像データの発生ビットの条件及びＮＴＳＣ用符号量条件導出部１０７により導出される符号化後動画像データの発生ビットの条件を全て満たすように動画像符号化部１０１により符号化されるピクチャｋの発生ビットの条件を導き、当該条件に合うように発生ビットの量を制御するために、量子化値情報、符号量に影響を与える符号化モード選択情報などの符号化条件を設定する。このように条件を設定することで、ＰＡＬ圏及びＮＴＳＣ圏においてアンダーフロー及びオーバーフローが発生することがない条件を設定することが可能となる。

図２は、本実施の形態にかかる動画像多重化編集装置１１００の構成を示したブロック図である。本図で示した動画像多重化編集装置１１００は、動画像符号化装置１００により符号化された、複数のフレームレートで再生できるように符号化された符号化後動画像データについて、所望のフレームレートで再生可能にするため復号化時刻または表示時刻に関するタイミングデータを挿入または修正し、入力されたオーバーレイ画像を符号化後動画像データと同期するためにタイミングデータを挿入または修正し、さらに複数のオーディオデータから、所望のフレームレートで再生するために必要なオーディオデータを選択して多重化する。

動画像タイミング変更部１１１０は、複数のフレームレートで再生可能な符号化後動画像データを、所望のフレームレートで再生を可能とするため修正を行う。この動画像タイミング変更部１１１０は、符号化後動画像入力部１１１１、符号化後動画像記憶部１１１２、符号化後動画像変更部１１１３とから構成される。

符号化後動画像入力部１１１１は、動画像符号化装置１００により生成された複数のフレームレートで再生が可能な符号化後動画像データを入力する。

符号化後動画像記憶部１１１２は、符号化後動画像入力部１１１１により入力された符号化後動画像データを記憶する。

符号化後動画像変更部１１１３は、符号化後動画像記憶部１１１２に記憶された符号化後動画像に対して所望のフレームレートで再生が可能となるように変更を行う。本実施の形態では、動画像符号化装置１００により出力された符号化後動画像データはＰＡＬ圏内で再生するためのタイミングデータが設定されているので、ＮＴＳＣ圏内で再生するためのタイミングデータに変更する。なお、ＮＴＳＣ圏内で再生するためのタイミングデータへの変更に制限するものではなく、符号化後動画像データが再生する対象としたフレームレートであればよいものとする。

また、符号化後動画像変更部１１１３はビットレート、フレームレート、初期バッファ占有量に依存した受信開始を０とした最初のピクチャの引き去り開始時刻および各ピクチャの引き去り時刻等のタイミングデータについて再計算を行い、再計算された値で符号化後動画像データの該当箇所を変更する。なお、変更される値については後述する。また複数のフレームレートで再生可能なように符号化されているため動画像データそのものの再符号化は行わない。

また、符号化後動画像変更部１１１３は、符号化方式がH.264の場合において修正することとする。なお、符号化方式をH.264に制限するものではなく、他の符号化方式に適用してもよい。

オーバーレイ画像変更部１１０１は、入力されたオーバーレイ画像を所望のフレームレートで再生可能とするためタイミングデータ箇所の変更を行う。本実施の形態では、入力されたオーバーレイ画像がＰＡＬ圏で再生するためのタイミングデータが挿入されたものとし、ＮＴＳＣ圏で再生するための変更を行う。なお、タイミングデータの変更方法について制限を設けるものではなく、本実施の形態では従来から周知の方法を用いて変更するものとする。

オーディオ選択部１１０２は、複数のフレームレートに対応する複数のオーディオデータから、所望のフレームレートに対応するオーディオデータを選択する。例えば、ＰＡＬ圏用のオーディオデータが第１のオーディオデータであれば、第１のオーディオデータを後述するＰＡＬ用多重化部１１２１に出力し、ＮＴＳＣ圏用のオーディオデータが第２のオーディオデータであれば、第２のオーディオデータを後述するＮＴＳＣ用多重化部１１２１に出力する。

多重化部１１２０は、所望のフレームレートで再生可能なように変更された符号化後動画像データ、オーバーレイ画像、選択されたオーディオデータより多重化を行い、符号化後映像データを生成する。多重化部１１２０は、ＰＡＬ用多重化部１１２１及びＮＴＳＣ用多重化部１１２２で構成される。なお、多重化部１１２０で多重化される動画像データをＮＴＳＣ圏に対応する多重化、ＰＡＬ圏に対応する多重化に制限するものではなく、再生する対象となるフレームレートに対応する多重化であればよい。また、２つのフレームレートについて多重化することに制限するものではなく、生成する対象となるフレームレートについての多重化であれば、１つでも良いし、あるいは２つより多くのフレームレートについて多重化を行っても良い。

動画像多重化編集装置１１００により、動画像符号化装置１００により符号化された動画像符号化データについて、再生対象とするフレームレートによるタイミングデータの変更及び多重化が可能となる。

次に、以上により構成された本実施の形態に係る動画像符号化装置１００において入力された符号化前動画像データからＰＡＬ圏及びＮＴＳＣ圏で再生してもオーバーフロー及びアンダーフローを生じない符号化後動画像データを出力するまでの処理について説明する。図３は本実施の形態にかかる動画像符号化装置１００における入力された符号化前動画像データから符号化後動画像データを出力するまでの全体処理を示すフローチャートである。

まず、ＰＡＬ用仮想受信バッファ１０３について初期化を行う（ステップＳ２０１）。具体的には以下の数１式で示すようにＰＡＬ用仮想受信バッファ１０３による符号化後動画像データのバッファ占有量（以下この変数をpal_cpb_occupancy(k)とする）に初期バッファ占有量（以下この定数値をinitial_cpb_occupancyとする）を入力する。
pal_cpb_occupancy(-1)=initial_cpb_occupancy…（１）
なお初期値としてpal_cpb_occupancy(k)についてk=-1としたのは、ピクチャkでkが0から始まるためである。

そしてピクチャｋについてｋ＝０から符号前動画像データが保持する全てのピクチャについて符号化を終了するまでステップＳ２０３からステップＳ２０５までの処理をループする（ステップＳ２０２）。

ＰＡＬ用占有量加算部１０９は、ＰＡＬ圏用に設定されたビットレートに応じたピクチャｋ―１の引き去り時刻からピクチャｋの引き去り時刻までに増加するバッファ占有量をＰＡＬ用仮想受信バッファ１０３に加算する（ステップＳ２０３）。具体的には数２式により行われる。
pal_cpb_occupancy(k) = pal_cpb_occupancy(k-1)+pal_bit_rate×[(ＰＡＬ圏内のフレームレートでのピクチャｋの引き去り時刻)−(ＰＡＬ圏内のフレームレートでのピクチャｋ−1の引き去り時刻)]…（２）
ただし、ピクチャ０(つまりｋ＝０)においては、ＰＡＬ圏内のフレームレートでのピクチャｋ−1の引き去り時刻とＰＡＬ圏内のフレームレートでのピクチャｋの引き去り時刻は等しいものとして数２式により算出する。

そして、ＰＡＬ用符号量条件導出部１０４は、ＰＡＬ用仮想受信バッファ１０３においてピクチャｋの引き去り直後にアンダーフローしないようにピクチャｋの発生ビット量の上限（pal_max_bits）を導出し、かつピクチャｋ+1の引き去り直前にオーバーフローしないようにするためのピクチャｋの発生ビット量の下限（pal_min_bits）を導出し、符号量条件設定部１０８に出力する（ステップＳ２０４）。

ＰＡＬ用占有量減算部１０５は、後述するステップＳ２１３において動画像符号化部１０１により入力されるピクチャｋの発生ビット量を、ＰＡＬ用仮想受信バッファ１０３のバッファ占有量から減算する（ステップＳ２０５）。具体的には数３式により行われる。pal_cpb_occupancy(k) = pal_cpb_occupancy(k)-ピクチャｋの発生ビット…（３）

ステップＳ２０５による発生ビットによる減算まで終了したあと、再びステップＳ２０３から処理を行うこととする（ステップＳ２０６）。そして符号前動画像データが保持する全てのピクチャについて符号化が終了した場合に処理を終了する。

そして、ＮＴＳＣ圏により行われる処理手順は、ＰＡＬ圏により行われる処理手順のステップＳ２０１〜Ｓ２０６と同様にして、ＮＴＳＣ用仮想受信バッファ１０６の初期化から開始し、ピクチャｋ毎にループし、ピクチャｋ毎にバッファ占有量を増加させ、ピクチャｋ毎に発生ビット量の上限（ntsc_max_bits）及び下限(ntsc_min_bits)を導出し、さらにピクチャｋの発生ビットをＮＴＳＣ用仮想受信バッファ１０６のバッファ占有量から減算する（ステップＳ２２１〜ステップＳ２２６）。また、ステップＳ２２１によりＮＴＳＣ用仮想受信バッファ１０６による符号化後動画像データのバッファ占有量（以下この変数をntsc_cpb_occupancy(k)とする）を初期化する数値はステップＳ２０１と同様にinitial_cpb_occupancyとする。

またステップＳ２２３における、ＮＴＳＣ用占有量加算部１０９によるＮＴＳＣ用仮想受信バッファ１０６のバッファ占有量の加算は数４式により算出される。
ntsc_cpb_occupancy(k) = ntsc_cpb_occupancy(k-1)+ntsc_bit_rate×[(ＮＴＳＣ圏内のフレームレートでのピクチャｋの引き去り時刻)−(ＮＴＳＣ圏内のフレームレートでのピクチャｋ−1の引き去り時刻)]…（４）
なお、ＮＴＳＣ圏内では３：２プルダウンが行われるため、”ＮＴＳＣ圏内のフレームレートでのピクチャｋの引き去り時刻)−(ＮＴＳＣ圏内のフレームレートでのピクチャｋ−1の引き去り時刻)”はｋの値により異なる。

また、ステップＳ２２５において、ＮＴＳＣ用仮想受信バッファ１０６のバッファ占有量からの減算は数５式により算出される。また当然ながらピクチャｋの発生ビットは数３式と同じである。
ntsc_cpb_occupancy(k) = ntsc_cpb_occupancy(k)-ピクチャｋの発生ビット…（５）

そして、符号量条件設定部１０８及び動画像符号化部１０１で行われる処理もピクチャｋについて、ｋが０から符号前動画像データが保持する全てのピクチャについて符号化が終了するまでループする（ステップＳ２１１）。

そして符号量条件設定部１０８は、ステップＳ２０４により入力されたＰＡＬ圏におけるピクチャｋの発生ビットの上限及び下限、そしてステップＳ２２４により入力されたＮＴＳＣ圏におけるピクチャｋの発生ビットの上限及び下限、のいずれの条件を満たすように符号化条件の設定を行う（ステップＳ２１２）。

まずは、ＰＡＬ圏およびＮＴＳＣ圏の両方の条件を満たした発生ビットの上限を数６式より算出する。
max_bits = min(pal_max_bits, ntsc_max_bits)…（６）

次に、ＰＡＬ圏およびＮＴＳＣ圏の両方の条件を満たした発生ビットの下限を数７式より算出する。
min_bits = max(pal_min_bits, ntsc_min_bits)…（７）

そして符号量条件設定部１０８は、数６式および数７式により算出されたmax_bits及びmin_bitsについて数８式が成立するような量子化値情報などの符号化条件を設定し、動画像符号化部１０１に出力する。
min_bits≦ピクチャｋの発生ビット量≦max_bits…（８）

そして動画像符号化部１０１は、入力された符号化条件を満たすようにピクチャｋについて符号化を行う（ステップＳ２１３）。また、ピクチャｋの発生ビット量をＰＡＬ用占有量減算部１０２及びＮＴＳＣ用占有量減算部１０５に出力する。

ステップＳ２１３によるピクチャｋの符号化まで終了したあと、ループの開始であるステップＳ２１１から処理を行う（ステップＳ２１４）。そして符号前動画像データが保持する全てのピクチャについて符号化が終了した場合に処理を終了する。

次に、以上により構成された本実施の形態に係る動画像多重化編集装置１１００が、ＰＡＬ圏で再生するためのタイミングデータが挿入された符号化後動画像データについてＮＴＳＣ圏で再生するためのタイミングデータに変更し、さらに多重化するまでの処理について説明する。図４は本実施の形態にかかる動画像符号化装置１００により出力された、ＰＡＬ圏で再生するためのタイミングデータが挿入された符号化後動画像データを、ＮＴＳＣ圏で再生するためのタイミングデータに変更し、さらに多重化するまでの全体処理を示すフローチャートである。

なお、動画像多重化編集装置１１００において、動画像符号化データをＰＡＬ圏で再生するために行う多重化は、従来よく知られた処理手順と同様のため説明を省略する。

まず、符号化後動画像入力部１１１１は、ＰＡＬ圏用のタイミングデータが挿入された符号化後動画像データを入力する（ステップＳ１２０１）。

次に、符号化後動画像記憶部１１１２は、符号化後動画像入力部１１１１により入力された符号化後動画像データを記憶する（ステップＳ１２０２）。

そして、符号化後動画像変更部１１１３は、符号化後動画像記憶部１１１２に記憶された符号化後動画像データが有するＰＡＬ圏用のタイミングデータを、ＮＴＳＣ圏用のタイミングデータに変更する（ステップＳ１２０３）。このタイミングデータの変更について具体的に説明する。

図５−１は、ＰＡＬ圏用符号化後画像データのビット列を示す概念図である。本図は、説明の便宜上帯状の図を用いてビット列の記憶場所を表しているが、実際の記録媒体の形状を表すものではない。なお、ＰＡＬ圏用符号化後画像データとは、ＰＡＬ圏用に再生が可能である動画像データを意味する。

図５−２は、本実施の形態にかかる動画像多重化編集装置１１００により生成されたＮＴＳＣ圏用符号化後画像データのビット列を示す概念図である。本図も同様に上述したとおり、実際の記録媒体の形状を表すものではない。本図で示された網線領域は、符号化後動画像変更部１１１３により変更されたタイミング情報等の部分を表している。

そして符号化後動画像変更部１１１３は、図５−１のＰＡＬ圏用符号化後画像データから図５−２のＮＴＳＣ圏用符号化後画像データを作成するために、ＰＡＬ圏用符号化後画像データのＰＡＬ圏用のタイミングデータをＮＴＳＣ圏用のタイミングデータに修正する。

以下にタイミングデータの修正箇所について、シーケンス毎に修正すべき箇所とピクチャ毎に修正すべき箇所に分けて説明する。

まず、符号化後動画像変更部１１１３は、シーケンス毎の修正として、符号化後画像を使用する際に利用されるデータであるVideo usabirily informationを修正する。最初にSequence Parameter SET RBSPのvui_parametersにおけるvideo_format情報の書き換えが必要である場合、ビデオフォーマットがPALであるのか、NTSCであるのかSECAMであるのか、MACであるのか判断し、適切な識別子を記述する。

なお、ＨＴＶにおいてＰＡＬ圏、ＮＴＳＣ圏についてＨＤＴＶ独自の識別子が定義されることも考えられるが、圏の違いにより識別子の記述を切り替えるのであれば、新たに定義された識別子であるか否かを問わない。

符号化後動画像変更部１１１３は、ＰＡＬ圏用符号化後画像データからＮＴＳＣ圏用符号化後画像データを生成するために、ＰＡＬ圏用符号化後画像データのvideo_format情報部を修正する。

符号化後動画像変更部１１１３は、Sequence Parameter SET RBSPのvui_parametersにおいてビットレート情報の記述を変更する。ビットレート情報の記述はvui_parameters中のhrd_parametersにあるbit_rate_value_minus1とbit_rate_scaleにより表されている。この場合、H.264バッファリングモデルのタイプに依存して設定の仕方が異なる。例えば、可変ビットレート（ＶＢＲ）の場合にはＮＴＳＣ圏、ＰＡＬ圏によらず、共通の最大ビットレートを設定するため、記述の変更は不要である。一方、コンスタントビットレート（ＣＢＲ）の場合はフレームレートの比と同一の比となるようにビットレートを設定する。

具体的な値であらわすと、フレームレートが２５fpsであるＰＡＬ圏と２４fpsであるＮＴＳＣ圏における各ビットレートは数（９）式、数（１０）式として設定される。
２５×２＾（（６＋bit_rate_scale）×Ｎ）…（９）
２４×２＾（（６＋bit_rate_scale）×Ｎ）…（１０）

ここでbit_rate_scale=0、Ｎ=7500の場合、ＰＡＬ圏のビットレートは12 Mbpsとなり、ＮＴＳＣ圏のビットレートは11.52 Mbpsとなる。これらビットレートを用いると、bit_rate_value_minus1はそれぞれ数（１１）式、数（１２）式となる。
２５×２＾Ｎ―１…（１１）
２４×２＾Ｎ―１…（１２）

また、フレームレートが２５fpsと２３．９６７fpsの場合、ビットレートは数（１３）式、数（１４）式となり、bit_rate_scale＝０,Ｎ＝１８７の場合bit_rate_value_minus1は数式１５、数式１６となる。
１００１×２＾（（６＋bit_rate_scale）×Ｎ）…（１３）
９６０×２＾（（６＋bit_rate_scale）×Ｎ）…（１４）
１０００×２＾Ｎ―１…（１５）
９６０×２＾Ｎ―１…（１６）

また図４に示す処理手順とは異なるが、動画像符号化装置１００により符号化する際に、タイミングデータの領域にゼロスタッフィングした理由の詳細を説明する。コンスタントビットレート（ＣＢＲ）の場合はフレームレート毎にbit_rate_value_minus1のコンテキストが異なるため、これを符号化した場合の符号長が異なる場合がある。例えば符号化後動画像のビットレートが１１．５２Mbpsであり、再生レートが２４fpsであるとき、符号化後動画像データのビットレート情報の記述部分のbit_rate_value_minus1には数（１６）式を符号化したビット列が記述されている。この符号化後動画像データを再生レートを２５fpsに修正する場合、数（１６）式を符号化したビット列を、数（１５）式を符号化したビット列で置き換える。

なお、数（１５）式を符号化したビット列が数（１６）式を符号化したビット列より長く、かつゼロスタッフィングしていない場合、bit_rate_value_minus1以降のコンテキストにおいて符号化動画像データのビット位置がずれることとなる。つまりＮＴＳＣ圏用符号化後動画像データはＰＡＬ圏用符号化後動画像データと比べてbit_rate_value_minus1以降のデータは、bit_rate_value_minus1の差分だけ後ろにずれる。

この場合、ビット位置のずれを考慮しながら、続く符号化情報を編集する必要があるが、最終的な符号化情報のトータルのビット量が記憶容量の制限より多くなる可能性もある。このため修正可能性のあるタイミングデータを含む符号化データの容量サイズの修正可能範囲を考慮して十分なサイズ分確保し、使用しない部分についてゼロスタッフィングすることとした。

図４のステップＳ１２０３の続きに戻り、符号化後動画像変更部１１１３は、データフレームレートを表すデータであり、Sequence Parameter SET RBSPのvui_parametersに含まれるtime_scaleとnum_units_in_tickの記述を変更する。本実施の形態おいてはtime_scaleとnum_units_in_tickの符号長は同一であるが、設定する値はフレームレートと３：２プルダウンにより変更される。

具体的にはＰＡＬ圏での２５fpsの場合、time_scaleが２５、num_units_in_tickが1とするのに対し、NTSC圏での２３．９７６fpsであり、表示時に明示的３：２プルダウンを行う場合、time_scaleが６００００、num_units_in_tickを１００１とする。ここで自動的３：２プルダウンの場合はtime_scaleを２４０００、num_units_in_tickを１００１とする。一方、NTSC圏２４fpsで明示的３：２プルダウンを行う場合にはtime_scaleを３０、num_units_in_tickを1とし、自動的３：２プルダウンを行う場合にはtime_scaleを２４、num_units_in_tickを1とする。

次に、符号化後動画像変更部１１１３は、シーケンス毎の修正のうち、復号化、描画の際に利用されるデータであるSupplemental enhancement information メッセージを修正する。

具体的には、符号化後動画像変更部１１１３は、符号化後動画像の受信を開始してから、最初のピクチャを表示するタイミング情報であるbuffering_period_SEI中のinitial_cpb_removal_delayおよびinitial_cpb_remocal_delay_offsetを修正する。これらの符号長はSequence Parameter Set RBSPのvui_parameters中のhrd_parametersにより決定されるため、ＮＴＳＣ圏用、ＰＡＬ圏用とで同一サイズとなるが、値はＮＴＳＣ圏用／ＰＡＬ圏用とで受信バッファのバッファ占有量が同一になるようにビットレートに応じた異なる値を設定する。つまり、このときのバッファ占有量をbuffer_occupancy、バッファのサイズをbuffer_sizeとした場合ＰＡＬ圏用のinitial_cpb_removal_delay、initial_cpb_removal_delay_offsetが数（１７）式、数（１８）式であるのに対して、ＮＴＳＣ圏用の値は数（１９）式、数（２０）式となる。
initial_cpb_removal_delay＝buffer_occupancy/bit_rate_for_pal…(１７)
initial_cpb_removal_delay_offset＝buffer_size/bit_rate_for_pal―initial_cpb_removal_delay…(１８)
initial_cpb_removal_delay＝buffer_occupancy/bit_rate_for_ntsc…(１９)
initial_cpb_removal_delay_offset＝buffer_size/bit_rate_for_ntsc―initial_cpb_removal_delay…(２０)

さらに符号化後動画像変更部１１１３は、符号化後動画像データをピクチャ毎の修正を行う。

まず、符号化後動画像変更部１１１３は、復号時、描画時に必要なピクチャ間の処理の遅延時間を記述してある部分を修正する。つまり、pic_timing_SEIのcpb_removal_delay（ＤＴＳに対応）およびdpb_output_delay（ＰＴＳに対応）について、明示的に３：２プルダウンを行わない場合はＮＴＳＣ圏用／ＰＡＬ圏用とで同じ値を設定するが、明示的３：２プルダウンを行う場合はＮＴＳＣ圏用／ＰＡＬ圏用とで個別の値を設定する。

具体的にはＰＡＬ圏用は全てのピクチャにおいてcpb_removal_delay、 dpb_output_delayは1とするが、明示的に３：２プルダウン（3field,2field,3field,2fieldの場合）を行うＮＴＳＣ圏用では、以下のようにピクチャ毎にcpb_removal_delayの値を修正する。

つまりcpb_removal_delayがピクチャ０の場合に０、ピクチャ１の場合に３、ピクチャ２の場合に２、ピクチャ３の場合に３、ピクチャ４の場合に２、以下同様となる。

次に符号化後動画像変更部１１１３は、ピクチャ毎の修正箇所として、pic_timing_SEIのpic_structを修正する。pic_structはピクチャの表示の仕方を示すものであり、明示的３：２プルダウン表示をしない場合にはframe表示を指定する。明示的プルダウン表示を行う場合、 (Top field,Bottom field,Top fieldの順で３field表示)、(Bottom field,Top field,Bottom fieldの順で3field表示)、(Top field,Bottom fieldの順で2field表示),（Bottom field,Top fieldの順で2filed表示）のどの表示形式で行うかをピクチャ毎に指定する。

また、符号化後動画像変更部１１１３は、pic_timing_SEIの各タイムスタンプ情報を必要に応じて適切に変更する。なお、本処理手順とは異なるが、上述したシーケンス毎の修正と同様にpic_timing_SEIの符号長がＮＴＳＣ圏用/ＰＡＬ圏用とで異なる場合は、動画像符号化装置１００の動画像符号化部１０１においてbyte_stream_nal_units()単位で長いほうに合わせてサイズを決め、動画像生成装置による符号化時に使用しない部分にゼロスタッフィングしておくこととする。

以上により符号化後動画像変更部１１１３によるタイミングデータの変更は終了し、次の処理が行われることとなる。

そしてオーバーレイ画像変更部１１０１は、入力されたＰＡＬ圏で表示するためのオーバーレイ画像についてＮＴＳＣ圏で再生可能とするためにタイミングデータを変更する（ステップＳ１２０４）。

さらにオーディオ選択部は、入力されたオーディオデータからＮＴＳＣ圏で再生するために適したオーディオデータを選択する（ステップＳ１２０５）。

以上の処理によりタイミング情報のみの修正を行うだけで、ビデオ信号の再符号化を行うことなく、複数のフレームレートで再生可能な符号化動画像データをそれぞれのフレームレートで再生される符号化後動画像データに変更することが可能となる。これにより、複数のフレームレートで使用可能な一つの動画像符号化データから、簡単かつ高速にフレームレート毎に再生可能な動画像符号化データを生成することが可能になる。

上述した処理手順により、動画像多重化編集装置１１００は、動画像符号化装置１００により得られた符号化後動画像からタイミングデータ（video_format情報とbit_rate_value_minus1情報）を修正する。本実施の形態ではタイミングデータにゼロスタッフィングしているため、サイズの違いによるSequence Parameter SET RBSP以降のビット位置に変更がなく、また符号化動画像データのサイズも修正前後で変更がないため容易な修正が可能となった。

さらにタイミングデータが変更された動画像符号化データについて多重化することが可能となった。

さらに、動画像符号化装置１００でゼロスタッフィングせずに、動画像多重化編集装置１１００が符号量のずれを考慮しながら変更を行う場合、変更前の符号化後動画像データと変更後の符号化後動画像データの符号量サイズが異なるため、例えば符号量のずれのためＨＤＤＶＤ等の媒体に記録できなくなるなどの不具合も考えられる。しかし、動画像符号化装置１００がゼロスタッフィングすることで、符号量サイズのずれを考慮する必要が無くなる。

なお、動画像符号化装置１００でＰＡＬ圏用に再生レートをあわせて符号化し、動画像多重化編集装置１１００でＮＴＳＣ圏用に修正したが、最初にＰＡＬ圏用に再生レートをあわせて符号化し、後にＮＴＳＣ圏用に修正してもよい。この場合も、動画像符号化装置１００は、上述したとおりタイミングデータの領域のサイズを決定してから符号化する。そして動画像多重化編集装置１１００により、タイミングデータ（video_format情報とbit_rate_value_minus1情報）を修正する際にタイミングデータの領域のサイズに満たない部分はゼロスタッフィングすることとする。

また、本実施の形態では、ＮＴＳＣ圏用とＰＡＬ圏用間の変更のみに制限するものではなく、他のビットレートによる変更であっても良い。

本実施の形態の動画像多重化編集装置１１００により、一つの符号化後動画像データから、複数のフレームレート毎のコンテンツが作成可能なため、符号化のコストを減らし、なおかつ、コンテンツを保存するために必要な記憶容量を削減することが可能となる。

なお、本実施の形態に動画像符号化装置１００で生成したＰＡＬ圏用符号化後画像データから動画像多重化編集装置１１００によりＮＴＳＣ圏用符号化語画像データに変更することに制限するものではない。例えば動画像符号化装置１００で生成したＮＴＳＣ圏用符号化語画像データからＰＡＬ圏用符号化後画像データを生成するため、符号化後動画像変更部１１１３がＮＴＳＣ圏用符号化語画像データのタイミングデータを変更するなど、再生可能なフレームレート間でタイミングデータを変更するものであればよいこととする。

なお本実施の形態は、再生可能にする複数のフレームレートを、ＰＡＬ圏用フレームレート及びＮＴＳＣ圏用フレームレートのみに制限するものではない。例えば、ＳＥＣＡＭあるはＭＡＣなど他のフレームレート毎に、仮想受信バッファ、占有量加算部、占有量減算部、符号量条件導出部を備えて、これら他のフレームレートの符号量の条件を満たすように符号量条件設定部１０８で符号化するための条件を設定することも可能である。

本実施の形態では、フレームレートをＰＡＬ圏用のフレームレート及びＮＴＳＣ圏用のフレームレートの２つの場合の構成及び処理手順について説明したが、フレームレートが２つに制限するものではなく、より多い場合においても適用可能である。

また、ＮＴＳＣ圏用における３：２プルダウン以外のフレームレートの変動がある場合でも適用可能である。この場合、ピクチャの引き去り時刻の間隔がピクチャ番号に依存して変動するが、上述したＮＴＳＣ圏用の処理手順と同様の処理手順を行えばよい。

また再生可能とする複数のフレームレートの全てにおいて各受信バッファがアンダーフローやオーバーフローしないような発生ビットの符号量の条件を設定して符号化を行い、ピクチャｋの発生ビット量を制御するため、符号化された符号化動画像は複数のフレームレートで使用が可能となるため、複数のフレームレート毎に符号化を行うよりも、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することが可能となる。

また、本実施の形態では符号化を行う動画像符号化装置１００と、タイミングデータの変更及び多重化を行う動画像多重化編集装置を異なる装置としたが、これらの構成を一つにまとめた装置で処理を行うことで、入力された符号化前動画像データから、複数のフレームレート毎に多重化された複数の符号化後動画像データを出力することにしても良い。

（第２の実施の形態）
第２の実施の形態は、データに変換する際にＶＢＲによりレート制御を行う場合に適した動画像符号化装置３００を説明する。そして符号化された符号化後動画像データを複数のフレームレートで使用するため、複数のフレームレートから最も高いフレームレートを選択し、選択されたフレームレートの仮想受信バッファでアンダーフローを発生させないように発生ビットの符号量を制御するものである。また、本実施の形態において、複数のフレームレートのピークレートは同一とする。これにより最も高いフレームレートのバッファ占有量が他のフレームレートのバッファ占有量を上回ることがなくなり、最も高いフレームレートのみ考慮すれば良いこととなる。

また、動画像符号化装置３００により符号化された符号化後動画像データを多重化する動画像多重化編集装置は、第１の実施の形態で説明した動画像多重化編集装置１１００と同じ構成要件を備えたものであるため、説明を省略する。

図６は、第２の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。動画像符号化装置３００は、動画像符号化部１０１、フレームレート選択部３０１、符号量条件設定部３０２、仮想受信バッファ管理部３１０から構成される。そして仮想受信バッファ管理部３１０は占有量減算部３１１、仮想受信バッファ３１２、符号量条件導出部３１３、占有量加算部３１４から構成される。これらの構成を備えることにより、動画像符号化装置８００は、入力された符号前動画像データから複数のフレームレートで再生してもアンダーフローを発生しないような条件を満たした符号化後動画像データを出力することが可能となる。なお、ＶＢＲによりレート制御を行うときはオーバーフローを考慮しなくて良い。また、動画像符号化部１０１により行われる処理は第１の実施の形態と同じであるため説明を省略する。

本実施の形態では、動画像符号化装置３００から出力された符号化後動画像データが再生可能な複数のフレームレートを、ＰＡＬ圏で再生するためのフレームレートおよびＮＴＳＣ圏用で再生するためのフレームレートとする。さらに、ＰＡＬ圏で再生するためのフレームレートおよびＮＴＳＣ圏用で再生するためのフレームレートでのピークレートは同じものとする。なお、再生する対象となるフレームレートを上述の二つに制限するものではない。

また、動画像符号化装置３００から出力された符号化後動画データは、第１の実施の形態と同じく、ＰＡＬ圏内で再生するためのタイミングデータが設定されているものとする。なお、出力される符号化後動画データをＰＡＬ圏内で再生するためのタイミングデータが設定されるものに制限するものではなく、再生可能はフレームレート中から選択されたフレームレートであれば良いものとする。

なお、ＮＴＳＣ圏内で再生するためのタイミングデータの変更は、第１の実施の形態と同様に、動画像多重化編集装置１１００で行う。タイミングデータの変更の処理手順も第１の実施の形態と同じ処理手順なので省略する。

フレームレート選択部３０１は、複数あるフレームレートから最も高いフレームレートを選択する。本実施の形態においては、ＰＡＬ圏で再生するためのフレームレート及びＮＴＳＣ圏用で再生するための変動平均化フレームレートから、最も高いフレームレートであるＰＡＬ圏で再生するためのフレームレートを選択する。なお、最も高いフレームレートをＰＡＬ圏で再生するためのフレームレートに制限するものではない。

仮想受信バッファ管理部３１０は、フレームレート選択部３０１で選択された最も高いフレームレートを用いた場合による、符号量条件の導出までの処理を行う。以下に仮想受信バッファ管理部３１０を構成する仮想受信バッファ３１２、占有量加算部３１４、占有量減算部３１１、符号量条件導出部３１３について説明する。

仮想受信バッファ３１２は、フレームレート選択部３０１で選択された最も高いフレームレートによる再生時に用いられる受信バッファを仮想的に実現し、受信バッファが記憶可能な容量、及び動画像符号化部１０１から出力された符号化後動画像データが再生された場合の受信バッファ内のバッファ占有量を記憶する。

占有量加算部３１４は、フレームレート選択部３０１で選択された最も高いフレームレートの、ビットレートに応じたピクチャｋ―１の引き去り時刻からピクチャｋの引き去り時刻までに増加するバッファ占有量を仮想受信バッファ３１２に加算する。

占有量減算部３１１は、フレームレート選択部３０１で選択された最も高いフレームレートでのピクチャｋの引き去り時刻に、仮想受信バッファ３１２が記憶するバッファ占有量から、動画像符号化部１０１により符号化前動画像データを符号化して得られるピクチャｋの発生ビットを減算する。なお、ｋは０から始まる整数とし、入力された符号化前動画像データが保持するピクチャの数だけあるものとする。

また本実施の形態は、再生する対象となる複数のフレームレートのなかに、例えばＮＴＳＣ圏で再生するフレームレートのように変動のあるフレームレートがある場合、変動のあるフレームレートについては、変動を平均化した変動平均化フレームレートとして扱う。この変動平均化フレームでは、引き去り時刻も平均化した平均の引き去り時刻を用い、平均の引き去り時刻にピクチャｋの発生ビットを減算することとする。

符号量条件導出部３１３は、占有量減算部３１１による仮想受信バッファ３１２に対するバッファ占有量の減算によりアンダーフローが発生しないように、動画像符号化部１０１から出力されるピクチャｋの発生ビットの条件を導出する。

符号量条件設定部３０２は、符号量条件導出部３１３により導出される符号化後動画像データの転送量の条件を満たすように動画像符号化部１０１により符号化されるピクチャｋの発生ビットの条件を導き、当該条件に合うように発生ビットの量を制御するために、量子化値情報、符号量に影響を与える符号化モード選択情報などの符号化条件を設定する。このように条件を設定することで、ＰＡＬ圏及びＮＴＳＣ圏においてアンダーフローが発生することがない条件を設定することが可能となる。

次に、以上により構成された本実施の形態に係る動画像符号化装置３００において入力された符号化前動画像データからＰＡＬ圏及びＮＴＳＣ圏で再生してもアンダーフローを生じない符号化後動画像データを出力するまでの処理について説明する。図７は本実施の形態にかかる動画像符号化装置３００における入力された符号化前動画像データから符号化後動画像データを出力するまでの全体処理を示すフローチャートである。なお、上述したとおりＰＡＬ圏及びＮＴＳＣ圏における各々のフレームレートに対応したピークレートは同じものとし、このピークレートをpeak_bit_rateとする。

まず仮想受信バッファ３１２について初期化を行う（ステップＳ４１１）。具体的には以下の数１式で示すように仮想受信バッファ３１２による符号化後動画像データのバッファ占有量（以下この変数をfirst_cpb_occupancy(k) とする））について初期バッファ占有量（以下この定数値をinitial_cpb_occupancyとする）を入力する。この入力を数２１式に示す。
first_cpb_occupancy(-1)=initial_cpb_occupancy…（２１）

フレームレート選択部は、最も高いフレームレートを選択する（ステップＳ４１２）。本実施の形態では、ＮＴＳＣ圏で再生するフレームレートもしくはＰＡＬ圏で再生するフレームレートから、最も高いフレームレートであるＰＡＬ圏で再生するフレームレートを選択する。

そしてピクチャｋにおいてｋ＝０から符号前動画像データが保持する全てのピクチャについて符号化を終了するまでステップＳ４１４からステップＳ４１６までの処理をループする（ステップＳ４１３）。

占有量加算部３１４は、最も高いフレームレートの、ビットレートに応じたピクチャｋ―１の引き去り時刻からピクチャｋの引き去り時刻までに増加するバッファ占有量を仮想受信バッファ３１２に加算した値を用いてクリップする（ステップＳ４１４）。具体的には数２２式により行われる。
first_cpb_occupancy(k) = clip(0, 受信バッファのサイズ, first_cpb_occupancy(k-1) + peak_bit_rate×[(フレームレートでのピクチャｋの引き去り時刻)−(フレームレートでのピクチャｋ−1の引き去り時刻)])…（２２）
なお、クリップ（Ｃｌｉｐ）とは、Ｃｌｉｐ（ｍｉｎ，ｍａｘ，ｖａｌｕｅ）において、ｖａｌｕｅ＜ｍｉｎならｍｉｎとなり、ｖａｌｕｅ＞ｍａｘならｍａｘとなり、ｍｉｎ≦ｖａｌｕｅ≦ｍａｘの場合のみｖａｌｕｅとなる式をいう。

ただし、ピクチャ０(ｋ＝０の場合のピクチャをいう)においては、最も高いフレームレートでのピクチャｋ−1の引き去り時刻と最も高いフレームレートでのピクチャｋの引き去り時刻は等しいものとして数２２式により算出する。

そして符号量条件導出部３１３は、最も高いフレームレートにおいて仮想受信バッファ３１２においてピクチャｋの引き去り直後にアンダーフローしないようにピクチャｋの発生ビット量の上限（selected_max_bits）を導出し、符号量条件設定部３０２に出力する（ステップＳ４１５）。なお、ピクチャｋの発生ビット量がselected_max_bitsとなった場合でもピクチャｋの引き去り直後に仮想受信バッファ３１２のバッファ占有量が少なくとも1bitとなるようにselected_max_bitsを決定する。つまり（first_cpb_occupancy-1）≧selected_max_bitsとなる必要がある。また本実施の形態ではレート制御がＶＢＲのため、発生符号量が小さい場合でもオーバーフローしないため、ピクチャｋの発生ビット量の下限を導出する必要はない。

また、ＮＴＳＣ圏で再生するフレームレートのような変動するフレームレートの場合、平均の引き去り時刻に基づいて処理をおこなうため、実際の引き去り時刻とのずれにより、仮想受信バッファ３１２におけるバッファ占有量と実際に再生している場合のバッファ占有量との間にずれが生じる。しかし本実施の形態では考慮する必要はない。このバッファ占有量のずれを考慮する必要がない理由は後述する。

また、ピクチャｋの引き去り直後に仮想受信バッファ３１２のバッファ占有量が少なくとも1bitとなるようにした理由について説明する。ピクチャｋ−１とピクチャｋの間の引き去り時刻間隔では、バッファ占有量の増加分はその時刻間隔にpeak_bit_rateを掛けた値であるため小数ともなる。しかし、実際のバッファ占有量は整数であるため、計算上の値とは大きくとも１ビット未満のずれが生ずる。このため、ピクチャｋの引き去り直後に仮想受信バッファ３１２のバッファ占有量が少なくとも１ビットとなるようにマージンを考慮してselected_max_bitsを決定することとした。これにより、他のフレームレートで再生を行う場合にもアンダーフローは発生しない。

占有量減算部３１１は、後述するステップＳ４０３において動画像符号化部１０１により入力されるピクチャｋの発生ビット量を、仮想受信バッファ３１２のバッファ占有量から減算する（ステップＳ４１６）。具体的には数２３式により行われる。
selected_cpb_occupancy(k) = selected_cpb_occupancy(k)-ピクチャｋの発生ビット…（２３）

ステップＳ４１６による発生ビットによる減算まで終了したあと、再びステップＳ４１４から処理を行うこととする（ステップＳ４１７）。そして符号前動画像データが保持する全てのピクチャについて符号化が終了した場合に処理を終了する。

そして、符号量条件設定部３０２及び動画像符号化部１０１で行われる処理もピクチャｋについて、ｋが０から符号前動画像データが保持する全てのピクチャについて符号化が終了するまでループする（ステップＳ４０１）。

次に符号量条件設定部３０２は、ステップＳ４１５により入力されたselected_max_bitsによるピクチャｋの発生ビットの上限の条件を満たすように符号化条件の設定を行う（ステップＳ４０２）。

さらに符号量条件設定部３０２は、数２４式が成立するような量子化値情報などの符号化条件を動画像符号化部１０１に出力する。
ピクチャｋの発生ビット量≦selected_max_bits…（２４）

そして動画像符号化部１０１は、入力された符号化条件を満たすようにピクチャｋについて符号化を行う（ステップＳ４０３）。また、ピクチャｋの発生ビット量を占有量減算部３１１に出力する。

ステップＳ４０４によるピクチャｋの符号化まで終了したあと、ループの開始であるステップＳ４０１から処理を行う（ステップＳ４０４）。そして符号前動画像データが保持する全てのピクチャについて符号化が終了した場合に処理を終了する。

図８は上述した処理手順により出力された符号化後動画像データの再生時の複数のフレームレートによる受信バッファのバッファ占有量の推移を示した図である。鎖線が最も高いフレームレートの推移を示した線で、網線がそれ以外のフレームレートの推移を示した線である。なお、受信バッファが記憶可能な領域のサイズはｂ_maxとする。

本実施の形態では、複数のフレームレートに対応するピークレートが同一である。そして本図により最も高いフレームレートの受信バッファのバッファ占有量は他のフレームレートの受信バッファのバッファ占有量を各ピクチャｋの引き去り直前、直後にかかわらず常に同一であるか下回ることがわかり、決して上回ることはない。

そして最も高いフレームレートの受信バッファが図４で示した処理手順によりアンダーフローを生じないように制御しているため、他のフレームレートで再生を行う場合でも計算上、アンダーフローが発生することはない。

したがって、動画像符号化装置３００は、上述した処理手順により複数のフレームレートで再生可能な符号化後動画像データの出力が可能となる。さらに一つのフレームレートのみ考慮して複数のフレームレートで再生可能な符号化が可能であるため、処理の負荷が軽減されることとなる。

また、’ピクチャｋの引き去り時刻―ピクチャ(ｋ―１) の引き去り時刻’は、ＰＡＬ圏で再生するフレームレートでは常に同一期間となるが、ＮＴＳＣ圏で再生するフレームレートでは３：２プルダウンが行われるため同一期間とはならない。

この期間のずれのため、平均の引き去り時刻を用いた場合、仮想受信バッファのバッファ占有量と、実際に符号化後動画像データを再生した場合の受信バッファのバッファ占有量に、ずれが生じる。このバッファ占有量のずれは、最も高いフレームレートであるか否かにかかわらず発生する。

例えば符号化前動画像データである24000/1001 fps(frame/sec)を３：２プルダウンして、ＮＴＳＣ圏で再生可能な30000/1001 fpsつまり60000/1001 (field/sec)を実現するものとする。このときのビットレートはntsc_bit_rateとする。また３：２プルダウンのない場合となる変動平均化フレームレートは24000/1001 fpsとなる。

３：２プルダウンする場合、再生時の受信バッファからピクチャが引き去られる時刻間隔はピクチャ番号に依存して変動する。本実施の形態においては、ＮＴＳＣ圏では時刻間隔が3field,2field,3field,2fieldを規則的に繰り返すこととする。つまり変動平均化フレームレートの引き去り時刻が2.5field毎となるため、ずれは奇数のピクチャに限り、0.5fieldのみ正の値にずれるものとなる。また本実施の形態では、他の変動するフレームレートを用いる場合であっても、引き去り時刻は正の値にのみ、ずれるものに制限する。

より具体的に説明すると、変動ありフレームレートと変動平均化フレームレートで０枚目のピクチャを示すピクチャ０が引き去られる時刻を０とした場合、変動平均化フレームレートでピクチャ１が引き去られる時刻は1001/24000 (sec)となる。そして変動ありフレームレートでピクチャ１が引き去られる時刻は(1001/60000)×3 (sec)となる。この時刻のずれを数２５式に示す。
(1001/60000)×3−1001/24000 = 1001/120000…（２５）
このように変動平均化フレームレートと実際の変動ありフレームレートではピクチャ１の引き去り時刻に1000/120000秒のずれが生じることとなる。

図９は、変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻の差異を示した図である。本図では、網線が変動ありフレームレートにおける受信バッファからの各ピクチャの引き去り時刻であり、鎖線が変動平均化フレームレートにおける受信バッファから各ピクチャの引き去り時刻である。本図を参照すると、１ピクチャ毎に引き去り時刻が数２５式により求められた1000/120000秒ずれる場合と一致する場合が周期的に繰り返されることがわかる。

このＮＴＳＣ圏のための３：２プルダウンの場合は、２ピクチャが周期となるため、ずれの最大値は1000/120000秒となる。なお、変動ありフレームレートと変動平均化フレームレートが一致するまでの周期は、変動ありフレームレートにより異なり、この一致するまでの周期の中でバッファ占有量のずれの最大値を算出する必要がある。

図１０は、変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。本図では、網線が変動ありフレームレートにおけるバッファ占有量の推移であり、鎖線が変動平均化フレームレートにおけるバッファ占有量の推移である。本図により、変動ありフレームレートの受信バッファは、変動平均化フレームレートとの間のピクチャの引き去り時刻のずれとともにバッファ占有量の推移にずれが生じる。

このバッファ占有量の推移のずれは数２６式により算出される。
ntsc_bit_rate×[(変動ありフレームレートにおけるピクチャ2k'の引き去り時刻)−(変動平均化フレームレートにおけるピクチャ(2k'-1)の引き去り時刻)]…（２６）
なお、数２６式が示した、ずれとしては正の値の場合と負の値の場合が考えられる。つまり、3:2プルダウンにおいて、3field,2field,3fieild,2fieldという繰り返しでは図７で示したようにずれは正の値となるが、2field,3field,2fieild,3fieldではずれは負の値となる。なお、本実施の形態ではずれは正の値のみ扱うものとする。

そして本実施の形態で用いられる動画像符号化装置３００でのレート制御は可変レートであるため、オーバーフローを考慮する必要はない。このため、平均の除去する時刻のずれが正の値となる場合、図７で示したように変動ありフレームレートによる推移は変動平均化フレームレートによる推移と比べて一致するか上回るかのどちらかであり、下回ることはない。つまり、本実施の形態のようにずれの値が正の値に限る場合、変動ありフレームレートと変動平均化フレームレートのバッファ占有量の違いによるアンダーフローは生じないため、ずれを考慮する必要はない。つまり本実施の形態の動画像符号化装置３００では特別な処理を必要としない。

なお、本実施の形態は、複数のフレームレートをＰＡＬ圏またはＮＴＳＣ圏に制限するものではない。また、本実施の形態は、動画像符号化装置３００に用いられる複数のフレームレートをピークレートが同一であるものに制限するものではなく、例えば最も高いフレームレートのピークレートより、最も高いフレームレート以外の他のフレームレートのピークレートが低い場合などが考えられる。また、最も高いフレームレートのピークレートより他のピークレートの方が高い場合は、それによるずれを考慮して符号化するための条件を設定すればよい。

本実施の形態における動画像符号化装置３００は、再生可能とする複数のフレームレートから最も高いフレームレートにおいて受信バッファがアンダーフローしないようにピクチャｋの発生ビット量を制御するため、符号化された符号化動画像は複数のフレームレートで使用が可能となる。これにより複数のフレームレート毎に符号化を行うよりも、符号化にかかる時間を短縮し、符号化に必要なディスクスペースを低減することが可能となる。

（第３の実施の形態）
図１１は、第３の実施の形態にかかる、動画像符号化装置の構成を示すブロック図である。本実施の形態にかかる動画像符号化装置８００は、データに変換する際にＶＢＲによりレート制御を行う場合に適している。なお、動画像符号化装置８００は、第２の実施の形態の動画像符号化装置３００に、ずれ算出部８０１を加えたものである。このような構成を備えることにより、動画像符号化装置８００は、再生可能な複数のフレームレートの中の、変動のあるフレームレートで生じる平均の除去する時刻のずれが負の値でも、アンダーフローを発生しないような条件を満たした符号化後動画像データを出力することが可能となる。なお、ＶＢＲによりレート制御を行うときはオーバーフローを考慮しなくて良い。以下の説明では、上述した第２の実施の形態と同一の構成要素には同一の符号を付してその説明を省略している。

また、動画像符号化装置８００により符号化された符号化後動画像データを多重化する動画像多重化編集装置は、第１の実施の形態で説明した動画像多重化編集装置１１００と同じ構成要件を備えたものであるため、説明を省略する。

ずれ算出部８０１は、実際の引き去り時刻と平均引き去り時刻の違いにより生じる、実際の受信バッファのバッファ占有量と平均引き去り時刻による受信バッファのバッファ占有量のずれの最大値を算出し、符号量条件導出部８１１にずれの最大値を出力する。

ずれ算出部８０１は、符号化後動画像データが再生可能なフレームレートの中に変動があるフレームレートが複数ある場合は、変動があるフレームレートの中で最も大きいバッファ占有量のずれを算出する。

本実施の形態においては、複数のフレームレートをＰＡＬ圏で再生するフレームレートとＮＴＳＣ圏で再生するフレームレートとするが、本実施の形態に適用可能なフレームレートを、この２つのフレームレートに制限するものではない。また、本実施の形態では、ずれの最大値の算出をＮＴＳＣ圏での３：２プルダウンを用いて説明するが、ずれの最大値の算出を３：２プルダウンに制限するものではない。なお、このずれの算出方法は後述する。

また、３：２プルダウンする場合、受信バッファからピクチャが引き去られる時刻間隔はピクチャ番号に依存して変動する。本実施の形態においては、ＮＴＳＣ圏では時刻間隔が2filed,3field,2field,3fieldを規則的に繰り返す。なお、動画像符号化装置８００では、変動するフレームレートによる平均の引き去り時刻と実際の引き去り時刻のずれは、正の値もしくは負の値のどちらでもよい。

符号量条件導出部８１１は、ずれ算出部８０１により算出されたずれの最大値を予め考慮に入れて、動画像符号化部１０１から出力されるピクチャｋの発生ビットの条件を導出する。具体的には、仮想受信バッファ３１２が保持する受信バッファが記憶可能な領域において、バッファ占有量が、ずれ算出部から入力されたずれの最大値の値を下回らないように、ピクチャｋの発生ビット量の上限（selected_max_bits）を導出する。

図１２は、変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻のずれが負の値である場合の引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。

変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでのずれがｔ_{diff_2}であり、時間の経過に伴うバッファ占有量の増加比率は一定であるため、時刻のずれｔ_{diff_2}が定められた値であれば、バッファ占有量のずれであるｂ_{diff_2}も定められた数となる。そして受信バッファの下限値０から一定のマージンｂ_min'をとり、ｂ_min'≧ｂ_{diff_2}が成立すれば、アンダーフローは生じないこととなる。

つまり符号量条件導出部８１１は、アンダーフローが生じないような条件を導出するためには、ずれ算出部８０１から入力されたずれの最大値を、受信バッファの実際の下限値（本実施の形態では’０’）に加えた値を下限値として設定する。そして符号量条件導出部８１１は、この設定された下限値を下回らないような符号化条件を導出すれば、最大のずれが生じている場合であって、かつピクチャｋの引き取り時刻であってもアンダーフローが生じないこととなる。具体的には、符号量条件導出部３１３は、仮想受信バッファ３１２においてピクチャｋの引き去り直後にバッファ占有量が、少なくともｍａｘ（ずれの最大値、１ｂｉｔ）となるようにfirst_max_bitを決定する。

このような構成を備えることで動画像符号化装置８００は、再生する対象となる複数のフレームレートにおいて、変動するフレームレートがあり、且つ、この変動によるずれが正の値あるいは負の値にかかわらず、アンダーフローを発生させないような符号化が可能となる。

次に、以上により構成された本実施の形態に係る動画像符号化装置８００により符号化された符号化後動画像データについて、ずれ算出部８０１が再生可能な全フレームレートでのずれの最大値を算出するまでの処理について説明する。図１３は本実施の形態にかかる動画像符号化装置８００のずれ算出部８０１が再生可能な全フレームレートでのずれの最大値を算出するまでの処理を示すフローチャートである。

まず、ずれ算出部８０１は、全フレームレートのずれの最大値（ｂ_{dif_max}）を０に初期化する（ステップＳ５０１）。

そして、ずれ算出部８０１は、再生可能とする全フレームレートについてステップＳ５０３からステップＳ５１１までの処理手順を行うためにループを開始する（ステップＳ５０２）。本実施の形態ではＮＴＳＣ圏で再生するためのフレームレート及びＰＡＬ圏で再生するためのフレームレートについてステップＳ５０３からステップＳ５１１までの処理手順が行われる。

まず、ずれ算出部８０１は、フレームレートｌが変動のあるフレームレートであるか否か判定する（ステップＳ５０３）。変動のあるフレームレートと判定した場合（ステップＳ５０３：Ｙｅｓ）、フレームレートｌのずれの最大値（ｂ_{dif_(l)_max}）を０で初期化する（ステップＳ５０４）。本実施の形態では、ＮＴＳＣ圏で再生するためのフレームレートの場合に変動のあるフレームレートと判定される。

次にずれ算出部８０１は、フレームレートｌのピクチャ毎にループして（ステップＳ５０５）、引き去り時刻の変動に基づく受信バッファのバッファ占有量のずれを調べる。このステップＳ５０６からステップＳ５０８までの処理は、変動ありフレームレートｌとこの変動平均化フレームレートの除去する時刻がずれ始めてから一致するまでの１周期分の各ピクチャについて繰り返せばよい。なお、ずれが生じないことが明らかなピクチャについてはステップＳ５０６からステップＳ５０８までの処理を省略してもよい。

そしてずれ算出部８０１は、変動ありフレームレートにおけるピクチャｋの引き去り時刻における、この変動ありフレームレートの受信バッファのバッファ占有量と、フレームレートｋの変動を平均化した変動平均化フレームレートの受信バッファのバッファ占有量のずれの値（ｂ_{dif_(l)_(k)}）を算出する（ステップＳ５０６）。具体的にはＮＴＳＣ圏で再生するためのフレームレートにおいては上述した数１２式により算出された値がずれの値となる。

ずれ算出部８０１は、ステップＳ５０６により算出されたずれの値（ｂ_{dif_(l)_(k)}）が、ずれの最大値（ｂ_{dif_(l)_max}）をより大きいか否か判定する（ステップＳ５０７）。

そして、ずれ算出部８０１は、ずれの値（ｂ_{dif_(l)_(k)}）がずれの最大値（ｂ_{dif_(l)_max}）より大きいと判定した場合（ステップＳ５０７：Ｙｅｓ）、ずれ算出部８０１は、ずれの最大値（ｂ_{dif_(l)_max}）をずれの値（ｂ_{dif_(l)_(k)}）で更新する（ステップＳ５０８）。ずれの値（ｂ_{dif_(l)_(k)}）がずれの最大値（ｂ_{dif_(l)_max}）より小さいと判定した場合（ステップＳ５０７：Ｎｏ）、特に処理は行わないものとする。

これでピクチャｋについての処理は終了する（ステップＳ５０９）。そして一周期分の各ピクチャについてステップＳ５０６からステップＳ５０８までの処理が終了していない場合、次のピクチャｋ＋１についての処理を開始する（ステップＳ５０５）。

次に、ずれ算出部８０１は、フレームレートｋの処理により求められたずれの最大値（ｂ_{dif_(l)_max}）が、全フレームレートでのずれの最大値（ｂ_{dif_max}）より大きいか否か判定する（ステップＳ５１０）。ずれの最大値（ｂ_{dif_(l)_max}）が、全フレームレートでのずれの最大値（ｂ_{dif_max}）より大きいと判定した場合（ステップＳ５１０：Ｙｅｓ）、全フレームレートでのずれの最大値（ｂ_{dif_max}）をずれの最大値（ｂ_{dif_(l)_max}）で更新する（ステップＳ５１１）。ずれの最大値（ｂ_{dif_(l)_max}）が、全フレームレートでのずれの最大値（ｂ_{dif_max}）より小さいと判定した場合（ステップＳ５１０：Ｎｏ）、特に処理は行わない。

ずれ算出部８０１は、フレームレートｌに変動がないと判定した場合（Ｓ５０３：Ｎｏ）、ずれの最大値（ｂ_{dif_(l)_max}）が、全フレームレートでのずれの最大値（ｂ_{dif_max}）より小さいと判定した場合（ステップＳ５１０：Ｎｏ）あるいはＳ５１１まで処理手順が終了した場合は、フレームレートｌについての処理は終了し（ステップＳ５１２）、再びフレームレートｌ＋１についての処理を開始する（ステップＳ５０２）。なお、全てのフレームレートの処理が終了した場合にはループせずに終了する。

上述した処理手順により、全てのフレームレートでのずれの最大値を取得することが可能となる。そして符号量条件導出部８１１は、ずれ算出部８０１により入力されたずれの最大値を考慮して、符号量の条件を導出する。

そして、ずれ算出部８０１が算出したずれの最大値を考慮して符号量条件導出部８１１符号量条件を導出し、この符号量条件を満たすように発生ビットの量を制御するために、量子化値情報、符号量に影響を与える符号化モード選択情報などの符号化条件を符号量条件設定部３０２が設定し、この設定された符号化条件に基づいて動画像符号化部１０１が入力された符号化前動画像データを符号化するため、変動ありフレームレートによるずれが正の値あるいは負の値に関わらずアンダーフローを生じない符号化後動画像データの出力が可能となった。

（第４の実施の形態）
図１４は、第４の実施の形態にかかる動画像符号化装置１４００の構成を示すブロック図である。動画像符号化装置１４００は、データに変換する際にＣＢＲ（Constant Bit Rate）によりレート制御を行う場合に適している。動画像符号化装置１４００は、第１の実施の形態の動画像符号化装置１００とは動画像符号化部１４０１による処理が異なるものである。このような構成を備えることで複数のフレームレートで再生可能なタイミングデータを備えた符号化後動画像データの出力が可能となる。

なお、本実施の形態の動画像符号化部１４０１による符号化の処理は本実施の形態による構成に限り可能とするものではなく、例えば第２の実施の形態あるいは第３の実施の形態における動画像符号化部１０１を動画像符号化部１４０１に変更することで、同様の処理を行うことが可能である。

なお、本実施の形態においては、複数のフレームレートにおけるタイミングデータが符号化後動画像データに含まれるため、動画像多重化編集装置１１００によるタイミングデータの変更は不要となる。そして多重化する際に、複数のフレームレートのタイミングデータを有したオーバーレイ画像及び複数のフレームレート分のオーディオデータとともに多重化を行う。本実施の形態において、この多重化方法は従来よく知られた方法を用いることとするが、従来よく知られた方法に制限するものではない。

動画像符号化部１４０１は、符号量条件設定部１０８により設定された符号化するための条件に従って入力された符号化前動画像データを符号化し、複数のフレームレートによるタイミングデータを付加した後、符号化後動画像データを出力する。また本実施の形態において、動画像データを符号化する方法はＨ．２６４を用いて行う。また、符号化方法をＨ．２６４に制限するものではなく、例えば、ＭＰＥＧ２などが考えられる。

図１５−１は、動画像符号化部１４０１により出力された符号化後動画像データの一例を示した図である。本図で示すようにタイミングデータの挿入箇所に複数のフレームレートに対応するタイミングデータが挿入されている。このため、符号化後動画像データを再生時する際、挿入されたタイミングデータに対応するフレームレートであれば、再生が可能となる。また、複数のタイミングデータの挿入方法として他の態様も考えられる。

図１５−２は、本実施の形態とは別の形態による動画像符号化部により出力された符号化後動画像データの一例を示した図である。本図は、タイミングデータの挿入箇所として一つのフレームレートは従来と同じ箇所に挿入し、他のフレームレートは最後に付加したものである。このような構造を備えることで、一つのフレームレートにおいては従来通り再生が可能であり、他のフレームレートについては最後に付加されたタイミングデータを参照することで再生が可能となる。

本実施の形態における動画像符号化装置１４００により、符号化された符号化後動画像データは、複数のフレームレートにおいてアンダーフローもオーバーフローも生じず、さらに複数のフレームレートに対応付けられたタイミングデータを複数付加されたため、複数のフレームレートにおいて符号化後動画像データは再生可能となる。

（変形例）
本発明は、上述した各実施の形態に限定されるものではなく、以下に例示するような種
々の変形が可能である。

（変形例１）
例えば各実施の形態においては、符号量条件設定部（１０８、３０２）により設定される符号化する条件、あるいは動画像符号化部（１０１、１４０１）により符号化された発生ビットはピクチャ毎に処理を行っていた。しかし、ピクチャをスライス、マクロブロック、ブロック等の小さい画像単位に分解して、その画像単位符号化終了毎に、符号化による発生ビットを占有量減算部（１０５、３１１）より（ＰＡＬ用、ＮＴＳＣ用）仮想受信バッファ（１０３，１０６、３１２）から減算し、（ＰＡＬ用、ＮＴＳＣ用）符号量条件導出部（１０４、１０７、３１３）は画像単位毎に発生ビットの上限、下限を導出し、符号量条件設定部（１０８、３０２）で当該画像単位ごとの量子化値情報,符号量に影響を与える符号化モードの選択情報などの符号化条件を動画像符号化部（１０１、１４０１）に出力しても良い。

図１６は、マクロブロック毎の行われる符号化の処理手順を示した図である。なお、説明を容易にするため第１の実施の形態におけるＮＴＳＣ圏の仮想受信バッファ（１０６）等を用いた場合の処理手順である図３で示したステップＳ２２１〜Ｓ２２６までの処理手順の代わりとなる処理手順について説明する。なお、画像単位をマクロブロックに制限するものではなく、スライスやブロック等でもよい。

まずは第１の実施の形態の図３のステップＳ２２１〜Ｓ２２３と同様にして、ＮＴＳＣ用仮想受信バッファ１０６の初期からＮＴＳＣ用占有量加算部１１０による加算まで行われる（ステップＳ１６０１〜Ｓ１６０４）。

つぎに、ピクチャｋのマクロブロックmについてステップＳ１６０４〜Ｓ１６０６までを繰り返し処理を行う。ＮＴＳＣ用符号量条件導出部１０７ではピクチャｋの発生符号量の下限、上限の条件に合うようにマクロブロックｍを符号化するための符号化条件（量子化値や選択する符号化モード等、発生ビット量に影響を与える符号化時の条件）導出し、符号量条件設定部１０８に出力する（ステップＳ１６０５）。

そして、図３のステップＳ２１２及びＳ２３１とは、ピクチャｋがマクロブロックｍに置き換わった点で異なるが、他については同様の処理により、動画像符号化部１０１によりマクロブロックｍを符号化した発生ビットがＮＴＳＣ用占有量減算部１０５に入力される（図示しない）。そしてＮＴＳＣ用占有量減算部１０５は入力された発生ビットをＮＴＳＣ用仮想受信バッファ１０６から減算する（ステップＳ１６０６）。そしてマクロブロックｍについての処理が終了し（ステップＳ１６０７）、次のマクロブロックｍ＋１についての処理が開始される（ステップＳ１６０４）。そして、ピクチャｋのマクロブロック全ての処理が終了した場合、次のピクチャｋ＋１についての処理が開始される（ステップＳ１６０８）。

本変形例で示したように、動画像符号化装置による動画像データの符号化を行う画像単位はピクチャ以外でも可能となる。

（変形例２）
また第１の実施の形態においてフレームレートとビットレートの対応について特に制限しなかったが、複数のフレームレートの比が複数のフレームレートにおけるビットレートの比となるようにしてもよい。

例えば、ＰＡＬ圏で再生するフレームレートとＮＴＳＣ圏で再生するフレームレートにそれぞれ対応したＰＡＬ圏で再生するビットレートとＮＴＳＣ圏で再生するビットレートを次のようにする。ＰＡＬ圏で再生するビットレート(pal_bit_rate)とＮＴＳＣ圏で再生するビットレート(ntsc_bit_rate)の比をＰＡＬ圏で再生するフレームレートとＮＴＳＣ圏で再生するフレームレートの比と一致させる。つまり、ＮＴＳＣ圏で再生するビットレートをＰＡＬ圏で再生するビットレート×（ＮＴＳＣ圏で再生するフレームレート/ＰＡＬ圏で再生するフレームレート）とする。

図１７は、変形例２にかかる動画像符号化装置により符号化された符号化後動画像データの再生時において、ＰＡＬ圏でのフレームレートとＮＴＳＣ圏でのフレームレートによるバッファ占有量の推移を示した図である。本図に示したように、フレームレートの違いにより除去する時刻の差が生じても、除去する情報量は同じであり、バッファ占有量の最大値および最小値は一致する。

しかしながら、実際はpal_cpb_occupancy(k)およびntsc_cpb_occupancy(k)は整数値であるため、切り上げ切り下げによる誤差が発生する。従って多くとも1ビット未満のずれが生じる可能性がある。このことを、以降では一ビット未満の誤差で一致していると表現する。

つまり、フレームレートとビットレートの比を一致させ、仮想受信バッファに１ビットのマージンを有した場合、レート制御がＣＢＲであっても、図６に示すような一つのフレームレートのみに対応付けられた占有量加算部、占有量減算部、仮想受信バッファ、符号量条件導出部を備えた動画像符号化装置により符号化後動画像データの出力が可能となる。

したがって、再生する対象となる複数のフレームレートと、複数のフレームレートのビットレートの比を一致させ、仮想受信バッファに１ビットのマージンを有する場合、レート制御がＣＢＲであっても、一つのフレームレートについてアンダーフロー及びオーバーフローにならないように動画像データを符号化することで、再生する対象となるフレームレートにおいてアンダーフロー及びオーバーフローが発生しない動画像符号化データの生成が可能となる。これにより動画像符号化装置による符号化処理による付加が軽減されることとなる。

（変形例３）
第１の実施の形態にかかる動画像符号化装置１００では、ＮＴＳＣ圏で再生されるフレームレートのように変動のあるフレームレートでは、変動にあわせて除去する時刻を設定していた。しかし、第１の実施の形態にかかる動画像符号化装置と同様の構成を備えた動画像符号化装置でも、変動のあるフレームレートにおいて、第２または３の実施の形態のように平均の除去する時刻を設定して、発生ビットを減算しても良い。

本変形例においては、第１の実施の形態にかかる動画像符号化装置と同様の構成に加え、さらにずれ算出部を備えた動画像符号化装置とする。そして本変形例の動画像符号化装置において、レート制御がＣＢＲの場合の処理について説明する。まずは変動のあるフレームレートにおける除去する時刻と、変動のあるフレームレートの変動を平均化した変動平均化フレームレートにおける除去する時刻のずれが負の値の場合は、第３の実施の形態の動画像符号化装置と同様にアンダーフローを発生しないような条件を満たした符号化後動画像データを出力する必要がある。そのために第３の実施の形態と同様に、受信バッファの下限値からずれの最大値以上のマージンを取ることで、アンダーフローを発生しないようにすることが可能となる。

そして、レート制御がＣＢＲの場合は、オーバーフローを発生しないように制御する必要もあり、変動のあるフレームレートにおける除去する時刻と、変動のあるフレームレートの変動を平均化した変動平均化フレームレートにおける除去する時刻のずれが正の値の場合でもずれを考慮した符号化を行う必要がある。

図１８は、変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻のずれが正の値である場合の引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。

変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでのずれがｔ_{diff_1}の場合のバッファ占有量のずれがｂ_{diff_1}とする。この場合、受信バッファの上限値ｂ_maxから一定のマージンをとった最大値ｂ_max'を設定し、ｂ_max−ｂ_max'≧ｂ_{diff_1}が成立すれば、オーバーフローは生じないこととなる。

つまり、本変形例の動画像符号化装置は、ずれが正の値ならば、ＮＴＳＣ用条件導出部においてずれ算出部により算出されたずれの最大値以上のマージンを取った最大値ｂ_max'を用いて発生ビットの条件を設定し、ずれが負の値ならば、ＮＴＳＣ用条件導出部において、第３の実施の形態と同様にずれ算出部により算出されたずれの最大値以上のマージンを取った最小値ｂ_minを用いて発生ビットの条件を導出する。さらにずれが正の値および負の値両方ともある場合、ずれの最大値以上のマージンを取った最大値ｂ_max'及びずれの最大値以上のマージンを取った最小値ｂ_minの両方を用いて発生ビットの条件を導出する。

なお、本変形例での変動のあるフレームレートをＮＴＳＣ圏で再生できるフレームレートに制限するものではない。

以上のように、本発明にかかる動画像符号化装置、動画像符号化方法は、入力された入力動画像情報を符号化して符号化データとして出力する装置等に有用であり、特に一つの符号化された符号化データから複数のフレームレートで再生可能にする技術に適している。

第１の実施の形態にかかる動画像符号化装置の構成を示したブロック図である。 第１の実施の形態にかかる動画像多重化編集装置の構成を示したブロック図である。 第１の実施の形態にかかる動画像符号化装置における入力された符号化前動画像データから符号化後動画像データを出力するまでの全体処理を示すフローチャートである。 第１の本実施の形態にかかる動画像符号化装置において、ＰＡＬ圏で再生するためのタイミングデータが挿入された符号化後動画像データをＮＴＳＣ圏で再生するためのタイミングデータに変更し、さらに多重化するまでの全体処理を示すフローチャートである。 第１の実施の形態にかかるＰＡＬ圏用符号化後画像データのビット列の概念を示した図である。 第１の実施の形態にかかる動画像多重化編集装置により生成されたＮＴＳＣ圏用符号化後画像データのビット列の概念を示した図である。 第２の実施の形態にかかる動画像符号化装置の構成を示したブロック図である。 第２の実施の形態にかかる動画像符号化装置における入力された符号化前動画像データから符号化後動画像データを出力するまでの全体処理を示したフローチャートである。 第２の実施の形態にかかる動画像符号化装置により出力された符号化後動画像データの再生時の複数のフレームレートによる受信バッファのバッファ占有量の推移を示した図である。 ＮＴＳＣ圏で再生するための変動するフレームレートを平均化した変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻の差異を示した図である。 ＮＴＳＣ圏で再生するための変動するフレームレートを平均化した変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。 第３の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。 ＮＴＳＣ圏で再生するための変動するフレームレートを平均化した変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻のずれが負の値である場合の引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。 第３の実施の形態にかかる動画像符号化装置のずれ算出部が再生可能な全フレームレートでのずれの最大値を算出するまでの処理を示すフローチャートである。 第４の実施の形態にかかる動画像符号化装置の構成を示すブロック図である。 第４の実施の形態にかかる動画像符号化装置により出力された符号化後動画像データの一例を示した図である。 第４の実施の形態とは別の形態による動画像符号化装置により出力された符号化後動画像データの一例を示した図である。 変形例１にかかる動画像符号化装置による画像単位毎の行われる符号化の処理手順を示した図である。 変形例２にかかる動画像符号化装置により符号化された符号化後動画像データの再生時において、ＰＡＬ圏でのフレームレートとＮＴＳＣ圏でのフレームレートによるバッファ占有量の推移を示した図である。 ＮＴＳＣ圏で再生するための変動するフレームレートを平均化した変動平均化フレームレートの引き去り時刻とＮＴＳＣ圏で再生する場合のフレームレートでの引き去り時刻のずれが正の値である場合の引き去り時刻の差異により生じるバッファ占有量の推移のずれを示した図である。

符号の説明

１００、３００、８００、１４００ 動画像符号化装置
１０１、１４０１ 動画像符号化部
１０２ ＰＡＬ用占有量減算部
１０３ ＰＡＬ用仮想受信バッファ
１０４ ＰＡＬ用符号量条件導出部
１０５ ＮＴＳＣ用占有量減算部
１０６ ＮＴＳＣ用仮想受信バッファ
１０７ ＮＴＳＣ用符号量条件導出部
１０８、３０２ 符号量条件設定部
１０９ ＰＡＬ用占有量加算部
１１０ ＮＴＳＣ用占有量加算部
３０１ フレームレート選択部
３１０ 仮想受信バッファ管理部
３１１ 占有量減算部
３１２ 仮想受信バッファ
３１３ 符号量条件導出部
３１４ 占有量加算部
８０１ ずれ算出部
８１１ 符号量条件導出部
１１００ 動画像多重化装置
１１０１ オーバーレイ画像変更部
１１０２ オーディオ選択部
１１１０ 動画像タイミング変更部
１１１１ 符号化後動画像入力部
１１１２ 符号化後動画像記憶部
１１１３ 符号化後動画像変更部
１１２０ 多重化部
１１２１ ＰＡＬ用多重化部
１１２２ ＮＴＳＣ用多重化部

Claims (15)

1. １秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化装置において、
   PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する第１の受信記憶領域に占める第１の占有量を記憶する第１の記憶手段と、
   前記符号化データの再生時に前記第１の受信記憶領域が受信した前記符号化データの第１の受信量、及び前記符号化データの再生時に表示される各画像の第１の符号量に基づいて、前記第１の記憶手段が記憶する前記第１の占有量を変動させる第１の変動手段と、
   前記第１の変動手段により変動した前記第１の占有量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記第１の符号量の条件を示す第１の符号量条件を導出する第１の導出手段と、
   NTSC規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する第２の受信記憶領域に占める第２の占有量を記憶する第２の記憶手段と、
   ３：２プルダウンを用いた前記符号化データの再生時に前記第２の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の第２の符号量に基づいて、前記第２の記憶手段が記憶する前記第２の占有量を変動させる第２の変動手段と、
   前記第２の変動手段により変動した前記第２の占有量に基づいて、前記NTSC規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記第２の符号量の条件を示す第２の符号量条件を導出する第２の導出手段と、
   前記第１の導出手段により導出された前記第１の符号量条件と、前記第２の導出手段により導出された前記第２の符号量条件とを満たす符号量で、前記入力動画像を符号化する符号化手段と、
   を備えることを特徴とする動画像符号化装置。
2. 前記第１の変動手段は、
   前記第１の記憶手段が記憶する前記第１の占有量に、前記PAL規格フレームレートによる前記符号化データの再生時にビットレートに応じて前記第１の受信記憶領域が受信した前記符号化データの受信量を加算する第１の加算手段と、
   前記第１の記憶手段が記憶する前記第１の占有量から、前記PAL規格フレームレートによる前記符号化データの再生時に前記符号化データを除去する時刻に、前記符号化手段により前記入力動画像を符号化して得られた前記符号化データの再生時に表示する前記各画像の前記符号量を減算する第１の減算手段と、を有し、
   前記第２の変動手段は、
   前記第２の記憶手段が記憶する前記第２の占有量に、前記NTSC規格フレームレートによる前記符号化データの再生時にビットレートに応じて前記第２の受信記憶領域が受信した前記符号化データの受信量を加算する第２の加算手段と、
   前記第２の記憶手段が記憶する前記第２の占有量から、前記NTSC規格フレームレートによる３：２プルダウンを用いた前記符号化データの再生時に前記符号化データを除去する時刻に、前記符号化手段により前記入力動画像を符号化して得られた前記符号化データの再生時に表示する前記各画像の前記符号量を減算する第２の減算手段と、を有すること、
   を特徴とする請求項１に記載の動画像符号化装置。
3. 前記第１の導出手段は、前記第１の減算手段により前記符号量を減算する前での、前記第１の記憶手段に記憶する前記第１の占有量の最大量を上限とし、及び前記第１の減算手段により前記符号量を減算する前での前記第１の占有量の最大量に、次回の前記第１の減算手段による減算処理まで前記第１の加算手段により加算される前記受信量を加え、前記第１の受信記憶領域の記憶可能な上限量を差し引いた量を下限とした、前記各画像の前記符号量の条件を示す前記符号量条件を導出し、
   前記第２の導出手段は、前記第２の減算手段により前記符号量を減算する前での、前記第２の記憶手段に記憶する前記第２の占有量の最大量を上限とし、及び前記第２の減算手段により前記符号量を減算する前での前記第２の占有量の最大量に、次回の前記第２の減算手段による減算処理まで前記第２の加算手段により加算される前記受信量を加え、前記第２の受信記憶領域の記憶可能な上限量を差し引いた量を下限とした、前記各画像の前記符号量の条件を示す前記符号量条件を導出すること、
   を特徴とする請求項２に記載の動画像符号化装置。
4. １秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化装置において、
   PAL規格フレームレートでは第１のビットレートで再生され且つNTSC規格フレームレートでは第２のビットレートで再生される前記符号化データであって、前記PAL規格フレームレートと前記NTSC規格フレームレートとの比、および、前記第１のビットレートと前記第２のビットレートとの比の両方が一致する前記符号化データを出力する際、前記PAL規格フレームレート及び前記NTSC規格フレームレートから、任意に選択された一つのフレームレートを示す選択フレームレートによる前記符号化データの再生時の受信記憶領域に占める占有量を記憶する記憶手段と、
   前記選択フレームレートによる前記符号化データの再生時において、前記受信記憶領域が受信した前記符号化データの受信量及び表示される各画像の符号量に基づいて、前記記憶手段が記憶する前記占有量を変動させる変動手段と、
   前記変動手段により変動した前記占有量に基づいて、前記選択フレームレートによる前記符号化データの再生時に前記受信記憶領域で１ビットのマージンを有するよう、表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出手段と、
   前記導出手段により導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化手段と、
   を備えることを特徴とする動画像符号化装置。
5. １秒ごとに２４フレーム表示する入力動画像を可変ビットレートで符号化して符号化データを出力する動画像符号化装置において、
   前記符号化データを再生する対象となるPAL規格フレームレート、及び前記符号化データを３：２プルダウンで再生する対象となるNTSC規格フレームレートを含む複数のフレームレートから、フレームレートが最も高いPAL規格フレームレートを選択する選択手段と、
   前記PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する受信記憶領域に占める占有量を記憶する記憶手段と、
   前記PAL規格フレームレートによる前記符号化データの再生時に前記受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、前記記憶手段が記憶する前記占有量を変動させる変動手段と、
   前記変動手段により変動した前記占有量に基づいて、前記選択手段により選択された前記フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出手段と、
   前記導出手段により導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化手段と、
   を備えることを特徴とする動画像符号化装置。
6. 前記変動手段は、
   前記記憶手段が記憶する前記占有量に、前記選択手段により選択された前記フレームレートによる前記符号化データの再生時に前記可変ビットレートに応じて前記受信記憶領域が受信した量を示す受信量を加算する加算手段と、
   前記記憶手段が記憶する前記占有量から、前記選択手段により選択された前記フレームレートによる前記符号化データの再生時に前記符号化データを除去する時刻に、前記符号化手段により前記入力動画像を符号化して得られた前記符号化データの再生時に表示する前記各画像の前記符号量を減算する減算手段と、
   を有することを特徴とする請求項５に記載の動画像符号化装置。
7. 前記導出手段は、前記減算手段により前記符号量を減算する前での、前記記憶手段に記憶する前記占有量の最大量を上限とし、前記各画像の前記符号量の条件を示す前記符号量条件を導出すること
   を特徴とする請求項６に記載の動画像符号化装置。
8. 複数の前記フレームレートのピークレートが同一であることを特徴とする請求項５〜７のいずれか１つに記載の動画像符号化装置。
9. 前記減算手段により前記記憶手段が記憶する前記占有量から前記符号量を減算する時刻と、実際の前記符号化データの再生時の前記符号化データを除去する時刻の差異による、前記記憶手段が記憶する前記占有量と実際の前記符号化データの再生時の前記占有量の差分を示す差分量を算出する差分算出手段と、
   前記導出手段は、前記減算手段により前記符号量を減算する直前の前記記憶手段に記憶する前記占有量から、前記差分算出手段により算出された前記差分量を削除した量を上限とし、前記各画像の前記符号量の条件を示す前記符号量条件を導出すること
   を特徴とする請求項７に記載の動画像符号化装置。
10. 前記差分算出手段は、前記減算手段により前記記憶手段が記憶する前記占有量から前記符号量を減算する時刻と、ＮＴＳＣ圏での前記フレームレートの再生のため３：２プルダウンしたことによる実際の前記符号化データの再生時の前記符号化データを除去する時刻の差異による、前記記憶手段が記憶する前記占有量と実際の前記符号化データの再生時の前記占有量の差分を示す差分量を算出すること、
    を特徴とする請求項９に記載の動画像符号化装置。
11. 前記符号化手段は、前記符号化データに対して、再生時に動画像を表示するタイミングの情報を示すタイミング情報を記載するタイミング領域として、前記再生する対象となる複数の前記フレームレートの該タイミング情報のうち、情報が最も多い該タイミング情報が記憶可能となる領域以上を確保し、複数の前記フレームレートのうち、一つの前記フレームレートに対応したタイミング情報を記載し、空いた領域にスタッフィングすることを特徴とする請求項１〜１０のいずれか一つに記載の動画像符号化装置。
12. 前記符号化手段は、さらに前記符号化データを再生する対象となる前記フレームレート毎に対応付けられた複数の、再生時に動画像を表示するタイミングを示すタイミング情報を記載することを特徴とする請求項１又は５に記載の動画像符号化装置。
13. １秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化方法において、
    PAL規格フレームレートによる前記符号化データの再生時に第１の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記第１の受信記憶領域に占める第１の占有量を変動させる第１の変動ステップと、
    前記第１の変動ステップにより変動した前記第１の占有量に基づいて、前記PAL規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す第１の符号量条件を導出する第１の導出ステップと、
    前記符号化データの再生時に第２の受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、NTSC規格フレームレートによる３：２プルダウンを用いた前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記第２の受信記憶領域に占める第２の占有量を変動させる第２の変動ステップと、
    前記第２の変動ステップにより変動した前記第２の占有量に基づいて、前記NTSC規格フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す第２の符号量条件を導出する第２の導出ステップと、
    前記第１の導出ステップにより導出された前記第１の符号量条件と、前記第２の導出ステップにより導出された前記第２の符号量条件とを満たす符号量で、前記入力動画像を符号化する符号化ステップと、
    を備えることを特徴とする動画像符号化方法。
14. １秒ごとに２４フレーム表示する入力動画像を符号化して、符号化データを出力する動画像符号化方法において、
    PAL規格フレームレートでは第１のビットレートで再生され且つNTSC規格フレームレートでは第２のビットレートで再生される前記符号化データであって、前記PAL規格フレームレートと前記NTSC規格フレームレートとの比と、および、前記第１のビットレートと前記NTSC規格ビットレートとの比の両方が一致する前記符号化データを出力する際、前記PAL規格フレームレート及び前記NTSC規格フレームレートから、任意に選択された一つのフレームレートを示す選択フレームレートによる前記符号化データの再生時において、受信記憶領域が受信した前記符号化データの受信量及び表示される各画像の符号量に基づいて、選択フレームレートによる前記符号化データの再生時の前記受信記憶領域に占める占有量を変動させる変動ステップと、
    前記変動ステップにより変動した前記占有量に基づいて、前記選択フレームレートによる前記符号化データの再生時に前記受信記憶領域で１ビットのマージンを有するよう、表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出ステップと、
    前記導出ステップにより導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化ステップと、
    を備えることを特徴とする動画像符号化方法。
15. １秒ごとに２４フレーム表示する入力動画像を可変ビットレートで符号化して符号化データを出力する動画像符号化方法において、
    前記符号化データを再生する対象となるPAL規格フレームレート、及び前記符号化データを３：２プルダウンで再生する対象となるNTSC規格フレームレートを含む複数のフレームレートから、フレームレートが最も高いPAL規格フレームレートを選択する選択ステップと、
    前記PAL規格フレームレートによる前記符号化データの再生時に受信記憶領域が受信した前記符号化データの受信量、及び前記符号化データの再生時に表示される各画像の符号量に基づいて、当該PAL規格フレームレートによる前記符号化データの再生時に受信した前記符号化データを一時的に記憶する前記受信記憶領域に占める占有量を変動させる変動ステップと、
    前記変動ステップにより変動した前記占有量に基づいて、前記選択ステップにより選択された前記フレームレートによる前記符号化データの再生時に表示される次の画像が満たすべき前記符号量の条件を示す符号量条件を導出する導出ステップと、
    前記導出ステップにより導出された前記符号量条件を満たす符号量で、前記入力動画像を符号化する符号化ステップと、
    を備えることを特徴とする動画像符号化方法。

Images