JP4174728B2

JP4174728B2 - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム

Info

Publication number: JP4174728B2
Application number: JP2004245375A
Authority: JP
Inventors: 孝明渕江
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2004-08-25
Filing date: 2004-08-25
Publication date: 2008-11-05
Anticipated expiration: 2024-08-25
Also published as: US20060045188A1; US7558465B2; JP2006067096A

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。

ＭＰＥＧ（Moving Picture Coding Experts Group／Moving Picture Experts Group）ストリームを編集するために、従来、編集点（スプライス点）近傍のピクチャを一旦デコードし、非圧縮の画像信号を編集点でつなぎあわせた後、再エンコードする技術が用いられている（例えば、特許文献１）。
国際公開番号ＷＯ９９／０５８６４号公報

ＭＰＥＧにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。

Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。

ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。

従来、広く用いられているエンコーダのブロック図を図１に示す。

エンコーダ１の画像並べ替え部１１は、順次入力される画像データの各フレーム画像を、必要に応じて、並べ替えたり、画像データの各フレーム画像を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割したマクロブロックデータを生成して、演算部１３、および、動き検出部１２に供給する。

動き検出部１２は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを算出し、動きベクトルデータとして、動き補償部２０に送出する。

演算部１３は、画像並べ替え部１１から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいた動き補償を行う。具体的には、演算部１３は、Ｉピクチャに対してはイントラモードで動き補償を行い、Ｐピクチャに対しては、順方向予測モードで動き補償を行い、Ｂピクチャに対しては、双方向予測モードで動き補償を行うようになされている。

ここでイントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法であり、双方向予測モードとは、符号化対象となるフレーム画像と、過去と将来の参照画像との予測残差を伝送データとする方法である。

まず、マクロブロックデータがＩピクチャであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部１３は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Discrete Cosine Transform ：離散コサイン変換）部１４に送出する。ＤＣＴ部１４は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部１５に送出する。

量子化部１５は、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとしてＶＬＣ（Variable Length Code；可変長符号化）部１６および逆量子化部１７に送出する。

逆量子化部１７に送出された量子化ＤＣＴ係数データは、量子化部１５と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部１８に送出される。逆ＤＣＴ部１８は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、演算部１９に送出する。

そして、演算部１３は、マクロブロックデータがＰピクチャであった場合、マクロブロックデータについて、順方向予測モードよる動き補償処理を行い、Ｂピクチャであった場合、マクロブロックデータについて、双方向予測モードによる動き補償処理を行う。

順方向予測モードにおいて、動き補償部２０は、動き検出部１２から供給される動きベクトルデータに応じて動き補償し、順方向予測画像データ、または、双方向予測画像データを算出する。演算部１３は、マクロブロックデータについて、動き補償部２０より供給される順方向予測画像データ、または、双方向予測画像データを用いて減算処理を実行する。

すなわち、順方向予測モードにおいて、動き補償部２０は、順方向予測画像データを演算部１３および演算部１９に供給する。演算部１３は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１３は、差分データをＤＣＴ部１４に送出する。

演算部１９には、動き補償部２０より順方向予測画像データが供給されており、演算部１９は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生する。

また、双方向予測モードにおいて、動き補償部２０は、双方向予測画像データを演算部１３および演算部１９に供給する。演算部１３は、供給されたマクロブロックデータから、双方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部１３は、差分データをＤＣＴ部１４に送出する。

演算部１９には、動き補償部２０より双方向予測画像データが供給されており、演算部１９は、逆ＤＣＴ部から供給された演算データに、双方向予測画像データを加算することにより、参照画像データを局部再生する。

かくして、エンコーダ１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部１６に供給される。ＶＬＣ部１６は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ２１に送出する。バッファ２１は、供給された可変長符号化データをバッファリングした後、出力する。

次に、Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図２を用いて説明する。

まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。

図２を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。

しかしながら、図１を用いて説明した一般的なエンコーダ１を用いて、図２を用いて説明したような方法で編集と再エンコードを行うと、再エンコードを行った部分と行っていない部分のつなぎ目において、画像を参照することができないという問題が発生する。

この問題に対して、フレーム間で予測符号化が行われている（Long GOP）方式で圧縮する場合、編集を比較的簡単に実現する方法として、フレーム間予測に制限を加え、GOP内のみで画像を参照し、GOPをまたいで画像を参照しないClosed GOP構造をとるよううに、フレーム間予測に制限を加える方法が知られている。

フレーム間予測に制限を加える場合について、図３を用いて説明する。図３においては、フレーム間予測と編集との関係を示すために、編集対象である圧縮素材映像１および圧縮素材映像２、部分再エンコードされた編集後の編集点付近の圧縮映像のデータ、並びに、再エンコードしない部分の圧縮映像のデータについて、それぞれ、display order（ディスプレイオーダ）でのピクチャの並びを示している。図中の矢印は、画像の参照方向を示している（以下、同様）。図３においては、ディスプレイオーダのBBIBBPBBPBBPBBPの１５のピクチャが１GOPとされ、画像の参照は、GOP内のみとされている。この方法は、GOPをまたぐ予測を禁止することで、GOP間に予測による圧縮データの関連をなくし、GOP単位での圧縮データのつなぎ替え（再エンコードを行う範囲の決定）を可能にする。

すなわち、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータは、それぞれ、編集点を含む１GOP単位で、再エンコード範囲が決定され、１GOP単位で決定された再エンコード範囲の編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータがデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、カット（Cut）編集点において接続されて、接続された素材映像１および素材映像２が部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮された編集映像データが生成される。

また、Closed GOP構造ではないLong GOP構造、すなわち、GOPをまたいで画像を参照する場合のLong GOP構造は、Open GOPと称される。

しかしながら、図３を用いて説明したように、GOPをまたぐ予測を禁止するClosed GOP構造を利用する編集方法では、GOPの開始部で予測方向に制限を加えることになり、通常用いられるClosed GOP構造ではない圧縮方式であるOpen GOPと比較して、映像信号の圧縮効率が低下する。

したがって、映像信号の圧縮効率を向上させるためには、Open GOP構造を利用して編集を行うほうが好適である。Open GOPで再エンコードを行う場合、再エンコードが行われる部分と再エンコードしない部分との結合部のピクチャの予測のための参照画、すなわち、再エンコードが行われる部分と再エンコードしない部分との結合部付近のＢピクチャをエンコードするために参照される、再エンコードが行われない部分のＩピクチャまたはＰピクチャが必要になる。

図４は、参照画入力が可能なようになされているエンコーダ３１の構成を示すブロック図である。なお、図４においては、図１における場合と同様の部分には同一の符号を付してあり、その説明は適宜省略する。すなわち、図４のエンコーダ３１は、スイッチ４１が新たに備えられている以外は、図１を用いて説明したエンコーダ１と同様の構成を有するものである。

スイッチ４１は、参照画として、画像並べ替え部１１に供給される非圧縮の映像信号と同一の映像信号の供給を受けるとともに、演算部１９から出力される参照画像データの供給を受け、エンコードされる信号が参照するべきデータを選択して、動き補償部２０に供給する。

このように、図４に示されるエンコーダ３１は、図１を用いて説明したエンコーダ１と比較して、参照画を取得するためのデータの経路が追加されているので、Long GOPのOpen GOP構造の圧縮映像データの編集における再エンコードを実行することが可能である。

例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、ＨＤの映像信号を符号化するには、非常に多くの処理が必要となるため、リアルタイムの符号化を実現するために、符号化用のＬＳＩが使用される。しかしながら、通常、符号化用ＬＳＩは、図１で示したような構成をしており、図１を用いて説明した通常のエンコーダ１には、参照画入力の機能がないため、Open Long GOP構造の圧縮映像データを編集することができない。これに対して、Open GOP構造の圧縮映像データを編集するために、図３を用いて説明したような、参照画入力が可能なようになされている構成をしたＬＳＩを新規に作るためには、非常にコストや時間がかかってしまう。

本発明はこのような状況に鑑みてなされたものであり、参照画入力の無いエンコーダを用いて再エンコードを行うことにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができるようにするものである。

本発明の第１の情報処理装置は、第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置において、上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成するデコード手段と、上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成するエンコード手段と、上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する制御手段と、上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記エンコード手段により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段とを備える。

上記制御手段には、上記第３の画像データを対象としてディスプレイオーダで上記第１の切換点の直後に位置するピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記制御手段には、レート制御で割り当てられる量子化値よりも小さな量子化値で、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記編集手段には、上記第１の符号化ストリームに設定された第１の編集点に対して、ディスプレイオーダにおいて過去のピクチャを出力するとともに、上記第２の符号化ストリームに設定された第２の編集点に対して、ディスプレイオーダにおいて未来のピクチャを出力することにより、上記編集符号化ストリームを生成させることができる。

上記制御手段には、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも低い場合に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御させることができる。

上記制御手段には、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも高い場合に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャからの参照予測をなくすように予測方向を限定して、上記第３の画像データのピクチャをＢピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に設けることができる。

上記第１の符号化ストリームにおける第１の切換点及び上記第２の符号化ストリームにおける第２の切換点を設定する切換点設定手段を更に設けることができる。

上記第１の編集点を含む第１の区間及び上記第２の編集点を含む第２の区間を設定する区間設定手段を更に設けることができる。

上記エンコード手段には、MPEG方式でエンコードを行わせることができる。

上記エンコード手段には、Open GOP構造のLong GOP方式でエンコードを行わせることができる。

本発明の第１の情報処理方法、プログラム、および記録媒体に記録されているプログラムは、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成するステップを含む。

本発明の第２の情報処理装置は、第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置において、上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成するデコード手段と、上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成するエンコード手段と、上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する制御手段と、上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記エンコード手段により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段とを備える。

上記制御手段には、上記第３の画像データを対象としてディスプレイオーダで上記第２の切換点の直前に位置するピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記制御手段には、レート制御で割り当てられる量子化値よりも小さな量子化値で、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記制御手段には、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも低い場合に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御させることができる。

上記制御手段には、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも高い場合に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャからの参照予測をなくすように予測方向を限定して、上記第３の画像データのピクチャをＢピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御させることができる。

上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に設けることができる。
上記第１の符号化ストリームにおける第１の切換点及び上記第２の符号化ストリームにおける第２の切換点を設定する切換点設定手段を更に設けることができる。
上記第１の編集点を含む第１の区間及び上記第２の編集点を含む第２の区間を設定する区間設定手段を更に設けることができる。
上記エンコード手段には、MPEG方式でエンコードを行わせることができる。
上記エンコード手段には、Open GOP構造のLong GOP方式でエンコードを行わせることができる。

本発明の第２の情報処理方法、プログラム、および記録媒体に記録されているプログラムは、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成するステップを含む。

本発明の第１の情報処理装置、情報処理方法、プログラム、および記録媒体に記録されているプログラムにおいては、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データが生成されると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データが生成される。また、上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームが生成される。上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャがＩピクチャ又はＰピクチャとして再エンコードされ、再エンコードされたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードが制御される。上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成された上記再符号化ストリームとが、上記第１の切換点及び第２の切換点で切り換えて出力されることによって、編集された編集符号化ストリームが生成される。

本発明の第２の情報処理装置、情報処理方法、プログラム、および記録媒体に記録されているプログラムにおいては、第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データが生成されると共に、第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データが生成される。また、第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームが生成される。第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャがＩピクチャ又はＰピクチャとしてエンコードされ、エンコードされたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードが制御される。上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成された上記再符号化ストリームとが、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームが生成される。

本発明によれば、参照画入力の無いエンコーダを用いて再エンコードを行うことができる。

以下、図を参照して、本発明の実施の形態について説明する。

図５は本発明を適用した編集装置５１のハードウェア構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）６１は、ノースブリッジ６２に接続され、例えば、ＨＤＤ（Hard disk Drive）６６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ７０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ６２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）６４に接続され、例えば、ＣＰＵ６１の制御に基づいて、サウスブリッジ６５を介して、ＨＤＤ６６に記憶されているデータの供給を受けて、ＰＣＩバス６４、ＰＣＩブリッジ６７を介して、メモリ６８に供給する。また、ノースブリッジ６２は、メモリ６３とも接続されており、ＣＰＵ６１の処理に必要なデータを授受する。

メモリ６３は、ＣＰＵ６１が実行する処理に必要なデータを保存する。サウスブリッジ６５は、ＨＤＤ６６のデータの書き込みおよび読み出しを制御する。ＨＤＤ６６には、圧縮符号化された編集用の素材が記憶されている。

ＰＣＩブリッジ６７は、メモリ６８のデータの書き込みおよび読み出しを制御したり、デコーダ７２乃至７４、または、ストリームスプライサ７５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス６４およびコントロールバス６９のデータの授受を制御する。メモリ６８は、ＰＣＩブリッジ６７の制御に基づいて、ＨＤＤ６６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ７５から供給される編集後の圧縮符号化データを記憶する。

ＣＰＵ７０は、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ６１から供給されたコマンドにしたがって、ＰＣＩブリッジ６７、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７が実行する処理を制御する。メモリ７１は、ＣＰＵ７０の処理に必要なデータを記憶する。

デコーダ７２乃至デコーダ７４は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ７２乃至デコーダ７４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ７４が、独立した装置として設けられている場合、デコーダ７４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。

エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、デコーダ７２またはデコーダ７３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ７７に供給する。エンコーダ７７は、図１を用いて説明したエンコーダ１と同様の内部構成を有している。すなわち、エンコーダ７７は、参照画の入力を受けることができないようになされている。そして、エンコーダ７７は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ７５に出力する。

次に、編集装置５１の動作について説明する。

ＨＤＤ６６には、Long GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。

ＣＰＵ６１は、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、編集する素材となる、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。

ここでは、圧縮素材映像１のデータの所定の編集点に続いて、圧縮素材映像２の所定の編集点以降の映像がつなげられるように（すなわち、編集点より時間的に前に圧縮素材映像１、時間的に後ろに圧縮素材映像２が接続されるように）編集が行われるものとして説明する。

ＣＰＵ７０は、ＣＰＵ６１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。そして、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行うために必要なピクチャに対応する圧縮素材映像１のデータをデコーダ７２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行うために必要なピクチャに対応する圧縮素材映像２のデータをデコーダ７３に供給させる。

また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ７５に供給させる。

ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、供給された圧縮符号化されたデータをデコードさせる。

デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給されたデータをデコードし、復号されて得られた圧縮素材映像１および圧縮素材映像２の信号をエフェクト／スイッチ７６に供給する。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、所定のカット（Cut）編集点（スプライス点とも称される）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、エンコーダ７７に供給する。

エンコーダ７７は、ＣＰＵ７０の制御に基づいて、エフェクト／スイッチ７６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。

そして、エンコーダ７７において再エンコードされた映像データは、ストリームスプライサ７５に供給される。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２のデータと、エンコーダ７７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。

そして、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ６７に供給して、メモリ６８に保存させるとともに、デコーダ７４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ７４が、独立した装置として構成されている場合、デコーダ７４に対応する装置は、上述した処理により生成された編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。

図示しない操作入力部から、編集により生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ６１は、ＰＣＩブリッジ６７を制御して、メモリ６８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス６４およびノースブリッジ６２を介して、サウスブリッジ６５に供給させるとともに、サウスブリッジ６５を制御して、供給された圧縮編集映像データをＨＤＤ６６に供給させて保存させる。

次に、図６のフローチャートを参照して、編集装置５１が実行する編集処理について説明する。

ステップＳ１において、ＣＰＵ６１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された２つの編集対象となる素材映像のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。

ステップＳ２において、メモリ６８は、圧縮符号化された２つの編集素材データを取得する。

ステップＳ３において、ＣＰＵ７０は、ＣＰＵ６１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、圧縮符号化された編集素材データのデコード範囲を決定する。

ステップＳ４において、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ７２およびデコーダ７３にそれぞれ供給させる。また、このとき、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給させる。ＰＣＩブリッジ６７は、ＣＰＵ７０の制御に基づいて、メモリ６８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ７２およびデコーダ７３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ７５に供給する。

ステップＳ５において、ＣＰＵ７０は、デコーダ７２およびデコーダ７３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ７６に供給する。

ステップＳ６において、ＣＰＵ７０は、エフェクト／スイッチ７６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ７７に供給する。

ステップＳ６においてエンコーダ７７に供給されるデータは、参照画像入力なしで再エンコードを行うために実行されるエンコーダ７７のエンコード処理の方法によって異なる。エンコーダ７７に供給される、参照画像入力なしで再エンコードするために必要なデータについては後述する。

ステップＳ７において、ＣＰＵ７０は、エンコーダ７７を制御して、編集点で接続された非圧縮の復号映像素材を、後述する３つの方法のうちのいずれかの方法で、参照画像の入力を受けることなく再エンコードさせる。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、編集点で接続された非圧縮の復号映像素材の再エンコードを行い、再エンコードされて生成された圧縮符号化された映像データを、ストリームスプライサ７５に供給する。

なお、ステップＳ７において、参照画像入力なしで再エンコードを行うための方法には、３つの方法がある。この３つの方法の詳細については、後述する。

ステップＳ８において、ＣＰＵ７０は、ストリームスプライサ７５を制御して、再エンコードされて生成された圧縮符号化された映像データと、再エンコードされていない、圧縮符号化された２つの編集対象となる素材映像のデータとを接続させる。ストリームスプライサ７５は、再エンコードされて生成された、圧縮符号化された映像データと、再エンコードされていない、圧縮符号化された２つの編集対象となる素材映像のデータとを接続して、ＣＰＵ７０の制御に基づいて、再エンコードされて生成された、圧縮符号化された映像データと、再エンコードされていない、圧縮符号化された２つの編集対象となる素材映像のデータとを接続して、圧縮編集映像データを生成するとともに、作成した圧縮編集映像データをＰＣＩブリッジ６７に供給して、メモリ６８に保存させるとともに、デコーダ７４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させる。

なお、ステップＳ７において、いずれの方法で再エンコードが行われるかによって、ステップＳ８において実行されるデータの接続方法が異なる。再エンコードの方法と、それに対応するデータの接続方法については、後述する。ステップＳ８の処理の終了後、処理は終了される。

このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続して、参照画入力の無いエンコーダで再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができるので、参照画入力機能を有するエンコーダのＬＳＩを、コストと時間をかけて新たに製造する必要がなくなる。

参照画像入力なしで再エンコードを行うための方法には、３つの方法がある。

参照画像入力なしで再エンコードを行うための第１の方法は、再エンコードする際、再エンコードしない圧縮映像データとの結合部の予測方向を限定することで、再エンコードしない圧縮映像データからの予測を無くすものである。

すなわち、再エンコードを行うとき、再エンコード開始部のＢピクチャの予測方向をBackward限定とするとともに、再エンコード終了部のＢピクチャの予測方向をForward限定にする。これにより、再エンコードしない圧縮映像データからの予測がなくなり、参照画をエンコーダ７７へ入力することなく、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。

第１の方法を実行する場合の編集装置５１の処理について、図７を用いて説明する。

ＨＤＤ６６には、図７に示されるLong GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。図７において、圧縮された圧縮素材映像１および圧縮素材映像２は、表示されるピクチャ順（display order）で記載されている。

ＣＰＵ６１は、サウスブリッジ６５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ６６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ６２、ＰＣＩバス６４、および、ＰＣＩブリッジ６７を介して、メモリ６８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ６２、ＰＣＩバス６４、ＰＣＩブリッジ６７、および、コントロールバス６９を介して、ＣＰＵ７０に供給する。

ＣＰＵ７０は、ＣＰＵ６１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータの再エンコードを行わない範囲の最後のピクチャがＩまたはＰピクチャとなるように、圧縮素材映像２の再エンコードを行わない範囲の最後のピクチャがＩピクチャとなるように、再エンコードを行う範囲を決定する。そして、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像１のデータをデコーダ７２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像２のデータをデコーダ７３に供給させる。

すなわち、この時、圧縮素材映像１のうち、Ｂピクチャ８６およびＢピクチャ８７が再エンコードを行う範囲に含まれている場合、Ｂピクチャ８６およびＢピクチャ８７をデコードするために、Ｉピクチャ８１、および、Ｐピクチャ８２乃至Ｐピクチャ８５もデコードされる。また、同様に、圧縮素材映像２のうち、Ｂピクチャ８９およびＢピクチャ９０が再エンコードを行う範囲に含まれている場合、Ｂピクチャ８９およびＢピクチャ９０をデコードするために、Ｉピクチャ９１もデコードされる。Ｂピクチャ８９およびＢピクチャ９０は、Ｐピクチャ８８とＩピクチャ９１が参照されることによりデコードされる。

デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ７６に供給する。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードされるピクチャに対応する部分のデータを、エンコーダ７７に供給する。

そのとき、エンコーダ７７は、参照画の入力の機能を有していないので、図７に示されるように、双方向予測符号化を行うＢピクチャ９２およびＢピクチャ９３をエンコードするために、参照画として、一つ前のＰピクチャまたはＩピクチャを用いることができない。また、エンコーダ７７は、同様に、双方向予測符号化を行うＢピクチャ９５およびＢピクチャ９６をエンコードするために、参照画として、一つうしろのＰピクチャまたはＩピクチャを用いることができない。したがって、ＣＰＵ７０は、エンコーダ７０を制御して、これらのＢピクチャのエンコードにおける参照の方向を制限する。

換言すれば、再エンコードする範囲の先頭および最後の部分に連続するＢピクチャの予測方向を制御して再エンコードを行うようにすることにより、編集用の圧縮素材映像データがOpenGOPであっても、再エンコードされる範囲の前後のピクチャをエンコードのための参照画として用いる必要がなくなる。

そして、エンコーダ７７において再エンコードされた映像データは、ストリームスプライサ７５に供給される。ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ７７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。

具体的には、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１のＰピクチャ９７と、エンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９２とがディスプレイオーダで連続するように接続され、エンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９６と、ＰＣＩブリッジ６７から供給された、圧縮素材映像２のＩピクチャ９８とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。

図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ６１は、ＰＣＩブリッジ６７を制御して、メモリ６８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス６４およびノースブリッジ６２を介して、サウスブリッジ６５に供給させるとともに、サウスブリッジ６５を制御して、供給された圧縮編集映像データをＨＤＤ６６に供給させて保存させる。

次に、図８のフローチャートを参照して、第１の方法でエンコードが行われる場合に実行される予測方向制御処理について説明する。

ステップＳ３１において、ＣＰＵ７０は、エフェクト／スイッチ７６を制御して、再エンコードが行われる部分のピクチャのみを、エンコーダ７７に供給させる。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、再エンコードが行われる部分のピクチャのみを、エンコーダ７７に供給する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、供給されたデータのエンコードを開始する。

ステップＳ３２において、エンコーダ７７は、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード開始から、１つ目のＩピクチャまたはＰピクチャの前のＢピクチャ、すなわち、図７のＢピクチャ９２またはＢピクチャ９３に対応するＢピクチャであるか否かを判断する。

ステップＳ３２において、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード開始から、１つ目のＩピクチャまたはＰピクチャの前のＢピクチャであると判断された場合、ステップＳ３３において、エンコーダ７７は、対応するピクチャの予測方向を、バックワードに限定して、エンコードを行い、処理は、後述するステップＳ３７に進む。

ステップＳ３２において、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード開始から、１つ目のＩピクチャまたはＰピクチャの前のＢピクチャではないと判断された場合、ステップＳ３４において、エンコーダ７７は、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード終了位置の直前のＩピクチャまたはＰピクチャの後のＢピクチャ、すなわち、図７のＢピクチャ９５またはＢピクチャ９６に対応するＢピクチャであるか否かを判断する。

ステップＳ３４において、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード終了位置の直前のＩピクチャまたはＰピクチャの後のＢピクチャではない、すなわち、図７のＢピクチャ９３の次のＩピクチャからＰピクチャ９４までのいずれかのピクチャに対応するピクチャであると判断された場合、ステップＳ３５において、エンコーダ７７は、通常のアルゴリズムに基づいた予測方向で、エンコードを行い、処理は、後述するステップＳ３７に進む。

ステップＳ３４において、エンコードを実行するピクチャが、ディスプレイオーダで、再エンコード終了位置の直前のＩピクチャまたはＰピクチャの後のＢピクチャであると判断された場合、ステップＳ３６において、エンコーダ７７は、対応するピクチャの予測方向を、フォワードに限定して、エンコードを行う。

ステップＳ３３、ステップＳ３５、または、ステップＳ３６の処理の終了後、ステップＳ３７において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。

ステップＳ３７において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ３２に戻り、それ以降の処理が繰り返される。ステップＳ３７において、最後のピクチャの処理が終了したと判断された場合、処理が終了される。

このような処理により、再エンコードする範囲の先頭および最後の部分に連続するＢピクチャの予測方向を制御して再エンコードを行うようにすることができるので、編集用の圧縮素材映像データがOpenGOPであっても、再エンコードされる範囲の前後のピクチャをエンコードのための参照画として用いる必要がなくなる。

次に、参照画像入力なしで再エンコードを行うための第２の方法について説明する。

参照画像入力なしで再エンコードを行うための第２の方法は、再エンコードする際、再エンコードしない圧縮映像データとの接続点付近で使用する参照画に対応するデータもエンコードし、そのエンコードされたデータをエンコーダ内部でローカルデコードしたものを、参照画として代用する方法である。

すなわち、エンコーダ７７に入力された参照画に対応するピクチャは、エンコーダ７７で、ＤＣＴおよび量子化された後、逆量子化および逆ＤＣＴされて、参照画として利用される。そして、参照画として利用されたピクチャは、編集には利用されない（再エンコードされない部分の圧縮素材映像データとは接続されずに破棄される）。

また、この参照画は、編集済みの圧縮映像データをデコードする時に使用される参照画に対して、ＤＣＴ、量子化、逆量子化、逆ＤＣＴの処理を一回多く行ったものである。したがって、この参照画は、ＤＣＴ、量子化、逆量子化、逆ＤＣＴの処理が一回多い分、画質が劣化してしまっている。本来使用すべき参照画より劣化してしまった画を参照画として使用し、その差分を符号化してしまうと、編集済みの圧縮映像データの画質が劣化してしまう。そこで、エンコーダ７７においては、編集済みの圧縮映像データの画質の劣化を防ぐために、参照画として利用するためにエンコードするピクチャの量子化値を小さくするようにエンコード時の量子化値を制御するものとする。

参照画として利用するためにエンコードされるピクチャは、編集に利用されずに破棄されるので、エンコード時に、ビットレートや、VBVバッファの制約を考慮しなくてよい。したがって、参照画として利用されるピクチャのエンコードにおいては、発生符号量の上限を考慮する必要がない。そこで、第２の方法においては、参照画として利用するためにエンコードするピクチャの量子化値を、少なくとも、通常のレート制御において割り当てられる量子化値より小さな量子化値であって、できるだけ小さな量子化値とすることで、画質劣化を最小限に抑えて、編集済みの圧縮映像データの画質の劣化を防ぐことができるようになされている。参照画として利用するためにエンコードされるピクチャの量子化値は、設定可能な最小の値とすると好適である。

第２の方法を実行する場合の編集装置５１の処理について、図９を用いて説明する。

ＨＤＤ６６には、図９に示されるLong GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。図９において、圧縮された圧縮素材映像１および圧縮素材映像２は、表示されるピクチャ順（display order）で記載されている。

ＣＰＵ７０は、ＣＰＵ６１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。そして、ＣＰＵ７０は、ＰＣＩブリッジ６７を制御して、メモリ６８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像１のデータをデコーダ７２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像２のデータをデコーダ７３に供給させる。

すなわち、この時、圧縮素材映像１のうち、Ｂピクチャ８６およびＢピクチャ８７が再エンコードを行う範囲に含まれている場合、Ｂピクチャ８６およびＢピクチャ８７をデコードするために、Ｉピクチャ８１、および、Ｐピクチャ８２乃至Ｐピクチャ８５もデコードされる。また、同様に、圧縮素材映像２のうち、Ｂピクチャ８９およびＢピクチャ９０が再エンコードを行う範囲に含まれている場合、Ｂピクチャ８９およびＢピクチャ９０をデコードするために、Ｉピクチャ９１もデコードされる。Ｂピクチャ８９およびＢピクチャ９０は、Ｐピクチャ８８およびＩピクチャ９１を参照してデコードされる。

デコーダ７２およびデコーダ７３は、ＣＰＵ７０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ７６に供給する。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図９においては、Ｂピクチャ９２およびＢピクチャ９３のエンコードに必要なＩピクチャ１０１、および、Ｂピクチャ９５およびＢピクチャ９６のエンコードに必要なＩピクチャ１０２に対応する画像データ）とともに、エンコーダ７７に供給する。

そのとき、エンコーダ７７は、図９に示されるように、双方向予測符号化を行うＢピクチャ９２およびＢピクチャ９３をエンコードするために、参照画として、一つ前のＩピクチャまたはＰピクチャを用いなければならない。また、同様に、双方向予測符号化を行うＢピクチャ９５およびＢピクチャ９６をエンコードするために、参照画として、一つ後のＩピクチャまたはＰピクチャを用いなければならない。

したがって、エンコーダ７７は、Ｂピクチャ９２およびＢピクチャ９３の予測に使用する参照画として、その１つ前の画をＩピクチャ（図９のＩピクチャ１０１）としてエンコードし、それを、エンコーダ７７の内部でローカルデコードしたもの、すなわち、ＤＣＴおよび量子化された後、逆量子化および逆ＤＣＴされた予測画像データを利用する。また、同様にして、エンコーダ７７は、Ｂピクチャ９５およびＢピクチャ９６の予測に使用する参照画として、その１つ後ろの画をＩピクチャ（図９のＩピクチャ１０２）としてエンコードし、それを、エンコーダ７７の内部でローカルデコードしたものを利用する。

また、エンコーダ７７は、参照画として利用するためにエンコードする図９のＩピクチャ１０１およびＩピクチャ１０２を、少なくとも通常のレート制御において割り当てられる量子化値より小さな量子化値であって、できる限り小さな量子化値でエンコードする。

図９においては、双方向予測符号化を行うＢピクチャ９２およびＢピクチャ９３をエンコードするための参照画、および、双方向予測符号化を行うＢピクチャ９５およびＢピクチャ９６をエンコードするための参照画を、いずれも、Ｉピクチャであるものとして説明したが、これらの参照画は、Ｐピクチャであってもよいことは言うまでもない。参照画がＰピクチャである場合、この参照画をエンコードするために、更に参照画が必要になるので、ＣＰＵ７０は、参照画をＰピクチャとする場合、参照画をエンコードするために必要な参照画も、エンコーダ７７に供給されて、エンコードされるように制御するものとする。

すなわち、双方向予測符号化を行うＢピクチャ９２およびＢピクチャ９３をエンコードするための参照画、および、双方向予測符号化を行うＢピクチャ９５およびＢピクチャ９６をエンコードするための参照画をＩピクチャとした場合、参照画をＰピクチャとした場合と比較して、参照画に対応するデータをエンコーダ７７に供給するための処理の制御は簡単になる。

このとき、ストリームスプライサ７５は、参照画として利用するためにエンコードしたＩピクチャ１０１およびＩピクチャ１０２は、圧縮編集映像データには利用せずに破棄する。

具体的には、ストリームスプライサ７５は、ＣＰＵ７０の制御に基づいて、ＰＣＩブリッジ６７から供給された、圧縮素材映像１のＰピクチャ９７とエンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９２とがディスプレイオーダで連続するように接続され、エンコーダ７７から供給されたエンコードされた映像データのＢピクチャ９６と、ＰＣＩブリッジ６７から供給された、圧縮素材映像２のＩピクチャ９８とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。

次に、図１０のフローチャートを参照して、第２の方法を用いて再エンコードが行われる場合に実行される、ピクチャタイプ決定処理について説明する。

ステップＳ５１において、ＣＰＵ７０は、エフェクト／スイッチ７６を制御して、再エンコードが行われる部分のピクチャ、および、参照画として用いられるピクチャを、エンコーダ７７に供給させる。エフェクト／スイッチ７６は、ＣＰＵ７０の制御に基づいて、再エンコードが行われる部分のピクチャ、および、参照画として用いられるピクチャを、エンコーダ７７に供給する。エンコーダ７７は、ＣＰＵ７０の制御に基づいて、供給されたデータのエンコードを開始する。

ステップＳ５２において、エンコーダ７７は、供給されたピクチャが、いずれかのピクチャをエンコードするための参照画として用いられるピクチャであるか否か、すなわち、図９を用いて説明した場合においては、Ｂピクチャ９２，９３、または、Ｂピクチャ９５，９６をエンコードするための参照画として用いられるピクチャ１０１またはＩピクチャ１０２に対応するピクチャであるか否かを判断する。ステップＳ５２において、エンコードを実行するピクチャは、参照画として用いられるピクチャではないと判断された場合、処理は、後述するステップＳ５５に進む。

ステップＳ５２において、エンコードを実行するピクチャは、参照画として用いられるピクチャであると判断された場合、ステップＳ５３において、エンコーダ７７は、エンコードを実行するピクチャのピクチャタイプを、ＣＰＵ７０の制御に基づいて、ＩピクチャまたはＰピクチャとする。

ステップＳ５４において、エンコーダ７７は、参照画として用いられるＩピクチャまたはＰピクチャを、最小の量子化値（少なくとも、通常のレート制御において割り当てられる量子化値より小さな量子化値であれば良いが、最小の量子化値であることが望ましい）で量子化し、処理は、後述するステップＳ５７に進む。

ステップＳ５２において、エンコードを実行するピクチャは、参照画として用いられるピクチャではないと判断された場合、ステップＳ５５において、エンコーダ７７は、通常のアルゴリズムに基づいてピクチャタイプを決定する。

ステップＳ５６において、エンコーダ７７は、通常の、例えば、ＴＭ５などに基づいたレート制御を行って、量子化値を決定する。

ステップＳ５４またはステップＳ５６の処理の終了後、ステップＳ５７において、エンコーダ７７は、決定された量子化値を用いて、エンコードを行う。ここで、エンコーダ７７は、Ｂピクチャ９２，９３、または、Ｂピクチャ９５，９６の参照画として、Ｉピクチャ１０１またはＩピクチャ１０２をエンコードした後、ローカルデコードをしたものを用いる。また、Ｉピクチャ１０１またはＩピクチャ１０２は、少なくとも通常のレート制御において割り当てられる量子化値より小さな量子化値であって、できるだけ小さな量子化値で量子化される。

ステップＳ５８において、エンコーダ７７は、最後のピクチャの処理が終了したか否かを判断する。

ステップＳ５８において、最後のピクチャの処理が終了していないと判断された場合、処理は、ステップＳ５２に戻り、それ以降の処理が繰り返される。ステップＳ５８において、最後のピクチャの処理が終了したと判断された場合、処理が終了される。

このような処理により、再エンコードする範囲の先頭および最後の部分に連続するＢピクチャの予測に用いられる参照画像のデータがエンコーダに供給される。そして、参照画として、できるだけ小さな量子化値でエンコードされた後、ローカルデコードされたものが用いられて、再エンコードする範囲の全体が参照画入力なしでエンコード可能なように、ピクチャタイプが決定されるので、編集用の圧縮素材映像データがOpenGOPであっても、参照画入力の機能を有さないエンコーダでの再エンコードが可能となる。

このとき、予測に用いられる参照画像は、少なくとも通常のレート制御において割り当てられる量子化値より小さな量子化値であって、できるだけ小さな量子化値で量子化されるので、再エンコード部分の画像の劣化を防ぐようにすることができる。

また、再エンコードの処理が終了した後、参照画として用いられるためにエンコードされたピクチャは、再エンコードされていない圧縮素材映像データと接続されるときに破棄される。

次に、参照画像入力なしで再エンコードを行うための第３の方法について説明する。

参照画像入力なしで再エンコードを行うための第３の方法は、再エンコードする際、編集されるデータのビットレートに基づいて、上述した第１の方法と第２の方法のいずれか適する方法を用いて、再エンコードを実行する方法である。

参照画入力のないエンコーダ７７で、Long GOPのOpen GOP構造の圧縮映像データの編集を実現する場合、上述した第１の方法では、予測方向限定のため、予測方向限定した部分の発生符号量が、限定しない場合に比べて増加するが、第２の方法と比較して、参照画として利用するピクチャのＤＣＴ、量子化、逆量子化、逆ＤＣＴの処理による画質劣化を考慮する必要がない。したがって、高ビットレートの圧縮映像データを編集する際には、第１の方法を用い、低ビットレートの圧縮映像データを編集する際には、第２の方法を用いるようにすると好適である。

すなわち、ＣＰＵ６１は、編集するデータのビットレートを所定の閾値と比較し、ビットレートが所定の閾値よりも高い場合、ＣＰＵ７０に、第１の方法を用いて再エンコードを実行させるコマンドを生成して出力し、ビットレートが所定の閾値よりも低い場合、ＣＰＵ７０に、第２の方法を用いて再エンコードを実行させるコマンドを生成して出力する。ＣＰＵ７０は、ＣＰＵ６１から供給されたコマンドに基づいて、エフェクト／スイッチ７６、エンコーダ７７、および、ストリームスプライサ７５を制御して、第１の方法、または、第２の方法による再エンコードおよび編集の処理を実行させる。

次に、図１１のフローチャートを参照して、第３の方法を用いて再エンコードが行われる場合に実行される、エンコード方法決定処理について説明する。

ステップＳ７１において、ＣＰＵ６１は、圧縮符号化された編集素材データのビットレートを、所定の閾値と比較する。

ステップＳ７２において、ＣＰＵ６１は、圧縮符号化された編集素材データのビットレートは、所定の閾値より高いか否かを判断する。

ステップＳ７２において、ビットレートは、所定の閾値より高いと判断された場合、ステップＳ７３において、図８を用いて説明した予測方向制御処理が実行されて、処理が終了される。

ステップＳ７２において、ビットレートは、所定の閾値より高くないと判断された場合、ステップＳ７４において、図１０を用いて説明したピクチャタイプ決定処理が実行されて、処理が終了される。

このような処理により、圧縮符号化された編集素材データのビットレートに適した方法で、参照画入力の無いエンコーダで再エンコードを行い、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。

以上説明したように、本発明を適用した編集装置５１によれば、参照画入力のないエンコーダを用いて、Open Long GOP構造の圧縮映像データの編集を実現することが可能になる。これにより、一般的に用いられているエンコーダを用いてOpen Long GOP構造の圧縮映像データの編集が実現できるので、参照画入力機能を有するエンコーダのＬＳＩを、コストと時間をかけて新たに製造する必要がなくなる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図５を用いて説明した編集装置５１は、図１２に示されるようなパーソナルコンピュータ３０１により構成される。

図１２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、上述の実施の形態においては、編集装置５１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１３に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。

このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化された後、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。

さらに、上述の実施の形態においては、デコーダ７２乃至７４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ７７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。

例えば、デコーダ７２乃至７４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ７７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。

さらに、上述の実施の形態においては、デコーダ７２乃至７４が完全に復号したベースバンド信号を、エンコーダ７７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ７２乃至７４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ７７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、図１３に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。

更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ７５やエフェクト／スイッチ７６が実行可能な機能を有する編集装置が利用される場合などに用いられる。

さらに、上述の実施の形態においては、ＣＰＵ６１およびＣＰＵ７０がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ６３およびメモリ７１がそれぞれ別の形態で構成されているが、これに限らず、編集装置５１において１つのメモリとして構成する形態も考えられる。

さらに、上述の実施の形態においては、ＨＤＤ６６、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。

さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。

さらに、上述の実施の形態においては、デコーダ７２乃至７４、ストリームスプライサ７５、エフェクト／スイッチ７６、および、エンコーダ７７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。

本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化または復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。

通常用いられているエンコーダの構成を示すブロック図である。編集と部分再エンコードについて説明するための図である。 ClosedGOPでの編集と部分再エンコードについて説明するための図である。参照画の入力機能を有するエンコーダの構成を示すブロック図である。本発明を適用した編集装置５１の構成を示すブロック図である。編集処理について説明するためのフローチャートである。エンコード時の予測方向の制限について説明するための図である。予測方向制御処理について説明するためのフローチャートである。エンコード時の予測のための参照画について説明するための図である。ピクチャタイプ決定処理について説明するためのフローチャートである。エンコード方法洗濯処理について説明するためのフローチャートである。パーソナルコンピュータの構成を示すブロック図である。本発明を適用可能な異なる装置の構成について説明するための図である。

符号の説明

５１編集装置，６１ＣＰＵ，６６ＨＤＤ，７０ＣＰＵ，７２乃至７４デコーダ，７５ストリームスプライサ，７６エフェクト／スイッチ，７７エンコーダ

Claims

第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成するデコード手段と、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成するエンコード手段と、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する制御手段と、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記エンコード手段により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段と
を備える情報処理装置。
上記制御手段は、上記第３の画像データを対象としてディスプレイオーダで上記第１の切換点の直後に位置するピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項１に記載の情報処理装置。
上記制御手段は、レート制御で割り当てられる量子化値よりも小さな量子化値で、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項１に記載の情報処理装置。
上記編集手段は、上記第１の符号化ストリームに設定された第１の編集点に対して、ディスプレイオーダにおいて過去のピクチャを出力するとともに、上記第２の符号化ストリームに設定された第２の編集点に対して、ディスプレイオーダにおいて未来のピクチャを出力することにより、上記編集符号化ストリームを生成する
請求項１に記載の情報処理装置。
上記制御手段は、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも低い場合に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する
請求項１に記載の情報処理装置。
上記制御手段は、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも高い場合に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャからの参照予測をなくすように予測方向を限定して、上記第３の画像データのピクチャをＢピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項５に記載の情報処理装置。
上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に備える
請求項１に記載の情報処理装置。
上記第１の符号化ストリームにおける第１の切換点及び上記第２の符号化ストリームにおける第２の切換点を設定する切換点設定手段を更に備える
請求項１に記載の情報処理装置。
上記第１の編集点を含む第１の区間及び上記第２の編集点を含む第２の区間を設定する区間設定手段を更に備える
請求項１に記載の情報処理装置。
上記エンコード手段は、MPEG方式でエンコードを行う
請求項１に記載の情報処理装置。
上記エンコード手段は、Open GOP構造のLong GOP方式でエンコードを行う
請求項８に記載の情報処理装置。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置の情報処理方法において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含む情報処理方法。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する処理をコンピュータに実行させるプログラムにおいて、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含むプログラム。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第１の切換点よりも前に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含むプログラムが記録されている記録媒体。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成するデコード手段と、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成するエンコード手段と、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する制御手段と、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと上記エンコード手段により生成された上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する編集手段と
を備える情報処理装置。
上記制御手段は、上記第３の画像データを対象としてディスプレイオーダで上記第２の切換点の直前に位置するピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項１５に記載の情報処理装置。
上記制御手段は、レート制御で割り当てられる量子化値よりも小さな量子化値で、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項１５に記載の情報処理装置。
上記編集手段は、上記第１の符号化ストリームに設定された第１の編集点に対して、ディスプレイオーダにおいて過去のピクチャを出力するとともに、上記第２の符号化ストリームに設定された第２の編集点に対して、ディスプレイオーダにおいて未来のピクチャを出力することにより、上記編集符号化ストリームを生成する
請求項１５に記載の情報処理装置。
上記制御手段は、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも低い場合に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャをＩピクチャ又はＰピクチャとして再エンコードし、再エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記エンコード手段の再エンコードを制御する
請求項１５に記載の情報処理装置。
上記制御手段は、上記第１の符号化ストリーム又は第２の符号化ストリームのビットレートが閾値よりも高い場合に、ディスプレイオーダで上記第２の切換点よりも後に位置するピクチャからの参照予測をなくすように予測方向を限定して、上記第３の画像データのピクチャをＢピクチャとして再エンコードするように、上記エンコード手段の再エンコードを制御する
請求項１９に記載の情報処理装置。
上記第１の符号化ストリームにおける第１の編集点及び上記第２の符号化ストリームにおける第２の編集点を設定する編集点設定手段を更に備える
請求項１５に記載の情報処理装置。
上記第１の符号化ストリームにおける第１の切換点及び上記第２の符号化ストリームにおける第２の切換点を設定する切換点設定手段を更に備える
請求項１５に記載の情報処理装置。
上記第１の編集点を含む第１の区間及び上記第２の編集点を含む第２の区間を設定する区間設定手段を更に備える
請求項１５に記載の情報処理装置。
上記エンコード手段は、MPEG方式でエンコードを行う
請求項１５に記載の情報処理装置。
上記エンコード手段は、Open GOP構造のLong GOP方式でエンコードを行う
請求項２４に記載の情報処理装置。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する情報処理装置の情報処理方法において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含む情報処理方法。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する処理をコンピュータに実行させるプログラムにおいて、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含むプログラム。
第１の符号化ストリームと第２の符号化ストリームとを接続点で接続する処理をコンピュータに実行させるプログラムが記録されている記録媒体において、
上記第１の符号化ストリームに設定された第１の切換点及び第１の編集点を含む第１の区間をデコードして第１の画像データを生成すると共に、上記第２の符号化ストリームに設定された第２の編集点及び第２の切換点を含む第２の区間をデコードして、第２の画像データを生成し、
上記第１の画像データと上記第２の画像データとが上記第１の編集点と上記第２の編集点とで接続された第３の画像データを再エンコードして、再符号化ストリームを生成し、
上記第３の画像データのピクチャをＢピクチャとして再エンコードする際に、ディスプレイオーダで上記第２の切換点よりも後のピクチャをＩピクチャ又はＰピクチャとしてエンコードし、エンコードしたピクチャをデコードして得られるピクチャを参照予測ピクチャとして利用するように、上記第３の画像データの再エンコードを制御し、
上記第１の符号化ストリーム及び上記第２の符号化ストリームと生成した上記再符号化ストリームとを、上記第１の切換点及び第２の切換点で切り換えて出力することによって、編集された編集符号化ストリームを生成する
ステップを含むプログラムが記録されている記録媒体。