JP4333522B2 - 情報処理装置および情報処理方法、記録媒体、並びに、プログラム - Google Patents

Description

本発明は、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関し、特に、双方向のフレーム間予測を用いて圧縮した映像データを編集する場合に用いて好適な、情報処理装置および情報処理方法、記録媒体、並びに、プログラムに関する。

MPEG（Moving Picture Coding Experts Group／Moving Picture Experts Group）などに代表される画像圧縮方式では、フレーム間予測を用いて映像信号を圧縮符号化することで、高い圧縮効率を実現している。しかし、映像を編集することを考えた場合、フレーム間予測を用いた圧縮画像は、フレーム間に予測による圧縮信号の関連があるため、圧縮されたままの映像信号で、映像素材をつなぎ合わせることとはできない。そのため、映像素材を編集することが予め考慮されたシステムにおいては、一般的に、フレーム間予測を用いず、フレーム内での圧縮のみを用いて符号化が行われている。

しかしながら、例えば、ＨＤ（High Definition）信号のように、高精細で情報量の多い映像信号が取り扱われる場合、フレーム内圧縮のみで符号化を行うと、低い圧縮効率しか得られないため、多量のデータを伝送したり、蓄積するためには、転送速度が速かったり、記憶容量が大きかったり、または、処理速度が速いなどの、高価なシステムが必要となってしまう。すなわち、高精細で情報量の多い映像信号を安価なシステムで取り扱うためには、フレーム間予測を用いて圧縮効率を上げることが必要となる。

MPEGにおいて、Ｉピクチャ（Ｉ-Picture）、Ｐピクチャ（Ｐ-Picture）、および、Ｂピクチャ（B-Picture）から構成される、双方向のフレーム間予測を用いた圧縮符号化方式は、Long GOP（Group of Picture)方式の圧縮と呼ばれる。

Ｉピクチャとは、フレーム内（Intra）符号化画像のことであり、他の画面とは独立に符号化されるピクチャであり、この情報のみで画像を復号することができるものである。Ｐピクチャとは、フレーム間(inter)順方向予測符号化画像のことであり、時間的に前（順方向）のフレームからの差分によって表現される前方向予測符号化ピクチャである。Ｂピクチャとは、双方向予測符号化画像のことであり、時間的に前（順方向）、または後（逆方向）、または前後（双方向）のピクチャを利用して動き補償フレーム間予測により符号化されるピクチャである。

ＰピクチャやＢピクチャは、データ量がＩピクチャに比べて小さいため、GOPを長くすれば（すなわち、Long GOPを構成するピクチャ数を増加させれば）、映像の圧縮率を高くすることができるので、デジタル放送やDVD（Digital Versatile Disk）ビデオでの利用に適している。しかしながら、GOPが長すぎると、フレーム精度での編集コントロールが困難となり、特に、業務用用途での編集では、運用上の問題が発生する。

Long GOP方式で圧縮された２つの映像データを所定の編集点で接続することにより編集する処理について、図１を用いて説明する。

まず、編集対象圧縮映像データ１および編集対象圧縮映像データ２のそれぞれにおいて、編集点近傍の部分的なデコードが行われ、部分的な非圧縮の映像信号１および映像信号２が得られる。そして、非圧縮の映像信号１および映像信号２が編集点で接続されて、必要に応じて編集点付近にエフェクト（Effect）が施されて、再エンコードが行われる。そして、再エンコードされた圧縮映像データが、デコードおよび再エンコードされていない（部分的なデコードが行われた編集点近傍以外の）圧縮映像データと結合される。

図１を用いて説明した方法は、圧縮された編集素材の映像データを全てデコードしてから、映像信号を編集点でつなぎ、再び全ての映像信号を再エンコードして編集済みの圧縮映像データを得る方法と比較して、再エンコードによる画質劣化を局所的に抑えることができるとともに、編集処理時間を大幅に短縮することができるなどの利点がある。

しかしながら、図１を用いて説明したような方法で編集と再エンコードを行うと、再エンコードを行った部分と行っていない部分のつなぎ目において、画像を参照することができないという問題が発生する。

この問題に対して、フレーム間で予測符号化が行われている（Long GOP）方式で圧縮する場合、編集を比較的簡単に実現する方法として、フレーム間予測に制限を加え、GOP内のみで画像を参照し、GOPをまたいで画像を参照しないClosed GOP構造をとるように、フレーム間予測に制限を加える方法が知られている。

フレーム間予測に制限を加える場合について、図２を用いて説明する。図２においては、フレーム間予測と編集との関係を示すために、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータ、部分再エンコードされた編集後の編集点付近の圧縮映像のデータ、並びに、再エンコードしない部分の圧縮映像のデータについて、それぞれ、display order（ディスプレイオーダ）でのピクチャの並びを示している。図中の矢印は、画像の参照方向を示している（以下、同様）。図２においては、ディスプレイオーダのBBIBBPBBPBBPBBPの１５のピクチャが１GOPとされ、画像の参照は、GOP内のみとされている。この方法は、GOPをまたぐ予測を禁止することで、GOP間に予測による圧縮データの関連をなくし、GOP単位での圧縮データのつなぎ替え（再エンコードを行う範囲の決定）を可能にする。

すなわち、編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータは、それぞれ、編集点を含む１GOP単位で、再エンコード範囲が決定され、１GOP単位で決定された再エンコード範囲の編集対象である圧縮素材映像１のデータおよび圧縮素材映像２のデータがデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、非圧縮の素材映像１の信号と素材映像２の信号とがカット（Cut）編集点において接続されて、接続された素材映像１および素材映像２が部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮符号化された編集映像データが生成される。

実際に符号化されたデータは、図３に示されるように、Coding order（コーディングオーダ）で並んでおり、圧縮映像データの結合はコーディングオーダで行われる。接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１４番目のピクチャであるＢ₁₃ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ₂ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであり、ディスプレイオーダ１３番目のピクチャであるＢ₁₂ピクチャと、再エンコードしない部分の圧縮素材映像２のデータにおいて、コーディングオーダで最初のピクチャであり、ディスプレイオーダ３番目のピクチャであるＩ₂ピクチャとが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切替え部分で接続されて、圧縮された編集映像データが生成される。

これに対して、Closed GOP構造ではないGOP構造、すなわち、GOPをまたいで画像を参照する場合のLong GOP構造を、以下、Open GOPと称する。

また、Open GOPの２つのビットストリームを編集する場合、具体的には、ビットストリームＸに、ビットストリームＹを挿入する場合において、ビットストリームＹの最初のGOPを構成するＩピクチャ前Ｂピクチャ（Ｉピクチャが表示されるまでに出現するＢピクチャ）が削除され、更に、そのGOPを構成する残りの画像のテンポラルリファレンス（Temporal Reference）が変更されることにより、ビットストリームＸの最後のGOPを構成する画像を用いて予測されるＩピクチャ前Ｂピクチャを表示させないようにし、Open GOPでMPEG符号化された画像のビットストリームどうしを接続したときのつなぎ目部分における画質の劣化を防止することができるようにした技術がある（例えば、特許文献１）。

特開平１０−６６０８５号公報

しかしながら、図２および図３を用いて説明したように、GOPをまたぐ予測を禁止するClosed GOP構造を利用する編集方法では、GOPの開始部および終了部で予測方向に制限を加えることになり、通常用いられる圧縮方式であるOpen GOPと比較して、映像信号の圧縮効率が低下する。

また、特許文献１に記載の技術においては、つなぎ目付近のＢピクチャが表示されないため、その分の画像が欠落してしまうという問題がある。

本発明はこのような状況に鑑みてなされたものであり、高い圧縮効率が得られるLong GOP方式で圧縮された、双方向のフレーム間予測を用いた圧縮映像信号の編集を、ＶＢＶ Bufferの制約を守って実現することができるようにするものである。

本発明の第１の情報処理装置は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、第１の圧縮映像データがデコード手段によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコード手段によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、接続手段により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、エンコード手段による、Ｑマトリクスを用いたエンコードを制御する制御手段と、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコード手段によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段とを備えることを特徴とする。

制御手段には、第２の圧縮映像データのうち、編集映像データ生成手段により第３の圧縮映像データに接続される第１のピクチャのＱマトリクスに関する情報を取得させるようにすることができ、第１のピクチャが所定の条件に合致する場合、制御手段には、エンコード手段によりエンコードされる第２のピクチャが、第１のピクチャのＱマトリクスを用いてエンコードされるようにエンコード手段を制御させるようにすることができ、編集映像データ生成手段は、第２のピクチャに続いて、第１のピクチャを接続させるようにすることができる。

所定の条件には、第１のピクチャの前にシーケンスヘッダが挿入されていないことが含まれるようにすることができる。

所定の条件には、第１のピクチャがエンコード時にＱマトリクスをロードするように設定されていないことが含まれるようにすることができる。

制御手段には、エンコード手段によりエンコードされるピクチャであって、編集映像データ生成手段により、編集点付近以外の所定の範囲の第１の圧縮映像データと接続されるピクチャにシーケンスヘッダが挿入されるようにエンコード手段を制御させるようにすることができる。

制御手段には、第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、第１の圧縮映像データおよび第２の圧縮映像データの対応するピクチャタイプから変更されないように、エンコード手段によるエンコード処理を更に制御させるようにすることができる。

制御手段には、第２の圧縮映像データのうち、編集映像データ生成手段により第３の圧縮映像データに接続される第１のピクチャのＱマトリクスに関する情報を取得させるようにすることができ、第１のピクチャのＱマトリクスと、編集データ生成手段により第１のピクチャに続いて接続される第２のピクチャのＱマトリクスとが等しいか否かを判断させるようにすることができ、第１のピクチャと第２のピクチャとのＱマトリクスが等しくないと判断された場合、エンコード時にＱマトリクスをロードするように、第２のピクチャを設定させるようにすることができる。

制御手段には、第２の圧縮映像データのうち、第３の圧縮映像データの最後のピクチャである第１のピクチャに対応する第２のピクチャのＱマトリクスに関する情報を取得させるようにすることができ、第１のピクチャが、第２のピクチャと同一のＱマトリクスでエンコードされるように、エンコード手段を制御させるようにすることができる。

編集点付近以外の所定の範囲の第２の圧縮映像データのシンタクスを更新する更新手段を更に備えさせるようにすることができ、制御手段には、シンタクス更新制御手段の処理を更に制御させるようにすることができ、第２の圧縮映像データのうち、編集映像データ生成手段により第３の圧縮映像データに接続されるフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第１のピクチャおよびその次のフレーム間順方向予測符号化画像である第２のピクチャのＱマトリクスに関する情報を取得させるようにすることができ、第１のピクチャと第２のピクチャのＱマトリクスが異なり、かつ、第２のピクチャがエンコード時にＱマトリクスをロードするように設定されていなかった場合、シンタクス更新制御手段を制御して、第２のピクチャのシンタクスにQuantMatrixExtentionを付加させるようにすることができる。

本発明の第１の情報処理方法は、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された情報を用いて、接続ステップの処理により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする。

本発明の第１の記録媒体に記録されているプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された情報を用いて、接続ステップの処理により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明の第１のプログラムは、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、第１の圧縮映像データがデコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された情報を用いて、接続ステップの処理により接続されて生成された第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、エンコードステップの処理によりエンコードされて生成された、第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明の第１の情報処理装置および情報処理方法、並びにプログラムにおいては、第１の圧縮映像データおよび第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データがデコードされ、第１の圧縮映像データがデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データがデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて、第３の非圧縮映像信号が生成され、第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報が取得されて、取得された情報を用いて、第３の非圧縮映像信号がエンコードされて、第３の圧縮映像データが生成され、編集点付近以外の所定の範囲の第１の圧縮映像データおよび編集点付近以外の所定の範囲の第２の圧縮映像データと、第３の圧縮映像データとが接続されて、圧縮符号化された編集映像データが生成される。

本発明の第２の情報処理装置は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、第２の圧縮映像データのうちの編集点付近の所定の範囲以外の範囲のピクチャであって第３の圧縮映像データに接続されるピクチャである第１のピクチャのＱマトリクスに関する情報を取得し、第１のピクチャが所定の条件に合致する場合、エンコード手段によりエンコードされる第２のピクチャが、第１のピクチャのＱマトリクスを用いてエンコードされるように、エンコード手段によるエンコード処理を制御する制御手段とを備えることを特徴とする。

本発明の第２の情報処理方法は、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、第２の圧縮映像データのうちの編集点付近の所定の範囲以外の範囲のピクチャであって第３の圧縮映像データに接続されるピクチャである第１のピクチャのＱマトリクスに関する情報を取得し、第１のピクチャが所定の条件に合致する場合、エンコードステップの処理によりエンコードされる第２のピクチャが、第１のピクチャのＱマトリクスを用いてエンコードされるように、エンコードステップの処理によるエンコード処理を制御する制御ステップとを含むことを特徴とする。

本発明の第２の情報処理装置および情報処理方法においては、第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、第２の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、編集点で接続されて生成された第３の非圧縮映像信号がエンコードされて、第３の圧縮映像データが生成され、第２の圧縮映像データのうちの編集点付近の所定の範囲以外の範囲のピクチャであって第３の圧縮映像データに接続されるピクチャである第１のピクチャのＱマトリクスに関する情報が取得され、第１のピクチャが所定の条件に合致する場合、エンコードステップの処理によりエンコードされる第２のピクチャが、第１のピクチャのＱマトリクスを用いてエンコードされるように、エンコードステップの処理によるエンコード処理が制御される。

本発明によれば、編集処理を行うようにすることができ、特に、編集の素材である圧縮映像データのＱマトリクスを用いて再エンコードが行われるようになされているので、再エンコードによる画質の劣化を抑制することができる。

また、他の本発明によれば、編集処理を行うようにすることができ、特に、編集の素材である圧縮映像データのＱマトリクスを用いて再エンコードが制御されるようになされているので、再エンコードによる画質の劣化を抑制することができる。

以下、図を参照して、本発明の実施の形態について説明する。

図４は本発明を適用した編集装置１のハードウェア構成を示すブロック図である。

ＣＰＵ（Central Processing Unit）１１は、ノースブリッジ１２に接続され、例えば、ＨＤＤ（Hard disk Drive）１６に記憶されているデータの読み出しなどの処理を制御したり、ＣＰＵ２０が実行する編集処理を制御するためのコマンドを生成し、出力する。ノースブリッジ１２は、ＰＣＩバス（Peripheral Component Interconnect/Interface）１４に接続され、例えば、ＣＰＵ１１の制御に基づいて、サウスブリッジ１５を介して、ＨＤＤ１６に記憶されているデータの供給を受けて、ＰＣＩバス１４、ＰＣＩブリッジ１７を介して、メモリ１８に供給する。また、ノースブリッジ１２は、メモリ１３とも接続されており、ＣＰＵ１１の処理に必要なデータを授受する。

メモリ１３は、ＣＰＵ１１が実行する処理に必要なデータを保存する。サウスブリッジ１５は、ＨＤＤ１６のデータの書き込みおよび読み出しを制御する。ＨＤＤ１６には、圧縮符号化された編集用の素材が記憶されている。

ＰＣＩブリッジ１７は、メモリ１８のデータの書き込みおよび読み出しを制御したり、デコーダ２２乃至２４、または、ストリームスプライサ２５への圧縮符号化データの供給を制御するとともに、ＰＣＩバス１４およびコントロールバス１９のデータの授受を制御する。メモリ１８は、ＰＣＩブリッジ１７の制御に基づいて、ＨＤＤ１６により読み出された、編集用素材である圧縮符号化データや、ストリームスプライサ２５から供給される編集後の圧縮符号化データを記憶する。

ＣＰＵ２０は、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ１１から供給されたコマンドにしたがって、ＰＣＩブリッジ１７、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、エンコーダ２７、および、シンタクス更新部２８が実行する処理を制御する。メモリ２１は、ＣＰＵ２０の処理に必要なデータを記憶する。

デコーダ２２乃至デコーダ２４は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化データをデコードし、非圧縮の映像信号を出力する。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、供給された圧縮映像データを、所定のフレームで結合する。また、デコーダ７２乃至デコーダ７４は、編集装置１に含まれない独立した装置として設けられていても良い。例えば、デコーダ７４が、独立した装置として設けられている場合、デコーダ７４は、後述する処理により編集されて生成された圧縮編集映像データの供給を受け、復号し、出力することができるようになされる。

エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、デコーダ２２またはデコーダ２３から供給される、非圧縮の映像信号出力を切り替える、すなわち、供給された非圧縮の映像信号を所定のフレームで結合するとともに、必要に応じて、所定の範囲にエフェクトを施して、エンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の映像信号をエンコードして、圧縮符号化された圧縮映像データを、ストリームスプライサ２５に出力する。

シンタクス更新部２８は、ＣＰＵ２０の制御に基づいて、ストリームスプライサ２５に供給された圧縮符号化された映像データのシンタクスを更新する。

次に、第１の実施の形態における編集装置１の動作について説明する。

ＨＤＤ１６には、図５に示されるLong GOPのOpen GOP方式で圧縮された圧縮素材映像１および圧縮素材映像２のデータが記憶されている。図５において、圧縮された圧縮素材映像１および圧縮素材映像２は、表示されるピクチャ順（display order）で記載されている。

ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。

ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像１のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、参照する必要があるピクチャに対応する圧縮素材映像２のデータをデコーダ２３に供給させる。

すなわち、このとき、圧縮素材映像１のうち、Ｂピクチャ３６およびＢピクチャ３７が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３６およびＢピクチャ３７をデコードするために、Ｉピクチャ３１、および、Ｐピクチャ３２乃至Ｐピクチャ３５もデコードされる。また、同様に、圧縮素材映像２のうち、Ｂピクチャ３８およびＢピクチャ３９が再エンコードを行う範囲に含まれている場合、Ｂピクチャ３８およびＢピクチャ３９をデコードするために、Ｉピクチャ４０もデコードされる。

また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。

ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。

デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図５においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１に対応する画像データ）とともに、エンコーダ２７に供給する。

また、デコーダ２２およびデコーダ２３は、後段のエンコーダ２７によるエンコード処理に必要な情報を抽出し、コントロールバス１９を介して、ＣＰＵ２０に供給することができる。ＣＰＵ２０は、デコーダ２２またはデコーダ２３から供給された、後段のエンコーダ２７によるエンコード処理に必要な情報を、コントロールバス１９を介して、エンコーダ２７に供給する。

エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。

そのとき、エンコーダ２７は、図５に示されるように、双方向予測符号化を行うＢピクチャ４２およびＢピクチャ４３をエンコードするために、参照画として、一つ前のＰピクチャ４１を用いなければならない。また、ディスプレイオーダにおいて、再エンコードの最後のピクチャがＰピクチャとなるように、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。

換言すれば、再エンコード終了点がGOPの切れ目（すなわち、Ｂピクチャ以外）となるようなピクチャタイプで再エンコードを行うようにすることにより、編集用の圧縮素材映像データがOpenGOPであっても、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いる必要がなくなる。

そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。シンタクス更新部２８は、ＣＰＵ２０の制御に基づいて、必要に応じて、ストリームスプライサ２５に供給された圧縮符号化された素材映像データのシンタクスを更新する。シンタクス更新部２８により、シンタクスが更新される場合については、後述する。そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。

具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＰピクチャ４５と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。

そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。

図示しない操作入力部から、編集されて生成された圧縮編集映像データの保存が指令された場合、ＣＰＵ１１は、ＰＣＩブリッジ１７を制御して、メモリ１８に保存されている圧縮編集映像データを読み出させ、ＰＣＩバス１４およびノースブリッジ１２を介して、サウスブリッジ１５に供給させるとともに、サウスブリッジ１５を制御して、供給された圧縮編集映像データをＨＤＤ１６に供給させて保存させる。

実際のエンコードはコーディングオーダ（coding order）で行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図５を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図６に示す。

編集対象である圧縮素材映像１および編集対象である圧縮素材映像２のそれぞれのデータにおいて、編集点を含む再エンコード範囲が決定され、再エンコード範囲の圧縮素材映像１および圧縮素材映像２がデコードされて、非圧縮の素材映像１の信号および素材映像２の信号が生成される。そして、カット（Cut）編集点において、非圧縮の素材映像１の信号と素材映像２とが接続されて、接続された素材映像１および素材映像２が、最後のピクチャがＰピクチャ（またはＩピクチャ）となるように部分再エンコードされて、圧縮映像データが生成され、再エンコードしない部分の圧縮映像データと接続されて、圧縮された編集映像データが生成される。

接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、再エンコードしない部分の圧縮素材映像１のデータにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１４番目のピクチャであるＢ₁₃ピクチャと、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで先頭のピクチャであって、ディスプレイオーダ３番目のピクチャであるＩ₂ピクチャとが接続される。そして、再エンコードされて生成された圧縮映像データにおいて、コーディングオーダで最後のピクチャであって、ディスプレイオーダ１６番目のピクチャであるＰ₁₅ピクチャ（Ｐピクチャ４５）と、再エンコードしない部分の圧縮素材映像２において、コーディングオーダで先頭のピクチャであって、データのディスプレイオーダ３番目のピクチャであるＩ₀ピクチャ（Ｉピクチャ４７）とが接続される。すなわち、接続された素材映像１および素材映像２が部分再エンコードされて生成された圧縮映像データと、再エンコードしない部分の圧縮映像データとは、GOPの切替え部分に関係なく接続されて、圧縮された編集映像データが生成される。

このように、ディスプレイオーダにおいて、再エンコードの最後のピクチャであるＰ₁₅ピクチャ（Ｐピクチャ４５）は、コーディングオーダでも再エンコードの最後のピクチャとなる。このようにして、ピクチャタイプを決定することにより、再エンコードの最後のピクチャ以降のピクチャをエンコードのための参照画として用いなくてもよいようにすることができる。

このとき、ＶＢＶ（Video Buffering Verifier)バッファも考慮して再エンコードを行う必要がある。図７を用いて、編集を行う場合のＶＢＶバッファについて説明する。

エンコードを行うにあたっては、ＶＢＶバッファがオーバーフロー（over flow）、または、アンダーフロー（under flow）しないようにそれぞれのピクチャに発生符号量を割り当てることで、後段のデコーダが正常にデコードを行えるように制御されなくてはならない。特に、編集のための部分的な再エンコードを行う場合、部分再エンコードしない部分に関して（特に、再エンコードを行う部分と再エンコードを行わない部分の接続点付近において）も、ＶＢＶバッファがオーバーフローまたはアンダーフローしないように再エンコードを行う必要がある。

再エンコードされた圧縮映像データのバッファの状態により影響を受けるのは、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮映像データである。この再エンコードしない部分の圧縮映像データが、オーバーフローまたはアンダーフローしないための十分条件は、再エンコードされた圧縮映像信号の後に結合される再エンコードしない部分の圧縮編集映像データの最初のＩピクチャまたはＰピクチャ、すなわち、図７において、Ａで示されるＩピクチャに続く、図７においてＤで示されるＰピクチャのOccupancy（オキュパンシ）が、圧縮素材映像２データの図７においてＢで示されるＩピクチャ次のＩピクチャまたはＰピクチャ、すなわち、図７において、Ｃで示されるＰピクチャのOccupancyに等しくなることである。よって再エンコードを行う場合は、上記条件を満たす値になるように、再エンコード終了時点（図７のＡで示される部分）のバッファのOccupancyを制御する必要がある。

このようにすることにより、ＶＢＶバッファの破綻をできるだけ防止するようにすることができる。

しかしながら、Ａで示されるＩピクチャおよびその次のＩまたはＰピクチャの発生符号量によっては、Ａで示されるＩピクチャのOccupancyを制御するだけでは、図７を用いて説明したように、Ｄで示されるＰピクチャのOccupancyが、圧縮素材映像２データの図７においてＣで示されるＰピクチャのOccupancyに等しくなるようにすることができず、ＶＢＶバッファが破綻してしまう恐れがある。

図８を用いて、ＶＢＶバッファが破綻してしまう場合について説明する。

一般的に、Ｉピクチャの発生符号量およびＰピクチャの発生符号量は、Ｂピクチャの発生符号量よりも大きい。例えば、再エンコードして生成された圧縮映像データの後に結合される、再エンコードしない圧縮素材映像２のデータの先頭のＩピクチャであるＩ₂ピクチャの発生符号量Ｂ、および、次のＰピクチャであるＰ₅ピクチャの発生符号量Ｃが大きい場合について考える。

このとき、編集されて生成される圧縮編集映像のうちの、部分エンコードされた部分に続く部分エンコードされない部分の先頭のＩピクチャに続くＰピクチャにおけるＤで示される部分のOccupancyが、編集前の圧縮素材映像２データのＣで示される部分のOccupancyに等しくなるように、Ａで示されるＩピクチャのOccupancyを制御しようとしても、連続するＰピクチャの符号発生量が多いために、図中Ｄに示されるように、バッファをアンダーフローしてしまう。この例では、編集後のＩ₀ピクチャにおけるＡで示されるＩピクチャのOccupancyは、ほぼ、バッファの最大値であるため、再エンコード部分において、発生符号量をどのように制御しても、図中Ｄに示される部分でバッファのアンダーフローを避けることができない。すなわち、図５および図６を用いて説明した方法では、デコーダでの復号処理を１００％保障することができない。

そこで、ＣＰＵ２０は、ＶＢＶバッファが破綻しない条件を守って再エンコードが行われるように、デコーダ２２およびデコーダ２３、ストリームスプライサ２５、エフェクト／スイッチ２６、並びに、エンコーダ２７が実行する処理を制御するようにすることができる。

次に、Long GOPのOpen GOP方式で圧縮された映像信号において、ＶＢＶバッファが破綻しない条件を守って編集することができる、第２の実施の形態について説明する。

第２の実施の形態における編集装置１の動作について説明する。

ＣＰＵ１１は、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。

ＣＰＵ２０は、ＣＰＵ１１から供給された編集点を示す情報を基に、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータのうち、再エンコードを行う範囲を決定する。

具体的には、ＣＰＵ２０は、圧縮素材映像１において、再エンコードする区間の開始点を、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定する。

すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ４６になるように、再エンコードする区間の開始点を、圧縮素材映像１において、Ｐピクチャ３５の次のＢピクチャ３６に決定する。換言すれば、ＣＰＵ２０は、再エンコードしない部分の圧縮映像がGOPの終了位置となるようにすることにより、エンコード処理が行いやすいようにすることができる。

また、ＣＰＵ２０は、圧縮素材映像２において、再エンコードする区間の終了点を、部分再エンコードされた圧縮映像の後に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定する。

すなわち、ＣＰＵ２０は、例えば、図９に示されるように、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャ４７になるように、再エンコードする区間の終了点を、圧縮素材映像２において、Ｉピクチャ４０の前のＢピクチャ３９に決定する。

そして、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３６およびＢピクチャ３７をデコードするために参照する必要があるピクチャである、Ｉピクチャ３１、Ｐピクチャ３２、Ｐピクチャ３３、Ｐピクチャ３４、および、Ｐピクチャ３５のデータをデコーダ２２に供給させるとともに、圧縮素材映像２のデータのうち、再エンコードを行う範囲のピクチャと、Ｂピクチャ３８およびＢピクチャ３９をデコードするために参照する必要があるピクチャである、Ｉピクチャ４０のデータをデコーダ２３に供給させる。

また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲のピクチャを、ストリームスプライサ２５に供給させる。

ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、供給された圧縮符号化されたデータをデコードさせる。

デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給されたデータをデコードし、復号されて得られた素材映像１および素材映像２の信号をエフェクト／スイッチ２６に供給する。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、所定のカット（Cut）編集点（スプライス点）で、非圧縮の復号素材映像１と復号素材映像２の信号を接続して、必要に応じて、エフェクトを施し、再エンコード用の非圧縮の編集映像信号を生成し、再エンコードに必要な再エンコード用参照画像（図９においては、Ｂピクチャ４２およびＢピクチャ４３のエンコードに必要なＰピクチャ４１、並びに、Ｂピクチャ７２およびＢピクチャ７３のエンコードに必要なＩピクチャ７４に対応する画像データ）とともに、エンコーダ２７に供給する。

ＣＰＵ２０は、圧縮素材映像２のうち、再エンコードを行う部分において、ディスプレイオーダで最後に位置する連続するＢピクチャの枚数ｎの情報を取得する。再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプは、上述したように、Ｉピクチャになるように決定されているので、Ｂピクチャの枚数ｎは、すなわち、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャと、編集後にそのＩピクチャの直前に存在するＩピクチャまたはＰピクチャとの間にあるＢピクチャの枚数である。図９における場合では、Ｂピクチャの枚数ｎは、Ｂピクチャ３８およびＢピクチャ３９の２枚である。

更に、ＣＰＵ２０は、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャ、換言すれば、再エンコードする範囲の最後に存在するＩピクチャまたはＰピクチャのピクチャタイプの情報を取得する。図９における場合では、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のＩピクチャの直前に存在するＩピクチャまたはＰピクチャは、Ｐピクチャ６１である。

そして、ＣＰＵ２０は、エンコーダ２７が実行する処理において、再エンコード終了点付近のＢピクチャタイプの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるように、エンコーダ２７を制御する。また、ＣＰＵ２０は、Ｂピクチャの直前のピクチャのピクチャタイプも、編集前の圧縮素材映像２と同一となるように制御すると好適である。

すなわち、ＣＰＵ２０は、図９における場合では、編集前の圧縮素材映像２のＢピクチャ３８およびＢピクチャ３９と、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３のピクチャタイプをそろえ、再エンコードにおけるＢピクチャ７２およびＢピクチャ７３の直前をＰピクチャ７１とする。

エンコーダ２７は、ＣＰＵ２０の制御に基づいて、エフェクト／スイッチ２６から供給された、再エンコード用の非圧縮の編集映像信号をエンコードする。

そして、エンコーダ２７において再エンコードされた映像データは、ストリームスプライサ２５に供給される。シンタクス更新部２８は、ＣＰＵ２０の制御に基づいて、必要に応じて、ストリームスプライサ２５に供給された圧縮符号化された素材映像データのシンタクスを更新する。シンタクス更新部２８により、シンタクスが更新される場合については、後述する。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１および圧縮素材映像２のデータのうちの再エンコードを行わない範囲の圧縮素材映像１および圧縮素材映像２と、エンコーダ２７から供給されたエンコードされた映像データとを接続し、圧縮編集映像データを生成する。

具体的には、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、ＰＣＩブリッジ１７から供給された、圧縮素材映像１のＰピクチャ４６とエンコーダ２７から供給されたエンコードされた映像データのＢピクチャ４２とがディスプレイオーダで連続するように接続され、エンコーダ２７から供給されたエンコードされた映像データのＢピクチャ７３と、ＰＣＩブリッジ１７から供給された、圧縮素材映像２のＩピクチャ４７とがディスプレイオーダで連続するように接続されるように、ストリームをつなぎ合わせる。

実際のエンコードはコーディングオーダで行われ、エンコーダ２７においてエンコードされた圧縮映像も、コーディングオーダで出力される。図９を用いて説明した場合に対応させて、圧縮された信号におけるピクチャの並びをコーディングオーダで示したものを図１０に示す。

すなわち、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、再エンコードされた部分と再エンコードされていない部分の接続点において、エンコードされた映像データにおいて、コーディングオーダでＰピクチャ７１に続くＢピクチャ８１と、圧縮素材映像２のＩピクチャ４７（再エンコードされていないＩピクチャ）とがコーディングオーダで連続するように接続され、圧縮素材映像２のＩピクチャ４７と、エンコードされた映像データのＢピクチャ７２とがコーディングオーダで連続するように接続され、エンコードされた映像データにおいて、コーディングオーダでＢピクチャ７２に続くＢピクチャ７３と、圧縮素材映像２のＰピクチャ８２とがコーディングオーダで連続するように接続されるように、ストリームをつなぎ合わせる。

換言すれば、ストリームスプライサ２５は、コーディングオーダにおいて、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入るように、ストリームをつなぎ合わせる。

そして、ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、作成した圧縮編集映像データをＰＣＩブリッジ１７に供給して、メモリ１８に保存させるとともに、デコーダ２４に供給してデコードさせ、編集結果確認用のモニタなどに出力させて表示させたり、デコードされて生成されたベースバンド信号を、他の装置に出力させる。デコーダ２４が、独立した装置として構成されている場合、デコーダ２４に対応する装置は、図９および図１０を用いて説明したようにして生成された、換言すれば、再エンコードされた区間の最後のＩピクチャまたはＰピクチャに続く、ｎ枚の再エンコードされたＢピクチャの前に、再エンコードされていないＩピクチャが入る編集後の圧縮映像データの供給を受けてこれをデコードし、デコードされて生成されたベースバンド信号を出力することができるようになされる。

次に、図１１を用いて、図９および図１０を用いて説明した、再エンコードを利用した編集処理を行う場合のＶＢＶバッファについて説明する。

図９および図１０を用いて説明した、再エンコードを利用した編集処理が行われた場合、コーディングオーダにおいて、再エンコードの最後のｎ枚のＢピクチャの前に、再エンコードしないＩピクチャが挿入される。したがって、図１１に示されるように、再エンコード範囲から最後のｎ枚のＢピクチャを除いた部分（図１１のＥで示される部分）は、再エンコードされないＩピクチャのOccupancyが編集前と一致するように、再エンコードが行われ、その後、再エンコードされないＩピクチャの発生符号量の情報（図１１においては、Ｆで示される部分）が圧縮素材映像２の対応するＩピクチャの発生符号量の情報（図１１においては、Ｂで示される部分）から求められて、ＶＢＶバッファのOccupancyが計算される。

その後、再エンコードしない部分の圧縮映像のＶＢＶバッファが、オーバーフローまたはアンダーフローしないようにするため、再エンコードしない部分の圧縮映像の先頭のＩピクチャの次に位置するＩピクチャまたはＰピクチャのOccupancyが編集前後で一致するように、再エンコード部分の最後のｎ枚のＢピクチャ（図１１においては、Ｇで示される部分）において、発生符号量が制御されて、エンコードが行なわれる。すなわち、図１１において、編集前のＣで示される発生符号量と、編集後のＨで示される発生符号量は同一であるため、編集前のＩで示されるOccupancyに、編集後のＪで示されるOccupancyが一致するように、ｎ枚のＢピクチャの再エンコードが行われる。これにより、図１１において、ＫおよびＬで示される部分でバッファのアンダーフローは発生しない。

この方法では、再エンコードが行われている部分と再エンコードが行われない部分の圧縮映像の結合部におけるピクチャタイプが、編集前後で保存されているので、図１１に示されるように、再エンコードが行われている部分に接続される、再エンコードが行われない部分の先頭のＩピクチャの発生符号量Ｆと、次のＩピクチャまたはＰピクチャの発生符号量Ｈが大きくても、編集前の圧縮素材映像２のデータでＶＢＶバッファの制約が満たされていれば、編集後の圧縮映像でも制約を満たすようにエンコードが行われるようにすることが可能である。

以上、図４乃至図１１を用いて、双方向のフレーム間予測を用いて圧縮した映像データを編集することができる編集装置１が実行する処理の第１の実施の形態および第２の実施の形態について説明した。この編集装置１が取り扱うMPEGのSyntaxでは、Ｑマトリクス（Q-Matrix：Quantiser Matrix）において、以下のようなルールがある。

１つ目のルールは、Sequence HeaderまたはQuant Matrix Extensionで、load flagが１に設定される場合、Ｑマトリクスがロードされ、次にＱマトリクスがロードされるまで、そのＱマトリクスが利用されるというものである。そして、２つ目のルールは、Sequence Headerを有するピクチャにおいては、ディフォルトのＱマトリクスが利用されるというものである。３つ目のルールは、Ｂピクチャには、Sequence Headerを入れることができないというものである。

そして、Ｑマトリクスは、基本的に、前のピクチャにおいて使用されたものが次のピクチャにおいても利用される。したがって、編集において、再エンコードを行わない部分と再エンコードを行った部分の圧縮映像データが結合されることにより、利用するべきＱマトリクスに不整合が発生し、不具合が発生する恐れがある。

Long GOP方式の圧縮においては、ある間隔でＩピクチャが挿入されており、Ｉピクチャから次のＩピクチャの直前のピクチャまでが１GOPとされている。一般的には、ランダムアクセスを可能にするため、Ｉピクチャの前にSequence Headerが挿入される。

図２を用いて説明したように、Closed GOP構造の圧縮映像データの編集処理において、GOP単位の圧縮映像データの結合により編集が行われる場合、編集素材となる圧縮映像データにおいて、GOP毎にSequence Headerが挿入されていれば、Ｑマトリクスが異なる圧縮映像データを編集しても、Sequence Headerの直前で、再エンコードされた部分と再エンコードされていない部分の圧縮映像データが結合される。したがって、編集後のデータにおいて、利用するべきＱマトリクスに不整合は発生せず、不具合は発生しない。

これに対して、上述した第１の実施の形態、または、第２の実施の形態における場合のように、Closed GOP構造でないOpen GOP構造の圧縮映像データを、GOP単位とは関係なく接続して編集するとき、Sequence Headerの直前で、再エンコードされた部分と再エンコードされていない部分の圧縮映像データが結合されるとは限らない。したがって、Ｑマトリクスが異なる圧縮映像データを編集すると、編集の前後においてＱマトリクスに不整合が発生してしまう。なお、Closed GOP構造であっても、Ｉピクチャの前にSequence Headerが挿入されていない場合、Open GOP構造における場合と同様に、編集の前後でＱマトリクスに不整合が発生してしまう。

以下、図１２乃至図２１を用いて、編集前後においてＱマトリクスに不整合を発生させることなく、LongGOPのOpenGOP方式の圧縮符号化データを編集するために実行される処理について説明する。

まず、図１２を用いて、上述した第１の実施の形態における場合の、編集時の不具合の発生例について説明する。

なお、図１２における各圧縮映像の並び順は、コーディングオーダで記載されており、このデータの並び順は、図６を用いて説明した場合と同一である。また、図１２において、Ｑマトリクスとして記載されているアルファベットが同一であるピクチャは、同一のＱマトリクスを用いているものとし、ＱマトリクスがＡのとき、ディフォルトのＱマトリクスが用いられているものとする。そして、図中の「１」の記載は、Ｑマトリクスロードフラグ（Load_Flag）が１となっているピクチャを示すものであり、Ｑマトリクスロードフラグが１となっているピクチャにおいて、Ｑマトリクスがロードされるように設定されているものとする。また、図１２に示される部分のピクチャにおいては、Sequence Headerが挿入されているピクチャは存在しない。

第１の実施の形態においては、圧縮素材映像１および圧縮素材映像２のデータのそれぞれで、コーディングオーダにおいて、再エンコード部分の先頭がＩピクチャとなり、再エンコード部分の終了点がGOPの切れ目、すなわち、Ｂピクチャ以外となるように、編集点付近の所定の範囲が再エンコード範囲として定められ、それらのデータがデコードされて、編集点で接続された後、再エンコードされる。そして、再エンコードされて生成された圧縮映像データは、デコードされていない圧縮素材映像１および圧縮素材映像２のデータと接続される。

すなわち、図１２に示されるように、編集素材となる圧縮素材映像１のデータのＢピクチャ１０１以前のピクチャは、再エンコードされないで用いられるデータとして、ストリームスプライサ２５に供給される。また、編集素材となる圧縮素材映像１のデータのＩピクチャ１０２からＢピクチャ１０３以降の所定の範囲の部分は、再エンコードされる部分のデータとして、参照に必要なピクチャ（例えば、Ｉピクチャ３１、Ｐピクチャ３２乃至Ｐピクチャ３５）とともに、デコーダ２２に供給される。同様に、編集素材となる圧縮素材映像２のデータのＢピクチャ１０４以前の適当なピクチャからＢピクチャ１０５までのピクチャ、並びに、Ｂピクチャ３８およびＢピクチャ３９は、再エンコードされる部分のデータとして、参照に必要なピクチャ（例えば、Ｉピクチャ４０）とともに、デコーダ２３に供給される。また、編集素材となる圧縮素材映像２のデータのＩピクチャ４０、および、Ｐピクチャ１０６以降のピクチャは、再エンコードされないで用いられるデータとして、ストリームスプライサ２５に供給される。

ここで、編集素材である圧縮素材映像１のデータにおいて、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１０１の直前のピクチャまでのピクチャにおいては、ディフォルトの「Ａ」で示されるＱマトリクスが用いられ、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１０１から、次にＱマトリクスロードフラグに１がセットされているＢピクチャ１２１の直前のピクチャまでの範囲においては、「Ｂ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１２１以降、次にＱマトリクスロードフラグに１がセットされているか、または、Sequence Headerが挿入されているピクチャまでの間の範囲においては、ディフォルトの「Ａ」で示されるＱマトリクスが用いられる。

また、編集素材である圧縮素材映像２のデータにおいて、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１２２の直前のピクチャであるＢピクチャ１０４までのピクチャにおいては、「Ｂ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１２２から、次にＱマトリクスロードフラグに１がセットされているＢピクチャ３９の直前のピクチャであるＢピクチャ３８までの範囲においては、「Ｃ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ３９から、次にＱマトリクスロードフラグに１がセットされているＢピクチャ１２３の直前のピクチャであるＢピクチャ１０７までの範囲においては、「Ｂ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１２３以降、次にＱマトリクスロードフラグに１がセットされているか、または、Sequence Headerが挿入されているピクチャまでの間の範囲においては、「Ｄ」で示されるＱマトリクスが利用される。

このようにＱマトリクスの利用が設定されている編集素材である圧縮素材映像１および圧縮素材映像２のデータが、上述した範囲でデコードされて編集点で接続された後、エンコードされて生成された圧縮映像データのそれぞれのピクチャのＱマトリクスにおいて、先頭のＩピクチャ１０８から、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１１０の直前であるＢピクチャ１０９までのＱマトリクスは、ディフォルトの「Ａ」で示されるＱマトリクスであり、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１１０以降最後のピクチャであるＰピクチャ４５までのピクチャにおけるＱマトリクスは、「Ｄ」で示されるＱマトリクスである。

しかしながら、再エンコードされていない部分と再エンコードされた部分とが接続された後の圧縮編集映像において、Ｑマトリクスが変わってしまう場合がある。例えば、Ｉピクチャ１０８から、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１１０の直前であるＢピクチャ１０９までのＱマトリクスは、編集前においては「Ａ」であったにもかかわらず、編集後は、Ｉピクチャ１０８の直前のＢピクチャ１１３と同一の「Ｂ」で示されるＱマトリクスとなってしまい、不整合が発生している。また、再エンコードされた部分に接続された再エンコードされていない部分においては、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１１６の直前であるＢピクチャ１１５までのＱマトリクスは、編集前においては「Ｃ」または「Ｂ」であったにもかかわらず、編集後は、Ｐピクチャ４５と同一の「Ｄ」で示されるＱマトリクスとなってしまい、不整合が発生している。

このように、編集のために接続される部分において、接続点がSequence Headerの直前またはＱマトリクスロードフラグが１のピクチャの直前でなければ不整合が発生してしまうので、次のデコード処理時に、エンコード時と異なるＱマトリクスを使ってデコードしてしまい、正常な復号映像が得られなくなってしまう恐れがある。

したがって、Ｑマトリクスの不整合の発生を防止し、次のデコード処理時に正常な復号映像を得ることができるようにするためには、編集のために接続される部分の接続点の後となるピクチャのＱマトリクスが編集の前後で変わらないようにする必要がある。

次に、図１３を参照して、第１の実施の形態において、Ｑマトリクスの不整合の発生を防止し、次のデコード処理時に正常な復号映像を得ることができるようにするために実行される処理について説明する。

図１３に示されるように、第１の実施の形態においては、再エンコードの開始点がGOPの先頭となるように、再エンコード範囲が決められている。したがって、ＣＰＵ２０は、エンコーダ２７を制御して、再エンコード範囲の先頭のピクチャであるＩピクチャ１０８にSequence Headerを挿入するか、または、Ｑマトリクスをロードするように、Ｑマトリクスロードフラグに１を設定する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコード範囲の先頭のピクチャであるＩピクチャ１０８にSequence Headerを挿入するか、または、Ｑマトリクスロードフラグに１を設定する。これにより、圧縮編集画像データにおいてＩピクチャ１０８の直前のピクチャとなるＢピクチャ１１３のＱマトリクスの設定にかかわらず、編集前後でＱマトリクスの不整合は発生しない。

また、図１３に示されるように、第１の実施の形態においては、再エンコードの終了点のピクチャタイプがＢピクチャ以外（ここでは、Ｐピクチャ４５）となるようになされており、再エンコードの終了点に接続される再エンコードされない部分の先頭は、コーディングオーダにおいて、Ｉピクチャ４７である。ここで、Ｉピクチャ４７の前に、Sequence Headerが挿入されている場合、Ｑマトリクスの不整合は発生しない。上述したように、通常、ランダムアクセスのため、Ｉピクチャの前にはSequence Headerが挿入されている。また、Ｉピクチャ４７の前に、Sequence Headerが挿入されていなくても、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されている場合にも、Ｑマトリクスの不整合は発生しない。したがって、ＣＰＵ２０は、Ｉピクチャ４７の前に、Sequence Headerが挿入されているか否か、および、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。

すなわち、ＣＰＵ２０は、Ｉピクチャ４７に対応する圧縮素材映像２のＩピクチャ４０において、Sequence Headerが挿入されているか否か、および、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。なお、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０において、Sequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を、デコーダ２３から取得することができるようにしてもよいし、または、ＣＰＵ１１から取得することができるようにしてもよい。

例えば、デコーダ２３が、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を抽出して、ＣＰＵ２０に供給することができるようにしてもよいし、または、Ｉピクチャ４０にいてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを検出して、ＣＰＵ２０に通知することができるようにしてもよい。または、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２のデータからＩピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよいし、または、Ｉピクチャ４０にいてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを検出して、ＣＰＵ２０に通知することができるようにしてもよい。

Ｉピクチャ４７の前に、Sequence Headerが挿入されておらず、かつ、Ｑマトリクスロードフラグに１が設定されていないと判断された場合、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を取得し、エンコーダ２７を制御して、このＱマトリクスを用いてＩピクチャ４７の直前のＰピクチャ４５をエンコードさせる。エンコーダ２７は、Ｉピクチャ４７の前に、Sequence Headerが挿入されておらず、かつ、Ｑマトリクスロードフラグに１が設定されていない場合、ＣＰＵ２０の制御に基づいて、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスを用いて、Ｉピクチャ４７の直前のＰピクチャ４５をエンコードするとともに、Ｑマトリクスロードフラグに１を設定する。なお、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を、デコーダ２３から取得することができるようにしてもよいし、または、ＣＰＵ１１から取得することができるようにしてもよい。

例えば、デコーダ２３が、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０におけるＱマトリクスの情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよいし、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２のデータからＩピクチャ４０におけるＱマトリクスの情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよい。

また、Ｉピクチャ４７の次のＩピクチャまたはＰピクチャ、すなわち、図１３におけるＰピクチャ１１４においてＱマトリクスの不整合が発生するのは、編集前の圧縮素材映像２のＩピクチャ４０とＰピクチャ１０６とのＱマトリクスが異なり、かつ、Ｐピクチャ１０６でＱマトリクスロードフラグに１が設定されていない場合である。したがって、ＣＰＵ２０は、編集前の圧縮素材映像２のＩピクチャ４０とＰピクチャ１０６とのＱマトリクスが異なっているか否か、および、Ｐピクチャ１０６で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。

なお、ＣＰＵ２０は、編集前の圧縮素材映像２のＩピクチャ４０とＰピクチャ１０６とのＱマトリクスの情報、および、Ｐピクチャ１０６のＱマトリクスロードフラグの値を示す情報を、ＣＰＵ１１から取得することができるようにしてもよい。

例えば、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２のデータから編集前の圧縮素材映像２のＩピクチャ４０とＰピクチャ１０６とのＱマトリクスの情報、および、Ｐピクチャ１０６のＱマトリクスロードフラグの値を示す情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよい。

Ｉピクチャ４０とＰピクチャ１０６とのＱマトリクスが異なり、かつ、Ｐピクチャ１０６でＱマトリクスロードフラグに１が設定されていない場合、ＣＰＵ２０は、シンタクス更新部２８を制御して、Ｐピクチャ１１４にQuant Matrix Extensionを追加し、次のデコードにおいてＱマトリクスをロードすることができるように、Ｑマトリクスロードフラグに１を設定させる。シンタクス更新部２８は、ＣＰＵ２０の制御に基づいて、Ｐピクチャ１１４にQuant Matrix Extensionを追加し、Ｑマトリクスロードフラグに１を設定する。

次に、図１４のフローチャートを参照して、OpenGOP構造の圧縮映像データを、ＶＢＶバッファをできるだけ破綻させることがないように編集し、かつ、編集前後でＱマトリクスの不整合が起こらないようになされている、第１の実施の形態における編集処理１について説明する。

ステップＳ１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。

なお、このとき、ＣＰＵ１１は、必要に応じて、後述する再エンコードおよび接続処理１において必要な情報、すなわち、圧縮素材映像２のデータにおいて、Ｉピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報、Ｉ編集前の圧縮素材映像２のピクチャ４０におけるＱマトリクスの情報、または、編集前の圧縮素材映像２のＩピクチャ４０とＰピクチャ１０６とのＱマトリクスの情報、および、Ｐピクチャ１０６のＱマトリクスロードフラグの値を示す情報を、ＨＤＤ１６から読み出された、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータから抽出または検出し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給または通知するようにしてもよい。

ステップＳ２において、メモリ１８は、圧縮符号化された２つの編集素材データを取得する。

ステップＳ３において、ＣＰＵ２０は、ＣＰＵ１１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードの開始点がGOPの先頭となり、再エンコードの終了点のピクチャタイプがＢピクチャ以外（ここでは、Ｐピクチャ４５）となるように、圧縮符号化された編集素材データのデコード範囲を決定する。

ステップＳ４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。

ステップＳ５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。

なお、このとき、デコーダ２３は、必要に応じて、後述する再エンコードおよび接続処理１において必要な情報、すなわち、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報、並びに、編集前の圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を抽出または検出し、コントロールバス１９を介して、ＣＰＵ２０に供給または通知するようにしてもよい。

ステップＳ６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。

ステップＳ７において、図１５を用いて後述する、再エンコードおよび接続処理１が実行され、処理は終了される。

このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。

次に、図１５のフローチャートを参照して、図１４のステップＳ７において実行される、再エンコードおよび接続処理１について説明する。

ステップＳ２１において、エンコーダ２７は、ＣＰＵ２０の制御に基づいて、コーディングオーダで再エンコードの開始点となるピクチャをＩピクチャとし、シーケンスヘッダを挿入して、エンコードを行う。

ステップＳ２２において、エンコーダ２７は、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との接続点となるピクチャであるか否か、すなわち、図１３における場合では、Ｐピクチャ４５であるか否かを判断する。ステップＳ２２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との接続点となるピクチャではないと判断された場合、処理は、後述するステップＳ２５に進む。

ステップＳ２２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との接続点となるピクチャであると判断された場合、ステップＳ２３において、エンコーダ２７は、ＣＰＵ２０に、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との接続点となるピクチャであることを通知する。ＣＰＵ２０は、ＣＰＵ１１、または、デコーダ２３から供給された、圧縮素材映像２のＩピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を基に、再エンコードの最後のピクチャに結合される再エンコードされない部分の先頭のピクチャ、すなわち、Ｉピクチャ４７に、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されているか否かを判断する。ステップＳ２３において、再エンコードの最後のピクチャに結合される再エンコードされない部分の先頭のピクチャに、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されていると判断された場合、処理は、後述するステップＳ２５に進む。

ステップＳ２３において、再エンコードの最後のピクチャに結合される再エンコードされない部分の先頭のピクチャに、シーケンスヘッダが挿入されておらず、かつ、Ｑマトリクスがロードされるように設定されていないと判断された場合、ステップＳ２４において、ＣＰＵ２０は、デコーダ２３またはＣＰＵ１１から、編集前の圧縮素材映像２の対応するピクチャ、すなわち、圧縮素材映像２のＩピクチャ４０のＱマトリクスを取得し、同一のＱマトリクスを用いてＰピクチャ４５のエンコードが行われるように、エンコーダ２７を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコードしない部分との接続点となるピクチャであるＰピクチャ４５を、圧縮素材映像２のＩピクチャ４０のＱマトリクスを用いてエンコードするとともに、Ｑマトリクスロードフラグに１を設定する。

ステップＳ２２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との接続点となるピクチャではないと判断された場合、もしくは、ステップＳ２３において、再エンコードの最後のピクチャに結合される再エンコードされない部分の先頭のピクチャに、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されていると判断された場合、ステップＳ２５において、エンコーダ２７は、ＣＰＵ２０の制御に基づいて、通常アルゴリズムで定められるＱマトリクスを用いて、ピクチャのエンコードを行う。

ステップＳ２４またはステップＳ２５の処理の終了後、ステップＳ２６において、エンコーダ２７は、再エンコードが終了したか否かを判断する。ステップＳ２６において、再エンコードが終了していないと判断された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。

ステップＳ２６において、再エンコードが終了したと判断された場合、ステップＳ２７において、ＣＰＵ２０は、デコーダ２３またはＣＰＵ１１から供給される情報を基に、再エンコードされる部分に続く再エンコードされない部分の１つ目と２つ目のＩピクチャまたはＰピクチャ、すなわち、Ｉピクチャ４７とＰピクチャ１１４との編集前のＱマトリクスは同一であるか否かを判断する。ステップＳ２７において、再エンコードされる部分に続く再エンコードされない部分の１つ目と２つ目のＩピクチャまたはＰピクチャの編集前のＱマトリクスは同一であると判断された場合、処理は、後述するステップＳ３０に進む。

ステップＳ２７において、再エンコードされる部分に続く再エンコードされない部分の１つ目と２つ目のＩピクチャまたはＰピクチャの編集前のＱマトリクスは同一ではないと判断された場合、ステップＳ２８において、ＣＰＵ２０は、デコーダ２３またはＣＰＵ１１から供給される情報を基に、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャ、すなわち、Ｐピクチャ１１４は、Ｑマトリクスがロードされるように設定されているか否かを判断する。ステップＳ２８において、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャは、Ｑマトリクスがロードされるように設定されていると判断された場合、処理は、後述するステップＳ３０に進む。

ステップＳ２８において、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャは、Ｑマトリクスがロードされるように設定されていないと判断された場合、ステップＳ２９において、ＣＰＵ２０は、シンタクス更新部２８を制御して、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャ、すなわち、Ｐピクチャ１１４のシンタクスを更新させ、QuantMatrixExtentionを追加させ、次のデコード時にＱマトリクスがロードされるように設定させる。シンタクス更新部２８は、ＣＰＵ２０の制御に基づいて、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャ、すなわち、Ｐピクチャ１１４のシンタクスを更新して、QuantMatrixExtentionを追加して、次のデコード時にＱマトリクスがロードされるように設定する。

ステップＳ２７において、再エンコードされる部分に続く再エンコードされない部分の１つ目と２つ目のＩピクチャまたはＰピクチャの編集前のＱマトリクスは同一であると判断された場合、ステップＳ２８において、再エンコードされる部分に続く再エンコードされない部分の２つ目のＩピクチャまたはＰピクチャは、Ｑマトリクスがロードされるように設定されていると判断された場合、もしくは、ステップＳ２９の処理の終了後、ステップＳ３０において、ＣＰＵ２０は、ストリームスプライサ２５を制御して、再エンコードされていない部分と、再エンコードをされていない部分とを接続させる。ストリームスプライサ２５は、ＣＰＵ２０の制御に基づいて、再エンコードされていない部分と、再エンコードをされていない部分、すなわち、Ｂピクチャ１１３とＩピクチャ１０８、および、Ｐピクチャ４５とＩピクチャ４７とを接続し、生成された圧縮編集映像データをＰＣＩブリッジ１７およびデコーダ２４に供給して、処理は、図１４のステップＳ７に戻り、処理が終了される。

このような処理により、編集前後でＱマトリクスに不整合が発生することがなくなるため、編集による画像の劣化を防止することができる。

次に、図１６を用いて、上述した第２の実施の形態における場合の、編集時の不具合の例について説明する。

なお、図１６における圧縮映像の並び順は、コーディングオーダで記載されており、このデータの並び順は、図１０を用いて説明した場合と同一である。また、図１６において、Ｑマトリクスとして記載されているアルファベットが同一であるピクチャは、同一のＱマトリクスを用いているものとし、ＱマトリクスがＡのとき、ディフォルトのＱマトリクスが用いられているものとする。そして、Ｑマトリクスロードフラグが１となっているピクチャにおいて、Ｑマトリクスがロードされるように設定されているものとする。また、図１６において、Sequence Headerが挿入されているピクチャには、丸印が記載されている。

第２の実施の形態においては、圧縮素材映像１において、再エンコードする区間の開始点は、部分再エンコードされた圧縮映像の前に結合する、再エンコードしない部分の圧縮映像のディスプレイオーダで最後のピクチャのピクチャタイプが、ＩピクチャまたはＰピクチャになるように決定されている。例えば、図１６にも示されるように、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャ（Ｐピクチャ４６）になるように、再エンコードする区間のディスプレイオーダにおける開始点は、圧縮素材映像１において、Ｐピクチャ３５の次のＢピクチャ３６に決定される。換言すれば、再エンコードしない部分の圧縮映像がGOPの終了位置となるので、エンコード処理が行いやすいようになされている。

また、圧縮素材映像２において、再エンコードする区間の終了点は、部分再エンコードされた圧縮映像の後に結合する再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定される。また、図１６にも示されるように、再エンコードにおいては、再エンコードする区間の終了点付近のＢピクチャタイプの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるようになされる。

すなわち、図１６に示されるように、編集素材となる圧縮素材映像１のデータのＢピクチャ１５１以前のピクチャは、再エンコードされないで用いられるデータとして、ストリームスプライサ２５に供給される。また、編集素材となる圧縮素材映像１のデータのＩピクチャ１６１からＢピクチャ１６２以降の所定の範囲の部分は、再エンコードされる部分のデータとして、参照に必要なピクチャ（例えば、Ｉピクチャ３１、Ｐピクチャ３２乃至Ｐピクチャ３５）とともに、デコーダ２２に供給される。同様に、編集素材となる圧縮素材映像２のデータのＢピクチャ３９より前の、編集点を含む所定の範囲のピクチャは、再エンコードされる部分のデータとして、参照に必要なピクチャ（例えば、Ｉピクチャ４０）とともに、デコーダ２３に供給される。また、編集素材となる圧縮素材映像２のデータのＩピクチャ４０とＰピクチャ１５２以降のピクチャは、再エンコードされないで用いられるデータとして、ストリームスプライサ２５に供給される。

ここで、編集素材である圧縮素材映像１のデータにおいて、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１５１までのピクチャにおいては、ディフォルトの「Ａ」で示されるＱマトリクスが用いられ、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１５１からＱマトリクスロードフラグに１がセットされているＢピクチャ１６３の直前のピクチャまでの範囲においては、「Ｂ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６３以降、次にＱマトリクスロードフラグに１がセットされているか、または、Sequence Headerが挿入されているピクチャまでの間の範囲においては、ディフォルトの「Ａ」で示されるＱマトリクスが用いられる。

また、編集素材である圧縮素材映像２のデータにおいて、Ｑマトリクスロードフラグに１がセットされているとともに、Sequence Headerが挿入されているＩピクチャ１６４から、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６５の直前のピクチャまでのピクチャにおいては、「Ｂ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６５から、次にＱマトリクスロードフラグに１がセットされているＢピクチャ１６６の直前のピクチャであるＢピクチャ１５３までの範囲においては、「Ｃ」で示されるＱマトリクスが利用され、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６６以降、次にＱマトリクスロードフラグに１がセットされているか、または、Sequence Headerが挿入されているピクチャまでの間の範囲においては、「Ｄ」で示されるＱマトリクスが利用される。

このようにＱマトリクスの利用が設定されている編集素材である圧縮素材映像１および圧縮素材映像２のデータが、上述した範囲でデコードされて編集点で接続された後、エンコードされて生成された圧縮映像データにおいて、先頭のＩピクチャ１５４から、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６７の直前のピクチャまでのＱマトリクスは、ディフォルトの「Ａ」で示されるＱマトリクスであり、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６７から、Ｂピクチャ７３までのＱマトリクスは、「Ｄ」で示されるＱマトリクスとなる。

しかしながら、再エンコードされていない部分と接続された後の圧縮編集映像において、Ｉピクチャ１５４にSequence Headerが挿入されていないので、Ｉピクチャ１５４から、Ｑマトリクスロードフラグに１がセットされているＢピクチャ１６７の直前のピクチャまでのＱマトリクスは、編集前においては「Ａ」であったにもかかわらず、編集後には、Ｉピクチャ１５４の直前のＢピクチャ１５１と同一の「Ｂ」で示されるＱマトリクスとなってしまい、不整合が発生している。また、再エンコードされた部分に接続された再エンコードされていないＩピクチャ４７は、図１６に示される場合においては、Sequence Headerが挿入されておらず、Ｑマトリクスロードフラグが１でもないので、Ｉピクチャ４７に対応する編集前のＩピクチャ４０のＱマトリクスが「Ｃ」であるのにもかかわらず、直前のＢピクチャ８１と同一の「Ｄ」で示されるＱマトリクスとなってしまい、不整合が発生している。その次のＢピクチャ７２のＱマトリクスは、図１６における場合では、編集前後において「Ｄ」で一致しており、不整合が生じていないが、Ｉピクチャ４７にSequence Headerが挿入されているか、Ｑマトリクスロードフラグが１であった場合、編集後のＱマトリクスは、Ｉピクチャ４７と同一となってしまい、不整合が発生する可能性がある。そして、エンコードされる最後のピクチャであるＢピクチャ７３に接続されるＰピクチャ８２から、次にSequence Headerが挿入されているか、Ｑマトリクスロードフラグが１であるピクチャまでのピクチャ、すなわち、図１６における場合においては、Ｐピクチャ８２およびＢピクチャ１５５のＱマトリクスは、編集前においては「Ｃ」であったにもかかわらず、編集後には、Ｐピクチャ８２の直前のＢピクチャ７３と同一の「Ｄ」で示されるＱマトリクスとなってしまい、不整合が発生している。

このように、編集のために接続される部分の接続点前後でＱマトリクスが異なる場合、接続点がSequence Headerの直前またはＱマトリクスロードフラグが１のピクチャの直前でなければ不整合が発生するので、次のデコード処理時に、エンコード時と異なるＱマトリクスを使ってデコードしてしまうので、正常な復号映像が得られなくなってしまう恐れがある。

したがって、Ｑマトリクスの不整合の発生を防止し、次のデコード処理時に正常な復号映像を得ることができるようにするためには、編集のために接続される部分の接続点の後となるピクチャのＱマトリクスが編集の前後で変わらないようにする必要がある。

次に、図１７を参照して、第２の実施の形態において、Ｑマトリクスの不整合の発生を防止し、次のデコード処理時に正常な復号映像を得ることができるようにするために実行される処理について説明する。

図１７に示されるように、第２の実施の形態においては、再エンコードの開始点がGOPの先頭となるように、再エンコード範囲が決められている。したがって、ＣＰＵ２０は、エンコーダ２７を制御して、再エンコード範囲の先頭のピクチャであるＩピクチャ１５４にSequence Headerを挿入するか、または、Ｑマトリクスをロードするように、Ｑマトリクスロードフラグに１を設定する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコード範囲の先頭のピクチャであるＩピクチャ１５４にSequence Headerを挿入するか、または、Ｑマトリクスロードフラグに１を設定する。これにより、圧縮編集画像データにおいてＩピクチャ１５４の直前のピクチャとなるＢピクチャ１５１のＱマトリクスの設定にかかわらず、編集前後でＱマトリクスの不整合は発生しない。

また、図１７に示されるように、第２の実施の形態においては、圧縮素材映像２において、再エンコードされる区間の終了点は、再エンコードされた圧縮映像の後に結合する再エンコードしない部分の圧縮映像のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように決定され、再エンコードにおいては、再エンコードする区間の終了点付近のＢピクチャタイプの枚数が編集前の圧縮素材映像２と同一となり、そのＢピクチャの直前のピクチャのピクチャタイプがＩピクチャまたはＰピクチャとなるようになされる。そして、再エンコードされた部分と再エンコードされない圧縮素材映像２に対応する部分の接続は、コーディングオーダで、再エンコードする区間の終了点付近の連続するＢピクチャ、すなわち、Ｂピクチャ７２および７３の直前に、再エンコードされない圧縮素材映像２に対応する部分の先頭のＩピクチャ４７が挿入され、Ｂピクチャ７２およびＢピクチャ７３に続いて、圧縮素材映像２のＰピクチャ１５２に対応するＰピクチャ８２が続くようになされている。

ここで、Ｉピクチャ４７の前に、Sequence Headerが挿入されている場合、Ｉピクチャ４７のＱマトリクスの不整合は発生しない。上述したように、通常、ランダムアクセスのため、Ｉピクチャの前にはSequence Headerが挿入されている。また、Ｉピクチャ４７の前に、Sequence Headerが挿入されていなくても、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されている場合にも、Ｑマトリクスの不整合は発生しない。したがって、ＣＰＵ２０は、Ｉピクチャ４７の前に、Sequence Headerが挿入されているか否か、および、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。

すなわち、ＣＰＵ２０は、Ｉピクチャ４７に対応する圧縮素材映像２のＩピクチャ４０において、Sequence Headerが挿入されているか否か、および、Ｉピクチャ４７で、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。なお、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を、デコーダ２３から取得することができるようにしてもよいし、または、ＣＰＵ１１から取得することができるようにしてもよい。

例えば、デコーダ２３が、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを検出するか、これらを示す情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよいし、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２からＩピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを検出するか、これらを示す情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよい。

Ｉピクチャ４７の前に、Sequence Headerが挿入されておらず、かつ、Ｑマトリクスロードフラグに１が設定されていないと判断された場合、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を取得し、エンコーダ２７を制御して、このＱマトリクスを用いて、Ｉピクチャ４７の直前となるＢピクチャ８１をエンコードさせるとともに、Ｑマトリクスロードフラグに１を設定させる。エンコーダ２７は、Ｉピクチャ４７の前に、Sequence Headerが挿入されておらず、かつ、Ｑマトリクスロードフラグに１が設定されていない場合、ＣＰＵ２０の制御に基づいて、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスを用いて、Ｂピクチャ８１をエンコードするとともに、Ｑマトリクスロードフラグに１を設定する。なお、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を、デコーダ２３から取得することができるようにしてもよいし、または、ＣＰＵ１１から取得することができるようにしてもよい。

例えば、デコーダ２３が、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０におけるＱマトリクスの情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよいし、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２からＩピクチャ４０におけるＱマトリクスの情報を抽出し、ＣＰＵ２０に供給することができるようにしてもよい。

また、コーディングオーダで、Ｉピクチャ４７の次に接続されるＢピクチャ７２においては、Ｉピクチャ４７と同一のＱマトリクスでエンコードされるようになされているか、または、Ｑマトリクスがロードされるように、Ｑマトリクスロードフラグに１が設定されていれば、Ｑマトリクスの不整合は発生しない。したがって、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を取得し、Ｉピクチャ４７の次に接続されるＢピクチャ７２は、Ｉピクチャ４７に対応するＩピクチャ４０におけるＱマトリクスと同一のＱマトリクスでエンコードされるか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを判断する。なお、ＣＰＵ２０は、圧縮素材映像２のＩピクチャ４０におけるＱマトリクスの情報を、上述した場合と同様にして、デコーダ２３から取得することができるようにしてもよいし、または、ＣＰＵ１１から取得することができるようにしてもよい。

そして、ＣＰＵ２０は、Ｉピクチャ４７の次に接続されるＢピクチャ７２は、Ｉピクチャ４７に対応するＩピクチャ４０におけるＱマトリクスと同一のＱマトリクスでエンコードされておらず、かつ、Ｑマトリクスロードフラグに１が設定されていない場合、エンコーダ２７を制御して、Ｂピクチャ７２のＱマトリクスロードフラグに１を設定させる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、Ｂピクチャ７２のＱマトリクスロードフラグに１を設定する。

また、コーディングオーダで、再エンコードされる最後のピクチャに続くピクチャ、すなわち、Ｂピクチャ７３の次に接続されるＰピクチャ８２でＱマトリクスの不整合を発生させないためには、Ｂピクチャ７３を、編集前の圧縮素材映像２のＢピクチャ３９と同一のＱマトリクスでエンコードするようにすればよい。このようにすれば、圧縮素材映像２のＰピクチャ８２（編集前の圧縮素材映像２のＢピクチャ３９に続くＰピクチャ１５２に対応するピクチャ）において、Ｑマトリクスロードフラグに１が設定されているか否かにかかわらず、Ｂピクチャ７３の次に接続されるＰピクチャ８２でＱマトリクスの不整合を発生させないようにすることができる。

すなわち、ＣＰＵ２０は、編集前の圧縮素材映像２のＢピクチャ３９におけるＱマトリクスの情報を取得し、エンコーダ２７を制御して、このＱマトリクスを用いて、Ｂピクチャ７３をエンコードさせるとともに、Ｑマトリクスロードフラグに１を設定させる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、圧縮素材映像２のＢピクチャ３９におけるＱマトリクスを用いて、Ｂピクチャ７３をエンコードするとともに、Ｑマトリクスロードフラグに１を設定する。なお、ＣＰＵ２０は、圧縮素材映像２のＢピクチャ３９におけるＱマトリクスの情報を、ＣＰＵ１１から取得することができる。

例えば、ＣＰＵ１１が、サウスブリッジ１５を制御して、圧縮素材映像２のデータをＨＤＤ１６から読み出させ、ノースブリッジ１２に供給させたとき、ノースブリッジ１２の圧縮素材映像２のデータからＢピクチャ３９におけるＱマトリクスの情報を抽出し、ＣＰＵ２０に供給することができるようにすることができる。

すなわち、ＣＰＵ２０は、ＣＰＵ１１２から供給されたＢピクチャ３９におけるＱマトリクスの情報をエンコーダ２７に供給する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、このＱマトリクスを用いて、Ｂピクチャ７３をエンコードする。

次に、図１８のフローチャートを参照して、OpenGOP構造の圧縮映像データを、ＶＢＶバッファを破綻させることがないように編集し、かつ、編集前後でＱマトリクスの不整合が起こらないようになされている、第２の実施の形態における編集処理２について説明する。

ステップＳ４１において、ＣＰＵ１１は、図示しない操作入力部から、編集開始を指令するユーザからの操作入力を受け、サウスブリッジ１５を制御して、図示しない操作入力部から供給されたユーザの操作入力を基に、ＨＤＤ１６から、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータを読み出させ、ノースブリッジ１２、ＰＣＩバス１４、および、ＰＣＩブリッジ１７を介して、メモリ１８に供給させて記憶させるとともに、編集点を示す情報と、編集開始を示すコマンドを、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給する。

なお、このとき、ＣＰＵ１１は、必要に応じて、後述する再エンコードおよび接続処理１において必要な情報、すなわち、圧縮素材映像２のデータにおいて、Ｉピクチャ４０にSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報、編集前の圧縮素材映像２のＩピクチャ４０のＱマトリクスの情報、または、Ｂピクチャ３９のＱマトリクスの情報を、ＨＤＤ１６から読み出された、圧縮符号化された圧縮素材映像１のデータおよび圧縮素材映像２のデータから抽出または検出し、ノースブリッジ１２、ＰＣＩバス１４、ＰＣＩブリッジ１７、および、コントロールバス１９を介して、ＣＰＵ２０に供給するようにしてもよい。

ステップＳ４２において、メモリ１８は、圧縮符号化された２つの編集素材データを取得する。

ステップＳ４３において、ＣＰＵ２０は、ＣＰＵ１１から供給された、編集点を示す情報と、編集開始を示すコマンドを基に、再エンコードしない部分の圧縮素材映像１のディスプレイオーダで最後のピクチャのピクチャタイプがＰピクチャになり、再エンコードしない部分の圧縮素材映像２のディスプレイオーダで最初のピクチャのピクチャタイプがＩピクチャになるように、圧縮符号化された編集素材データのデコード範囲を決定する。

ステップＳ４４において、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出させ、デコーダ２２およびデコーダ２３にそれぞれ供給させる。また、このとき、ＣＰＵ２０は、ＰＣＩブリッジ１７を制御して、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給させる。ＰＣＩブリッジ１７は、ＣＰＵ２０の制御に基づいて、メモリ１８に記憶されている圧縮符号化された２つの編集素材データから、決定されたデコード範囲のデータをデコードおよび再エンコードするために必要なデータを抽出し、デコーダ２２およびデコーダ２３にそれぞれ供給するとともに、再エンコードされない部分の圧縮符号化された編集素材データを、ストリームスプライサ２５に供給する。

ステップＳ４５において、ＣＰＵ２０は、デコーダ２２およびデコーダ２３を制御して、決定されたデコード範囲のデータをデコードさせる。デコーダ２２およびデコーダ２３は、ＣＰＵ２０の制御に基づいて、供給された圧縮符号化された編集素材データをデコードして、エフェクト／スイッチ２６に供給する。

なお、このとき、デコーダ２３は、必要に応じて、後述する再エンコードおよび接続処理１において必要な情報、すなわち、圧縮素材映像２のデータをデコードするときに、Ｉピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報、または、編集前の圧縮素材映像２のＩピクチャ４０のＱマトリクスの情報を抽出または検出し、コントロールバス１９を介して、ＣＰＵ２０に供給するようにしてもよい。

ステップＳ４６において、ＣＰＵ２０は、エフェクト／スイッチ２６を制御して、デコードされたデータを編集点で接続させて、必要に応じて、エフェクトをかけさせる。エフェクト／スイッチ２６は、ＣＰＵ２０の制御に基づいて、供給された非圧縮の復号映像素材を編集点で接続して、必要に応じて、エフェクトをかけ、エンコーダ２７に供給する。

ステップＳ４７において、図１９および図２０を用いて後述する、再エンコードおよび接続処理２が実行され、処理は終了される。

このような処理により、Long GOPのOpen GOP構造の圧縮映像データの編集点付近を部分的にデコードし、デコードされた非圧縮の映像信号を所定の編集点で接続した後、再エンコードを行い、デコードおよび再エンコードされていない部分の圧縮映像データと接続することにより、Long GOPのOpen GOP構造の圧縮映像データの編集を実現することができる。

次に、図１９および図２０を参照して、図１８のステップＳ４７において実行される、再エンコードおよび接続処理２について説明する。

ステップＳ６１において、エンコーダ２７は、ＣＰＵ２０の制御に基づいて、コーディングオーダで再エンコードの開始点となるピクチャを、Ｉピクチャとし、シーケンスヘッダを挿入して、エンコードを行う。

ステップＳ６２において、エンコーダ２７は、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との最初の接続点となるピクチャであるか否か、すなわち、図１７における場合では、Ｂピクチャ８１であるか否かを判断する。ステップＳ６２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との最初の接続点となるピクチャではないと判断された場合、処理は、後述するステップＳ６５に進む。

ステップＳ６２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との最初の接続点となるピクチャであると判断された場合、ステップＳ６３において、エンコーダ２７は、ＣＰＵ２０に、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との最初の接続点となるピクチャであることを通知する。ＣＰＵ２０は、ＣＰＵ１１、または、デコーダ２３から供給された、圧縮素材映像２のＩピクチャ４０においてSequence Headerが挿入されているか否か、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を基に、再エンコードの最後に連続するＢピクチャの前に結合される再エンコードされない部分の先頭のＩピクチャに、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されているか否かを判断する。ステップＳ６３において、再エンコードの最後に連続するＢピクチャの前に結合される再エンコードされない部分の先頭のＩピクチャに、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されていると判断された場合、処理は、後述するステップＳ６５に進む。

ステップＳ６３において、再エンコードの最後に連続するＢピクチャの前に結合される再エンコードされない部分の先頭のＩピクチャに、シーケンスヘッダが挿入されておらず、かつ、Ｑマトリクスがロードされるように設定されていないと判断された場合、ステップＳ６４において、ＣＰＵ２０は、デコーダ２３またはＣＰＵ１１から、編集前の圧縮素材映像２の対応するピクチャ、すなわち、圧縮素材映像２のＩピクチャ４０のＱマトリクスを取得し、同一のＱマトリクスを用いてＢピクチャ８１のエンコードが行われるように、エンコーダ２７を制御する。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、再エンコードしない部分との最初の接続点となるピクチャ、すなわち、Ｂピクチャ８１を、圧縮素材映像２のＩピクチャ４０のＱマトリクスを用いてエンコードする。

ステップＳ６２において、次にエンコードを行おうとしているピクチャは、再エンコードしない部分との最初の接続点となるピクチャではないと判断された場合、ステップＳ６３において、再エンコードの最後に連続するＢピクチャの前に結合される再エンコードされない部分の先頭のＩピクチャに、シーケンスヘッダが挿入されているか、または、Ｑマトリクスがロードされるように設定されていると判断された場合、または、ステップＳ６４の処理の終了後、ステップＳ６５において、エンコーダ２７は、次にエンコードを行おうとしているピクチャは、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャ、すなわち、図１７におけるＢピクチャ７２であるか否かを判断する。ステップＳ６５において、次にエンコードを行おうとしているピクチャは、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャではないと判断された場合、処理は、後述するステップＳ６９に進む。

ステップＳ６５において、次にエンコードを行おうとしているピクチャは、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャであると判断された場合、ステップＳ６６において、エンコーダ２７は、ＣＰＵ２０に、次にエンコードを行おうとしているピクチャは、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャであることを通知するとともに、このピクチャをエンコードするために用いようとしているＱマトリクスに関する情報、および、Ｑマトリクスロードフラグに１が設定されているか否かを示す情報を供給する。ＣＰＵ２０は、エンコーダ２７から供給された、Ｉピクチャに接続されるピクチャをエンコードするために用いようとしているＱマトリクスに関する情報と、ＣＰＵ１１、または、デコーダ２３から供給された、編集前の圧縮素材映像２の再エンコードされない部分の先頭のＩピクチャに接続されるピクチャに対応するピクチャ、すなわち、圧縮素材映像２のＩピクチャ４０のＱマトリクスに関する情報を基に、再エンコードされない部分の先頭のＩピクチャと、これに接続されるピクチャのＱマトリクスは同一であるか否かを判断する。ステップＳ６６において、再エンコードされない部分の先頭のＩピクチャと、これに接続されるピクチャのＱマトリクスは同一であると判断された場合、処理は、後述するステップＳ６９に進む。

ステップＳ６６において、再エンコードされない部分の先頭のＩピクチャと、これに接続されるピクチャのＱマトリクスは同一ではないと判断された場合、ステップＳ６７において、ＣＰＵ２０は、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャは、Ｑマトリクスがロードされるように設定されているか否かを判断する。ステップＳ６７において、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャは、Ｑマトリクスがロードされるように設定されていると判断された場合、処理は、後述するステップＳ６９に進む。

ステップＳ６７において、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャは、Ｑマトリクスがロードされるように設定されていないと判断された場合、ステップＳ６８において、ＣＰＵ２０は、エンコーダ２７を制御して、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャ、すなわち、図１７におけるＢピクチャ７２に、Ｑマトリクスがロードされるように設定させる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、Ｑマトリクスがロードされるように設定して、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャ、すなわち、図１７におけるＢピクチャ７２をエンコードする。

ステップＳ６５において、次にエンコードを行おうとしているピクチャは、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャではないと判断された場合、ステップＳ６６において、再エンコードされない部分の先頭のＩピクチャと、これに接続されるピクチャのＱマトリクスは同一であると判断された場合、ステップＳ６７において、再エンコードされない部分の先頭のＩピクチャに接続されるピクチャは、Ｑマトリクスがロードされるように設定されていると判断された場合、または、ステップＳ６８の処理の終了後、ステップＳ６９において、エンコーダ２７は、次にエンコードするピクチャは、再エンコードする部分の最後のＢピクチャ、すなわち、図１７におけるＢピクチャ７３であるか否かを判断する。

ステップＳ６９において、次にエンコードするピクチャは、再エンコードする部分の最後のＢピクチャであると判断された場合、ステップＳ７０において、エンコーダ２７は、ＣＰＵ２０に、次にエンコードを行おうとしているピクチャは、再エンコードする部分の最後のＢピクチャであることを通知する。ＣＰＵ２０は、ＣＰＵ１１から供給された、編集前の圧縮素材映像２の対応するＢピクチャであるＢピクチャ３９のＱマトリクスを取得し、エンコーダ２７を制御して、取得したＢピクチャ３９のＱマトリクスを用いて、再エンコードする部分の最後のＢピクチャのエンコードを実行させる。エンコーダ２７は、ＣＰＵ２０の制御に基づいて、Ｂピクチャ３９のＱマトリクスを用いて、再エンコードする部分の最後のＢピクチャ、すなわち、図１７におけるＢピクチャ７３のエンコードを行う。

ステップＳ６９において、次にエンコードするピクチャは、再エンコードする部分の最後のＢピクチャではない、すなわち、再エンコードされない部分と接続されないピクチャのうちのいずれかであると判断された場合、ステップＳ７１において、エンコーダ２７は、通常アルゴリズムで定められるＱマトリクスを用いて、エンコードを行う。

ステップＳ７０、または、ステップＳ７１の処理の終了後、ステップＳ７２において、エンコーダ２７は、再エンコードされる部分の全てのデータが再エンコードされたか否かを判断する。ステップＳ７２において、再エンコードされる部分の全てのデータが再エンコードされていないと判断された場合、処理は、ステップＳ６２に戻り、それ以降の処理が実行される。

ステップＳ７２において、再エンコードされる部分の全てのデータが再エンコードされたと判断された場合、ステップＳ７３において、図２１を用いて後述する接続処理が実行されて、処理は、図１８のステップＳ４７に戻り、処理が終了される。

このような処理により、再エンコードが行われた部分と再エンコードが行われていない部分の接続点において、編集前後でＱマトリクスの不整合が発生しないようにすることができ、編集による画像の劣化を防止することができる。

次に、図２１のフローチャートを参照して、図２０のステップＳ７３において実行される接続処理について説明する。

ステップＳ９１において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像１のデータ、すなわち、図９または図１７における場合では、ディスプレイオーダにおいて時間的にＰピクチャ３５（すなわち、編集後のＰピクチャ４６）以前となるピクチャのデータを取得する。

ステップＳ９２において、ストリームスプライサ２５は、エンコーダ２７から供給された、再エンコードされた編集点付近の圧縮映像データ、すなわち、図９における場合では、ディスプレイオーダにおいてＢピクチャ４１乃至Ｉピクチャ７４に対応するピクチャを取得する。

ステップＳ９３において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、エンコードの参照のためにエンコードされた部分、すなわち、図９における場合では、Ｐピクチャ４１およびＩピクチャ７４に対応するピクチャを破棄し、再エンコードしない部分の圧縮素材映像１のデータと、再エンコードされた圧縮映像データを接続する。すなわち、図９および図１７における場合では、ストリームスプライサ２５は、Ｐピクチャ４６とＢピクチャ４２とがディスプレイオーダで連続するように接続する。

ステップＳ９４において、ストリームスプライサ２５は、ＰＣＩブリッジ１７から供給された、再エンコードしない部分の圧縮素材映像２のデータ、すなわち、図９または図１７における場合では、ディスプレイオーダにおいて時間的にＩピクチャ４０（すなわち、編集後のＩピクチャ４７）以降となるピクチャのデータを取得する。

ステップＳ９５において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データのうち、コーディングオーダで最後からｎ＋１番目のピクチャ、すなわち、図９、図１０または図１７における場合では、Ｂ₁₂ピクチャ８１に対応するピクチャの次に、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図９、図１０または図１７における場合では、Ｉ₂ピクチャ４７に対応するピクチャを接続する

ステップＳ９６において、ストリームスプライサ２５は、再エンコードしない部分の圧縮素材映像２のコーディングオーダで最初のＩピクチャ、すなわち、図９、図１０または図１７における場合では、Ｉ₂ピクチャ４７に対応するピクチャに、再エンコードされた編集点付近の圧縮映像データの最後からｎ枚のＢピクチャ、すなわち、図９、図１０または図１７における場合では、Ｂ₀ピクチャ７２およびＢ₁ピクチャ７３を接続する。

そして、ステップＳ９７において、ストリームスプライサ２５は、再エンコードされた編集点付近の圧縮映像データの最後のＢピクチャ、すなわち、図９、図１０または図１７における場合では、Ｂ₁ピクチャ７３の次に、再エンコードしない部分の圧縮素材映像２の２番目のＩまたはＰピクチャ、すなわち、図９、図１０または図１７における場合では、Ｐピクチャ８２を接続し、処理は、図２０のステップＳ７３に戻り、処理が終了される。

このような処理により、LongGOPのOpenGOPの圧縮素材映像を編集するときに、ＶＢＶバッファを破綻させないように、発生符号量が制御され、再エンコード時のピクチャタイプが決定された再エンコード部分の圧縮符号化データと、再エンコードされていない部分の圧縮符号化データとを接続することが可能となる。

なお、第２の実施の形態においては、ディスプレイオーダで、最後からｎ＋１番目のピクチャより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御されるものとして説明したが、再エンコードされる範囲の所定のＩピクチャまたはＰピクチャを含めてそれより後ろのピクチャのピクチャタイプが、編集前後で変更されないように制御された場合にも、本発明は適用可能である。

このように、本発明を適用することにより、Long GOPのOpen GOP方式で圧縮された映像素材を、部分的にデコード、再エンコードする方法を用いた編集において、編集前後でＱマトリクスの整合性を保つようにすることができる。そして、Ｑマトリクスが異なる圧縮映像データの編集において、エンコード時に最適なＱマトリクスを選択することが可能となるため、圧縮映像の高画質化を実現することができる。

上述した一連の処理は、ソフトウェアにより実行することもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、例えば、図４を用いて説明した編集装置１は、図２２に示されるようなパーソナルコンピュータ３０１により構成される。

図２２において、ＣＰＵ（Central Processing Unit）３１１は、ＲＯＭ（Read Only Memory）３１２に記憶されているプログラム、または記憶部３１８からＲＡＭ（Random Access Memory）３１３にロードされたプログラムにしたがって、各種の処理を実行する。ＲＡＭ３１３にはまた、ＣＰＵ３１１が各種の処理を実行する上において必要なデータなども適宜記憶される。

ＣＰＵ３１１、ＲＯＭ３１２、およびＲＡＭ３１３は、バス３１４を介して相互に接続されている。このバス３１４にはまた、入出力インタフェース３１５も接続されている。

入出力インタフェース３１５には、キーボード、マウスなどよりなる入力部３１６、ディスプレイやスピーカなどよりなる出力部３１７、ハードディスクなどより構成される記憶部３１８、モデム、ターミナルアダプタなどより構成される通信部３１９が接続されている。通信部３１９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース３１５にはまた、必要に応じてドライブ３２０が接続され、磁気ディスク３３１、光ディスク３３２、光磁気ディスク３３３、もしくは、半導体メモリ３３４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部３１８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。

この記録媒体は、図２２に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク３３１（フロッピディスクを含む）、光ディスク３３２（ＣＤ-ＲＯＭ（Compact Disk-Read Only Memory），ＤＶＤ（Digital Versatile Disk）を含む）、光磁気ディスク３３３（ＭＤ（Mini-Disk）（商標）を含む）、もしくは半導体メモリ３３４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ３１２や、記憶部３１８に含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、上述の実施の形態においては、編集装置１が、それぞれ、デコーダとエンコーダを有しているものとして説明したが、デコーダおよびエンコーダが、それぞれ、独立した装置として構成されている場合においても、本発明は適用可能である。例えば、図１７に示されるように、ストリームデータを復号してベースバンド信号に変換する復号装置３７１、ベースバンド信号を符号化してストリームデータに変換する符号化装置３７２が、それぞれ独立した装置として構成されていても良い。

このとき、復号装置３７１は、映像素材である圧縮符号化データを復号し、符号化装置３７２に供給するのみならず、本発明を適用することにより符号化装置３７２により部分的に符号化されたのち、編集されて生成された圧縮符号化データの供給を受け、復号処理を行い、ベースバンド信号に変換することができる。ベースバンド信号に変換された編集後のストリームは、例えば、所定の表示装置に供給されて表示されたり、他の装置に出力されて、必要な処理が施される。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が、供給された圧縮符号化データを完全にデコードせず、対応するエンコーダ２７が、非完全に復号されたデータの対応する部分を部分的にエンコードする場合においても、本発明は適用可能である。

例えば、デコーダ２２乃至２４が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、エンコーダ２７は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な符号化（中途段階からの符号化）を行うエンコーダにおいても、本発明を適用することができるのは言うまでもない。

さらに、上述の実施の形態においては、デコーダ２２乃至２４が完全に復号したベースバンド信号を、エンコーダ２７が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、デコーダ２２乃至２４が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、エンコーダ２７が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、図１７に示される復号装置３７１が、供給されたストリームデータを完全に復号せず、対応する符号化装置３７２が、非完全に復号されたデータの対応する部分を部分的に符号化する場合においても、本発明は適用可能である。

例えば、復号装置３７１が、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していなかった場合、符号化装置３７２は、量子化および可変長符号化処理を行うが、DCT変換処理は行わない。このような部分的な復号処理（中途段階までの復号）を行う復号装置３７１のデコード処理、および、符号化（中途段階からの符号化）を行う符号化装置３７２のエンコード処理において、本発明を適用することができるのは言うまでもない。

更に、復号装置３７１が完全に復号したベースバンド信号を、符号化装置３７２が中途段階まで符号化する場合（例えば、DCT変換および量子化を行うが可変長符号化処理を行わないなど）や、復号装置３７１が完全に復号していない（例えば、ＶＬＣ符号に対する復号および逆量子化のみを行い、逆DCT変換を実行していない）ため、中途段階まで符号化されているデータに対して、符号化装置３７２が更に中途段階まで符号化する場合など（例えば、量子化を行うが可変長符号化処理を行わないなど）においても、本発明は適用可能である。

更に、このような部分的な復号を行う（復号処理の工程のうちの一部を実行する）符号化装置３５１と部分的な符号化を行う（符号化処理の工程のうちの一部を実行する）符号化装置３７２で構成されたトランスコーダ３８１においても、本発明は適用可能である。このようなトランスコーダ３８１は、例えば、スプライシングなどの編集を行う編集装置３８２、すなわち、上述した編集装置１のストリームスプライサ２５やエフェクト／スイッチ２６が実行可能な機能を有する編集装置が利用される場合などに用いられる。

さらに、上述の実施の形態においては、ＣＰＵ１１およびＣＰＵ２０がそれぞれ別の形態で構成されているが、これに限らず、編集装置１全体を制御する１つのＣＰＵとして構成する形態も考えられる。同様に、上述の実施の形態においては、メモリ１３およびメモリ２１がそれぞれ別の形態で構成されているが、これに限らず、編集装置１において１つのメモリとして構成する形態も考えられる。

さらに、上述の実施の形態においては、ＨＤＤ１６、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７を、それぞれ、ブリッジおよびバスを介して接続し、編集装置として一体化されている場合について述べたが、本発明はこれに限らず、例えば、これらの構成要素のうちの一部が、外部から有線または無線で接続されるようにしても良いし、これらの構成要素は、この他、種々の接続形態で相互に接続されるようにしてもよい。

さらに、上述の実施の形態においては、圧縮された編集用の素材がＨＤＤに記憶されている場合について述べたが、本発明はこれに限らず、例えば、光ディスク、光磁気ディスク、半導体メモリ、磁気ディスク等の種々の記録媒体に記録された編集用の素材を用いて編集処理を行う場合にも適用することができる。

さらに、上述の実施の形態においては、デコーダ２２乃至２４、ストリームスプライサ２５、エフェクト／スイッチ２６、および、エンコーダ２７は、同一の拡張カード（例えば、PCIカード、PCI−Expressカード）に搭載する形態に限らず、例えばPCI−Expressなどの技術によりカード間の転送速度が高い場合には、それぞれ別の拡張カードに搭載してもよい。

本発明は、ＭＰＥＧ方式による情報処理装置の他、これに類似する符号化又は復号化のアルゴリズムを有する方式の情報処理装置に適用することができる。

編集と部分再エンコードについて説明するための図である。 ClosedGOPでの編集と部分再エンコードについて説明するための図である。 ClosedGOPでの編集と部分再エンコードについて、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 本発明を適用した編集装置１の構成を示すブロック図である。 図４の編集装置１において実行可能な部分再エンコードおよび編集処理について説明するための図である。 図５の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 図５の部分再エンコードおよび編集処理を実行した場合のＶＢＶバッファについて説明するための図である。 図５の部分再エンコードおよび編集処理を実行した場合に、ＶＢＶバッファが破綻してしまう場合について説明するための図である。 ＶＢＶバッファを考慮した部分再エンコードおよび編集処理について説明するための図である。 図９の部分再エンコードおよび編集処理について、ディスプレイオーダにおけるピクチャの並びを説明するための図である。 図９の部分再エンコードおよび編集処理を実行した場合のＶＢＶバッファについて説明するための図である。 第１の実施の形態において発生する可能性のあるＱマトリクスの不整合について説明するための図である。 第１の実施の形態においてＱマトリクスの不整合を発生させないようにするための処理について説明するための図である。 編集処理１について説明するためのフローチャートである。 再エンコードおよび接続処理１について説明するためのフローチャートである。 第２の実施の形態において発生する可能性のあるＱマトリクスの不整合について説明するための図である。 第２の実施の形態においてＱマトリクスの不整合を発生させないようにするための処理について説明するための図である。 編集処理２について説明するためのフローチャートである。 再エンコードおよび接続処理２について説明するためのフローチャートである。 再エンコードおよび接続処理２について説明するためのフローチャートである。 接続処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。 本発明を適用可能な異なる装置の構成について説明するための図である。

符号の説明

１ 編集装置， １１ ＣＰＵ， １６ ＨＤＤ， ２０ ＣＰＵ， ２２乃至２４ デコーダ， ２５ ストリームスプライサ， ２６ エフェクト／スイッチ， ２７ エンコーダ， ２８ シンタクス更新部

Claims (14)

1. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理を実行する情報処理装置において、
   前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコード手段と、
   前記第１の圧縮映像データが前記デコード手段によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコード手段によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続手段と、
   前記接続手段により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコード手段と、
   前記第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、前記エンコード手段による、前記Ｑマトリクスを用いたエンコードを制御する制御手段と、
   前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコード手段によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成手段と
   を備えることを特徴とする情報処理装置。
2. 前記制御手段は、
   前記第２の圧縮映像データのうち、前記編集映像データ生成手段により前記第３の圧縮映像データに接続される第１のピクチャの前記Ｑマトリクスに関する情報を取得し、
   前記第１のピクチャが所定の条件に合致する場合、前記制御手段は、前記エンコード手段によりエンコードされる第２のピクチャが、前記第１のピクチャの前記Ｑマトリクスを用いてエンコードされるように前記エンコード手段を制御し、
   前記編集映像データ生成手段は、前記第２のピクチャに続いて、前記第１のピクチャを接続する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記所定の条件には、前記第１のピクチャの前にシーケンスヘッダが挿入されていないことが含まれる
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記所定の条件には、前記第１のピクチャがエンコード時にＱマトリクスをロードするように設定されていないことが含まれる
   ことを特徴とする請求項２に記載の情報処理装置。
5. 前記制御手段は、前記エンコード手段によりエンコードされるピクチャであって、前記編集映像データ生成手段により、前記編集点付近以外の所定の範囲の第１の圧縮映像データと接続されるピクチャにシーケンスヘッダが挿入されるように前記エンコード手段を制御する
   ことを特徴とする請求項１に記載の情報処理装置。
6. 前記制御手段は、前記第３の圧縮映像データのうちのいずれかのフレーム内符号化画像、または、フレーム間順方向予測符号化画像より、画像表示順で時間的に後ろとなる部分のピクチャタイプが、前記第１の圧縮映像データおよび前記第２の圧縮映像データの対応するピクチャタイプから変更されないように、前記エンコード手段によるエンコード処理を更に制御する
   ことを特徴とする請求項１に記載の情報処理装置。
7. 前記制御手段は、
   前記第２の圧縮映像データのうち、前記編集映像データ生成手段により前記第３の圧縮映像データに接続される第１のピクチャの前記Ｑマトリクスに関する情報を取得し、
   前記第１のピクチャの前記Ｑマトリクスと、前記編集データ生成手段により前記第１のピクチャに続いて接続される第２のピクチャの前記Ｑマトリクスとが等しいか否かを判断し、
   前記第１のピクチャと前記第２のピクチャとの前記Ｑマトリクスが等しくないと判断された場合、エンコード時にＱマトリクスをロードするように、前記第２のピクチャを設定する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 前記制御手段は、
   前記第２の圧縮映像データのうち、前記第３の圧縮映像データの最後のピクチャである第１のピクチャに対応する第２のピクチャのＱマトリクスに関する情報を取得し、
   前記第１のピクチャが、前記第２のピクチャと同一のＱマトリクスでエンコードされるように、前記エンコード手段を制御する
   ことを特徴とする請求項６に記載の情報処理装置。
9. 前記編集点付近以外の所定の範囲の前記第２の圧縮映像データのシンタクスを更新する更新手段を更に備え、
   前記制御手段は、
   前記シンタクス更新制御手段の処理を更に制御し、
   前記第２の圧縮映像データのうち、前記編集映像データ生成手段により前記第３の圧縮映像データに接続されるフレーム内符号化画像、または、フレーム間順方向予測符号化画像である第１のピクチャおよびその次のフレーム間順方向予測符号化画像である第２のピクチャの前記Ｑマトリクスに関する情報を取得し、
   前記第１のピクチャと前記第２のピクチャの前記Ｑマトリクスが異なり、かつ、前記第２のピクチャがエンコード時にＱマトリクスをロードするように設定されていなかった場合、前記シンタクス更新制御手段を制御して、前記第２のピクチャのシンタクスにQuantMatrixExtentionを付加させる
   ことを特徴とする請求項１に記載の情報処理装置。
10. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理を実行する情報処理装置の情報処理方法において、
    前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
    前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
    前記第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された前記情報を用いて、前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、
    前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
    を含むことを特徴とする情報処理方法。
11. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
    前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
    前記第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された前記情報を用いて、前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、
    前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
    を含むことを特徴とする処理をコンピュータに実行させるための、コンピュータが読み取り可能なプログラムが記録されている記録媒体。
12. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理をコンピュータに実行させるためのプログラムであって、
    前記第１の圧縮映像データおよび前記第２の圧縮映像データのうちの編集点付近の所定の範囲の映像データをデコードするデコードステップと、
    前記第１の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記デコードステップの処理によりデコードされて生成された第２の非圧縮映像信号とを、前記編集点で接続し、第３の非圧縮映像信号を生成する接続ステップと、
    前記第２の圧縮映像データの所定のピクチャのＱマトリクスに関する情報を取得し、取得された前記情報を用いて、前記接続ステップの処理により接続されて生成された前記第３の非圧縮映像信号をエンコードして、第３の圧縮映像データを生成するエンコードステップと、
    前記編集点付近以外の所定の範囲の前記第１の圧縮映像データおよび前記編集点付近以外の所定の範囲の前記第２の圧縮映像データと、前記エンコードステップの処理によりエンコードされて生成された、前記第３の圧縮映像データとを接続して、圧縮符号化された編集映像データを生成する編集映像データ生成ステップと
    を含むことを特徴とする処理をコンピュータに実行させるためのプログラム。
13. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理を実行する情報処理装置において、
    前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコード手段と、
    前記第２の圧縮映像データのうちの前記編集点付近の所定の範囲以外の範囲のピクチャであって前記第３の圧縮映像データに接続されるピクチャである第１のピクチャのＱマトリクスに関する情報を取得し、前記第１のピクチャが所定の条件に合致する場合、前記エンコード手段によりエンコードされる第２のピクチャが、前記第１のピクチャの前記Ｑマトリクスを用いてエンコードされるように、前記エンコード手段によるエンコード処理を制御する制御手段と
    を備えることを特徴とする情報処理装置。
14. 第１の圧縮映像データの後端に第２の圧縮映像データの前端を接続して編集する処理を実行する情報処理装置の情報処理方法において、
    前記第１の圧縮映像データが編集点付近の所定の範囲でデコードされて生成された第１の非圧縮映像信号と、前記第２の圧縮映像データが前記編集点付近の所定の範囲でデコードされて生成された第２の非圧縮映像信号とが、前記編集点で接続されて生成された第３の非圧縮映像信号を、エンコードして第３の圧縮映像データを生成するエンコードステップと、
    前記第２の圧縮映像データのうちの前記編集点付近の所定の範囲以外の範囲のピクチャであって前記第３の圧縮映像データに接続されるピクチャである第１のピクチャのＱマトリクスに関する情報を取得し、前記第１のピクチャが所定の条件に合致する場合、前記エンコードステップの処理によりエンコードされる第２のピクチャが、前記第１のピクチャの前記Ｑマトリクスを用いてエンコードされるように、前記エンコードステップの処理によるエンコード処理を制御する制御ステップと
    を含むことを特徴とする情報処理方法。

Images