JP3740978B2 - ビデオデータの択一的な再生が可能なマルチメディアストリーム生成方法とマルチメディア光ディスクオーサリングシステム - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、一連の関連付けられた内容を有する各タイトルを構成するビデオデータ、オーディオデータ、副映像（サブピクチャ）データの情報を搬送するビットストリームに様々な処理を施して、ユーザの要望に応じた内容を有するタイトルを構成するビットストリームを生成し、その生成されたビットストリームを所定の記録媒体に効率的に記録し、そのように生成されたビットストリームから更にユーザ要望に応じたタイトル内容を再生するオーサリングシステムに関する。
【０００２】
【従来の技術】
近年、アナログ映像やビデオＣＤ等を利用したシステムに於いて、ビデオ、オーディオ、及びサブピクチャ（副映像）などのマルチメディアデータをディジタル処理して、一連の関連付けられた内容を有するタイトルを構成するオーサリングシステムが実用化されている。このようなオーディオ情報及びビデオ情報等から構成されるマルチメディアストリームとしてはＭＰＥＧ(Moving Picture Expert Group)形式のデータがある。ＭＰＥＧ形式のデータの記録媒体としてはビデオＣＤがあり、そのオーサリングシステムはワークステーションをベースとするものがある。ビデオＣＤを用いたシステムに於いては、約６００Ｍバイトの記憶容量を持ち本来ディジタルオーディオの記録用であったＣＤ媒体上に、ＭＰＥＧ形式の高圧縮率の動画像圧縮手法により、ビデオデータの記録を実現している。このようなオーサリングシステムにおいては、先ずビデオ情報、オーディオ情報をそれぞれ個別にエレメンタリエンコードし、これらのエレメンタリエンコードされたデータを更に多重化するシステムエンコードを行うことによりＭＰＥＧシステムストリームを生成する。
【０００３】
次に、ユーザの要望、つまりシナリオ情報に応じた内容を具現する為にＭＰＥＧストリームの再生経路を決定する。このシナリオ情報とＭＰＥＧシステムストリームが重畳されたデータを、ＣＤ媒体のディスクイメージに変換して、ＣＤ媒体に記録してマスターディスクを作成する。その後、マスターディスクからプレス等の適切な方法を用いて、配布用のディスクを複製生産する。
【０００４】
近年、ビデオＣＤに比べて大容量なＤＶＤ（Digital Versatile Disk）と呼ばれる光ディスク記録媒体が登場した。ＤＶＤでは長時間の動画の格納が可能であり、これを生した従来にない魅力的な機能として、映像データの択一的な再生機能が実現されている。択一的な再生とは、複数の映像データを所定の区間に分割して光ディスクに多重に配列した区間を形成し、ディスク再生装置はこの多重に配列された区間をスキップ再生しながら、多重に入れた映像データの内指定された映像データのみを再生する事により行う。この多重配列区間を択一的映像再生区間と称する。択一的な再生機能の応用例としては、視聴制限情報により再生映像を選択的に再生するパレンタルロック再生がある。具体的には、映画等に於ける暴力シーンの表示・非表示の選択的再生を可能にするものである。
【０００５】
択一的映像再生区間はスキップ再生されるため、これに属するビデオデータは、エンコード条件や、その組合せについての多岐に渡る制限事項を満足しなければならない。しかし、従来のビデオＣＤ等のオーサリングシステムの工程では、全てのＭＰＥＧデータは原則、同じ条件で生成されるため、この工程をこのまま応用したのでは、前記制限事項を満足しない映像データにより、欠陥を有する択一的映像再生区間が作成されてしまう可能性がある。このような欠陥択一的映像再生区間を有するディスクは、再生時に、ディスク再生装置に対して誤動作等を生じさる。
【０００６】
つまり、マスターディスクの完成後に再生するまでは、択一映像再生区間の欠陥を検出できない。このため、タイトル制作者は再度マスターディスクをエンコードの工程からオーサリングしなおす必要があり、負担が極めて大きい。この負担の大きさはＭＰＥＧ２のエンコードの場合、特に深刻である。一般的に、ＭＰＥＧ１に比べて、遙かに高品質の映像を提供できるＭＰＥＧ２エンコードには、その再生時間の少なくとも２倍の時間を要する。なぜならば、ＭＰＥＧ２に於ける映像画質は、エンコード時に指定するビットレート等のパラメータや、用いるフィルタにより画質が左右される。そのため、エンコードした画質をチェックしてＭＰＥＧ２の提供し得る画質になるように、再度パラメータを調整して最終的なエンコードを施す２パスエンコードを行うからである。このように、択一的な映像再生区間を有するマルチメディアストリームを生成するためには非常に多くの労力を必要とするという問題点がある。
【０００７】
また、ＭＰＥＧ２では、ＭＰＥＧ１と多少異なる圧縮方式、データ形式が採用されている。ＭＰＥＧ１とＭＰＥＧ２の内容及びその違いについては、ＩＳＯ１１１７２、及びＩＳＯ１３８１８のＭＰＥＧ規格書に詳述されているので説明を省く。
【０００８】
【発明が解決しようとする課題】
上記した従来技術では、DVD-Video等のパッケージメディアにおいて、映像は共通であり、オーディオあるいは字幕のみが異なる場合たとえば、日本版とUS版等、あるいはオープニングクレジットのように、タイトルで共通に使用するコンテンツ等がある場合、あるいは、既にエンコード済のコンテンツがあり、それを流用したい場合でも、オーサリング時にはさまざまなDVD-Video特有の制約から、その都度、その制約を満たすように、コンテンツを再エンコードする必要があった。特に映像の圧縮においては、高画質化処理および圧縮そのものに非常に時間がかかるという課題があった。
【０００９】
また、他のエンコーダによりエンコードしたストリームは、エンコード条件がわからないために、DVD-Video特有の制約を回避できないという課題があった。
【００１０】
本発明は、上記問題に鑑み、択一的映像再生区間を有するマルチメディアストリームを効率良く生成するための生成方法とそのオーサリングシステムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
エレメンタリストリーム解析手段がエンコード済みのエレメンタリストリームを解析してエレメンタリ情報表示手段に表示し、解析結果に基づいて、編集情報入力手段より編集指示情報を入力し、エンコード指示情報判定手段が、編集情報変換手段が編集指示情報を変換したエンコード指示情報を適正であるか判断し、編集情報表示手段に表示された判定結果に基づいて、編集情報を修正し、エンコード手段は編集情報に基づいてマルチメディアストリームを生成する。
【００１２】
【発明の実施の形態】
本発明の第１の発明は一連の関連付けられた内容を有するタイトルを構成するビデオデータ、オーディオデータ、及び副映像データであるサブピクチャデータの情報を搬送するマルチメディアソースストリームに対して、各データの情報を各々符号化したビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームを多重化し、択一再生可能なマルチメディアストリームを生成するマルチメディア光ディスクオーサリングシステムであって、前記マルチメディアソースストリームおよびエンコード済みのエレメンタリストリームから前記マルチメディアストリームを生成する場合、前記エレメンタリストリームを解析し、エレメンタリストリーム情報を生成するエレメンタリストリーム解析手段と、前記エレメンタリストリーム情報を提示するエレメンタリ情報表示手段と、前記エレメンタリストリームを使用するか、前記マルチメディアソースストリームを新たにエンコードして使用するかなどの編集指示情報を設定する編集情報入力手段と、前記エレメンタリストリーム情報と前記編集情報入力手段により設定された編集指示情報からエンコード内容を示すエンコード指示情報を生成する編集情報変換手段と、前記編集情報変換手段により生成されたエンコード指示情報を検証し、データが適正な場合は前記エンコード指示情報を出力するエンコード指示情報判定手段と、前記エンコード指示情報判定手段より出力された前記エンコード指示情報および判定結果を表示する編集情報表示手段と、前記エンコード指示情報に基づいて、前記マルチメディアソースストリームをエンコードして生成したエレメンタリストリームと、前記エンコード済のエレメンタリストリームとを混在させて前記マルチメディアストリームを生成するエンコード手段とを有したことを特徴とするマルチメディア光ディスクオーサリングシステムであって、エンコード済みのエレメンタリストリームを解析して、編集指示情報を設定することにより、新にエンコードするエレメンタリストリームとエンコード済みのエレメンタリストリームを混在させてマルチメディアストリームを生成することができる。
【００１３】
本発明の第２の発明は、第1の発明において、エレメンタリストリーム解析手段は、ビデオエレメンタリストリーム以外で使用可能なビットレートを算出することを特徴とするマルチメディア光ディスクオーサリングシステムであり、エレメンタリストリーム解析手段がビデオエレメンタリストリーム以外で使用可能なビットストリームを算出することで、オーディオ等にどのくらいのビットレートを割り当てることが可能であるかを事前に算出することができる。
【００１４】
本発明の第３の発明は、第１の発明において、エレメンタリストリーム解析手段は、エレメンタリストリームより、アクセスポイント可能となるタイムコード情報を算出することを特徴とするマルチメディア光ディスクオーサリングシステムであり、エレメンタリストリーム解析手段がアクセスポイント可能なタイムコード情報を算出することで、アクセスポイントからデコードされたエレメンタリストリームを正確に再生することができる。
【００１５】
本発明の第４の発明は、第１の発明において、エンコード指示情報判定手段は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームに対し、バッファシミュレーションを行い、使用可能なビットレートを算出することを特徴とするマルチメディア光ディスクオーサリングシステムであり、サブピクチャ等、固定レートではなく、瞬間的にビットを消費するストリームに対して、事前にビット割当てを行うことができる。
【００１６】
本発明の第５の発明は、第１の発明において、エレメンタリストリーム解析手段は、解析したビデオエレメンタリストリームにDVD-Video特有のエラーがある場合、不適正である旨をエレメンタリ情報表示手段に表示させることを特徴とする特徴とするマルチメディア光ディスクオーサリングシステムであり、エレメンタリストリーム解析手段によりDVD-Video特有のデータを事前に解析することができる。
【００１７】
本発明の第６の発明は、第１の発明において、エンコード指示情報判定手段において、エンコード指示情報が不適正であると判断された場合、編集情報表示手段は不適正である旨を表示することを特徴とするマルチメディア光ディスクオーサリングシステムであり、編集情報表示手段に不適正である旨を表示することにより、表示された情報により、編集指示情報を適正な情報に修正することができる。
【００１８】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００１９】
（実施の形態１）
先ず、図１を参照して、本発明に於ける記録装置、記録媒体、再生装置およびそれらの機能を含むオーサリングシステムに於いて処理対象とされるマルチメディアデータのビットストリームの論理構造を説明する。ユーザが内容を認識し、理解し、或いは楽しむことができるビデオ及びオーディオ情報を１タイトルとする。このタイトルとは、映画でいえば、最大では一本の映画の完全な内容を、そして最小では、各シーンの内容を表す情報量に相当する。所定数のタイトル分の情報を含むビットストリームデータから、ビデオタイトルセットＶＴＳが構成される。以降、簡便化の為に、ビデオタイトルセットをＶＴＳと呼称する。ＶＴＳは、上述の各タイトルの中身自体を表す映像、オーディオなどの再生データと、それらを制御する制御データを含んでいる。
【００２０】
所定数のＶＴＳから、オーサリングシステムに於ける１ビデオデータ単位であるビデオゾーンＶＺが形成される。以降、簡便化の為にビデオゾーンをＶＺと呼称する。一つのＶＺに、Ｋ＋１個のＶＴＳ＃０〜ＶＴＳ＃Ｋ（Ｋは、０を含む正の整数）が直線的に連続して配列される。そしてその内一つ、好ましくは先頭のＶＴＳ＃０が、各ＶＴＳに含まれるタイトルの中身情報を表すビデオマネージャとして用いられる。この様に構成された、所定数のＶＺから、オーサリングシステムに於ける、マルチメディアデータのビットストリームの最大管理単位であるマルチメディアビットストリームＭＢＳ（マルチメディアストリーム）が形成される。図１はマルチメディアビットストリームが１つのＶＺで構成され、ＶＺがＫ＋１個のＶＴＳで構成されていることを示す。
【００２１】
次に本発明のオーサリングシステムの全体動作を説明する。
【００２２】
図２に、本実施の形態のオーサリングシステムの一例を示す。
【００２３】
図２において、１００はオリジナルのマルチメディアタイトルの映像、サブピクチャ、及びオーディオに関してユーザの要望に応じたマルチメディアビットストリームの該当部分のエンコード指示情報を出力する編集情報作成部、２００は編集情報作成部１００より出力されたエンコード指示情報に従って、各エンコーダ、セレクタ、バッファ等を制御するエンコードシステム制御部、３００はエンコードシステム制御部２００より出力されるビデオエンコード信号St9に基づいて、ビデオストリームSt1の所定の部分をエンコードするビデオエンコーダ、４００はエンコードシステム制御部２００より出力されるタイミング信号St21に基づいて、保存しているストリームをビデオエンコードストリームSt27として出力するビデオストリームバッファ、５００はエンコードシステム制御部２００より出力されるサブピクチャストリームエンコード信号St11に基づいて、サブピクチャストリームSt3の所定の部分をエンコードするサブピクチャエンコーダ、６００はエンコードシステム制御部２００より出力されるタイミング信号St23に基づいて、保存しているストリームをサブピクチャエンコードストリームSt29として出力するサブピクチャストリームバッファ、７００はエンコードシステム制御部２００より出力されるオーディオエンコード信号St13に基づいて、オーディオストリームSt5の所定の部分をエンコードするオーディオエンコーダ、８００はエンコードシステム制御部２００より出力されるタイミング信号St25に基づいて、保存しているストリームをオーディオエンコードストリームSt31として出力するオーディオストリームバッファ、９００はエンコードシステム制御部２００より出力される配列指示信号St33に基づいて、入力されるビデオエンコードストリームSt27、サブピクチャエンコードストリームSt29、及びオーディオエンコードSt31を多重化するシステムエンコーダ、１２００はビデオゾーンフォーマッタ１３００より出力される編集済みマルチメディアビットストリームSt43を記録する記録部、１３００はエンコードシステム制御部２００から出力されるタイトル編集単位St39に基づいて、１ビデオゾーンＶＺ分のタイトル編集単位St35を、ユーザの要望シナリオに沿う順番に、並べ替えて、編集済みマルチメディアビットストリームSt43を生成するビデオゾーンフォーマッタ、１４００はエンコードシステム制御部２００より出力される選択信号Est21に従って、入力された２つのビデオストリームのいずれかを選択するビデオ用セレクタ、１５００はエンコードシステム制御部２００より出力される選択信号Est23に従って、入力された２つのサブピクチャストリームのいずれかを選択するサブピクチャ用セレクタ、１６００はエンコードシステム制御部２００より出力される選択信号Est25に従って、入力された２つのオーディオストリームのいずれかを選択するオーディオ用セレクタ、Ｍは記録媒体である。ここで、編集情報作成部１００、記録部１２００を除く他の構成要素は本発明におけるエンコード手段に相当する。図２に於いて。本発明のオーサリングシステムによってエンコードされるビットストリームおよび、エンコード済みのエレメンタリストリームは、一例として光ディスク媒体に記録される。
【００２４】
以下、ユーザの要望に応じた任意のシナリオに従い、オリジナルのマルチメディアビットストリームより新たなマルチメディアビットストリームを生成する動作について説明する。なお、オリジナルのマルチメディアビットストリームは、映像情報を運ぶビデオストリームSt1、キャプション等の補助映像情報を運ぶサブピクチャストリームSt3、及びオーディオ情報を運ぶオーディオストリームSt5から構成されている。さらに、エンコード済みのビデオエレメンタリストリームEst1、キャプションエレメンタリストリームEst3、及びオーディオエレメンタリストリームEst5から構成されている。ここで、ビデオストリーム及びオーディオストリームは、所定の時間の間に対象から得られるビデオ及びオーディオの情報を含むストリームである。サブピクチャストリームは一画面分、つまり瞬間の映像情報を含むストリームであり、必要であれば、一画面分のサブピクチャをビデオメモリ等にキャプチャして、そのキャプチャされたサブピクチャ画面を継続的に表示することができる。
【００２５】
ビデオストリームSt1、サブピクチャストリームSt3、オーディオストリームSt5のマルチメディアソースデータは、実況中継の場合には、ビデオカメラ等の手段からビデオ及びオーディオ信号がリアルタイムで供給される。また、ビデオテープ等の記録媒体から再生された非リアルタイムなビデオ及びオーディオ信号である場合もある。尚、同図に於は、簡便化のために、３種類のマルチメディアソースデータとしているのであって、３種類以上で、それぞれが異なるタイトル内容を表すソースデータが入力されても良いことは言うまでもない。このような複数のタイトルのオーディオ、ビデオ、サブピクチャ情報を有するマルチメディアソースデータを、マルチタイトルストリームと呼称する。
【００２６】
編集情報生成部１００は、入力として、ソースデータだけでなく、エンコード済みのエレメンタリストリームも入力とすることができる。編集情報作成部１００は、好ましくは、ディスプレイ部、スピーカ部、キーボード、ＣＰＵ、ソースストリームバッファ部等で構成される。編集情報作成部１００は、上述の外部マルチメディアストリーム源に接続されており、マルチメディアソースデータSt1、St3、St5およびエンコード済みのエレメンタリストリームEst1、Est3、Est5の供給を受ける。ユーザは、マルチメディアソースデータをディスプレイ部及びスピーカを用いてビデオ及びオーディオを再生し、タイトルの内容を認識することができる。更に、ユーザは再生された内容を確認しながら、所望のシナリオに沿った内容の編集指示を、キーボード部を用いて入力する。編集指示内容とは、複数のタイトル内容を含む各ソースデータ或いはエレメンタリストリームの全部或いは、其々に対して、所定時間毎に各ソースデータの内容或いは、エレメンタリストリームを一つ以上選択し、それらの選択された内容を、所定の方法で接続再生するような情報を言う。ＣＰＵは、キーボード入力に基づいて、マルチメディアソースデータのそれぞれのストリームSt1、St3、及びSt5の編集対象部分の位置、長さ、及び各編集部分間の時間的相互関係等の情報およびそれぞれのエレメンタリストリームEst1、Est3、およびEst5の長さ、時間的相互関係等に基づいたオーサリングエンコードパラメータSt7を生成する。また、編集情報作成部１００は入力されたマルチメディアソースデータSt1、St3、St5を時間Ｔｄだけ遅延して出力する。編集情報作成部１００の詳細な動作は後述する。
【００２７】
エンコードシステム制御部２００は、編集情報作成部１００に接続されており、エンコード指示情報であるオーサリングエンコードパラメータSt7を編集情報作成部１００から受け取る。エンコードシステム制御部２００は、オーサリングエンコードパラメータSt7に含まれる編集対象部の時間的位置及び長さに関する情報に基づいて、マルチメディアソースデータの編集対象分をエンコードするためのそれぞれのエンコードパラメータデータ及びエンコード開始、終了のエンコード信号St9、St11、及びSt13をそれぞれ生成する。各マルチメディアソースデータSt1、St3、及びSt5は、ソースストリームバッファによって、時間Ｔｄ遅延して出力されるので、各タイミング信号St9、St11、及びSt13と同期している。St9はビデオストリームSt1からエンコード対象部分を抽出して、ビデオエンコード単位を生成するために、ビデオストリームSt1をエンコードするタイミングを指示するビデオエンコード信号である。同様に、St11は、サブピクチャエンコード単位を生成するために、サブピクチャストリームSt3をエンコードするタイミングを指示するサブピクチャストリームエンコード信号である。また、St13は、オーディオエンコード単位を生成するために、オーディオストリームSt5をエンコードするタイミングを指示するオーディオエンコード信号である。また、エンコード済のエレメンタリストリームを選択する場合には、編集情報作成部１００において、どのストリームにエンコード済みのエレメンタリストリームを使用するかをオーサリングエンコードパラメータSt7に記述する。
【００２８】
ビデオエンコーダ３００は、編集情報作成部１００の編集情報制御部１００及び、エンコードシステム制御部２００に接続されており、ビデオソースストリームSt1とオーサリングエンコードパラメータに記述されている、エンコードの開始終了タイミング、ビットレート、エンコード条件、素材の種類として、ＮＴＳＣ信号またはＰＡＬ信号あるいはテレシネ素材であるかなどのパラメータを示したビデオエンコード信号St9がそれぞれ入力される。ビデオエンコーダ３００は、ビデオエンコード信号St9に基づいて、ビデオストリームSt1の所定の部分をエンコードして、ビデオエンコードストリームSt15を生成する。同様に、サブピクチャエンコーダ５００は、編集情報作成部１００及び、エンコードシステム制御部２００に接続されており、サブピクチャソースストリームSt3とサブピクチャストリームエンコード信号St11がそれぞれ入力される。サブピクチャエンコーダ５００は、サブピクチャストリームエンコード信号St11に基づいて、サブピクチャストリームSt3の所定の部分をエンコードして、サブピクチャエンコードストリームSt17を生成する。オーディオエンコーダ７００は、編集情報作成部１００及び、エンコードシステム制御部２００に接続されており、オーディオストリームSt5とオーディオエンコード信号St13がそれぞれ入力される。オーディオエンコーダ７００は、オーディオエンコードのためのパラメータデータ及びエンコード開始終了タイミングの信号St13に基づいて、オーディオストリームSt5の所定の部分をエンコードして、オーディオエンコードストリームSt19を生成する。
【００２９】
また、エンコードシステム制御部２００では、エレメンタリ毎に選択信号Est21、Est23、Est25をそれぞれセレクタ１４００、セレクタ１５００、セレクタ１６００に出力する。例えば、ビデオにおいて、エンコード済みのビデオエレメンタリストリームを使用する場合は、その旨を編集情報作成部１００において記述し、その情報はオーサリングエンコードパラメータSt7を介して、エンコードシステム制御部２００におくる。エンコードシステム制御部２００は、エンコード済みのビデオエレメンタリストリームEst1を選択するよう、Est21によりセレクタ１４００を制御する。結果、エンコード済のビデオエレメンタリストリームEst1がビデオストリームバッファ４００に格納される。この動作は、サブピクチャ、オーディオを選択するセレクタ１５００、セレクタ１６００に関しても同様である。
【００３０】
エンコードシステム制御部２００は、更に、オーサリングエンコードパラメータSt7に含まれるエンコード対象部分間の時間的相互関係等の情報に基づいて、セレクタ１４００、セレクタ１５００、セレクタ１６００によって選択されたエンコードストリームを、所定の相互関係になるように配列するためのタイミング信号St21、St23、及びSt25を生成する。
【００３１】
ビデオストリームバッファ４００は、セレクタ１４００に接続されており、エンコードシステム制御部２００からの制御信号St21に従って、セレクタ１４００により選択されたビデオエンコードストリームSt150を保存し、保存したビデオエンコードストリームSt150を、ビデオエンコードストリームSt27として出力する。同様に、サブピクチャストリームバッファ６００は、セレクタ１５００に接続されており、エンコードシステム制御部２００からの制御信号St23に従って、セレクタ１５００により選択されたサブピクチャエンコードストリームSt170を保存し、保存したサブピクチャエンコードストリームSt170を、サブピクチャエンコードストリームSt29として出力する。また、オーディオストリームバッファ８００は、セレクタ１６００に接続されており、エンコードシステム制御部２００からの制御信号Est25に従って、セレクタ１６００により選択されたオーディオエンコードストリームSt190を保存し、保存したオーディオエンコードストリームSt190を、オーディオエンコードストリームSt31として出力する。
【００３２】
エンコードシステム制御部２００は、編集情報作成部１００より出力された、オーサリングエンコードパラメータSt7に従って、１ビデオゾーンＶＺ分の各タイトルのタイトル編集単位（ＶＯＢ、Video Object）について、タイトル編集単位の再生時間を示す再生時間情報ＩＴおよびビデオ、オーディオ、サブピクチャのマルチメディアエンコードストリームを多重化するシステムエンコードのためのエンコードパラメータ示すストリームエンコードデータSt33を生成する。システムエンコーダ９００は、ビデオストリームバッファ４００、サブピクチャストリームバッファ６００、及びオーディオストリームバッファ８００に接続されており、ビデオエンコードストリームSt27、サブピクチャエンコードストリームSt29、及びオーディオエンコードSt31が入力される。システムエンコーダ９００は、またエンコードシステム制御部２００に接続されており、ストリームエンコードデータSt33が入力される。システムエンコーダ９００は、システムエンコードのエンコードパラメータデータ及びエンコード開始終了タイミングの信号St33に基づいて、各ストリームSt27、St29、及びSt31に多重化処理を施して、タイトル編集単位St35を生成する。
【００３３】
エンコードシステム制御部２００は、編集情報作成部１００より出力された、オーサリングエンコードパラメータSt7に従って、所定の相互的時間関係にある各ストリームのタイトル編集単位から、マルチメディアビットストリームの各タイトルのタイトル編集単位の接続または、各タイトル編集単位を重畳しているインターリーブタイトル編集単位（ＶＯＢs）を生成するための、各タイトル編集単位をマルチメディアビットストリームとして、フォーマットするためのフォーマットパラメータを規定する配列指示信号St39を生成する。
【００３４】
ビデオゾーンフォーマッタ１３００は、システムエンコーダ９００に接続されて、タイトル編集単位St35を入力される。ビデオゾーンフォーマッタ１３００は更に、エンコードシステム制御部２００に接続されて、マルチメディアビットストリームをフォーマットするためのフォーマットパラメータデータ及びフォーマット開始終タイミングの信号St39を入力される。ビデオゾーンフォーマッタ１３００は、タイトル編集単位St39に基づいて、１ビデオゾーンＶＺ分のタイトル編集単位St35を、ユーザの要望シナリオに沿う順番に、並べ替えて、編集済みマルチメディアビットストリームSt43を生成する。このユーザの要望シナリオの内容に編集された、編集済みマルチメディアビットストリームSt43は、記録部１２００に転送される。記録部１２００は、編集マルチメディアビットストリームを記録媒体Ｍに応じた形式のデータSt45に加工して、記録媒体Ｍに記録する。この場合、マルチメディアビットストリームには、予め、ビデオゾーンフォーマッタ１３００によって生成された媒体上の物理アドレスを示すボリュームファイルストラクチャＶＦＳが含まれる。また、エンコードされたマルチメディアビットストリームSt35を、後述するデコーダに直接出力して、編集されたタイトル内容を再生するようにしても良い。この場合は、マルチメディアビットストリームには、ボリュームファイルストラクチャＶＦＳは含まれないことは言うまでもない。
【００３５】
以下、オーサリングエンコードパラメータの生成方法について説明する。
【００３６】
図２、図３、図４を用いて、編集情報作成部１００の構成および動作を説明する。図３は編集情報作成部１００の構成を示すブロック図、図４は編集情報作成部の動作を示すフローチャートである。
【００３７】
図３において、１０２はユーザの要望を反映した編集指示情報をオーサリングシステムに入力する編集情報入力部、１０４は編集情報入力部１０２よりユーザが入力した編集指示情報を変換してエンコード指示情報であるシナリオテーブルSt7Rを生成する編集情報変換部、１０６はオーサリングエンコードパラメータ判定＆生成部１１０の判定結果および生成されたエンコード指示情報を表示する編集情報表示部、１０９は入力されたストリームを所定の時間遅延させるストリーム入力バッファ、１１０は編集情報変換部１０４より出力されるシナリオテーブルSt7Rに従って、ストリーム入力バッファ１０９に格納されているソースストリームに対する編集タイミングSt300を出力するエンコード指示情報判定手段であるオーサリングエンコードパラメータ判定＆生成部、１１２は入力されたエレメンタリストリームの解析を行い、エレメンタリストリーム情報を生成するエレメンタリストリーム解析部、１１４はエレメンタリストリーム解析部の解析結果であるエレメンタリストリーム情報を表示するエレメンタリ情報表示部である。
【００３８】
ストリーム入力バッファ１０９は所定の容量を有し、マルチメディアソースデータの各ストリームSt1、St3、及びSt5を所定の時間Ｔｄ遅延させた後に、出力する。これは、ユーザがオーサリングエンコードパラメータSt7を作成するのと同時にエンコードを行う場合、つまり逐次エンコード処理の場合には、前述したようにオーサリングエンコードパラメータSt7に基づいて、エンコードシステム制御部２００がマルチメディアソースデータの編集処理内容を決定するのに若干の時間Ｔｄを要するので、実際に編集エンコードを行う場合には、この時間Ｔｄだけマルチメディアソースデータを遅延させて、編集エンコードと同期する必要があるからである。このような、逐次編集処理の場合、遅延時間Ｔｄは、システム内の各要素間での同期調整に必要な程度であるので、通常ストリーム入力バッファ１０９は半導体メモリ等の高速記録媒体で構成される。しかしながら、タイトルの全体を通してオーサリングエンコードパラメータSt7を完成させた後に、マルチメディアソースデータを一気にエンコードする、いわゆるバッチ編集時に於いては、遅延時間Ｔｄは、一タイトル分或いはそれ以上の時間必要である。このような場合には、ストリーム入力バッファ１０９は、ビデオテープ、磁気ディスク、光ディスク等の低速大容量記録媒体を利用して構成できる。つまり、ストリーム入力バッファは遅延時間Ｔｄ及び製造コストに応じて、適当な記憶媒体を用いて構成すればよい。
【００３９】
以下、図４のフローチャートに則して編集情報作成部１００の動作を説明する。
【００４０】
まず、ステップ＃２０１で、インポートするエンコード済のエレメンタリストリームがあるか判断する。ステップ＃２０１でインポートするストリームがある場合、ステップ＃２０２においてストリームの解析を行う。この解析結果であるエレメンタリストリーム情報はステップ＃２０３でエレメンタリ情報表示部１１４に表示される。また、エレメンタリ情報表示部１１４にはビデオエレメンタリストリームにおいてDVD-Video特有のエラーがある場合、不適正である旨を表示する。外部から入力されるエンコード済みのエレメンタリストリームは、ビデオエレメンタリストリームEst1、サブピクチャエレメンタリストリームEst3、オーディオエレメンタリストリームEst5から入力される。エレメンタリストリーム解析部１１２では、入力されたエレメンタリストリームEst1、Est3、Est5の解析を行い、エレメンタリ情報表示部１１４は、エレメンタリストリーム解析部１１２の結果を表示する。
【００４１】
以下、エレメンタリストリーム解析部１１２における解析について説明する。エレメンタリストリーム解析部１１２は、ビデオエレメンタリストリームEst1において、水平方向サイズ、垂直方向サイズ、アスペクト比、ＮＴＳＣ/ＰＡＬ等のフレームレート情報、逆３２プルダウン情報、アスペクト比情報、平均ビットレート情報、開始タイムコード情報、終了タイムコード情報、ビデオエレメンタリストリーム以外で使用可能なビットレート情報、表示フィールド数等を解析する。また、エレメンタリストリーム解析部１１２は、オーディオエレメンタリストリームEst5においては、符号化モード、ビットレート、ストリームに含まれるソースのデュレーション等を解析する。更に、エレメンタリストリーム解析部１１２は、サブピクチャエレメンタリストリームEst3においては、ユニットサイズ、表示開始時間、表示終了時間等を解析する。ステップ＃２０４において、エレメンタリストリーム解析部１１２は、ステップ＃２０５で入力すべきデータである、これらの解析情報を編集情報入力部１０２にEst10により入力し、編集情報入力部１０２の編集指示情報を更新する。編集情報入力部１０２が出力した編集指示情報は、編集情報変換部１０４において変換されシナリオテーブルSt7Rが生成される。一方、エレメンタリストリームは、そのまま、Est1、Est3、Est5として編集情報作成部１００から出力される。このステップ＃２０２、＃２０３、及び＃２０４は、インポートするエレメンタリストリームがなくなるまで行う。
【００４２】
また、ステップ＃２０１でインポートするエンコード済のエレメンタリストリームがなければ、ステップ＃２０５で、ユーザは編集情報表示部１０６に表示されるソースストリームSt1、St3、及びSt5の内容に対して、編集情報入力部１００を利用して要望するタイトル編集指示を入力する。編集情報入力部１０２は、ユーザの要望を反映した編集指示情報をオーサリングシステムに入力する手段であり、上述のキーボードに相当する。さらに、ステップ＃２０６で、編集情報変換部１０４は編集指示情報をシナリオテーブルSt7Rを生成し、オーサリングエンコードパラメータ判定＆生成部１１０はシナリオテーブルSt7Rに基づいて、編集パラメータデータSt302を生成し、編集情報表示部１０６は編集指示情報をユーザに対して提示する。
【００４３】
まず、編集情報変換部１０４は、編集情報入力部１０２よりユーザが入力した編集指示情報（シナリオテーブル）を変換してシナリオテーブルSt7Rを生成する。ここで、シナリオテーブルSt7Rに含まれる編集対象部の時間的位置及び長さに関する情報について図５、図６および図７を用いて説明する。
【００４４】
図５にシナリオの一例を示す。図５に於いて、V01は区間Ａ、V02,V02cutは区間Ｂ、V03は区間Ｃ、V04en,V04fr,V04es,V04psは区間Ｄ、V05は区間Ｅに再生されるビデオデータである。ここで、区間Ｂは、ビデオデータv02、v02cutから構成されるパレンタル区間であり、v02cutはv02から、視聴制限の目的で一部の映像がカットされたビデオデータを示し、視聴制限対象者が視聴する場合に表示される映像である。また、区間Ｄは、ビデオデータv04en、v04fr、v04es、及びv04ptから構成されるアングル区間である。v04en、v04fr、v04es、及びv04ptは異なる４つのアングルで撮影されたビデオデータである。
【００４５】
図６に図５に示すシナリオに従ったシナリオビデオテーブルＶＴＢＬの一例を示す。同図において、VOBはインターリーブ対象となるストリーム名、Audioはオーディオストリーム数、SPはサブピクチャストリーム数、ATTRは属性情報、START#TCはエンコード用素材テープの開始コード、END#TCはエンコード用素材テープの終了コード、BRは平均ビットレート（bps）、I32は逆テレシネの指定フラグ、IMPORTはエレメンタリストリームのインポート切り替えフラグである。また、ATTRにおいて、AGはアングル区間、DCはパレンタル区間、SLは通常区間を示す。
【００４６】
図７に、図６のシナリオに従ったシナリオオーディオテーブルＡＴＢＬを示す。同図において、VOBはＭＰＥＧストリーム名、STR#NOはストリーム番号、MODEはエンコードモード、START#TCはエンコード用素材テープの開始コード、END#TCはエンコード用素材テープの終了コード、ATTRは属性情報、BRはビットレート（bps）、FQはサンプリング周波数（Hz）、IMPORTはエレメンタリストリームのインポート切り替えフラグフラグである。ここで、MODEにはAC3、MPEG、LPCMがあり、ATTRにおいては、AGはアングル区間、DCはパレンタル区間、SLは通常区間である。このような、シナリオビデオテーブル、シナリオオーディオテーブルで示されるシナリオテーブルSt7Rが編集情報入力部１０２からのデータに従って、編集情報変換部１０４で生成される。
【００４７】
次に、オーサリングエンコードパラメータ判定＆生成部１１０は、シナリオテーブルSt7Rに含まれるシナリオテーブルの判定結果、つまりそのオーサリングエンコードパラメータと編集条件値とのそれぞれが示す編集パラメータデータを編集情報表示部１０６で利用できる編集情報データSt302として出力する。編集情報表示部１０６は、ディスプレイに相当し、ユーザはそのディスプレイに表示された編集パラメータと編集条件値を確認することによって、編集情報入力部１０２を利用して正しい編集指示を入力し直すことができる。
【００４８】
次に、ステップ＃２０７で、オーサリングエンコードパラメータ判定＆生成部１１０は、シナリオテーブルSt7Rに基づいて、オーサリングエンコードパラメータSt7を生成する。オーサリングエンコードパラメータ判定＆生成部１１０は、編集情報変換部１０４で生成されたシナリオテーブルSt7Rに従って、各エンコーダを制御するオーサリングエンコードパラメータSt7を生成するとともに、ストリーム入力バッファ１０９に対するソースストリームに対する編集タイミングSt300を出力する。
【００４９】
ステップ＃２０８で、オーサリングエンコードパラメータSt7がオーサリング編集パラメータ条件を満たしているかどうかが判定される。オーサリングエンコードパラメータ判定＆生成部１１０は、オーサリングシステムに用いられるマルチメディアビットストリームのデータ構造、及び後述のオーサリングデコーダの構造及び機能上の制約、つまりオーサリングエンコードパラメータの条件を満たしているかの判断を行う。尚、オーサリングエンコードパラメータ判定＆生成部１１０は、このようにして、ソースストリームを編集可能最小単位で、ユーザに提示する機能を有している。ステップ＃２０８で、オーサリング編集パラメータ条件が満たされていないと判定された場合には、前述のオーサリング編集情報データSt302を編集情報表示部１０６に出力して、制御をステップ＃２０１に戻す。ユーザの入力する編集制御指示がオーサリングエンコードパラメータ条件を満たすまで、ステップ＃２０１、＃２０５、＃２０６、及び＃２０７のループを繰り返す。一方、ステップ＃２０８で、オーサリング編集パラメータ条件が満たされていると判定された場合には、ステップ＃２０９において、エンコードシステム制御部２００に渡す、オーサリングエンコードパラメータSt7を出力する。オーサリングエンコードパラメータ判定＆生成部１１０は、シナリオテーブルSt7Rがオーサリングエンコードパラメータ条件を満たしている場合には、このシナリオテーブルSt7RをオーサリングエンコードパラメータをSt7として、エンコードシステム制御部２００に出力する。
【００５０】
図８にオーサリングビデオエンコードパラメータを示す。同図において、IMPORTは、ソースをエンコードしたエレメンタリストリームを使用するのか、エンコード済のエレメンタリストリームを使用するのかを表す。このパラメータにより図２におけるセレクタ１４００を制御する。FRAME#RATEは、ソース映像のフレームレートをあらわす。例えば、NTSC/PALである。I32はエンコードする際にI32プルダウン処理を行うかどうかのフラグである。I32処理について簡単に説明する。もともとFILM映像（２４Hz）をテレシネによって３０Hzに変換する際に、フィールドをコピーすることで実現している。しかし、エンコード時にこのままエンコードすると圧縮効率が悪いため、コピーフィールドを削除してもとの２４HZの状態でエンコードする処理である。この３０Hzからもとの２４Hzの映像に戻す処理をI32処理という。ASPECTはアスペクト比をあらわす。例えば、９：１６、３：４である。START#TCは、ソースが記録されているテープ上の開始タイムコード情報、END#TCは、ソースが記録されているテープ上の終了タイムコード情報である。エンコーダはこの開始タイムコードから終了タイムコード区間をエンコードすることになる。TC#FORMATは、ソースが記録されているテープがドロップフレームタイムコードか、ノンドロップフレームタイムコードかを示す情報である。ANGLは、マルチアングルを示すフラグである。BIT#RATEは、エンコードする際の平均ビットレート（bps）を示す。IN#RATEは、ビデオエレメンタリストリームに割り当てることが可能なビットレート（bps）である。例えば、DVDにおいては、最大で９.８Mbpsである。これは、各エレメンタリストリムバッファのシミュレーションの入力レートとして使用される。IN#RATEの詳細は後述する。SP#NUMはサブピクチャの本数を示す。AUDIO#RATEは、オーディオエレメンタリストリームのビットレートの総和である。例えば、オーディオが２本あり、それぞれ１２８０００bpsであれば、ここに記述するのは２５６０００bpsとなる。ENTRYは、ソース上にエントリーポイントを作る場合の数を記述する。TC1、TC2、TC3はエントリーポイントのタイムコードを記述する。この場合、ENTRYは３つであるので、３種のタイムコードが記述されている。
【００５１】
図９にオーディオエンコーダパラメータを示す。同図においてIMPORTはソースをエンコードしたエレメンタリストリームを使用するのか、エンコード済のエレメンタリストリームを使用するのかを表す。このパラメータにより図２におけるセレクタ１６００を制御する。START#TCは、ソースが記録されているテープ上の開始タイムコード情報である。END#TCは、ソースが記録されているテープ上の終了タイムコード情報である。エンコーダはこの開始タイムコードから終了タイムコード区間をエンコードすることになる。TC#FORMATは、ソースが記録されているテープがドロップフレームタイムコードか、ノンドロップフレームタイムコードかを示す情報である。MODEはエンコード方法を示す。例えば、AC3、MPEG、LPCM等の圧縮方式がある。BIT#TATEはオーディオエレメンタリストリームのビットレートを示す。このようなオーサリングエンコードパラメータに従って、図２のビデオエンコーダ３００、オーディオエンコーダ７００、サブピクチャエンコーダ５００は動作する。
【００５２】
（実施の形態２）
本実施の形態では、実施の形態１におけるエレメンタリストリーム解析部１１２の一機能であるビデオエレメンタリストリーム以外で使用可能なビットレート情報算出方法について説明する。
【００５３】
まず、本発明に係るオーサリングシステムによって編集されたマルチメディアビットストリームをデコードするオーサリングデコーダについて説明する。
【００５４】
図１０は、オーサリングデコーダの一例を示すブロック図である。オーサリングデコーダはユーザの要望のシナリオに沿って各タイトルの内容を展開する。なお、本実施の形態に於いては、エンコードされたマルチメディアビットストリームSt45は、記録媒体Ｍに記録されている。
【００５５】
シナリオ選択部２１００はオーサリングエンコーダで編集されたマルチメディアタイトルのビデオ、サブピクチャ、及びオーディオ情報に関する、ユーザの所望の部分が再生されるように、対応するシナリオを選択して再生するように、オーサリングデコーダに指示を与えるシナリオデータをデコードシステム制御部２２００に出力する。デコードシステム制御部２２００はシナリオ選択部２１００より出力されたシナリオデータに従って、まず、出力再生部２０００に、記録媒体ＭよりマルチメディアビットストリームSt45を読み出させ、ストリームバッファ２３００に出力させる。デコードシステム制御部２２００の制御により、ストリームバッファ２３００に格納されたマルチメディアビットストリームSt46はシステムデコータ２４００によりシステムデコードされ、ビデオ、サブピクチャ、オーディオの各ストリームはそれぞれ、ビデオバッファ２５００、サブピクチャバッファ２６００、オーディオバッファ２７００へ出力される。さらに。デコードシステム制御部２２００はビデオデコーダ２８００、サブピクチャデコーダ２９００、オーディオデコーダ３０００にそれぞれ、ビデオバッファ２５００、サブピクチャバッファ２６００、オーディオバッファ２７００に格納されているストリームをデコードさせる。
【００５６】
概念的には、ビデオバッファ２５００に一定のレートでシステムデコーダ２４００からビデオエレメンタリストリームSt47が入力され、フレームレートで、フレーム毎のエンコードデータがバッファより消費されるモデルである。入力のレートが高い場合は、ビデオバッファ２５００のバッファサイズでクリップされ、それ以上、ビデオバッファ２５００にデータは供給されない。この制御は記憶媒体Ｍからストリームバッファ２３００へのデータ転送および、ストリームバッファ２３００から、システムデコーダ２４００へのデータ転送制御により所定のバッファ量のデータが格納されると転送するという間欠転送を行うことで実現される。通常、ビデオエンコード時には、なんらかの入力レートを規定して、ビデオバッファ２５００のシミュレーションを行い、ビデオバッファ２５００がアンダーフローしないように制御する。しかし、ビデオエレメンタリストリーム中に記述されているビットレート情報が必ずしもシミュレーションで使用するビットレートである保証はない。従って、エレメンタリストリームを解析する際に、入力レートを可変にしてバッファシミュレーションを行う。
【００５７】
図１１にビデオデコーダ２８００におけるビデオバッファ２５００の状態を示す。図１１において、縦軸がバッファ占有量、横軸に時間（間隔はビデオフレーム周期）である。図１１は、入力レートが１０Mbps（A）、５Mbps（B）、３Mbps（C）について、バッファシミュレーションを行った様子を示す。図１１に示すように、入力レート１０Mbpsの場合は、エンコードされた各フレームの符号量に比較して入力レートが高いため、デコーダバッファでクリップされているが、アンダーフローは発生していない。入力レート５Mbpsでは、バッファがクリップされることも、バッファがアンダーフローすることも発生していない。入力レート３Mbpsにおいては、バッファがクリップされることはないが、バッファアンダーフローが発生している。従って、この場合、ビデオに与えるビットレートとしては、３Mbpsでは不足であるが、５Mbpsあれば十分であることがわかる。通常、DVD−Videoにおいては、ディスクからの最大転送レートは１０Mbps程度である。つまり、ビデオのみに限っていえば、１０Mbpsの入力レートでバッファがアンダーフローしなければ、エレメンタリストリームとしては、問題ないといえる。
【００５８】
また、この場合、ビデオは５Mbpsの入力レートでバッファがアンダーフローすることがないため、ビデオ以外で使用可能なビットレートは、１０Mbpsと５Mbpsの差分、すなわち５Mbpsとなる。この５Mbpsはオーディオ等に使用可能ということになる。このように、エンコード済のビデオエレメンタリストリームをインポートする際に、ビデオ以外に使用可能なビットレートを算出することで、オーディオ等にどのくらいのビットレートを割り当てることが可能か、事前に算出することができる。
【００５９】
なお、既にビデオレメンタリストリームのエンコード条件がわかっている場合はこのエレメンタリストリーム解析をスキップすることも可能である。
【００６０】
また、バッファへの入力レートがビデオエレメンタリストリームに記述されていることがあらかじめわかっているストリームであれば、このバッファシミュレーションをスキップしてもなんら問題はない。
【００６１】
（実施の形態３）
本実施の形態では、実施の形態１におけるエレメンタリストリーム解析部１１２の本発明の一機能である、再生開始点を示すエントリーポイント（アクセスポイント）可能点算出方法について説明する。
【００６２】
図１２にエントリーポイント可能点算出方法を示す図を示す。
【００６３】
図１２に示すようにエンコード済みのエレメンタリストリームに対して、エントリーポイントを設定するには、以下に示す条件を満たす点を求める。
【００６４】
１）VOBU（Video Object Unit）の境界である。ここで、VOBUとは、複数GOP（Group Of Picture）から構成されており、０.４−１.０秒の表示時間を含むユニットである）
２）VOBUを構成する先頭GOPは、該GOP内で符号化が閉じているクローズドGOPである。
【００６５】
３）VOBUを構成する先頭GOPは、表示順において他のフレームを参照しないイントラフレームを先頭とする。
【００６６】
４）VOBUを構成する先頭GOPの表示フィールドは、トップフィールドファースト（TFF=1）である
エレメンタリストリーム解析部１１２は上記条件を満たすGOP先頭の先頭表示フレームのタイムコード情報を算出することにより、エントリーポイントからデコードされたエレメンタリストリームは正確に再生される。
【００６７】
（実施の形態４）
本実施の形態では、実施の形態１のエレメンタリストリーム解析部１１２の一機能であるタイムコード情報算出方法について説明する。
【００６８】
オーサリングシステムはタイムコードベースで、各種同期制御および整合性をとるため、各エレメンタリストリームにおいて、タイムコード情報は必須である。通常、エンコードする場合は、素材のタイムコード（テープ媒体の場合）を指定して、その区間をエンコードするため、エレメンタリストリームとは別にタイムコード情報を管理しているのが一般的である。しかし、エレメンタリストリームをインポートする場合、インポート時点でタイムコード情報を別に管理している保証はない。そこで、エレメンタリストリーム解析部１１２のタイムコード情報算出手段として、図１３に示す、ビデオエレメンタリストリーム中に記述されるタイムコード情報を、該インポートするエレメンタリストリームの開始タイムコードとし、このタイムコード情報をベースに、ビデオエレメンタリストリームに含まれる、表示フレーム数、タイムコードフォーマット情報より、該エレメンタリストリームの終了タイムコードを算出する。図１３は、GOP Headerに記述されるタイムコード情報を示している。
【００６９】
一方、既にシナリオおよび、オーディオのタイムコードが決められている場合、上記、エレメンタリストリーム中のタイムコード情報では、矛盾が生じる場合がある。このような場合、開始タイムコードは外部から設定し、この開始タイムコードを基準にビデオエレメンタリストリームに含まれる、表示フレーム数、ドロップフレーム、ノンドロップフレーム等のタイムコードフォーマット情報より、該エレメンタリストリームの終了タイムコードを算出することができる。
【００７０】
（実施の形態５）
本実施の形態では、実施の形態１におけるオーサリングエンコードパラメータ判定部＆生成部におけるバッファシミュレーションについて説明する。
【００７１】
エレメンタリストリームをインポートする場合、オーサリングエンコードパラメータ判定＆生成部１１０において、シナリオテーブルSt7Rと、インポートするエレメンタリストリームEst1、Est3、Est5により、バッファシミュレーションを行い、結果を編集情報表示部１０６に出力する。実施の形態２において、バッファシミュレーションを行う場合、結果として出力されるビデオ以外で使用可能なビットレートは、基本的に固定レートで使用可能なビットレートを提示する。
【００７２】
一方、サブピクチャ等は、固定レートではなく、瞬間的にあるビットを消費する。従って、固定のビットレートでは表現できない。従って、オーサリングエンコードパラメータ判定＆生成部１１０においては、固定レートのオーディオに加えて、瞬間的に消費されるサブピクチャを含めて、バッファシミュレーションを行う。
【００７３】
なお、本発明において説明した、シナリオテーブル７R、オーサリングエンコードパラメータSt7などの各種パラメータはその内容に限定するものではなく、必要に応じて、他のパラメータを追加したり、説明したパラメータを削除してもよい。
【００７４】
なお、本発明におけるエレメンタリストリーム解析部などの各部は、コンピュータ・プログラム化することができる。
また、本発明の各実施の形態はそれぞれ独立に動作するものとして説明を行ったが、これに限定する必要はなく、各実施の形態を組み合わせた動作を行うようにしても良い。
【００７５】
【発明の効果】
本発明によれば、エンコード済みのコンテンツを解析することにより、エンコード済みのコンテンツをオーサリングシステム内で再利用できるため、コンテンツ圧縮時間を短縮することができ、効率的にDVD-Videoのディスク作成ができる。
【図面の簡単な説明】
【図１】マルチメディアビットストリームのデータ構造を示す図
【図２】本発明のオーサリングシステムのブロック図
【図３】本発明に係る編集情報作成部の構成を示すブロック図
【図４】本発明に係る編集情報作成部の動作を示すフローチャート
【図５】光ディスクのビデオデータとその再生順序を示す図
【図６】ビデオテーブルＶＴＢＬの構成を示す図
【図７】オーディオテーブルＡＴＢＬの構成を示す図
【図８】オーサリングビデオエンコードパラメータを示す図
【図９】オーサリングオーディオエンコードパラメータを示す図
【図１０】本発明のオーサリングシステムによりエンコードされたストリームをデコードするオーサリングデコーダの構造を示すブロック図
【図１１】本発明に係るエレメンタリストリーム解析部におけるバッファシミュレーションを説明する図
【図１２】マルチメディアビットストリームにおけるエントリーポイントを説明する図
【図１３】 GOP内のタイムコード情報を示す図
【符号の説明】
１００ 編集情報作成部
１０２ 編集情報入力部
１０４ 編集情報変換部
１０６ 編集情報表示部
１０９ ストリーム入力バッファ
１１０ オーサリングエンコードパラメータ判定＆生成部
１１２ エレメンタリストリーム解析部
１１４ エレメンタリ情報表示部
２００ エンコードシステム制御部
３００ ビデオエンコーダ
４００ ビデオストリームバッファ
５００ サブピクチャエンコーダ
６００ サブピクチャストリームバッファ
７００ オーディオエンコーダ
８００ オーディオストリームバッファ
９００ システムエンコーダ
１２００ 記録部
１３００ ビデオゾーンフォーマッタ
１４００、１５００、１６００ セレクタ

Claims (24)

1. 一連の関連付けられた内容を有するタイトルを構成するビデオデータ、オーディオデータ、及び副映像データであるサブピクチャデータの情報を搬送するマルチメディアソースストリームに対して、各データの情報を各々符号化したビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームを多重化し、択一再生可能なマルチメディアストリームを生成するマルチメディア光ディスクオーサリングシステムであって、
   前記マルチメディアソースストリームおよびエンコード済みのエレメンタリストリームから前記マルチメディアストリームを生成する場合、
   前記エレメンタリストリームを解析し、エレメンタリストリーム情報を生成するエレメンタリストリーム解析手段と、
   前記エレメンタリストリーム情報を提示するエレメンタリ情報表示手段と、
   前記エレメンタリストリームを使用するか、前記マルチメディアソースストリームを新たにエンコードして使用するかなどの編集指示情報を設定する編集情報入力手段と、
   前記エレメンタリストリーム情報と前記編集情報入力手段により設定された編集指示情報からエンコード内容を示すエンコード指示情報を生成する編集情報変換手段と、
   前記編集情報変換手段により生成されたエンコード指示情報を検証し、データが適正な場合は前記エンコード指示情報を出力するエンコード指示情報判定手段と、
   前記エンコード指示情報判定手段より出力された前記エンコード指示情報および判定結果を表示する編集情報表示手段と、
   前記エンコード指示情報に基づいて、前記マルチメディアソースストリームをエンコードして生成したエレメンタリストリームと、前記エンコード済のエレメンタリストリームとを混在させて前記マルチメディアストリームを生成するエンコード手段とを有したことを特徴とするマルチメディア光ディスクオーサリングシステム。
2. エンコード済みのエレメンタリストリームは、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームとすることを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
3. エレメンタリストリーム解析手段は、ビデオエレメンタリストリームのエレメンタリストリーム情報として、水平方向サイズ、垂直方向サイズ、アスペクト比、フレームレート、ストリーム先頭タイムコード、表示フィールド総数、平均ビットレートを提示することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
4. エレメンタリストリーム解析手段は、ビデオエレメンタリストリーム以外で使用可能なビットレートを算出することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
5. エレメンタリストリーム解析手段は、複数のバッファ入力レートに対してデコード時のバッファシミュレーションを行い、ビデオエレメンタリストリーム以外で使用可能なビットレートを算出することを特徴とする請求項４記載のマルチメディア光ディスクオーサリングシステム。
6. エンコード手段はMPEG準拠のエンコードを行い、エレメンタリストリーム解析手段は、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、GOPヘッダ内に記述されているタイムコードをビデオエレメンタリストリームの開始タイムコードととすることを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
7. エレメンタリストリーム解析手段は、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、ユーザ指定のタイムコードをビデオエレメンタリストリームの開始タイムコードとすることを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
8. エレメンタリストリーム解析手段は、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、開始タイムコードと、表示フィールド総数、ドロップフレーム、ノンドロップフレーム情報から、終了タイムコードを算出することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
9. エレメンタリストリーム解析手段は、エレメンタリストリームより、アクセスポイント可能となるタイムコード情報を算出することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
10. エンコード指示情報判定手段は、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームに対し、バッファシミュレーションを行い、使用可能なビットレートを算出することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
11. エレメンタリストリーム解析手段は、解析したビデオエレメンタリストリームにDVD-Video特有のエラーがある場合、不適正である旨をエレメンタリ情報表示手段に表示させることを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
12. エンコード指示情報判定手段において、エンコード指示情報が不適正であると判断された場合、編集情報表示手段は不適正である旨を表示することを特徴とする請求項１記載のマルチメディア光ディスクオーサリングシステム。
13. 一連の関連付けられた内容を有するタイトルを構成するビデオデータ、オーディオデータ、及び副映像データであるサブピクチャデータの情報を搬送するマルチメディアソースストリームに対して、各データの情報を各々符号化したビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームを多重化し、択一再生可能なマルチメディアストリームを生成するマルチメディアストリーム生成方法であって、
    前記マルチメディアソースストリームおよびエンコード済みのエレメンタリストリームから前記マルチメディアストリームを生成する場合、
    前記エレメンタリストリームを解析し、エレメンタリストリーム情報を生成するエレメンタリストリーム解析ステップと、
    前記エレメンタリストリーム情報を提示するエレメンタリ情報表示ステップと、
    前記エレメンタリストリームを使用するか、前記マルチメディアソースストリームを新たにエンコードして使用するかなどの編集指示情報を設定する編集情報入力ステップと、
    前記エレメンタリストリーム情報と前記編集情報入力ステップにより設定された編集指示情報からエンコード内容を示すエンコード指示情報を生成する編集情報変換ステップと、
    前記編集情報変換ステップにより生成されたエンコード指示情報を検証し、データが適正な場合は前記エンコード指示情報を出力するエンコード指示情報判定ステップと、
    前記エンコード指示情報判定ステップより出力された前記エンコード指示情報および判定結果を表示する編集情報表示ステップと、
    前記エンコード指示情報に基づいて、前記マルチメディアソースストリームをエンコードして生成したエレメンタリストリームと、前記エンコード済のエレメンタリストリームとを混在させて前記マルチメディアストリームを生成するエンコードステップとを有したことを特徴とするマルチメディアストリーム生成方法。
14. エンコード済みのエレメンタリストリームは、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームとすることを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
15. エレメンタリストリーム解析ステップは、ビデオエレメンタリストリームのエレメンタリストリーム情報として、水平方向サイズ、垂直方向サイズ、アスペクト比、フレームレート、ストリーム先頭タイムコード、表示フィールド総数、平均ビットレートを提示することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
16. エレメンタリストリーム解析ステップは、ビデオエレメンタリストリーム以外で使用可能なビットレートを算出することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
17. エレメンタリストリーム解析ステップは、複数のバッファ入力レートに対してデコード時のバッファシミュレーションを行い、ビデオエレメンタリストリーム以外で使用可能なビットレートを算出することを特徴とする請求項１６記載のマルチメディアストリーム生成方法。
18. エンコードステップはMPEG準拠のエンコードを行い、エレメンタリストリーム解析ステップは、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、GOPヘッダ内に記述されているタイムコードをビデオエレメンタリストリームの開始タイムコードととすることを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
19. エレメンタリストリーム解析ステップは、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、ユーザ指定のタイムコードをビデオエレメンタリストリームの開始タイムコードとすることを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
20. エレメンタリストリーム解析ステップは、ビデオエレメンタリストリームのテープ上の素材に対するタイムコード情報として、開始タイムコードと、表示フィールド総数、ドロップフレーム、ノンドロップフレーム情報から、終了タイムコードを算出することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
21. エレメンタリストリーム解析ステップは、エレメンタリストリームより、アクセスポイント可能となるタイムコード情報を算出することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
22. エンコード指示情報判定ステップは、ビデオエレメンタリストリーム、オーディオエレメンタリストリーム、サブピクチャエレメンタリストリームに対し、バッファシミュレーションを行い、使用可能なビットレートを算出することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
23. エレメンタリストリーム解析ステップは、解析したビデオエレメンタリストリームにDVD-Video特有のエラーがある場合、不適正である旨をエレメンタリ情報表示ステップに表示させることを特徴とする請求項１３記載のマルチメディアストリーム生成方法。
24. エンコード指示情報判定ステップにおいて、エンコード指示情報が不適正であると判断された場合、編集情報表示ステップは不適正である旨を表示することを特徴とする請求項１３記載のマルチメディアストリーム生成方法。

Images