JP5620116B2 - テキストデータとダウンロードフォントとを利用した多国語支援用サブタイトルデータが記録された情報保存媒体に保存されたデータを再生する再生装置及びデータ記録及び／または再生装置その装置 - Google Patents

Description

本発明は、テキストデータとダウンロードフォントとを利用した多国語支援のためのサブタイトルが記録された情報保存媒体に保存されたデータを再生する再生装置及びデータ記録及び／または再生装置に関する。

従来のＤＶＤは、サブタイトルとしてビットマップイメージを使用する。ビットマップイメージのサブタイトルデータは、無損失符号化されて最大３２個までＤＶＤに記録されている。

従来のマルチメディア情報保存媒体の一つであるＤＶＤビデオのデータ構造を説明すれば、次の通りである。

図１は、ＤＶＤのデータ構造図である。図１を参照するに、マルチメディア保存媒体であるＤＶＤは、ディスクをＶＭＧ領域と複数個のＶＴＳ領域とに分け、タイトル情報及びタイトルメニューについての情報をＶＭＧ領域に、タイトルについての情報を複数個のＶＴＳ領域に保存する。ＶＭＧ領域は、２〜３個のファイルより構成されており、各ＶＴＳ領域は、３〜１２個のファイルより構成されている。

図２は、ＶＭＧ領域の詳細構造図である。図２を参照するに、ＶＭＧ領域には、ＶＭＧについての付加情報を保存するＶＭＧＩ領域とメニューについての動画情報を保存するＶＯＢＳ領域、そして、ＶＭＧＩのバックアップ領域がある。これらは、一つのファイルに存在するが、このうちＶＯＢＳ領域の存在は選択的である。

ＶＴＳ領域には、再生単位のタイトルについての情報と動画データであるＶＯＢＳが保存されている。一つのＶＴＳには、少なくとも一つのタイトルが記録される。

図３は、ＶＴＳ領域の詳細構造図である。図３を参照するに、ＶＴＳ領域は、ビデオタイトルセット情報ＶＴＳＩ（Ｖｉｄｅｏ Ｔｉｔｌｅ Ｓｅｔ Ｉｎｆｏｒｍａｔｉｏｎ）、メニュー画面用動画データであるＶＯＢＳ、ビデオタイトルセットの動画データであるＶＯＢＳ、及びＶＴＳＩのバックアップデータを含む。メニュー画面を表示するためのＶＯＢＳの存否は選択的である。各ＶＯＢＳは、再び記録単位であるＶＯＢとＣＥＬＬとに区分される。一つのＶＯＢは、複数個のＣＥＬＬより構成される。本発明で言及される最下位記録単位は、ＣＥＬＬである。

図４は、動画データであるＶＯＢＳの詳細構造図である。図４を参照するに、一つのＶＯＢＳは、複数個のＶＯＢより構成され、一つのＶＯＢは、複数個のＣＥＬＬより構成される。ＣＥＬＬは、再び複数個のＶＯＢＵより構成される。ＶＯＢＵは、ＤＶＤで使用する動画符号化方法であるＭＰＥＧによって符号化されたデータである。ＭＰＥＧによれば、画像を時空間圧縮符号化するため、ある画像を復号化するためには、以前あるいは以後画像が必要である。したがって、任意の地点で再生を開始するランダムアクセス機能を支援するために、以前あるいは以後画像が不要なイントラ符号化を一定画像ごとに行っている。これを、ＭＰＥＧでは、イントラピクチャーあるいはＩピクチャーと称し、このＩピクチャーと次のＩピクチャーとの間をＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と称す。通常、ＧＯＰは、１２〜１５個の画像よりなる。

ＭＰＥＧは、ビデオデータとオーディオデータとを一つのビットストリームに結び出すためのシステム符号化（ＩＳＯ／ＩＥＣ１３８１８−１）も規定している。システム符号化には、一つのプログラムを作って情報保存媒体に保存するために最適化されたＰＳ（プログラムストリーム）多重化方法と複数のプログラムを作って伝送するために適したＴＳ（トランスポートストリーム）多重化方法との２つの多重化方法を規定している。ＤＶＤでは、そのうち、ＰＳ符号化方法を採用している。ＰＳ符号化方法によれば、ビデオデータあるいはオーディオデータをそれぞれパック（ＰＣＫ）という単位で分割した後、これを時分割して多重化する。ＭＰＥＧで定義したビデオ及びオーディオデータ以外のデータは、ＰＳと名付けて、やはりＰＣＫに込めてビデオデータ、オーディオデータと共に多重化しうる。

ＶＯＢＵは、複数個のＰＣＫより構成される。複数個のＰＣＫのうち、第１ＰＣＫは、ナビゲーションパック（ＮＶ＿ＰＣＫ）である。次いで、ビデオパック（Ｖ＿ＰＣＫ）、オーディオパック（Ａ＿ＰＣＫ）、そしてサブピクチャーパック（ＳＰ＿ＰＣＫ）より構成される。ビデオパックに込まれたビデオデータは、複数のＧＯＰよりなる。

ＳＰ＿ＰＣＫは、２次元グラフィックデータ及び字幕データのためのものである。すなわち、ＤＶＤでは、ビデオ画像にオーバーラップされて現れる字幕データを２次元グラフィックデータと同じ方法で符号化する。すなわち、ＤＶＤの場合、多国語支援のための別途の符号化方法は採用せず、各字幕データをグラフィックデータに変換した後、一つの符号化方法で処理して記録する。字幕のためのグラフィックデータをサブピクチャーと称す。サブピクチャーは、サブピクチャーユニット（ＳＰＵ）より構成される。ＳＰＵは、一枚のグラフィックデータに該当する。

図５は、ＳＰＵとＳＰ＿ＰＣＫとの関係図である。図５を参照するに、一つのＳＰＵは、ＳＰＵヘッダ（ＳＰＵＨ）、ピクセルデータ（ＰＸＤ）、そしてサブピクチャーディスプレイコントロールシーケンステーブル（ＳＰ＿ＤＣＳＱＴ）より構成される。これらは、順に２０４８バイトサイズのＳＰ＿ＰＣＫに分割されて記録される。このとき、ＳＰＵの最後のデータが一つのＳＰ＿ＰＣＫを完全に満たせない時には、最後のＳＰ＿ＰＣＫの残りの空間は、パッディングされて残りのＳＰ＿ＰＣＫと同じサイズに作られる。すなわち、一つのＳＰＵは、複数のＳＰ＿ＰＣＫより構成される。

ＳＰＵＨには、全体ＳＰＵのサイズとＳＰＵ内でＳＰ＿ＤＣＳＱＴデータが開始される位置とが記録されている。ＰＸＤデータは、サブピクチャーを符号化した符号化データである。サブピクチャーを構成するピクセルデータは、４種類の値を有しうる。バックグラウンド、パターンピクセル、エンファシスピクセル−１、エンファシスピクセル−２がそれらであって、２ビット値で表すことができ、それぞれ２進数で００、０１、１０、１１値を有する。したがって、サブピクチャーは、複数のラインより構成された前記４つのピクセル値を有するデータの集合と言える。符号化は、各ライン別に実施される。

図６は、サブピクチャーが符号化された時のデータ構造図である。図６に示されたように、ＳＰＵは、ランレングス符号化されている。すなわち、特定のピクセルデータが１〜３個連続される時には、２ビットで連続したピクセル数（Ｎｏ＿Ｐ）を表し、その後に２ビットのピクセルデータ値（ＰＤ）を記録する。４〜１５個連続される時には、最初の２ビットを０と記録し、４ビットでＮｏ＿Ｐを記録し、２ビットでＰＤを記録する。１６〜６３個連続される時には、最初の４ビットを０と記録し、６ビットでＮｏ＿Ｐを記録し、２ビットでＰＤを記録する。６４〜２５５個連続される時には、最初の６ビットを０と記録し、８ビットでＮｏ＿Ｐを記録し、２ビットでＰＤを記録する。ラインの端部まで同じピクセルが続く時には、最初の１４ビットを０と記録し、２ビットでＰＤを記録する。このように、１ラインの符号化が終わった時、バイト単位で整列されていなければ、４ビットの０を記録する。１ラインの符号化データは、１４４０ビットを超えられない。

図７は、ＳＰ＿ＤＣＳＱＴのデータ構造を示す図である。図７を参照するに、ＳＰ＿ＤＣＳＱＴは、前記ＰＸＤデータを出力させるためのディスプレイコントロール情報を含んでいる。ＳＰ＿ＤＣＳＱＴは、複数のサブピクチャーディスプレイコントロールシーケンス（ＳＰ＿ＤＣＳＱ）より構成される。一つのＳＰ＿ＤＣＳＱは、一つの時間に行われるディスプレイコントロールコマンド（ＳＰ＿ＤＣＣＭＤ）の集合であって、開始時間を表すＳＰ＿ＤＣＳＱ＿ＳＴＭ、次のＳＰ＿ＤＣＳＱの位置情報を含んでいるＳＰ＿ＮＸＴ＿ＤＣＳＱ＿ＳＡ及び複数のＳＰ＿ＤＣＣＭＤより構成されている。

ＳＰ＿ＤＣＣＭＤは、前記ＰＸＤ（ピクセルデータ）がビデオ画像とどのように合わせられて出力されるかについての制御情報であって、ピクセルデータの色相情報、ビデオデータとのコントラスト情報、出力時間及び終了時間についての情報を含んでいる。

図８は、サブピクチャーデータが考慮された出力時の状況を示す図である。図８を参照するに、ピクセルデータ自体は、ＰＸＤであって無損失符号化されており、ビデオ画像の領域であるビデオディスプレイ領域内のサブピクチャーがディスプレイされる位置であるサブピクチャーディスプレイ領域であるＳＰディスプレイ領域についての情報及び出力開始、終了時間についての情報は、ＳＰ＿ＤＣＳＱＴに含まれている。

ＤＶＤでは、最大３２ヶ国語の字幕データのためのサブピクチャーデータが動画データと共に多重化されて記録されうる。このように、各言語の区別は、ＭＰＥＧシステム符号化で提供するストリームＩＤとＤＶＤで定義したサブストリームＩＤとに区分される。したがって、ユーザが一つの言語を選択すれば、当該ストリームＩＤとサブストリームＩＤとを有するＳＰ＿ＰＣＫのみを対象としてＳＰＵを抽出した後、復号化して字幕データを抽出し、ディスプレイ制御コマンドによって出力を制御する。

前述したように、字幕データが動画データに共に多重化されていて色々な問題点が発生する。

第一に、動画データの符号化時、サブピクチャーデータが占めるビット発生量をあらかじめ考慮せねばならないという点である。すなわち、字幕データがグラフィックデータに変換されて処理されることによって各言語別に発生するデータ量が異なり、その量も膨大である。通常、動画符号化は、一回のみ実施した後、その出力に加えて、各言語別のサブピクチャーデータを再び多重化して、各地域に適するＤＶＤを製作する。しかし、言語によっては、サブピクチャーデータ量が膨大で動画データとの多重化時に総ビット発生量が最大限界を超えるものが生じる。また、サブピクチャーデータが動画データの間に多重化されることによって、各ＶＯＢＵの開始位置も地域別に変わる。ＤＶＤでは、ＶＯＢＵの開始位置が別途に管理されるため、多重化過程を新たに開始する度に、これら情報も更新されねばならない。

第二に、各サブピクチャーの内容を分からないため、２つの言語を同時に出力するか、または動画鑑賞ではない字幕データのみを出力して言語習得に利用する別途の目的のために使用できない。

本発明の目的は、動画データの符号化時、サブピクチャーデータが占めるビット発生量をあらかじめ考慮する必要のないデータ構造としてサブピクチャーデータが記録された情報保存媒体及びその装置を提供することである。

本発明の他の目的は、字幕以外の用途にも使用可能なデータ構造としてサブピクチャーデータが記録された情報保存媒体に保存されたデータを再生する再生装置及びデータ記録及び／または再生装置を提供することである。

前記目的は、本発明によって動画データが記録された情報保存媒体において、前記動画データが保存された記録単位の複数個のクリップと、前記クリップと別個に記録されており、前記動画データに基づいた画像上にグラフィックでオーバーラップされて出力されるサブタイトル用のテキストデータとを含み、前記サブタイトル用のテキストデータは、少なくとも一つの言語よりなるデータを含むことを特徴とする情報保存媒体によって達成される。

前記目的は、本発明によって動画データが記録された情報保存媒体において、前記動画データが保存された記録単位である複数個のクリップと、前記複数個のクリップと別個に記録されており、前記動画データに基づいた画像上にグラフィックでオーバーラップされて出力されうるサブタイトル用のテキストデータとを含み、前記サブタイトル用のテキストデータは、少なくとも一つの言語のサブタイトルを提供するためのデータを含むことを特徴とする情報保存媒体によって達成される。

前記情報保存媒体は、前記複数のクリップと別個に記録され、前記テキストデータのグラフィック表現のために前記サブタイトル用のテキストデータで使用されうる文字のフォントデータをさらに含みうる。

前記サブタイトル用のテキストデータは、複数の言語データである場合、各言語別に別途の空間に記録されうる。前記サブタイトル用のテキストデータは、グラフィックデータに変換されて出力される文字データと共に前記動画データとの出力同期化情報を含みうる。前記サブタイトル用のテキストデータは、グラフィックデータに変換されて出力される文字データと、このグラフィックデータが前記動画データに基づいた画像とオーバーラップされる時にどの位置に出力されるかを表す出力位置情報とを含みうる。前記サブタイトル用のテキストデータは、グラフィックデータに変換されて出力される文字データと、このグラフィックデータが動画とオーバーラップされる時に一つ以上の複数のサイズでグラフィックデータの出力を表示するための情報とを含みうる。

前記動画データは、連続的に再生されうる単位に区分されており、前記一つの単位に該当する前記サブタイトル用のテキストデータは、全体サイズが制限されうる。前記動画データは、連続的に再生されうる再生単位に区分されており、前記再生単位一つに該当する前記サブタイトル用のテキストデータは、複数の言語セットに区分され、前記一つの言語セットを構成するサブタイトル用のテキストデータは、全体サイズが制限されうる。

前記サブタイトル用のテキストデータを構成するテキストデータは、多国語文字セットを支援するためのユニコードで表現されて記録されうる。

前記サブタイトル用のテキストデータは、基本英文字セットであるＡＳＣＩＩ、そして、ラテン語拡張文字セットであるＩＳＯ８８５９−１に該当する文字でのみ構成された場合、一つの文字を複数の８ビット単位で符号化するＵＴＦ−８を使用して符号化されて記録されうる。

前記サブタイトル用のテキストデータは、ユニコード上で２バイトサイズのコードポイント値を有する文字が含まれた場合、一つの文字を複数の１６ビット単位で符号化するＵＴＦ−１６を使用して符号化されて記録されうる。

前記情報保存媒体は、着脱式でありうる。前記情報保存媒体は、その再生装置の光学装置を利用してデータを読出せる光ディスクでありうる。

一方、本発明の他の分野によれば、前記目的は、動画データが記録された情報保存媒体を再生する再生装置において、前記情報保存媒体には、動画データが符号化されて記録単位であるクリップに区分されて、複数個のクリップで記録されており、前記動画データに基づいた画像上にグラフィックデータでオーバーラップされて出力されるサブタイトル用のテキストデータが前記クリップと別個に記録されており、前記サブタイトル用のテキストデータは、一つ以上の複数言語のデータで構成され、前記再生装置は、前記情報保存媒体からデータを読出すためのデータ再生器と、前記符号化動画データの復号器と、前記字幕用テキストデータをグラフィックデータに変換するためのレンダラーと、前記動画データと前記グラフィックデータとをオーバーレイして一つの画像に作るためのブレンダと、前記動画データを一時保存するバッファと、前記サブタイトル用のテキストデータを保存するバッファとを含むことを特徴とする再生装置によっても達成される。

前記情報保存媒体には、前記テキストデータのグラフィック表現のために前記サブタイトル用のテキストデータで使われた文字のフォントデータが別途の空間に分離されて記録されており、前記再生装置には、前記フォントデータを一時保存するバッファが備えられており、前記レンダラーは、前記サブタイトル用のテキストデータのテキストデータを前記フォントデータを利用してグラフィックデータに変換する機能を備えうる。

前記情報保存媒体には、前記サブタイトル用のテキストデータが複数の言語データである場合、各言語別に別途の空間に記録されており、前記再生装置は、ユーザの選択や前記再生装置に初期再生言語で指定された言語用の前記サブタイトル用のテキストデータを前記バッファに臨時保存し、前記サブタイトル用のテキストデータをグラフィックデータに変換させるためのフォントデータを前記フォント用バッファに臨時保存し、動画データの再生と同時に前記サブタイトル用のテキストデータをグラフィックデータに変換して出力する機能を備えうる。

前記再生装置は、前記サブタイトル用のテキストデータの出力開始時間と終了時間とを同期化情報を使用して制御する制御器をさらに含み、前記情報保存媒体には、前記サブタイトル用のテキストデータをグラフィックデータに変換して前記動画データに基づいた画像とオーバーラップして出力する前記同期化情報が記録されうる。

前記再生装置は、前記サブタイトル用のテキストデータの前記動画データに基づいた画像とのオーバーラップ位置を前記出力位置情報によって制御する制御器をさらに含み、前記情報保存媒体には、前記サブタイトル用のテキストデータがグラフィックデータに変換されて出力される文字データと、このグラフィックデータが前記動画データに基づいた画像とオーバーラップされる時にどの位置に出力されるかを表す出力位置情報と、を含んで記録できる。

前記情報保存媒体に記録された前記動画データは、連続的に再生されうる再生単位に区分されており、前記再生単位に該当する前記サブタイトル用のテキストデータは、全体サイズが制限されて記録されており、前記再生装置は、前記連続的に再生されうる単位を再生する前に前記サイズ制限されたサブタイトル用のテキストデータをいずれも前記バッファに保存し、再生中に言語変更が発生した場合、前記バッファに保存された当該言語用字幕データを出力する機能を備えうる。

前記情報保存媒体に記録された前記動画データは、連続的に再生されうる単位に区分されており、前記一つの単位に該当する前記サブタイトル用のテキストデータは、複数の言語セットに区分され、前記一つの言語セットを構成するサブタイトル用のテキストデータは、全体サイズが制限されて記録されており、前記再生装置は、前記連続的に再生されうる単位を再生する前に、動画データと同時に出力されねばならない言語用字幕データが属する前記言語セットに該当するサブタイトル用のテキストデータをいずれも前記バッファに保存し、再生中に言語変更が発生した場合、当該言語用の前記サブタイトル用のテキストデータがバッファにある場合、当該言語用の前記サブタイトル用のテキストデータを出力し、ない場合、当該言語用の前記サブタイトル用のテキストデータが属する前記言語セットに該当するサブタイトル用のテキストデータをいずれも前記バッファに保存し、当該言語用の前記サブタイトル用のテキストデータを出力する機能を備えうる。

前記情報保存媒体には、前記サブタイトル用のテキストデータがグラフィックデータに変換される文字データと、このグラフィックデータが前記動画データに基づいた画像とオーバーラップされる時に複数個のグラフィックデータの出力を表示するための情報とを含んで記録されうる。

前記情報保存媒体には、前記サブタイトル用のテキストデータを構成するテキストデータが多国語文字セットを支援するためのユニコードで表現されて記録されており、前記レンダラーは、ユニコードで表現された文字をグラフィックデータに変換するものでありうる。

前記情報保存媒体には、前記サブタイトル用のテキストデータが基本英文字セットであるＡＳＣＩＩあるいはラテン語拡張文字セットであるＩＳＯ８８５９−１に該当する文字でのみ構成された場合、一つの文字を複数の８ビット単位で符号化するＵＴＦ−８を使用して符号化されて記録されており、前記レンダラーは、前記ＵＴＦ−８で表現された文字をグラフィックデータに変換できる。

前記情報保存媒体には、前記サブタイトル用のテキストデータがユニコード上で２バイトサイズのコードポイント値を有する文字が含まれた場合、一つの文字を複数の１６ビット単位で符号化するＵＴＦ−１６を使用して符号化されて記録されており、前記レンダラーは、前記ＵＴＦ−１６で表現された文字をグラフィックデータに変換するものでありうる。

前記情報保存媒体は、その再生装置への挿入と離脱とが容易な着脱式であり、前記再生装置は、前記着脱式情報保存媒体を読込んで再生できる。

前記情報保存媒体は、その再生装置の光学装置を利用して、データを読出せる光ディスクであり、前記再生装置は、前記光ディスクに記録されたデータを読込んで再生できる。

前記再生装置は、前記情報保存媒体に記録された動画データを再生せずに出力できる
前記サブタイトルデータは、一つまたはそれ以上の言語用字幕データをさらに含み、前記レンダラーは、前記一つまたはそれ以上の言語用テキストデータをグラフィックデータに変換できる。

前記サブタイトルデータは、動画と同期されてオーバーラップされて出力されうる。

一方、本発明の他の分野によれば、前記目的は、動画データを情報保存媒体に記録する記録装置において、前記情報保存媒体にデータを記録するデータ出力器、前記データ出力器から出力された前記動画データを符号化する符号化器、前記動画データに付加されて出力される字幕データを作る字幕データ発生器、中央処理装置、固定式保存装置、バッファを含み、前記動画符号化器は、動画を記録単位であるクリップに区分して圧縮符号化した後、前記固定式保存装置に保存し、前記字幕データ発生器は、前記動画データに基づいた画像と同時に再生されうる一つ以上の複数言語用字幕データをテキスト状に作って前記固定式保存装置に保存し、前記バッファは、前記固定式保存装置に保存されたデータを一時保存し、前記データ出力器は、前記バッファに一時保存された動画符号化データ、字幕データを情報保存媒体に記録し、前記中央処理装置は、前記動画データの符号化過程、前記字幕データ発生過程、及び前記符号化された動画データ、前記サブタイトル用のテキストデータがそれぞれ情報保存媒体の別個の領域に記録されるように制御することを特徴とする記録装置によっても達成される。

前記記録装置は、前記サブタイトル用のテキストデータをグラフィックデータに変換するためのフォントデータを生成するためのフォントデータ発生器をさらに備え、前記フォントデータ発生器は、前記サブタイトル用のテキストデータをグラフィック状に変換するために必要なフォントデータを作って前記固定式保存装置に保存し、前記バッファは、前記固定式保存装置に保存されたフォントデータを一時保存し、前記データ出力器は、前記バッファに一時保存されたフォントデータを情報保存媒体に記録し、前記中央処理装置は、前記フォントデータ発生過程を制御し、フォントデータが前記情報保存媒体の別個の領域に記録されるように制御できる。

前記中央処理装置は、前記サブタイトル用のテキストデータが複数の言語データである場合、各言語別に別途の空間に記録されるように制御するものでありうる。

前記字幕データ発生器は、グラフィックデータに変換されて出力される文字データと共に、前記動画再生との出力同期化情報を含めて前記字幕用データを作りうる。前記字幕データ発生器は、グラフィックデータに変換されうる文字データと、このグラフィックデータが前記動画データに基づいた画像とオーバーラップされる時にどの位置に出力されるかを表す出力位置情報を含めて前記サブタイトル用のテキストデータを作りうる。

前記字幕データ発生器は、グラフィックデータに変換されうる文字データと、このグラフィックデータが前記動画データに基づいた画像とオーバーラップされる時に一つ以上の複数のサイズでグラフィックデータの出力を表示するための情報を含めて前記字幕用データを作りうる。

前記動画符号化データは、連続的に再生されうる再生単位に区分されており、前記字幕データ発生器は、前記再生単位に該当する前記字幕データの全体サイズが制限されるように前記サブタイトル用のテキストデータを作りうる。

前記動画符号化データは、連続的に再生されうる再生単位に区分されており、前記字幕データ発生器は、前記再生単位に該当する前記サブタイトル用のテキストデータを複数の言語セットに区分し、前記一つの言語セットを構成する字幕データは、全体サイズが制限されるように前記サブタイトル用のテキストデータを作りうる。

前記字幕データ発生器は、前記サブタイトル用のテキストデータを構成するテキストデータを多国語文字セットを支援するためのユニコードで表現するものでありうる。

前記エンコーダは、前記サブタイトル用のテキストデータが基本英文字セットであるＡＳＣＩＩ、そしてラテン語拡張文字セットであるＩＳＯ８８５９−１に該当する文字でのみ構成された場合、一つの文字を複数の８ビット単位で符号化するＵＴＦ−８を使用して符号化するものでありうる。

前記エンコーダは、前記サブタイトル用のテキストデータがユニコード上で２バイトサイズのコードポイント値を有する文字が含まれた場合、一つの文字を複数の１６ビット単位で符号化するＵＴＦ−１６を使用して符号化するものでありうる。

前記情報保存媒体は、着脱式でありうる。前記情報保存媒体は、光学ディスクでありうる。

一方、本発明の他の分野によれば、前記目的は、ＡＶ（オーディオ／ビデオ）データとテキストデータとを読む段階と、前記テキストデータからサブタイトルイメージデータをレンダリングする段階と、前記ＡＶデータをデコーディングし、デコーディングされたＡＶデータを出力する段階と、前記サブタイトルイメージデータと前記デコーディングされたＡＶデータをブレンディングする段階と、を含むことを特徴とする情報保存媒体に保存されたデータを再生する方法によっても達成される。

一方、本発明の他の分野によれば、前記目的は、ＡＶデータ、テキストデータ及びフォントデータを読出す読出部と、前記ＡＶデータをデコーディングして動画データを出力するデコーダ部と、前記テキストデータからサブタイトルイメージデータをレンダリングするレンダリング部と、前記動画を前記サブタイトルイメージデータと同期させるブレンダと、を含むことを特徴とする再生装置によっても達成される。

一方、本発明の他の分野によれば、前記目的は、テキストデータとフォントデータとを読出す読出部と、前記テキストデータからサブタイトルイメージデータをレンダリングするレンダリング部と、前記サブタイトルイメージデータを出力する出力部と、前記サブタイトルデータの出力時間を制御するために、次のラインに対するサブタイトルデータの入力を受信する入力受信部と、を含むことを特徴とする再生装置によっても達成される。

一方、本発明の他の分野によれば、前記目的は、保存部と、ＡＶデータを符号化し、符号化されたＡＶデータを出力するエンコーダと、レンダリングされうるテキストデータを生成するサブタイトル生成部と、前記符号化されたＡＶデータと前記レンダリングされうるテキストデータを前記保存部に記録するデータ記録部と、前記符号化されたＡＶデータと前記レンダリングされうるテキストデータとを読出す読出部と、前記符号化されたＡＶデータをデコーディングして動画に作って出力するためのデコーダ部と、前記レンダリングされうるテキストデータからサブタイトルイメージデータをレンダリングするレンダリング部と、ブレンディングされた動画を出力するために、前記動画データを前記サブタイトルイメージデータと同期化させるブレンダ部と、を含むことを特徴とするデータ記録及び／または再生装置によっても達成される。

前記目的を達成するために、本発明による情報保存媒体には、各サブタイトルデータをＡＶデータ内に共に符号化せず、別途のテキストデータ状に記録空間に分離して記録されている。また、前記情報保存媒体には、テキスト状になっているサブタイトルデータをレンダリングするために必要な別途のフォントデータが記録されている。さらに、復号化過程が終わったＡＶ動画と連動するための同期化情報及び画面出力のための出力情報が記録されている。サブタイトルデータは、従来のＤＶＤにおいて、サブピクチャーデータに対応する。

すなわち、本発明による情報保存媒体には、次のような構成要素が記録されている。
１）動画情報が圧縮符号化されたＡＶデータ（クリップ）
２）多国語サブタイトル用のテキストデータ
３）テキストデータのレンダリングのためのフォントデータ

字幕以外の用途にも使用可能なデータ構造としてサブピクチャーデータが記録された情報保存媒体及びその装置を提供することができる。

ＤＶＤのデータ構造図である。 ＶＭＧ領域の詳細構造図である。 ＶＴＳ領域の詳細構造図である。 動画データであるＶＯＢＳの詳細構造図である。 ＳＰＵとＳＰ＿ＰＣＫとの関係図である。 サブピクチャーが符号化された時のデータ構造図である。 ＳＰ＿ＤＣＳＱＴのデータ構造図である。 サブピクチャーデータが考慮された出力時の状況を示す参考図である。 本発明の望ましい実施例による再生装置のブロック図である。 本発明による情報保存媒体に保存されるテキストデータ（例、サブタイトルデータ）の構造図である。 本発明によるサブタイトル用のテキストデータの望ましい実施例である。 図１１の言語とは異なる言語のためのテキストデータの構造図である。 本発明で使用しているテキストファイルの一例である。 スタイルが異なって適用された字幕の一例である。 図１１で具現した韓国語字幕用テキストデータが実際画面に表示された一例である。 特定言語の字幕再生中にユーザが言語変更を実施した場合の一例である。 複数の多国語用字幕データ及びフォントデータの言語セットの例である。 ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、クリップの相関関係図である。 本発明によるディレクトリ構造の一例である。 再生装置が字幕用データのみを出力する場合の例である。 再生装置が一つ以上の言語用字幕データを同時に出力する場合の例である。 字幕データのみを再生し、当該字幕ラインデータに該当する動画データから正常的に動画データの再生を開始する例である。 本発明による記録装置のブロック図である。

以下、添付された図面を参照して本発明をさらに詳細に説明する。

図９は、本発明の望ましい実施例による再生装置のブロック図である。図９を参照するに、再生装置は、情報保存媒体に保存されたＡＶデータ、サブタイトル用のテキストデータ、ダウンロードフォントデータを読込むリーダブロックと、ＡＶデータをデコーディングするためのデコーダブロックと、テキストファイルをレンダリングするレンダラーブロックと、デコーダブロックから出る動画とレンダラーブロックから出る字幕データとを合成するブレンダブロックとを含む。

それと共に、再生装置は、リーダブロックとデコーダブロック、レンダラーブロック間でデータの緩衝役割を担当する一方、決定されたフォントデータを保存するためのバッファブロックをさらに含み、デフォルトとしてあらかじめ保存されているレジデントフォントデータ保存ブロックを備えることもある。

本発明で、レンダリングとは、字幕用テキストデータをディスプレイ装置に表現するためのグラフィックデータに変換させることに関連した全ての必要な行為を称す。すなわち、テキストデータで、１文字ごとのキャラクタコードとマッチングされるフォントを情報保存媒体から読込んだダウンロードフォントデータあるいはレジデントフォントデータから探してグラフィックに変える過程を反復して、字幕画像を構成するためのグラフィックデータを作り出し、色相を指定または変換させ、文字のサイズを指定または変換させ、横書きあるいは縦書きによって適切にグラフィックデータを作り出すものなどが含まれる。特に、使用するフォントデータがアウトラインフォントである場合は、フォントデータは、各文字の形態を曲線式で規定している。このような場合、レンダリングは、このような曲線式を処理してグラフィックデータを作り出すラスタライジング過程も含む。

図１０は、本発明による情報保存媒体に保存されるテキストデータ（例、サブタイトルデータ）の構造図である。図１０を参照するに、テキストデータは、ＡＶストリームとは別途に記録される。テキストデータは、字幕用として出力される文字データに加えてレンダリングした後、ＡＶストリームデータで復号化された動画情報と同期とを合わせるための同期化情報、レンダリングされた字幕データが画面に表示される位置を指定するディスプレイ領域情報、レンダリングされた字幕データの文字サイズ、横書きあるいは縦書き、ディスプレイ領域内での整列、色相、コントラストなどのディスプレイスタイルボックス情報を有している。また、複数の言語別に各テキストデータが作成されねばならないため、言語を表すための情報も含まれる。このような多国語データは、それぞれ別途の空間に別途に保存されることもあり、言語に関係なく出力される時間順序別に多重化されて一つの空間に保存されることもある。

図１１は、本発明によるサブタイトル用のテキストデータの望ましい実施例を示す図である。図１１を参照するに、本実施例では、サブタイトル用のテキストデータとしてマークアップ言語を使用する。サブタイトル用として使われるマークアップ言語は、使われる用途が字幕であるということを考慮して、最小限のタグあるいはエレメントを使用するようにし、前述したように、同期化及び画面表示のためのタグあるいは属性を有しうる。ここでは、ｓｕｂｔｉｔｌｅ、ｈｅａｄ、ｍｅｔａ、ｂｏｄｙ、ｐエレメントを例示した。本実施例では、属性で情報を表示した。例で使われた属性は、次の通りである：
−ｓｔａｒｔ：共に再生されねばならない動画再生の開始時間を０とした時、当該字幕データが出力されねばならない時間として時間（ＨＨ）：分（ＭＭ）：秒（ＳＳ）：フレーム（ＦＦ）の形態でサブタイトルが表示される時刻を表す。１０００分の１秒単位でも表せる。または、動画データがＭＰＥＧビデオである場合、当該サブタイトルがオーバーレイされて表示されるビデオ画像のＰＴＳ（Ｐｒｅｓｅｎｔａｔｉｏｎ Ｔｉｍｅ Ｓｔａｍｐ）値を有することもある。通常、ＰＴＳ値は、２７ＭＨｚあるいは９０ＫＨｚで動作されるカウンター値である。このようにＰＴＳ値を使用すれば、ビデオデータと正確に一致させて動作させうる。

−ｅｎｄ：ｓｔａｒｔのような形態の属性値を有し、表示された字幕が消える時刻を表示する。

−ｐｏｓｉｔｉｏｎ：字幕データが表示されるディスプレイ領域のビデオ領域内での上位左側頂点の座標を表す。

−ｄｉｒｅｃｔｉｏｎ：表示される字幕データの方向を表す。

−ｓｉｚｅ：字幕データが表示されるディスプレイ領域の幅あるいは高さを表す。もし、"ｄｉｒｅｃｔｉｏｎ"の属性値が"ｈｏｒｉｚｏｎｔａｌ"であれば、字幕データボックスの固定された幅値を表し、"ｖｅｒｔｉｃａｌ"であれば、字幕データボックスの固定された高さ値を表す。

使われたエレメントの場合、ｓｕｂｔｉｔｌｅエレメントでテキストデータのルートを表し、ｈｅａｄエレメントを使用して全体テキストデータに必要な情報を取り扱っているｍｅｔａエレメント、あるいは、図１１の例では現れないｓｔｙｌｅエレメントを含むようにし、ｍｅｔａエレメントは、ｎａｍｅ、ｃｏｎｔｅｎｔの属性を使用して、当該テキストデータについての必要情報を記述可能にした。本実施レイの場合、ｍｅｔａエレメントを使用して、当該テキストデータの題目及び表す言語を表示した。すなわち、多国語選択時にテキストデータ内のｍｅｔａ情報を利用して、便利に当該言語テキストファイルを選択できる。もちろん、テキストファイル名で言語を区別することもあり、あるいは、ディレクトリ構造で各言語テキストファイル別にディレクトリを別途に設けてディレクトリ名で区分することもある。

このように保存された字幕データは、動画再生前に再生装置のバッファにローディングされて動画再生とレンダブロックによってグラフィックデータに変換されてビデオ画像にオーバーラップされて正確な時間に所定のディスプレイ領域に表現される。したがって、前記字幕データは、例えば、韓国語は正確な時間に再生空間にディスプレイされる。前記説明したように、テキストデータは、字幕用文字データだけでなく、制御情報も一定の形式あるいは文法によって作成されうる。したがって、レンダラーブロックの場合、保存されるテキストファイルが所定の文法によって作成されたかを検証するパーザの機能を備えることが望ましく、また、テキストファイル内に含まれた同期化情報を利用してデコーダブロックによって復号化された動画と同期を合わせるために、デコーダブロックとは違って再生時間情報及びデコーダブロックの再生状況を知らせるか、または指定するイベント交換がなされるチャンネルが存在することが望ましい。

図１２は、図１１の言語とは異なる言語のためのテキストデータの構造図である。図１２を参照するに、このように動画データとテキストデータとをそれぞれ別途の領域に記録する場合には、動画データを字幕データとは別途に符号化した後、符号化された動画データにそれぞれ異なる言語のテキストデータを簡単に追加することによって多国語支援を達成できる。また、情報保存媒体に動画データと共に保存されていない字幕データ及びフォントデータを、今後ネットワークを通じてダウンロードするか、または追加情報保存媒体を通じて再生装置にローディングする場合、容易に支援する字幕データを拡張できる。

このように多国語を支援する場合、テキストデータに使われる文字コードが問題になる。本発明では、望ましい実施例としてユニコードを使用する。ユニコードは、６５０００字以上の全世界言語を表現するために作られた文字コードである。これによれば、各文字は、ユニコード内で占めるコードポイントで表現される。各言語を表すための文字は、一定に連続した値を有するコードポイントの集合である。このようなコードポイントの連続した空間を有する文字をコードチャートという。また、ユニコードでは、前記文字データ、すなわちコードポイントを実際に保存または伝送するための符号化形態としてＵＴＦ−８、ＵＴＦ−１６、ＵＴＦ−３２を支援するが、これはそれぞれ８ビット、１６ビット、３２ビットのデータを複数個使用して一つの文字を表すための方法である。

英文字を表すＡＳＣＩＩコードとラテン語とを拡張してヨーロッパ各国の言語を表現するための拡張文字であるＩＳＯ８８５９−１コードは、ユニコードで０ｘ００から０ｘＦＦまでのコードポイント値を有する。日本語のひらがな文字は、０ｘ３０４０から０ｘ３０９Ｆ値を有し、現代韓国語を表現するための１１１７２字の文字は、０ｘＡＣ００から０ｘＤ７ＡＦまでの値を有する。ここで、０ｘとは、コードポイント値が１６進数で表現されたということを意味する。

もし、字幕データが英文字よりなっていれば、ＵＴＦ−８を使用して符号化することが望ましい。韓国語は、日本語用字幕データならば、ＵＴＦ−８を使用すれば、一つの文字が３バイトで表現されうる。ＵＴＦ−１６を使用すれば、２バイトで表現されるが、このとき、字幕データに含まれる英文字も２バイトで表現されうる。

各国では、ユニコードと異なって自体の文字コードを有している。例えば、韓国語文字コードであるＫＳＣ５６０１文字セットは、韓国語文字は、２バイトコードポイント値を有し、英文字は、１バイトコードポイント値を有する。前記字幕データがユニコードを使用せずに各国の文字セットを利用して作成されれば、各再生装置は、このような文字セットをいずれも理解せねばならないため、その具現のための負担が増える。

字幕データをテキストデータで処理するためには、フォントデータが必要である。また、多国語支援のためには、このようなフォントデータが多国語を支援せねばならない。しかし、このような多国語支援用フォントをいずれも再生装置にあらかじめ有していることは実質的に難しい。これにより、本発明では、情報保存媒体に使われた文字のみを対象とするフォントデータを前記字幕データのように情報保存媒体に記録し、再生装置でこのフォントデータを動画再生前にバッファにロードして使用させる。すなわち、再生装置は、各字幕用テキストデータとフォントデータとを連結して再生する。字幕用テキストデータとフォントデータとの連結情報は、字幕用テキストデータ内に記録されるか、または別途の領域に記録される。ユーザが再生中に言語変更する場合を考慮して、再生装置は、連続再生が保証されねばならない当該字幕データと当該フォントデータとをいずれも再生前に再生装置内のバッファにロードして使用する。ここで、連続再生とは、動画データの画像及びオーディオ出力に連続的に再生することを意味する。通常、再生装置は、ビデオ及びオーディオ用バッファにデータを一定量保存して再生を実施するところ、再生装置に備えられたバッファのアンダーフローを防止すれば、連続再生が可能になる。再生中に字幕変更のために当該字幕あるいはフォントデータをリーダブロックを通じて再び読まなきゃならない場合、この時間に前記ビデオ及びオーディオデータは、アンダーフローが発生せねば、あらかじめローディングせずとも良い。

図１３は、本発明で使用しているテキストファイルの一例である。図１３を参照するに、本実施例では、テキストファイルを具現するマークアップ言語にスタイル適用としてＣＳＳファイル形式を使用するために、ヘッドエレメント内にスタイルエレメントを使用する。ＣＳＳを使用することによって、字幕データは、多様なフォント、サイズ及び色相を使用可能になる。

あるアプリケーションまたはあるユーザには、デフォルトとして設定された字幕スタイルが見るに不便な場合がありうる。例えば、視覚障害者の場合、字幕テキストのフォントサイズが小さくて不便さを感じることがある。したがって、スタイルを適用する時、同じテキストファイルでも一般ユーザあるいは視覚障害者に適するように、どのようにスタイルを適用して表示するかということは重要な問題のうち一つである。したがって、ユーザが最初再生装置を通じて情報保存媒体を再生する時、メニューを通じてフォントサイズのようなスタイルを定めることができるようにすることによって、ユーザの設定によるスタイルを適用するためのユーザの選択可能な複数のオプションを有するスタイルシートが使用されうる。

本発明では、ユーザによる字幕スタイルを設定できる＠ユーザルールを説明しようとする。ユーザタイプは、ＣＳＳ属性の集合から見た例では、ユーザタイプの種類、すなわち、視覚障害の程度を詳細に区分するのは関連事項ではないので、次のように２つの場合のみを例として挙げる：
−ｓｍａｌｌ：視力が正常であるユーザのためのスタイル、
−ｌａｒｇｅ：視力が悪いユーザのためのスタイル
図１４は、スタイルが異なって適用された字幕の一例である。図１４に示されたように、＠ユーザルールを使用して再生装置にあらかじめ設定されるか、またはメニューあるいはユーザ入力装置を通じて視力が良いユーザあるいは悪いユーザのために、スタイルが異なって適用された字幕を表示できる。

そして、再生装置が字幕データによって所定の位置と所定のサイズのフォントとを使用せず、ユーザの選好度によって位置とサイズとを異なって出力することも可能である。

図１５は、図１１で具現した韓国語字幕用テキストデータが実際画面に表示された一例を示す図である。図１５を参照するに、第２＜ｐ＞エレメントによって表示された画面で"ｓｉｚｅ"属性によって字幕データディスプレイ領域の幅値が５２０と固定されたので、１行で表示できない字幕データを改行して表示した。さらに他の実施例としては、字幕データは、ディスプレイ領域内でのみ出力させ、改行エレメント（ｂｒ）を使用して強制に改行を指定させることもある。

第３＜ｐ＞エレメントは、"ｄｉｒｅｃｔｉｏｎ"属性によって字幕データの表示が垂直に表示された例である。

図１６は、特定言語の字幕再生中にユーザが言語変更を実施した場合を示す。図１６を参照するに、再生装置は、このような言語変更が必要である時、再生中である（例えば、韓国語）字幕テキストデータを変更し、当該フォントデータを連結して変更された言語（例えば、英語）のデータをレンダリングして出力する。このための字幕用データ及びフォントデータがいずれもバッファにローディングされていれば、動画データの連続再生が容易に可能である。もし、変更しようとするテキストデータやフォントデータがバッファにローディングされていなければ、当該データを再びバッファにローディングせねばならない。このとき、動画データの再生が一時停止、停止またはインタラプトが発生する恐れがある。

動画再生の一時停止、停止またはインタラプトのない多国語変換をしようとすれば、字幕用データ及びフォントデータのサイズを各バッファのサイズ以下に制限されうる。しかし、この場合は、支援可能な言語の数が制限される。したがって、本発明では、言語セットという単位を作ってこれを解決する。

図１７は、複数個の多国語用字幕データとフォントデータとの言語セットを示す。図１７を参照するに、一つの動画に付加されている複数の多国語用字幕データとフォントデータとを複数の言語セットに区分する。一つの言語セットに該当する字幕データとフォントデータとは、前記バッファのサイズ以下に制限されている。動画再生開始前にユーザが選択するか、再生装置によってデフォルトと選択された言語の字幕データが属する言語セットが前記バッファにローディングされた後、動画再生を開始する。ユーザが言語変更を実施する場合、この言語セットに属する字幕データは、既にバッファにローディングされているので、動画再生を停止せずに言語変更が可能である。しかし、もし、この言語セットに属していない言語への変更がなされる場合、再生装置は、当該言語セットの字幕データとフォントデータとをバッファに再びローディングする。この場合、既存の言語セットのデータはいずれも消失される。このとき、動画再生には一時停止、停止またはインタラプトが発生する恐れがある。以後、言語変更がなされる場合は、再び当該言語とバッファにローディングされた言語セットとの関係によって言語変更動作を行う。このような言語セットについての情報は、情報保存媒体に記録され、再生装置が情報保存媒体に保存されているデータと再生装置内のバッファのサイズとを考慮して、再生装置が再生時に任意に定めることもある。

動画データの再生に必要な情報及びデータと字幕データとの関係を望ましい実施例として説明すれば、次の通りである。動画データの記録単位として、Ｃｌｉｐ、再生単位としてＰｌａｙＬｉｓｔ及びＰｌａｙＩｔｅｍという用語を使用する。

本発明による情報保存媒体には、ＡＶストリームがＣｌｉｐ単位に区分されて記録されている。通常の場合、Ｃｌｉｐは、連続的な空間に記録される。ＡＶストリームは、容量を減らすために圧縮して記録される。したがって、圧縮されたＡＶストリームを再生するためには、圧縮された動画データの特性情報を知らねばならない必要がある。これにより、各ＣｌｉｐのＣｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎが記録される。Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎには、各ＣｌｉｐのＡＶ属性及び一定の区間単位にランダムアクセスが可能なＥｎｔｒｙ Ｐｏｉｎｔの位置情報を記録したＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐが記録されている。動画圧縮技術で広く使われるＭＰＥＧの場合、このＥｎｔｒｙ Ｐｏｉｎｔは、イントラ画像の圧縮を行うＩピクチャーの位置となり、このＥｎｔｒｙ Ｐｏｉｎｔ Ｍａｐは、再生開始後にある程度の時間が経過した地点を探す時間サーチに主に利用される。

ＰｌａｙＬｉｓｔは、再生の基本単位である。情報保存媒体には、複数のＰｌａｙＬｉｓｔが保存されている。一つのＰｌａｙＬｉｓｔは、複数のＰｌａｙＩｔｅｍの連結を含む。ＰｌａｙＩｔｅｍは、Ｃｌｉｐの一部分に該当し、具体的には、Ｃｌｉｐ内での再生開始時間と終了時間とを指定する形態で使われ、したがって、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎを利用して実際クリップ内の当該部分位置を探し出す。

図１８は、ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、Ｃｌｉｐの相関関係図である。図１８を参照するに、ＰｌａｙＬｉｓｔ、ＰｌａｙＩｔｅｍ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、Ｃｌｉｐと共に、本発明では、各クリップに複数の字幕用テキストデータがクリップと別途の空間に記録されている。一つのクリップに複数の字幕用データが連結され、このような連結情報は、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎに記録されうる。どんなクリップは、複数の字幕用データが連結されるが、どんなクリップは、字幕用データがないか、または一つのみでありうる。ＰｌａｙＬｉｓｔが再生される場合、当該ＰｌａｙＬｉｓｔに属するＰｌａｙＩｔｅｍが順次に再生され、結果的に、各ＰｌａｙＩｔｅｍに連結されたクリップ及び当該クリップに連結された複数の字幕用データのうち何れか一つがレンダリングされて出力される。通常、ＰｌａｙＬｉｓｔ間には、連続再生を保証していないので、当該ＰｌａｙＬｉｓｔ再生前に連結された全ての字幕用テキストデータをバッファにローディングしうる。図１８には、フォントデータを別途に表示していない。フォントデータは、通常、言語別に製作される。したがって、フォントデータは、各言語別に別途の空間に記録される。

図１９は、本発明によるディレクトリ構造の一例である。図１９を参照するに、ディレクトリは、クリップ、Ｃｌｉｐ Ｉｎｆｏｒｍａｔｉｏｎ、ＰｌａｙＬｉｓｔ、字幕用テキストデータ、フォントデータがファイル状に保存されており、各種類別に別途のディレクトリに区分されている。図示されたように、サブタイトル用のテキストファイルとフォントファイルとは、動画データとは別途のディレクトリに備えられうる。

本発明による情報保存媒体は、再生装置に固定されず、再生時にのみ挿入して使用できる着脱式情報保存媒体であることが望ましい。ハードディスクのような大容量の固定式情報保存媒体とは異なって、着脱式情報保存媒体は、容量に限界を有する。また、これを再生する再生装置も限定されたサイズのバッファと限定された性能の下位機能ブロックとを有する場合が多い。したがって、着脱式情報保存媒体に記録されている動画データと共に、字幕データ及び字幕データに使われたフォントデータのみを情報保存媒体に記録し、これを再生装置で再生時に使用することによって、字幕データの出力のためにあらかじめ備えなければならないデータを最小化しうる。このような着脱式記録媒体としては、光ディスクが代表的である。

本発明による情報保存媒体に動画データが字幕用テキストデータと別途の空間に保存されており、この字幕用テキストデータが複数の多国語のためのデータでありつつ、字幕データの出力のためのフォントデータを備える場合、再生装置には、字幕データ及びフォントデータのみをバッファにローディングした後、動画を再生しつつ字幕データをビデオ画像にオーバーラップして出力させる。

図２０は、再生装置が字幕用データのみを出力する場合の例を示す。図２０を参照するに、再生装置は、字幕用データのみを出力する機能を有しうる。すなわち、再生特殊技能のうち一つであって、前記動画データを再生せずに前記動画データのようにオーバーラップされて出力される字幕データのみをグラフィックデータに変換して出力する。このような場合は、字幕データを利用して外国語を習得するための目的で使われる。この場合、動画がオーバーラップされず、字幕データのみが出力され、前記同期化情報や位置情報は、いずれも無視されるか、または含まれず、再生装置が全体画像上に各字幕データを含む複数ラインデータを出力し、ユーザの入力を待つ。ユーザは、出力された字幕データをいずれも鑑賞した後、次のラインの字幕データ出力のための信号を再生装置に伝達して字幕データの出力時点を制御する。

図２１は、再生装置が一つ以上の言語用字幕データを同時に出力する場合を示す。図２１を参照するに、再生装置は、一例として、前記字幕データが複数言語を含む場合、一つ以上の言語用字幕データを同時に出力する機能を有しうる。このとき、各言語用字幕データの同期化情報を利用して、画面に出力される字幕データを選定する。すなわち、出力開始時間順序別に字幕データを出力し、出力時点が全く同じである場合には、言語別に区分して出力する。

このように字幕データのみを再生しつつ、当該字幕ラインデータに該当する動画データから正常的に動画データの再生を開始する機能も備えうる。

図２２は、字幕データのみを再生しつつ、当該字幕ラインデータに該当する動画データから正常的に動画データの再生を開始する例を示す。図２２に示されたように、ユーザが一つの字幕ラインデータを選択した場合、当該ラインデータに該当する再生時間を再指定し、その時間に該当する動画データを正常的に再生する。

本発明での記録装置は、動画データと本発明による字幕データとを情報保存媒体に記録する装置である。

図２３は、本発明による記録装置のブロック図である。図２３を参照するに、記録装置は、中央処理装置（ＣＰＵ）、固定式大容量保存装置、動画符号化器、字幕データ発生器、フォント発生器、データ出力器及びバッファを含む。

動画符号化器、字幕データ発生器、フォント発生器は、ＣＰＵ上にソフトウェア形態で構成されることもある。

それ以外に、リアルタイムで動画を入力されるための動画入力器も備えられうる。

前記保存装置は、符号化対象となる動画あるいは動画符号化器によって符号化された動画データを保存する。それと共に、動画に付加された台詞、大容量フォントデータも保存する。字幕データ発生器は、前記動画符号化器から字幕ラインデータの出力時間のための情報を受け、前記台詞データから字幕ラインデータを受けて、前記字幕用サブタイトルデータを作って固定式保存装置に保存する。フォントデータ発生器は、前記字幕用サブタイトルデータに使われた文字を含むフォントデータを固定装置に保存された大容量フォントデータから作って固定式保存装置に保存する。すなわち、情報保存媒体に保存されるフォントデータは、固定式保存装置に保存されている大容量フォントデータの一部分である。このように、情報保存媒体に保存する形態のデータを作り出す過程をオーソリングと言う。

オーソリング過程が終了すれば、固定式保存装置に保存された動画符号化データを記録単位であるクリップに分割して情報保存媒体に記録し、前記クリップに属する動画データに付加された字幕用サブタイトルデータを別途の領域に記録する。それと共に、前記字幕データをグラフィックデータに変換するために必要なフォントデータを別途の領域に記録する。

前記動画データは、連続的に再生されうる再生単位に分割されるが、通常、この再生単位は、複数のクリップを含む。一実施例であって、一つの再生単位に属する動画とオーバーラップされて出力されねばならない字幕用データは、複数の言語用データをいずれも合わせて一定のサイズ以下に制限される。他の実施例であって、一つの再生単位に属する動画とオーバーラップされて出力されねばならない字幕用データは、言語変更時、動画再生に連続的に言語変更がなされなければならない言語セットに区分され、一つの再生単位に属する字幕用データは、複数の言語セットを含み、一つの言語セットに属する字幕用データは、複数の言語用データをいずれも合わせて一定のサイズ以下に制限される。

前記字幕用データは、ユニコードを使用する文字コードを含み、実際記録されるデータの形態は、前記ＵＴＦ−８やＵＴＦ−１６で符号化されうる。

固定式保存装置に記録された動画データ、字幕用サブタイトルデータ、フォントデータは、バッファに一時保存されてデータ出力器によって情報保存媒体上に記録される。ＣＰＵは、このような機能を順次に行うように各装置を制御するソフトウェアを行う。

本発明によれば、多国語字幕用テキストデータをテキスト化した後、ＡＶストリームと別途に記録することによって、ユーザにさらに多様な字幕効果を提供できると同時に、容易な記録空間の配置を可能にする。

一方、これに必要なフォントデータは、前記字幕用テキストに必要な文字のみを集めて最小限のサイズとして情報保存媒体に別途に保存して利用する。

Claims (5)

1. ＡＶデータ、該ＡＶデータと区別されて記録されるサブタイトル用のテキストデータ及びフォントデータを読出す読出部と、
   前記ＡＶデータをデコーディングして動画データを出力するデコーダ部と、
   前記サブタイトル用のテキストデータをレンダリングするレンダリング部と、
   前記動画データを前記サブタイトル用のテキストデータと合成するブレンダとを含み、
   前記サブタイトル用のテキストデータは、サブタイトル用のテキスト、出力開始時間及び出力終了時間、前記サブタイトル用のテキストに適用する相異なるサブタイトル出力スタイルを定義する少なくとも一つのスタイル情報、前記少なくとも一つのスタイル情報を指すスタイル識別情報を含み、
   前記レンダリング部は、前記サブタイトル用のテキストデータを前記識別情報に基づいて識別される前記少なくとも一つのスタイル情報のうち一つを用いてレンダリングし、前記レンダリングされたサブタイトル用のテキストデータは、前記出力開始時間及び前記出力終了時間に出力開始及び出力終了され、
   前記テキストデータは、前記サブタイトル用のテキストが表示されるディスプレイ領域のサイズ及び位置を表す情報と、前記サブタイトル用のテキストが前記ディスプレイ領域内に出力される時の出力方向を表す情報を含むことを特徴とする再生装置。
2. 前記ＡＶデータ、前記サブタイトル用のテキストデータ、及び前記フォントデータは、前記読出部によって読出されうる情報保存媒体に保存されていることを特徴とする請求項１に記載の再生装置。
3. 前記サブタイトル用のテキストデータ及び前記フォントデータは、ネットワークを通じてダウンロードされることを特徴とする請求項１に記載の再生装置。
4. 前記ＡＶデータは、前記読出部によって読出されうる情報保存媒体に保存されていることを特徴とする請求項３に記載の再生装置。
5. 保存部と、
   ＡＶデータを符号化し、符号化されたＡＶデータを出力するエンコーダと、
   レンダリングされうるサブタイトル用のテキストデータを生成するサブタイトル生成部と、
   前記符号化されたＡＶデータと前記サブタイトル用のテキストデータとを前記保存部に記録するデータ記録部と、
   前記符号化されたＡＶデータと該ＡＶデータと区別されて記録される前記サブタイトル用のテキストデータとを読出す読出部と、
   前記符号化されたＡＶデータをデコーディングして動画に作って出力するためのデコーダ部と、
   前記レンダリングされうるサブタイトル用のテキストデータをレンダリングするレンダリング部と、
   前記動画データを前記サブタイトル用のテキストデータと合成するブレンダ部とを含み、
   前記サブタイトル用のテキストデータは、サブタイトル用のテキスト、出力開始時間及び出力終了時間、前記サブタイトル用のテキストに適用する相異なるサブタイトル出力スタイルを定義する少なくとも一つのスタイル情報、前記少なくとも一つのスタイル情報を指すスタイル識別情報を含み、
   前記レンダリング部は、前記サブタイトル用のテキストデータを前記識別情報に基づいて識別される前記少なくとも一つのスタイル情報のうち一つを用いてレンダリングし、前記レンダリングされたサブタイトル用のテキストデータは、前記出力開始時間及び前記出力終了時間に出力開始及び出力終了され、
   前記テキストデータは、前記サブタイトル用のテキストが表示されるディスプレイ領域のサイズ及び位置を表す情報と、前記サブタイトル用のテキストが前記ディスプレイ領域内に出力される時の出力方向を表す情報を含むことを特徴とするデータ記録及び／または再生装置。
   

Images