JP4101902B2 - コンピュータシステムおよび表示制御方法 - Google Patents
コンピュータシステムおよび表示制御方法 Download PDFInfo
- Publication number
- JP4101902B2 JP4101902B2 JP12739897A JP12739897A JP4101902B2 JP 4101902 B2 JP4101902 B2 JP 4101902B2 JP 12739897 A JP12739897 A JP 12739897A JP 12739897 A JP12739897 A JP 12739897A JP 4101902 B2 JP4101902 B2 JP 4101902B2
- Authority
- JP
- Japan
- Prior art keywords
- field
- data
- video
- display
- video data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【発明の属する技術分野】
この発明はコンピュータシステムおよびビデオデコーダに関し、特にデジタル圧縮符号化された動画データを復号してノンインターレース表示のディスプレイモニタ上に表示する機能を持つコンピュータシステムおよびそのシステムで使用されるビデオデコーダに関する。
【0002】
【従来の技術】
近年、コンピュータおよびマルチメディア技術の発達に伴い、いわゆるマルチメディア対応のコンピュータシステムが種々開発されている。この種のコンピュータシステムには、テキストデータやグラフィックスデータの他に、動画や音声データを再生するための機能が設けられている。
【0003】
このようなコンピュータのマルチメディア化に伴い、最近では、CD−ROMに代わる新たな蓄積メディアとしてDVDが注目されている。1枚のDVD−ROMメディアには、片面で現在のCD−ROMの約7倍にあたる4.7Gバイト程度のデータを記録することができ、両面記録では9.4Gバイト程度のデータを記録できる。このDVD−ROMメディアを使用することにより、大量の映像情報を含む映画などのタイトルをコンピュータ上で高品質に再生することが可能となる。
【0004】
DVD−ROMメディアに記録されるビデオ情報は、プレゼンテーションデータとナビゲーションデータの2種類のデータから構成されている。プレゼンテーションデータは再生されるビデオオブジェクトの集合であり、ビデオ、サブピクチャ、およびオーディオから構成されている。ビデオデータはMPEG2方式で圧縮符号化される。また、サブピクチャおよびオーディオの符号化方式としては、ランレングス符号化およびAC−3などがサポートされている。サブピクチャはビットマップデータであり、映画の字幕や、メニュー画面上の選択肢の表示などに用いられる。1つのビデオオブジェクトには、1チャネルのビデオデータ、最大8チャネルまでのオーディオデータ、最大32チャネルまでのサブピクチャデータを含ませることができる。
【0005】
ナビゲーションデータは、プレゼンテーションデータの再生手順を制御する再生制御データであり、ここにはナビゲーションコマンドを埋め込むことができる。ナビゲーションコマンドは、ビデオデータの再生内容や再生順序を変更するためのものである。このナビゲーションコマンドを用いることにより、タイトル作成者はそのタイトルの中に種々の分岐構造を定義することができ、インタラクティブなタイトルを作成することが可能となる。
【0006】
これらタイトルは、通常、民生用プレーヤを用いて家庭のTV上で再生することを目的に作成されており、そのコンテンツには次の2種類がある。
(1)一つは、映画フィルムのように24Hzのフレームレートで符号化されたフレームデータ(プログレッシブデータ)である。
【0007】
(2)もう一つは、60Hzで符号化されたフィールドデータ、つまり1秒間に60枚数のフィールドデータから構成されるものである。
また、タイトルによっては、(1)と(2)のデータの組み合わせによって構成されているものもある。たとえば、番組については(1)のフレームデータ(プログレッシブデータ)で構成し、CM情報などについては(2)のフィールドデータを使用するといった構造のタイトルなどである。
【0008】
(1)のフレームデータ(プログレッシブデータ)および(2)のフィールドデータのどちらもDVDデコーダによってデコードされて、NTSC出力に対応したインターレース表示用の60Hzのフィールドデータとして出力される。これをコンピュータのディスプレイモニタに表示する場合には、DVDデコーダから出力されるインターレース表示用のデータをノンインターレース表示用のデータに変換する必要がある。この変換は単純フィールド合成処理を用いて行われる。つまり、フレームメモリ上で偶数フィールドと奇数フィールドとを重ね合わせることにより1枚のフレームが生成され、それがコンピュータのディスプレイモニタにノンインターレース表示される。
【0009】
しかし、このような単純フィールド合成によるインターレース/ノンインターレース変換では、時差のあるフィールドが1枚のフレームに合成されてしまうため、輪郭が縞状に見えるといういわゆるフェダリング(Feathering)が発生する。この現象は、特に動きの速いシーンにおいて顕著となる。
【0010】
このフェダリングには次の2種類の原因がある。
(i)フィールド画問題:
これは、前述した(2)のフィールドデータが合成されることによるものである。フィールド画は一枚一枚時差(1/60秒)を持っており、このような時差を持つフィールド画が合成されると、フェダリングが発生する。
【0011】
(ii)リピートフィールド問題:
DVDデコーダでは、24フレーム/秒のフレームデータ(プログレッシブデータ)をデコードする場合、3:2プルダウンという方法によって24フレーム秒のフレームデータが60フィールド/秒のフィールドデータに変換される。この3:2プルダウンの方法を図11に示す。
【0012】
図11において、Frame No.はデコードする前のフレームデータ(24フレーム/秒)のフレーム番号を示し、Field No.はデコード後のNTSCに対応したフィールドデータ(60フィールド/秒)のフィールド番号を示している。フィールド番号の添え字(E)は偶数フィールド、(O)は奇数フィールドを示す。
【0013】
3:2プルダウンでは、3フレーム当たり2フレームの割合で、1フレームから3つのフィールドを作成することによってフレームレートの違いが吸収される。3つのフィールドを作成する場合には、3つ目のフィールドは1つ目のフィーと同じデータとなる(R:リピートフィールド)。図11においては、1フレーム目の3つ目のフィールドはその1つ目のフィールド(1E)の繰り返しであり、また3フレーム目の3つ目のフィールドもその1つ目のフィールド(3O)の繰り返しとなっている。
【0014】
単純フィールド合成処理では、図示のように連続する2つのフィールド画同士(1Eと1O、1Eと2O、2Eと3O、…)が合成される。問題は、1Eと2O、および2Eと3Oの組み合わせである。1Eと2Oは互いに異なるフレーム番号のデータから生成されたものであり、1/24秒の時差を持っている。同様に、2Eと3Oも1/24秒の時差を持つ。従って、リピートフィールドを含むフィールドの組み合わせによって得られたフレームは、フェダリングの原因となる。
【0015】
【発明が解決しようとする課題】
上述したように、従来では、TV用に作成されたタイトルをノンインターレース表示のディスプレイモニタ上に表示すると、前述のフィールド画問題、リピートフィールド問題を原因とするフェダリングが発生するという問題があった。特に、3:2プルダウンが必要なフレームデータからタイトルが構成されている場合には、時差のあるフィールドの組み合わせは1/2の確率で発生することになり、動きの速い動画の表示品質がTVに比べ劣化するという問題があった。
【0016】
この発明はこのような点に鑑みてなされたものであり、簡単なハードウェア構成でリピートフィールドをフィールド合成処理対象から除外できるようにし、コンピュータのディスプレイモニタ上でフェダリングのない滑らかな画像を再生することが可能なコンピュータシステムおよびビデオデコーダを提供することを目的とする。
【0017】
【課題を解決するための手段】
この発明のコンピュータシステムは、デジタル圧縮符号化されたビデオデータ列を復号する復号手段と、前記復号手段が出力するインターレース表示用のビデオデータを入力するビデオポートを有し、前記ビデオポートから取り込んだビデオデータを、奇数フィールドと偶数フィールドとを合成してノンインターレース表示用のビデオデータを生成してディスプレイモニタに表示するディスプレイコントローラと、前記復号手段が復号したビデオデータが3:2プルダウン変換によって生成されたリピートフィールドであるとき、前記ビデオポートへ出力する垂直同期信号および水平同期信号をマスクする手段とを具備することを特徴とする。
【0018】
このコンピュータシステムにおいては、3:2プルダウン変換が必要なフレームデータがビデオデコーダに入力されると、復号手段では3:2プルダウン変換を伴う復号化処理が行われ、復号手段からは定期的にリピートフィールドが出力される。このリピートフィールドはディスプレイコントローラのビデオ入力ポートに送られるが、この時、ビデオ入力ポートに出力される垂直同期信号および水平同期信号はマスクされる。垂直同期信号および水平同期信号は基本的にビデオデータをキャプチャするための同期信号として用いられるので、垂直同期信号および水平同期信号をマスクすることによりリピートフィールドがディスプレイコントローラに取り込まれることを防止することができる。これにより、リピートフィールドはフィールド合成の対象から除外されることになり、同一フレーム番号内の2枚のフィールド同士の組み合わせだけで単純フィールド合成処理が行われる。よって、垂直同期信号および水平同期信号をマスクするという簡単なハードウェアの追加のみで、コンピュータのディスプレイモニタ上でフェダリングのない滑らかな画像を再生することが可能となる。
【0019】
【発明の実施の形態】
以下、図面を参照してこの発明の実施形態を説明する。
図1には、この発明の一実施形態に係るパーソナルコンピュータのハードウェアおよびソフトウェアの基本構成が示されている。
【0020】
このパーソナルコンピュータには、DVDビデオ情報を再生するために必要な主なハードウェアとして、CD−ROMメディアとDVD−ROMメディア双方に対するアクセスが可能なDVD−ROMドライブ111、このDVD−ROMドライブ111から読み出されたDVDビデオ情報(ビデオ、サブピクチャ、オーディオ)をデコードするDVDデコーダ112、ノンインターレース表示のコンピュータのディスプレイモニタ(LCD,CRT)を制御するVGAコントローラ113などが設けられている。
【0021】
DVD−ROMメディアには、DVDビデオタイトルを構成するビデオ情報がが格納されている。DVD−ROMメディア上のタイトル再生は、DVDドライバ群114、DVDアプリケーションプログラム115、ビデオポートドライバ116によって制御される。ビデオポートドライバ116は、VGAコントローラ113のデジタルビデオ入力ポートを制御するためのソフトウェアドライバである。
【0022】
DVDドライバ群114はMPEG2ビデオ制御用のソフトウェアドライバであり、DVDアプリケーションプログラム115からの指示に従いDVD−ROMドライブ111およびDVDデコーダ112を制御し、ビデオ情報をDVD−ROMドライブ111からDVDデコーダ112に転送させる。
【0023】
DVD−ROMドライブ111からDVDデコーダ112に転送されるビデオ情報はMPEG2プログラムストリームから構成され、ここにはそれぞれ符号化されたビデオ、サブピクチャ、およびオーディオが含まれる。
【0024】
MPEG2プログラムストリームによってDVDデコーダ112に転送されるビデオデータには、前述したように、映画フィルムのように24Hzのフレームレートで符号化されたフレームデータ(プログレッシブデータ)から構成されるものと、60Hzで符号化されたフィールドデータから構成されるものとがある。
【0025】
また、これら2種類のビデオデータをDVDデコーダ112が正しく復号できるようにするための制御情報として、MPEG2プログラムストリームにはプログレッシブフラグ(Progressive Sequence)とリピートファーストフィールドフラグ(Repeat First Field)が含まれている。
【0026】
プログレッシブフラグ=1は、デコード対象のビデオデータが順次走査のフレームデータ、つまり前述の24Hzのフレームレートで符号化されたフレームデータ(プログレッシブデータ)であることを示し、プログレッシブフラグ=0はデコード対象のビデオデータが前述のフィールドデータであることを示す。
【0027】
リピートファーストフィールドフラグは、3:2プルダウン変換の制御のために用いられるものであり、リピートファーストフィールドフラグ=1は次にリピートフィールドを出力すべきことを示す。
【0028】
DVDデコーダ112には、プログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bが設けられており、そこにMPEG2プログラムストリームに含まれるプログレッシブフラグおよびリピートファーストフィールドフラグの内容がそれぞれセットされる。これらプログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bは、DVDデコーダ112によるデコード動作の制御、およびDVDデコーダ112によってどのようなデコードが実行されてるかを外部のハードウェアまたはソフトウェアに通知するために用いられる。
【0029】
DVDデコーダ112によってデコードされたビデオデータはインターレース表示用のデータであり、これは専用のビデオバスを介してVGAコントローラ113のデジタルビデオ入力ポートに直接入力される。VGAコントローラ113のデジタルビデオ入力ポートには、垂直同期信号Vsync、水平同期信号Hsync、およびデジタルYUVデータに加え、プログレッシブフラグ信号およびリピートファーストフィールドフラグ信号も入力される。これらフラグ信号は、VGAコントローラ113によって実行されるインターレース/ノンインターレース変換の動作を制御するために用いられる。
【0030】
VGAコントローラ113は、インターレース/ノンインターレース変換のためのモードとして単純フィールド合成モードと補完モードを有している。単純フィールド合成モードでは、連続して入力される2枚のフィールドデータ(偶数フィールドおよび奇数フィールド)が合成されて1枚のフレームデータが生成される。補完モードでは、入力される各フィールドから不足しているライン(偶数フィールドならば奇数ライン、奇数フィールドならば偶数ライン)がインターポーレイション(補間処理)などによって補完されて、一枚のフィールド画から一枚のフレーム画が生成される。この場合、たとえば、入力されたフィールドの連続する2ラインを画素毎に平均することなどによって、その2ライン間に存在すべき不足ラインが求められる。
【0031】
これら単純フィールド合成モードと補完モードの切り替えは、DVDデコーダ112から出力されるプログレッシブフラグの値によって制御される。この場合、プログレッシブフラグ=0、つまりフィールドデータのデコードが行われているときには補完モードが用いられ、プログレッシブフラグ=1、つまりフレームデータのデコードが行われているときには単純フィールド合成モードが用いられる。
【0032】
また、単純フィールド合成モードにおいては、リピートファーストフィールドフラグの値はDVDデコーダ112からのフィールドデータをフィールド合成処理から除外するか否かを切り替えるために用いられる。すなわち、リピートファーストフィールドフラグ=1の場合は、VGAコントローラ113は、DVDデコーダ112からの次に出力されるフィールドデータを取り込まない。これにより、リピートフィールドはスキップされ、フィールド合成処理から除外される。一方、リピートファーストフィールドフラグ=0の場合は、通常通り、入力順に2つのフィールド単位で合成処理が行われる。
【0033】
また、このようなリピートフィールドのスキップ制御は、DVDデコーダ112から出力されるVsync,Hsyncをマスクすることによって、より簡単に行うことができる。
【0034】
さらに、VGAコントローラ113によって実行されるインターレース/ノンインターレース変換の動作制御は、ソフトウェアによって実行することもできる。
【0035】
この場合、DVDデコーダ112は、フィールドデータのVsync毎に定期的に割り込み信号INTAを発行し、CPUに割り込み処理を実行させる。この割り込み処理の中で、DVDデコーダ112のプログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bが参照される。そして、変換モードを指定するモードセットコマンド(ModeSet)、およびフィールドデータのスキップを指示するドロップフィールドコマンド(Drop Field)をビデオポートドライバ116に発行することにより、VGAコントローラ113の変換モード設定およびリピートフィールドのスキップ制御がビデオポートドライバ116を介して実行される。
【0036】
次に、図2を参照して、この実施形態のパーソナルコンピュータの具体的なシステム構成を説明する。
このシステムはノートブック型のパーソナルコンピュータに対応するものであり、図示のように、PCIバス10、CPU11、主メモリ(MEM)12、HDD13、ATAPIまたはSCSIインタフェースから構成されるDVDインターフェース16、およびオーディオコントローラ17と、前述のDVD−ROMドライブ111、DVDデコーダ112、およびVGAコントローラ113とが設けられている。
【0037】
DVD−ROMドライブ111は、ディスク両面で10GB程度の記憶容量を持つDVD−ROMメディアに蓄積されたデータストリームを、最大で10.8Mbpsの転送レートで読み出す。このDVD−ROMドライブ21は、図3に示されているように、光ディスクからなるDVDメディア211と、モータ212と、ピックアップ213と、ピックアップドライブ214と、サーボコントローラ215と、エラー検出および訂正のためのECC回路を含むドライブコントローラ216とから構成されている。モータ212、ピックアップ213、ピックアップドライブ214、サーボコントローラ215、およびドライブコントローラ216は、DVDメディア211を駆動し、そのDVDメディア211に記録されたデータを読み出すためのドライブ装置として機能する。
【0038】
DVD−ROMメディア211には、例えば、片面で135分程度の映画を記録させることができる。この映画の情報には、主映像(ビデオ)、16チャネルまでの副映像(サブフィールド)、および32チャネルまでの音声(オーディオ)を含ませることができる。
【0039】
この場合、これらビデオ、サブピクチャ、およびオーディオはそれぞれMPEG2規格でデジタル圧縮符号化されて記録されている。MPEG2規格では、MPEG2で符号化されたデータに、他の符号化データを含ませることがことができ、それら符号化データは1本のMPEG2プログラムストリームとして扱われる。
【0040】
ビデオの符号化にはMPEG2を使用し、サブピクチャおよびオーディオの符号化にはそれぞれランレングス符号化およびDOLBY AC3が使用される。この場合でも、それら符号化されたビデオ、サブピクチャ、およびオーディオは、1本のMPEG2プログラムストリームとして扱われる。
【0041】
MPEG2規格の符号化処理は可変レート符号化であり、単位時間当りに記録/再生する情報量を異ならせることができる。よって、動きの激しいシーンほど、それに対応するフレーム群を構成するMPEGストリームの転送レートを高くすることによって、高品質の動画再生が可能となる。
【0042】
このようなMPEG2の特徴を利用するために、この実施形態では、図4に示すようなデータフォーマットを用いて、映画などのタイトルをDVDメディア211に記録している。
【0043】
図4に示されているように、1本のタイトルは、ファイル管理情報部とデータ部とから構成されており、データ部は多数のデータブロック(ブロック#0〜#n)を含んでいる。各データブロックの先頭にはDSI(Disk Serh Information)パックがあり、DSIパックから次のDSIパックまでが1つのデータブロックとなる。各DSIパックの記憶位置は、ファイル管理情報部のディスクサーチマップ情報によって管理されている。
【0044】
1つのデータブロックは、ある一定時間例えば、0.5秒の動画再生に必要な15フレーム分の情報を構成するものであり、GOP(Group of picture)に相当する。各データブロックには、ビデオパック(VIDEOパック)、サブピクチャパック(S.Pパック)、およびオーディオパック(AUDIOパック)が多重化されて記録されている。これらビデオパック(VIDEOパック)、サブピクチャパック(S.Pパック)、およびオーディオパック(AUDIOパック)は、それぞれ符号化されたビデオ、サブピクチャ、オーディオのデータ単位である。これらパックのデータサイズは前述のセクタサイズに相当するものであり固定であるが、1つのデータブロックに含ませることができるパック数は可変である。したがって、動きの激しいシーンに対応するデータブロックほど、多数のビデオパックが含まれることになる。
【0045】
ビデオパック、サブピクチャパック、およびオーディオパックは、それぞれヘッダ部とパケット部(ビデオパケット、サブピクチャパケット、オーディオパケット)から構成されている。パケット部は、符号化されたデータそのものである。ヘッダ部は、パックヘッダ、システムヘッダ、パケットヘッダから構成されており、パケットヘッダには、対応するパケットがビデオパケット、サブピクチャパケット、オーディオパケットのいずれであるかを示すストリームIDが登録されている。
【0046】
また、DVDに記録される符号化データに対しては、所定の暗号化アルゴリズムを使用することにより、例えば任意のセクタの符号化データに対してスクランブル処理が施されている。これは、タイトルの不正コピを防止するためである。
【0047】
また、DVDでは、複数のシナリオの中でユーザによって指定されたシナリオに対応するシーン群を選択して再生するマルチストーリー機能、および撮影アングルが異なる複数の映像の中でユーザによって指定されたアングルの映像を選択して再生するマルチアングル機能も有している。
【0048】
これら機能は、マルチストーリーおよびマルチアングルに対応する複数の映像それぞれを例えばデータブロック単位などの単位で多重化しておき、ディスクサーチマップ情報などによって各ストーリまたはアングル別にそのデータブロックの位置及びつながりを管理することなどによって実現されている。
【0049】
次に、図2のシステムの各ユニットについて説明する。
CPU11は、このシステム全体の動作を制御するものであり、システムメモリ(MEM)12に格納されたオペレーティングシステムおよび実行対象のアプリケーションプログラムを実行する。DVD−ROMメディアに記録されたデータの転送及び再生は、CPU11に前述のDVDドライバ群114、DVDアプリケーションプログラム115、およびビデオポートドライバ116を実行させることによって実行される。
【0050】
DVDインタフェース16は、HDDやCD−ROMなどのディスク装置装置をPCIバス10に接続するためのディスクインタフェースであり、この実施形態では、CPU11からの指示に従いDVD−ROMドライブ111との間のデータ転送を行う。DVDインタフェース16には、DVD−ROMドライブ111から読み出されたデータを一時的に保持するためのFIFOバッファ162と、FIFOバッファ162のデータをPCIバス10上に読み出すためのI/Oポート161が設けられている。I/Oポート161はPCIバス10上にI/Oリードトランザクションを発行するバスマスタデバイスによってリード可能なI/Oレジスタから構成されている。
【0051】
オーディオコントローラ17は、CPU11の制御の下にサウンドデータの入出力制御を行うものであり、サウンド出力のために、PCM音源171、FM音源172、マルチプレクサ173、およびD/Aコンバータ174を備えている。マルチプレクサ173には、PCM音源171およびFM音源172からの出力と、DVDデコーダ18から転送されるデジタルオーディオデータが入力され、それらの1つが選択される。
【0052】
デジタルオーディオデータは、DVD−ROMドライブ111から読み出されたオーディオデータをデコードしたものである。DVDデコーダ112からオーディオコントローラ17へのデジタルオーディオデータの転送には、オーディオバス18aが用いられ、PCIバス10は使用されない。従って、コンピュータシステムの性能に影響を与えることなくデジタルオーディオデータの高速転送が可能となる。
【0053】
DVDデコーダ112は、CPU11の制御の下に、DVDインターフェース16からMPEG2プログラムストリームを読み出し、それをビデオ、サブピクチャ、およびオーディオパケットに分離した後、それらをそれぞれデコード処理し同期化して出力する。このDVDデコーダ112は、このコンピュータシステムのシステムボード上に実装されたチップセットによって実現されており、図示のように、マスタトランザクション制御部201、ディスクランブル制御部202、MPEG2デコーダ203、およびI/Oアドレスレジスタ204が設けられている。
【0054】
マスタトランザクション制御部201は、DVDデコーダ112をPCIバス10上にトランザクションを発行するバスマスタ(イニシエータ)として動作させるためのものであり、DVDインターフェース16から動画データを読み出すためのI/Oリードトランザクションを実行する。この場合、I/Oリードトランザクションは、DVDインターフェース16のI/Oポート161を指定するアドレスフェーズとそれに後続する1以上のデータ転送フェーズから構成されており、バースト転送によって動画データを読みとることができる。I/Oポート161を指定するI/Oアドレス値は、CPU11によってI/Oアドレスレジスタ204にセットされる。
【0055】
マスタトランザクション制御部201によって読みとられたMPEG2プログラムストリームは、ディスクランブル制御部202を介して、MPEG2デコーダ203に送られる。ディスクランブル制御部202では、MPEG2プログラムストリームに含まれるスクランブル処理されたデータを解読してそれを元に戻すディスクスクランブル処理が実行される。MPEG2デコーダ203では、MPEG2プログラムストリームからビデオ、サブピクチャ、およびオーディオパケットへの分離処理と、それらのデコード処理が行われる。
【0056】
デコードされたオーディオデータは、前述したようにデジタルオーディオデータとしてオーディオバス18aを介してオーディオコントローラ18aに転送される。デコードされたビデオおよびサブピクチャは合成されて、デジタルYUVデータとしてVGAコントローラ113に送られる。この場合、DVDデコーダ112からVGAコントローラ113へのデジタルYUVデータの転送には、前述したように専用のビデオバス18bが用いられ、PCIバス10は使用されない。従って、デジタルYUVデータの転送についても、デジタルオーディオデータと同様に、コンピュータシステムの性能に影響を与えることなく高速に行うことができる。オーディオバス18aおよびビデオバス18bとしては、ZVポートなどを利用することができる。
【0057】
DVDデコーダ112はNTSCエンコーダ205を内蔵しており、デジタルYUVデータとオーディオデータをNTSC方式のTV信号に変換して外部のTV受像機に出力する機能も有している。
【0058】
VGAコントローラ113は、CPU11の制御の下に、このシステムのディスプレイモニタとして使用されるLCDまたは外部CRTディスプレイを制御するものであり、VGA仕様のテキストおよびグラフィクス表示の他、動画表示をサポートする。
【0059】
このVGAコントローラ113には、図示のように、グラフィックス表示制御回路(Graphics)191、ビデオ表示制御回路192、マルチプレクサ193、およびD/Aコンバータ194等が設けられている。
【0060】
グラフィックス表示制御回路191は、VGA互換のグラフィックスコントローラであり、ビデオメモリ(VRAM)20に描画されたVGAのグラフィクスデータをRGBビデオデータに変換して出力する。ビデオ表示制御回路192は、前述のデジタルビデオ入力ポートとのインターフエースであり、ビデオメモリ(VRAM)20またはビデオ表示制御回路192内のビデオバッファを用いてインターレース/ノンインターレース変換を行う機能、ノンインターレース表示のためのフレームデータに変換されたYUVデータをRGBビデオデータに変換するYUB−RGB変換回路等をもつ。
【0061】
マルチプレクサ193は、グラフィックス表示制御回路191とビデオ表示制御回路192の出力データの一方を選択、またはグラフィックス表示制御回路191からのVGAグラフィクス上にビデオ表示制御回路192からのビデオ出力を合成してLCDに出力する。また、D/Aコンバータ194は、マルチプレクサ194からのビデオデータをアナログRGB信号に変換して、CRTディスプレイに出力する。
【0062】
図5には、DVDデコーダ112を構成するユニット間の具体的な接続関係が示されている。
図5のPCIインターフェースユニット501は前述のマスタトランザクション制御部201、ディスクランブル制御部202、およびI/Oアドレスレジスタ204から構成される。PCIインターフェースユニットによってディスクランブルされたMPEG2プログラムストリームは、MPEG2デコーダ203に入力され、そこでデコードされる。この場合、MPEG2デコーダ203は、MPEG2プログラムストリームに含まれるプログレッシブフラグおよびリピートファーストフィールドフラグを解釈し、その結果に従ってデコード動作を進めるが、プログレッシブフラグおよびリピートファーストフィールドフラグの解釈結果についてはPCIインターフェースユニット501のプログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bにそれぞれセットされる。
【0063】
MPEG2デコーダ203によってデコードされたビデオデータは、NTSCエンコーダ205およびPCIインターフェースユニット501のビデオポート制御回路502に入力される。ビデオポート制御回路502は、MPEG2デコーダ203から出力されるビデオデータをVGAコントローラ113のビデオポートに出力するためのデータ形式に変換するものであり、図1で説明した垂直同期信号Vsync、水平同期信号Hsync、デジタルYUVデータ、プログレッシブフラグ信号、およびリピートファーストフィールドフラグ信号をVGAコントローラ113のビデオポートに出力する。VGAコントローラ113に送られるプログレッシブフラグ信号およびリピートファーストフィールドフラグ信号は、プログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bの内容である。
【0064】
次に、インターレース/ノンインターレース変換制御のための具体的な動作について説明する。
まず、図6を参照して、前述のフィールド画問題を解決するためのインターレース/ノンインターレース変換制御動作について説明する。
【0065】
フィールドデータを表示する場合には、前述したようにVGAコントローラ113の変換モードを補完モードにし、各フィールド画から不足しているライン(偶数フィールドならば奇数ライン、奇数フィールドならば偶数ライン)を補完して一枚のフィールド画から一枚のフレーム画を生成して表示することにより、時差のあるフィールドの合成を避けることができる。しかし、タイトルによってはフレームデータ(プログレッシブデータ)とフィールドデータが混在したものがあり、この場合にはタイトル再生途中で変換モードを単純フィールド合成モードから補完モードにダイナミックに切り替えることが必要となる。この切り替えを行うことにより、フィールドデータをフェダリングなしに表示することができる。以下、この切り替え方法について説明する。
[プログレッシブフラグ信号を使用する場合]
図6においては、フレームデータ(プログレッシブデータ)とフィールドデータの切り替わりと変換モードの切り替わりとの関係が示されている。
【0066】
図6において、Frame No.はデコードする前のフレームデータ(24フレーム/秒)およびフィールドデータ(60フィールド/秒)のフレーム番号を示している。Field No.はデコード後のNTSCに対応したフィールドデータ(60フィールド/秒)のフィールド番号を示している。フィールド番号の添え字(E)は偶数フィールド、(O)は奇数フィールドを示す。
【0067】
フレームデータ(24フレーム/秒)のデコード期間中においてはプログレッシブフラグレジスタ(Prog−Reg)112aは“1”にセットされ、フィールドデータ(60フィールド/秒)のデコードに切り替わるときに、プログレッシブフラグレジスタ(Prog−Reg)112aが“0”にリセットされる。
【0068】
DVDデコーダ112は、MPEG2プログラムストリームに含まれるプログレッシブフラグによってデコード対象のビデオデータがフレームデータかフィールドデータであるかを判別しつつ、ビデオデータのデコードを行う。フレームデータのデコード処理では、3:2プルダウン変換によってフレームレートの調整も行われる。DVDデコーダ112のビデオポート制御回路502は、Vsync,Hsyncと共に、デコード結果であるデジタルYUVデータおよびプログレッシブフラグ信号をVGAコントローラ113のビデオポートに出力する。
【0069】
VGAコントローラ113は、DVDデコーダ112のビデオポート制御回路502から出力されるプログレッシブフラグ信号をVsync毎にサンプリングする。プログレッシブフラグ信号が“1”にアサートされたことを検出すると、VGAコントローラ113は、単純フィールド合成モードを用いてインターレース/ノンインターレース変換を開始する。そして、プログレッシブフラグ信号が“0”にデアサートされたことを検出すると、VGAコントローラ113は、変換モードを補完モードに変更する。
[プログレッシブフラグ信号を使用しない場合]
DVDデコーダ112は、MPEG2プログラムストリームに含まれるプログレッシブフラグによってデコード対象のビデオデータがフレームデータかフィールドデータであるかを判別しつつ、ビデオデータのデコードを行う。フレームデータのデコード処理では、3:2プルダウン変換によってフレームレートの調整も行われる。DVDデコーダ112は、Vsync毎に割り込み信号INTAを発行する。この割り込み信号INTAは、ルータや割り込みコントローラといったハードウェアを介してCPU11に入力される。これにより、DVDドライバ群114の割り込みルーチンが起動される。
【0070】
割り込みルーチンは、DVDデコーダ112のプログレッシブフラグレジスタ(Prog−Reg)112aを参照し、プログレッシブフラグが“1”にセットされていたならばモードセットコマンド(ModeSet)をビデオポートドライバ116に対して発行し、VGAコントローラ113の変換モードを単純フィールド合成モードに設定するように指示する。ビデオポートドライバ116は、VGAコントローラ113に変換モード設定情報を書き込み、変換モードを単純フィールド合成モードに設定する。そして、プログレッシブフラグが“0”にリセットされると、割り込み処理ルーチンはモードセットコマンド(ModeSet)をビデオポートドライバ116に対して発行し、VGAコントローラ113の変換モードを補完モードに切り替えるように指示する。ビデオポートドライバ116は、VGAコントローラ113に変換モード設定情報を書き込み、変換モードを単純フィールド合成モードから補完モードに切り替える。
【0071】
次に、図7を参照して、前述のリピートフィールド問題を解決するためのインターレース/ノンインターレース変換制御動作について説明する。
24フレーム/秒のフレームデータ(プログレッシブデータ)をデコードする場合には、3:2プルダウンという方法によって24フレーム秒のフレームデータが60フィールド/秒のフィールドデータに変換される。この3:2プルダウン変換においては、図7に示されているように、1フレーム目の3つ目のフィールドはリピートフィールドとなり、その1つ目のフィールド(1E)の繰り返しとなり、また3フレーム目の3つ目のフィールドもリピートフィールドであり、その1つ目のフィールド(3O)の繰り返しとなる。
【0072】
単純フィールド合成処理を行う場合に問題となるのは、異なるフレーム番号のフレームデータから生成されたフィールドデータの組み合わせであるので、リピートフィールドを単純フィールド合成処理の対象からスキップさせることにより、リピートフィールド問題を解決することができる。以下、リピートフィールドのスキップ制御方法について説明する。
[リピートファーストフィールドフラグ信号を使用する場合]
DVDデコーダ112は、デコード対象のビデオデータがフレームデータである場合、MPEG2プログラムストリームに含まれるリピートファーストフィールドフラグによってリピートフィールドを生成するタイミングを判別し、3:2プルダウン変換によるフレームレートの調整を行いながらそのビデオデータのデコードを行う。図7においては、説明の簡単のためにリピートファーストフィールドフラグとリピートフィールドの発生タイミングを一致させているが、実際には、リピートファーストフィールドフラグはリピート元となる1番目のフィールドの後半でセットされ、2番目のフィールドの前半でリセットされる。
【0073】
DVDデコーダ112のビデオポート制御回路502は、Vsync,Hsyncと共に、デコード結果であるデジタルYUVデータおよびファーストリピートフィールドブフラグ信号をVGAコントローラ113のビデオポートに出力する。ファーストリピートフィールドブフラグ信号はリピートファーストフィールドフラグレジスタ(Rep−Reg)112bの内容であり、次に出力されるフィールドがリピートフィールドであることを示す。
【0074】
VGAコントローラ113は、DVDデコーダ112のビデオポート制御回路502から出力されるリピートファーストフィールドフラグ信号をVsync毎にサンプリングする。リピートファーストフィールドフラグ信号が“1”にアサートされたことを検出すると、VGAコントローラ113は、次のフィールド、つまりリピートフィールドをキャプチャしない。これにより、リピートフィールドはフィールド合成の対象から除外されることになり、同一フレーム番号内の2枚のフィールド同士の組み合わせだけで単純フィールド合成処理が行われる。
【0075】
すなわち、VGAコントローラ113は、図示のように、まず、1フレーム目の第1フィールド(1E)と第2フィールド(1O)によって1枚のフレームを生成する。次いで、リピートフィールドである1フレーム目の第3フィールド(1E)についてはそのデータを取り込まず、2フレーム目の第1フィールドおよび第2フィールド(2O,2E)によって2枚目のフレームを生成する。このようにして、リピートフィールドをスキップすることによりフェダリングのない画面を得ることができる。
【0076】
割り込みルーチンは、DVDデコーダ112のリピートファーストフィールドフラグ112bを参照し、リピートファーストフィールドフラグが“1”にセットされていたならばドロップフィールドコマンド(Drop Field)をビデオポートドライバ116に対して発行する。ビデオポートドライバ116は、VGAコントローラ113にビデオデータキャプチャ禁止情報を書き込み、次のフィールドデータをキャプチャしないように指示する。
【0077】
次に、図7のフローチャートを参照して、DVDデコーダ112からの割り込み信号によって起動される割り込み処理ルーチンの動作について説明する。
割り込み処理ルーチンは、まず、プログレッシブフラグレジスタ(Prog−Reg)112aおよびリピートファーストフィールドフラグレジスタ(Rep−Reg)112bをリードし、リピートファーストフィールドフラグが“1”にセットされているか否かを調べる(ステップS101)。リピートファーストフィールドフラグが“1”であれば、割り込み処理ルーチンはドロップフィールドコマンドを発行し、次のフィールドデータをキャプチャしないように指示する(ステップS103)。次いで、プログレッシブフラの値“1”,“0”を判断し、“1”であればモードセットコマンドによって単純合成モードを指示し、“0”であればモードセットコマンドによって補完モードを指示する(ステップS104,S105,S106)。
【0078】
図9には、リピートフィールド問題を解決するために必要なDVDデコーダ112の第2の構成例が示されている。この構成は、本発明の最も特徴とする部分である。
【0079】
図示のように、PCIインターフエースユニット501のビデオポート制御回路502の出力段には、マスク回路503が設けられている。このマスク回路503は、ビデオポート制御回路502から出力されるVsync,hsyncをマスクするためのものであり、リピートファーストフィールドフラグレジスタ(Rep−Reg)112bの値によって制御される。
【0080】
すなわち、マスク回路503においては、ビデオポート制御回路502から出力されるVsync毎にリピートファーストフィールドフラグレジスタ(Rep−Reg)112bの値が入力され、リピートファーストフィールドフラグ=“1”であれば、次のフィールドに対応するVsyncおよびHsyncをマスクする。そして、その次のVsyncがきたら自動的にマスクを解除する。
【0081】
基本的に、VsyncおよびHsyncはVGAコントローラ113がビデオポートからビデオデータをキャプチャするためのスタート信号として用いられるものであるため、VsyncおよびHsyncをマスクすると、その時のデータはキャプチャされない。したがって、マスク回路503によってリピートフィールドに対応するVsyncおよびHsyncをマスクすることにより、リピートフィールドを取り除き、時差のあるフィールドの組み合わせの発生を防止することができる。この様子を図10に示す。
【0082】
図10においては、1フレーム目の第3フィールド(1E)がリピートフィールドであり、それに対応するVsyncおよびそれに後続する全てのHsyncがマスク回路503によってマスクされる。これにより、リピートフィールドである1フレーム目の第3フィールド(1E)はVGAコントローラ113にキャプチャされずにスキップされることになる。その次のVsyncからは自動的にマスクが解除されるため、2フレーム目の第1フィールド(2O)は通常通りVGAコントローラ113にキャプチャされ、フィールド合成処理に用いられる。
【0083】
このように、図9の構成では、リピートファーストフィールドフラグ信号や割り込み信号を使用する代わりに、VsyncおよびHsyncのマスクによってリピートフィールドをフィールド合成処理から除外させる構成を採用しており、特別な信号線などを設けることなく、リピートフィールド問題を解決することができる。
【0084】
また、ここでは、Vsyncだけでなく、リピートフィールド発生期間に対応する全てのHsyncをマスクしたが、これはフレームバッファ上のオフスクリーンエリアやビデオ以外の他の表示画面エリアに誤ってビデオデータが書き込まれることを防止するためである。
【0085】
以上のように、この実施形態においては、DVDデコーダ112自体にデコード対象のビデオデータ構造(フレーム/フィールド)の通知やリピートフィールドのスキップを指示するための機能を持たせているので、ビデオストリームがスクランブルされていてもそのストリーム内のフラグを用いて前述の機能を実現でき、コピープロテクト機能に影響を及ぼすことなく、時差のあるフィールドの合成を効率よく防止することが可能となる。特に、Vsync,Hsyncのマスクによってリピートフィールド問題を解決することにより、簡単なハードウェアの追加のみでディスプレイモニタ上におけるビデオの表示品質を高めることができる。
【0086】
【発明の効果】
以上説明したように、この発明によれば、Vsync,Hsyncのマスク制御によってリピートフィールドをスキップさせることにより、時差のあるフィールド同士の合成を防止できるようになり、簡単なハードウェア構成の追加のみでコンピュータのディスプレイモニタ上でフェダリングのない滑らかな画像を再生することが可能となる。
【図面の簡単な説明】
【図1】この発明の一実施形態に係るコンピュータシステムの基本構成を示すブロック図。
【図2】同実施形態のシステムの具体的なハードウェア構成を示すブロック図。
【図3】同実施形態のシステムで使用されるDVD−ROMドライブの構成を示す図。
【図4】同実施形態のシステムで使用される動画データの記録形式の一例を示す図。
【図5】同実施形態のシステムで使用されるDVDデコーダ内のユニット間の接続関係を示す図。
【図6】同実施形態のシステムにおけるインターレース/ノンインターレース変換モード切り替え動作を示すタイミングチャート。
【図7】同実施形態のシステムにおけるリピートフィールドスキップ制御動作を示すタイミングチャート。
【図8】同実施形態のシステムで使用されるソフトウェアによって実行されるインターレース/ノンインターレース変換モードの切り替えおよびリピートフィールドスキップ制御処理の手順を示すフローチャート。
【図9】同実施形態のシステムで使用されるDVDデコーダの第2の構成例を示すブロック図。
【図10】図9のDVDデコーダを用いたリピートフィールドスキップ制御動作を示すタイミングチャート。
【図11】従来のインターレース/ノンインターレース変換動作を説明するためのタイミングチャート。
【符号の説明】
111…DVD−ROMドライブ
112…DVDデコーダ
112a…プログレッシブフラグレジスタ(Prog−Reg)
112b…リピートファーストフィールドフラグレジスタ(Rep−Reg)
113…VGAコントローラ
114…DVDドライバ群
115…DVDアプリケーションプログラム
116…ビデオポートドライバ
502…ビデオポート制御回路
503…マスク回路
Claims (3)
- デジタル圧縮符号化されたビデオデータ列を復号する復号手段と、
前記復号手段が出力するインターレース表示用のビデオデータを入力するビデオポートを有し、連続して入力される2つのフィールドを合成するフィールド合成処理を実行してノンインターレース表示用のフレームを生成する第1の表示モード、および各フィールド毎に不足している奇数または偶数ラインを補間してノンインターレース表示用のフレームを生成する第2の表示モードのいずれか一方の表示モードを用いて、前記ビデオポートから取り込んだインターレース表示用のビデオデータをノンインターレース表示用のビデオデータに変換してディスプレイモニタに表示するディスプレイコントローラと、
前記復号手段によって復号化されるビデオデータの構造が、フィールドデータであるか、リピートフィールドの生成を伴う3:2プルダウン変換が必要なフレームデータであるかを判別し、前記復号手段によって復号化されるビデオデータの構造がフィールドデータである場合は前記第2の表示モードが用いられ、前記復号手段によって復号化されるビデオデータの構造が前記フレームデータである場合は前記第1の表示モードが用いられるように、前記判別結果に基づいて前記ディスプレイコントローラが使用する表示モードを切り替える手段と、
前記復号手段が復号したビデオデータが3:2プルダウン変換によって生成されるリピートフィールドである場合、前記ディスプレイコントローラの前記ビデオポートに入力される垂直同期信号および水平同期信号をマスクして前記リピートフィールドを前記フィールド合成処理から除外する手段とを具備することを特徴とするコンピュータシステム。 - 前記ビデオデータ列には、前記復号手段の3:2プルダウン変換を制御するための情報としてリピートフィールドの発生を指示するリピートフィールド情報が含まれており、
前記復号手段は、
前記リピートフィールド情報に従ってリピートフィールドを生成する手段と、
前記リピートフィールド情報に従って、前記ディスプレイコントローラのビデオポートに入力する垂直同期信号および水平同期信号のマスクを制御する手段とを具備することを特徴とする請求項1記載のコンピュータシステム。 - デジタル圧縮符号化されたビデオデータ列を復号する復号手段と、前記復号手段が出力するインターレース表示用のビデオデータを入力するビデオポートを有し、連続して入力される2つのフィールドを合成するフィールド合成処理を実行してノンインターレース表示用のフレームを生成する第1の表示モード、および各フィールド毎に不足している奇数または偶数ラインを補間してノンインターレース表示用のフレームを生成する第2の表示モードのいずれか一方の表示モードを用いて、前記ビデオポートから取り込んだインターレース表示用のビデオデータをノンインターレース表示用のビデオデータに変換してディスプレイモニタに表示するディスプレイコントローラとを含むコンピュータシステムに適用される表示制御方法であって、
前記復号手段によって復号化されるビデオデータの構造が、フィールドデータであるか、リピートフィールドの生成を伴う3:2プルダウン変換が必要なフレームデータであるかを判別し、前記復号手段によって復号化されるビデオデータの構造がフィールドデータである場合は前記第2の表示モードが用いられ、前記復号手段によって復号化されるビデオデータの構造が前記フレームデータである場合は前記第1の表示モードが用いられるように、前記判別結果に基づいて前記ディスプレイコントローラが使用する表示モードを切り替えるステップと、
前記復号手段が復号したビデオデータが3:2プルダウン変換によって生成されるリピートフィールドである場合、前記ディスプレイコントローラの前記ビデオポートに入力される垂直同期信号および水平同期信号をマスクして前記リピートフィールドを前記フィールド合成処理から除外するステップとを具備することを特徴とする表示制御方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12739897A JP4101902B2 (ja) | 1997-05-16 | 1997-05-16 | コンピュータシステムおよび表示制御方法 |
| US09/076,726 US6441813B1 (en) | 1997-05-16 | 1998-05-13 | Computer system, and video decoder used in the system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12739897A JP4101902B2 (ja) | 1997-05-16 | 1997-05-16 | コンピュータシステムおよび表示制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPH10322663A JPH10322663A (ja) | 1998-12-04 |
| JPH10322663A5 JPH10322663A5 (ja) | 2005-04-07 |
| JP4101902B2 true JP4101902B2 (ja) | 2008-06-18 |
Family
ID=14959014
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12739897A Expired - Fee Related JP4101902B2 (ja) | 1997-05-16 | 1997-05-16 | コンピュータシステムおよび表示制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4101902B2 (ja) |
-
1997
- 1997-05-16 JP JP12739897A patent/JP4101902B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10322663A (ja) | 1998-12-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6441813B1 (en) | Computer system, and video decoder used in the system | |
| US6297797B1 (en) | Computer system and closed caption display method | |
| EP1230795B1 (en) | Eliminating picture format artifacts in mpeg trick modes | |
| US8391691B2 (en) | High-resolution optical disk for recording stereoscopic video, optical disk reproducing device, and optical disk recording device | |
| JP4370172B2 (ja) | 映像トリックモードの間に字幕情報を表示するための方法及びシステム | |
| JPH11133935A (ja) | 表示制御装置および動画像復号化装置 | |
| US6363207B1 (en) | Method and apparatus for a virtual system time clock for digital audio/video processor | |
| JP4008580B2 (ja) | 表示制御装置およびインターレースデータ表示制御方法 | |
| JP2011130508A (ja) | テキスト基盤の字幕情報を含む記録媒体、再生装置及びその再生方法 | |
| JP2000152179A (ja) | 映像データ再生方法、映像データ再生装置、映像データ記録方法及び映像データ記録装置 | |
| JPH10304309A (ja) | 信号再生装置及び方法 | |
| JP3512969B2 (ja) | サブピクチャ表示装置 | |
| JPH10143437A (ja) | コンピュータシステムおよび動画像転送方法 | |
| JP3284080B2 (ja) | コンピュータシステムおよびそのシステムで用いられるビデオデコーダ | |
| JPH11184449A (ja) | 表示制御装置およびコンピュータシステム並びに動画表示制御方法 | |
| JP2010161808A (ja) | 記録媒体及びプログラムが記録された記録媒体 | |
| JPH10145735A (ja) | 復号装置および画像/音声再生方法 | |
| JP4101902B2 (ja) | コンピュータシステムおよび表示制御方法 | |
| JP3135808B2 (ja) | コンピュータシステムおよびこのコンピュータシステムに適用されるカード | |
| CN1088957C (zh) | 重放数字视盘的视频信号的装置及其方法 | |
| JP2000036940A (ja) | コンピュータシステムおよびデコーダ装置 | |
| JP2006049988A (ja) | デジタルデータ記録再生装置 | |
| JP3436818B2 (ja) | コンピュータシステムおよび動画再生方法 | |
| JP6742515B2 (ja) | 符号化映像再生装置および符号化映像再生方法 | |
| JP2001320673A (ja) | コンピュータシステムおよび動画再生方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040517 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040517 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071130 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080318 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080321 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110328 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |