Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3337066B2 - Mpegデータ処理装置 - Google Patents
[go: Go Back, main page]

JP3337066B2 - Mpegデータ処理装置 - Google Patents

Mpegデータ処理装置

Info

Publication number
JP3337066B2
JP3337066B2 JP10565899A JP10565899A JP3337066B2 JP 3337066 B2 JP3337066 B2 JP 3337066B2 JP 10565899 A JP10565899 A JP 10565899A JP 10565899 A JP10565899 A JP 10565899A JP 3337066 B2 JP3337066 B2 JP 3337066B2
Authority
JP
Japan
Prior art keywords
picture
address
data
interval
mpeg data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP10565899A
Other languages
English (en)
Other versions
JP2000299855A (ja
Inventor
裕隆 中野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP10565899A priority Critical patent/JP3337066B2/ja
Priority to US09/547,198 priority patent/US6674909B1/en
Publication of JP2000299855A publication Critical patent/JP2000299855A/ja
Application granted granted Critical
Publication of JP3337066B2 publication Critical patent/JP3337066B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はMPEG(Moving P
icture Experts Group)を高速に処理する処理装置に関
する。
【0002】
【従来の技術】一般に、画像情報圧縮技術であるMPE
G(Moving Picture Experts Group)では、画像にIピ
クチャ、Pピクチャ、及びBピクチャという三つのタイ
プを規定している。そして、Iピクチャはフレーム内符
号化画像、Pピクチャはフレーム間順方向予測符号化画
像、Bピクチャは双方向予測符号化画像である。
【0003】図2にIピクチャ、Pピクチャ、及びBピ
クチャの相互関係を示す。Iピクチャはフレーム間予測
を使わずに生成される。Pピクチャは直前のIまたはP
ピクチャからの予測を行うことによって生成される。B
ピクチャは前後の2つのIまたはPピクチャからの予測
を行うことによって生成される。
【0004】画像再生において、早送り等を行う場合に
は、処理の高速化をはかるために、IまたはPピクチャ
のみをデコードして、Bピクチャをスキップするといっ
た手法が用いられる。
【0005】上述の場合には、可能な限り処理時間を短
くしたいところであるが、MPEGでは、各フレームで
情報圧縮率が異なる関係上、IピクチャまたはPピクチ
ャの間隔が一定ではない。つまり、図3に示す次のIま
たはPピクチャまでの間隔X1、X2、X3、X4、X
5は異なる。このため、従来、MPEGデータを処理す
る際には、全てのデータについて、IピクチャまたはP
ピクチャをサーチする必要がある。
【0006】ここで、IまたはPピクチャをサーチする
手法について、図4を参照して説明する。図4はMPE
Gビデオデータのデコード処理の全体ブロック図であ
り、IまたはPピクチャサーチ部101でMPEGビデ
オデータのIまたはPピクチャデータを抽出する。この
抽出されたデータは、VLD102で可変長復号され
て、逆量子化器103で逆量子化される。そして、この
逆量子化データは、IDCT104で周波数領域から空
間領域に変換されて元の画像になる。
【0007】図5を参照して、従来のIまたはPピクチ
ャサーチ部101について詳細に説明する。
【0008】MPEGビデオデータ1は、アドレスレジ
スタ2に格納されたアドレスに従ってバッファ4に順次
読み出される。読み出されたデータはIPピクチャ検出
部5で特定のビットパターンと比較され、IまたはPピ
クチャか否かが判定される。もしIまたはPピクチャで
あれば、データ出力部6からデータとして出力される。
アドレス制御部3は、読み出したデータ量だけアドレス
をインクリメントして次のアドレスを生成し、アドレス
レジスタ2に格納する。
【0009】このようにして、従来のMPEGデータ処
理装置では、IまたはPピクチャのデータのみが必要な
場合でも、すべてのデータを順次読み出している。
【0010】
【発明が解決しようとする課題】上述のように、従来の
MPEGデータ処理装置では、IまたはPピクチャのデ
ータのみが必要な場合でも、すべてのデータを順次読み
出さなければならず、結果的にMPEGデータの処理が
遅くなってしまうという問題点がある。
【0011】本発明の目的はMPEGデータを高速に処
理することのできる処理装置を提供することにある。
【0012】
【課題を解決するための手段】本発明によれば、MPE
データを格納してアドレスに応じて読み出すバッファ
と、該読み出されたMPEGデータからIまたはPピク
チャを検出するIPピクチャ検出部と、前回のIまたは
Pピクチャと現在のIまたはPピクチャとの間隔を求め
るIPピクチャ間隔保持部と、現在のIまたはPピクチ
ャのアドレス値に前記IPピクチャ間隔を加算し、さら
に所定値を減算することによって、次のIまたはPピク
チャアドレスの予測値を計算する次IPピクチャアドレ
ス計算部と、該アドレス予測値から次のIまたはPピク
チャの読み出し終了まで前記バッファの読み出しアドレ
スを生成するアドレス制御部とを備えることを特徴とす
るMPEGデータ処理装置が得られる。
【0013】例えば、本発明では、MPEGデータはア
ドレスレジスタに格納されたアドレスに従ってバッファ
に読み出される。読み出されたデータはIPピクチャ検
でIまたはPピクチャを示す特定のビットパターン
と比較されてIまたはPピクチャか否かが判定される。
もしIまたはPピクチャであればデータ出力からデー
タが出力される。IPピクチャ検出部でIまたはPピク
チャが検出されると、その情報はIPピクチャ間隔保持
部にも送られる。IPピクチャ間隔保持部では前回のI
またはPピクチャ検出時のアドレスと現在のアドレスと
の差分からIまたはPピクチャの間隔(推定間隔)を求
める。次IPピクチャアドレス計算部では、現在のアド
レスと推定間隔とに応じて次のIまたはPピクチャのア
ドレスを算出アドレスとして計算してアドレス制御部に
送出する。アドレス制御部は、通常は読み出したデータ
量だけアドレスをインクリメントして次のアドレスを生
成し、アドレスレジスタに格納する。一方、IまたはP
ピクチャが検出されると、アドレス制御部は算出アドレ
スをアドレスレジスタに格納する。
【0014】このようにして、すべてのデータを順次読
み出すことなくIまたはPピクチャデータのみをサーチ
することができることになる。
【0015】
【発明の実施の形態】以下本発明について図面を参照し
て説明する。なお、本発明によるMPEGデータ処理装
置では、図4に示すMPEGデータ処理装置のIまたは
Pピクチャサーチ部を除いて他の構成要素は同一である
ので、以下IまたはPピクチャサーチ部についてのみ説
明する。
【0016】図1を参照して、図示のMPEGデータ処
理装置は図1に示すIまたはPピクチャサーチ部を備え
ており、このIまたはPピクチャサーチ部は、アドレス
レジスタ2、アドレス制御部3、バッファ4、IPピク
チャ検出部5、データ出力部6、次IPピクチャアドレ
ス計算部7、及びIPピクチャ間隔保持部8を備えてい
る。アドレスレジスタ2にはMPEGビデオデータ1の
読み出しアドレスが格納され、読み出されたデータはバ
ッファ4に格納される。IPピクチャ検出部5ではバッ
ファ4のデータがIまたはPピクチャであるか否かを判
定する。データ出力部6ではデータがIまたはPピクチ
ャであるとデータを出力する。IPピクチャ間隔保持部
8にはIまたはPピクチャの間隔が保持されており、次
IPピクチャアドレス計算部7では、IPピクチャ間隔
保持部8に保持された値(間隔)とアドレスレジスタ2
に保持された現在のアドレスとに基づいて次のIまたは
Pピクチャのアドレスを計算する。アドレス制御部3は
通常状態では、読み出したデータ量だけアドレスをイン
クリメントして次のアドレスを生成するが、IまたはP
ピクチャが検出されると次IPピクチャアドレス計算部
7で計算されたアドレスをアドレスレジスタ2に格納す
る。
【0017】ここで、図1に示すMPEGデータ処理装
置の動作について詳細に説明する。
【0018】MPEGビデオデータ1はアドレスレジス
タ2に格納されたアドレスに従ってバッファ4に読み出
される。読み出されたデータは、IPピクチャ検出部5
でIまたはPピクチャを示す特定のビットパターンと比
較され、読み出しデータがIまたはPピクチャか否かが
判定される。読み出しデータがIまたはPピクチャであ
ると、IPピクチャ検出部5は検出信号(検出情報)を
送出し、この検出信号に応じてデータ出力部6からデー
タが出力データとして出力される。
【0019】さらに、IPピクチャ検出部5でIまたは
Pピクチャが検出されると、検出情報はIPピクチャ間
隔保持部8にも送られる。この検出情報に応答して、I
Pピクチャ間隔保持部8では次のようにしてIまたはP
ピクチャの間隔を求める。
【0020】最初のIまたはPピクチャが検出された際
のアドレスレジスタ2の値(アドレス値)が、IPピク
チャ間隔保持部8に保持される。次のIまたはPピクチ
ャが検出されると、IPピクチャ間隔保持部8では、現
在のアドレスレジスタ2のアドレス値と前のIまたはP
ピクチャ検出時のアドレス値(保持アドレス値)との差
分を求めて、この差分からIまたはPピクチャの間隔を
求める。つまり、この差分をIまたはPピクチャの間隔
とする。そして、次回の間隔を求めるために、IPピク
チャ間隔保持部8は、現在のアドレスレジスタ2のアド
レス値を保持する。
【0021】前述のようにして求められたIまたはPピ
クチャの間隔は、次IPピクチャアドレス計算部7に与
えられる。次IPピクチャアドレス計算部7では、アド
レスレジスタ2に格納されている現在のアドレス値とI
Pピクチャ間隔保持部8で求めたIまたはPピクチャの
間隔とから次のIまたはPピクチャのアドレス値を計算
して、算出アドレス値としてアドレス制御部3に送出す
る。この際、予め定められた値(図示せず)を引いて算
出アドレス値を計算する。これは、単純に加算しただけ
では次のIまたはPピクチャ間隔が短い場合に追い越し
てしまうのを防ぐためである。
【0022】アドレス制御部3は、次IPピクチャアド
レス計算部7で求められたIPピクチャアドレス予測値
から、読み出したデータ量だけアドレスをインクリメン
する通常の方法でアドレスレジスタ2にアドレスを供
給して、MPEGビデオデータ1からバッファ4に読み
出すように制御し、バッファ4に格納されたデータから
IPピクチャ検出部5でIまたはPピクチャが検出され
たときは、そのIPピクチャの出力終了時、再び次IP
ピクチャアドレス予測値にスキップして、アドレス
ンクリメントする制御を繰り返して行う。
【0023】このようにして、全てのデータを順次読み
出すことなくIまたはPピクチャデータのみをサーチす
ることができることになる。
【0024】なお、IPピクチャ間隔保持部8において
IまたはPピクチャの間隔を求める際、保持アドレス値
と現在のアドレス値の2つのアドレスの差分からIまた
はPピクチャの間隔を求めるようにしたが、それに限定
されるものではなく、他の手法でIまたはPピクチャの
間隔を求めるようにしてもよい。例えば、カウンタを用
いて、IまたはPピクチャが検出されるとカウンタをリ
セットして、リセットされるまでのデータ量を計数し
て、この計数データ量に応じてIまたはPピクチャの間
隔を求めるようにしてもよい。つまり、カウンタのカウ
ント値をIまたはPピクチャの間隔とするようにしても
よい。
【0025】また、上述の説明では、次IPピクチャア
ドレス計算部7でIまたはPピクチャの間隔を計算する
際、予め定められた値を差し引くようにしたが、予め次
IPピクチャアドレス計算部7に所定の値を設定するの
ではなく、外部から次IPピクチャアドレス計算部7に
必要に応じて設定値を設定するようにしてもよい。この
場合には、状況に応じて外部から設定値を変更すること
ができ、さらに細かな制御が可能となる。
【0026】
【発明の効果】以上説明したように、本発明では、全て
のデータをサーチすることなくIまたはPピクチャサー
チを行うことができ、その結果、MPEGデータの処理
を高速に行うことができるという効果がある。
【図面の簡単な説明】
【図1】本発明によるMPEGデータ処理装置において
IまたはPピクチャをサーチする際に用いられるサーチ
部の例を示すブロック図である。
【図2】I、P、Bの各ピクチャの関係を示す図であ
る。
【図3】I、P、Bの各ピクチャのデータ量の一例を示
す図である。
【図4】MPEGデータ処理装置を示すブロック図であ
る。
【図5】従来のMPEGデータ処理装置で用いられるサ
ーチ部を示すブロック図である。
【符号の説明】 1 MPEGビデオデータ 2 アドレスレジスタ 3 アドレス制御部 4 バッファ 5 IPピクチャ検出部 6 データ出力部 7 次IPピクチャアドレス計算部 8 IPピクチャ間隔保持部 101 IまたはPピクチャサーチ部 102 VLD 103 逆量子化器 104 IDCT

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 MPEGデータを格納してアドレスに応
    じて読み出すバッファと、 該読み出されたMPEGデータからIまたはPピクチャ
    を検出するIPピクチャ検出部と、 前回のIまたはPピクチャと現在のIまたはPピクチャ
    との間隔を求めるIPピクチャ間隔保持部と、 現在のIまたはPピクチャのアドレス値に前記IPピク
    チャ間隔を加算し、さらに所定値を減算することによっ
    て、次のIまたはPピクチャアドレスの予測値を計算す
    る次IPピクチャアドレス計算部と、 該アドレス予測値から次のIまたはPピクチャの読み出
    し終了まで前記バッファの読み出しアドレスを生成する
    アドレス制御部とを備える ことを特徴とするMPEGデ
    ータ処理装置。
  2. 【請求項2】 前記IPピクチャ間隔保持部が、現在の
    IまたはPピクチャのアドレス値から前回のIまたはP
    ピクチャのアドレス値を減算して前記IPピクチャ間隔
    を求めることを特徴とする請求項1記載のMPEGデー
    タ処理装置。
  3. 【請求項3】 前記IPピクチャ間隔保持部が、前回の
    IまたはPピクチャのアドレスから現在のIまたはPピ
    クチャのアドレスまでのデータ量をカウントして前記I
    Pピクチャ間隔を求めることを特徴とする請求項1記載
    MPEGデータ処理装置。
  4. 【請求項4】 前記所定値が、外部から設定されるもの
    であることを特徴とする請求項1乃至3のいずれか1つ
    に記載のMPEGデータ処理装置。
JP10565899A 1999-04-13 1999-04-13 Mpegデータ処理装置 Expired - Fee Related JP3337066B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP10565899A JP3337066B2 (ja) 1999-04-13 1999-04-13 Mpegデータ処理装置
US09/547,198 US6674909B1 (en) 1999-04-13 2000-04-12 MPEG data processing apparatus comprising an arrangement for estimating an interval between particular picture data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10565899A JP3337066B2 (ja) 1999-04-13 1999-04-13 Mpegデータ処理装置

Publications (2)

Publication Number Publication Date
JP2000299855A JP2000299855A (ja) 2000-10-24
JP3337066B2 true JP3337066B2 (ja) 2002-10-21

Family

ID=14413550

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10565899A Expired - Fee Related JP3337066B2 (ja) 1999-04-13 1999-04-13 Mpegデータ処理装置

Country Status (2)

Country Link
US (1) US6674909B1 (ja)
JP (1) JP3337066B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4549310B2 (ja) * 2006-04-26 2010-09-22 三菱電機株式会社 デジタル放送蓄積再生装置
WO2018086683A1 (en) * 2016-11-09 2018-05-17 Renesas Electronics Corporation Communications network controller module

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5146325A (en) * 1991-04-29 1992-09-08 Rca Thomson Licensing Corporation Video signal decompression apparatus for independently compressed even and odd field data
US5212549A (en) * 1991-04-29 1993-05-18 Rca Thomson Licensing Corporation Error concealment apparatus for a compressed video signal processing system
JP2773594B2 (ja) 1993-03-17 1998-07-09 日本ビクター株式会社 高能率符号化された動画像情報から早送り,早戻し画像を再生する再生方法
US5610841A (en) * 1993-09-30 1997-03-11 Matsushita Electric Industrial Co., Ltd. Video server
JP3568227B2 (ja) 1994-02-14 2004-09-22 三洋電機株式会社 圧縮動画像データ記録媒体とその再生装置
JP2985703B2 (ja) 1995-01-19 1999-12-06 日本ビクター株式会社 画像圧縮記録媒体再生装置
KR100223163B1 (ko) 1995-12-11 1999-10-15 윤종용 배속재생을 위한 디스크포맷 및 이를 이용한 동화상데이타의 배속재생방법 및 그장치
KR0185932B1 (ko) 1995-12-11 1999-04-15 김광호 고속재생을 위한 비디오데이타 복호방법 및 그 장치
JP3253530B2 (ja) 1996-07-24 2002-02-04 三洋電機株式会社 動画像記録装置
JPH1066021A (ja) 1996-08-20 1998-03-06 Toshiba Corp 画像圧縮データの記録方法
US6282240B1 (en) * 1997-09-03 2001-08-28 Oki Electric Industry Co., Ltd. Picture coder, picture decoder, and transmission system

Also Published As

Publication number Publication date
US6674909B1 (en) 2004-01-06
JP2000299855A (ja) 2000-10-24

Similar Documents

Publication Publication Date Title
US6014095A (en) Variable length encoding system
US5754233A (en) Compression encoding apparatus and recording apparatus for compressionencoded data
US5739862A (en) Reverse playback of MPEG video
JPH08214260A (ja) 符号化データの特殊再生方法および特殊再生装置
JP3337066B2 (ja) Mpegデータ処理装置
CN100553342C (zh) 移动检测装置
CN101090492A (zh) 用于再现压缩编码视频数据流的方法和设备
JP2000217109A (ja) 動画像再生装置及び再生方法
JP2000032474A (ja) 動画像符号化装置
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP2006270683A (ja) 符号化装置と方法
US20040109679A1 (en) Method and apparatus for writing data by calculating addresses, and digital camera utilizing the same
JPH10322704A (ja) ビットストリームデータ復号装置
JP2001238182A (ja) 画像再生装置および画像再生方法
KR20100091614A (ko) 키프레임 정지영상 저장 및 재생 장치 및 그 동작 방법
CN100474914C (zh) 控制数字视频数据的比特率的方法和装置
JP2868045B2 (ja) 動画像信号符号化装置
US6542542B1 (en) I picture search apparatus and method
JP2003087732A (ja) 映像再生装置
JP2000115762A (ja) 監視装置
US20050207489A1 (en) Signal processing apparatus
US6898242B2 (en) Moving picture high-speed coder and moving picture high-speed coding method
JPH10164596A (ja) 動き検出装置
JP2002374537A (ja) デコード装置及び方法
JP2000050278A (ja) 動きベクトル算出方法及び動きベクトル算出プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020710

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070809

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080809

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090809

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100809

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110809

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120809

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130809

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees