JP3804764B2 - Motion compensated prediction singular value expansion coding apparatus - Google Patents
Motion compensated prediction singular value expansion coding apparatus Download PDFInfo
- Publication number
- JP3804764B2 JP3804764B2 JP2001115672A JP2001115672A JP3804764B2 JP 3804764 B2 JP3804764 B2 JP 3804764B2 JP 2001115672 A JP2001115672 A JP 2001115672A JP 2001115672 A JP2001115672 A JP 2001115672A JP 3804764 B2 JP3804764 B2 JP 3804764B2
- Authority
- JP
- Japan
- Prior art keywords
- svd
- image
- motion
- orthogonal transform
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000006243 chemical reaction Methods 0.000 claims description 19
- 238000001514 detection method Methods 0.000 claims description 17
- 238000013139 quantization Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 description 9
- 238000000034 method Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、動き補償予測特異値展開符号化装置に関し、特に動画像を高効率に符号化することのできる動き補償予測特異値展開符号化装置に関する。
【0002】
【従来の技術】
従来は、動画像の符号化装置として、動き補償予測とDCTを組み合わせたハイブリッド符号化方式が多用されている。図4に、MPEGやH.263等で規格化された符号化装置の一例を示す。
【0003】
テレビカメラ等から入力された画像は、動き検出部31においてフレームメモリ39に記憶された1フレーム前の画像との間で、ブロック単位で動き検出が行われる。動き検出方法としては、フレーム間の誤差の2乗和が最小となる変位を動きベクトルとする方法、画素値の時空間の勾配から求める方法、あるいはFFTから求める方法等が知られている。動き補償予測部40は、前記動き検出部31で得られた動きベクトルを用いて、前フレームの画像から入力画像に対応した予測画像をブロック単位に予測する。
【0004】
減算部32には、前記入力画像と、動き補償予測部40から出力された予測画像とが入力し、該減算部32は該入力画像から予測画像を減算し予測誤差を出力する。該DCT部33は入力してきた予測誤差にDCTを施して、DCT係数を得る。量子化部34は該DCT係数に量子化を施し、エントロピー符号化部35は該量子化されたDCT係数に対してエントロピー符号化を施す。該エントロピー符号化されたデータは、伝送または蓄積装置に蓄積される。
【0005】
また、前記量子化されたDCT係数は、逆量子化部36に入力して逆量子化され、次いで逆DCT部37で逆DCTを施される。該逆DCTされた信号は前記動き補償予測部40からの予測画像と、加算部38で加算されることにより復号され、フレームメモリ39に記憶される。
【0006】
【発明が解決しようとする課題】
しかしながら、前記の符号化装置は、効率の良い符号化を行うことはできるが、特に低ビットレート符号化時において、画質の改善の立場からさらなる効率改善が求められている。
【0007】
本発明は、前記した従来技術に鑑みてなされたものであり、その目的は、従来の符号化装置よりももっと高効率の符号化ができる適応直交変換符号化装置を提供することにある。
【0008】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、現画像のブロックと前画像の予め定められた複数の候補予測画像ブロック間の予測誤差を前記候補予測画像ブロックから得られるSVDを用いてSVD変換し、該SVD変換した結果を量子化・エントロピー符号化して符号量を求め、該符号量が最小の前記候補予測画像ブロックに対するSVD変換基底と動きベクトルMVを求めるSVD動き検出部と、現画像と前記動きベクトルMVで動き補償された予測画像との差分である予測誤差を、前記SVD動き検出部で求められたSVD変換基底を用いて直交変換するSVD直交変換部と、該SVD直交変換部による変換結果を量子化・エントロピー符号化する手段とを具備した点に特徴がある。
【0009】
この特徴によれば、従来のDCTに代えてより符号化効率の高いSVD直交変換をすることができ、かつ該SVD直交変換に使用したSVD変換基底を受信側に送る必要がないので、従来の符号化装置よりもより高効率の符号化をできるようになる。
【0010】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図1は、本発明の一実施形態の構成を示すブロック図である。
【0011】
図において、SVD動き検出部1には、入力画像がブロック単位(以下、入力画像ブロックAと呼ぶ)で入力し、また、フレームメモリ10から1フレーム前の予測画像がブロック単位(以下、予測画像ブロックBと呼ぶ)で入力する。該SVD動き検出部1の機能の詳細は後述するが、SVD動き検出部1は、入力画像ブロックAと予測画像ブロックBとの間でSVD(特異値展開)を用いた動き検出を行う。該SVD動き検出部1からは、動きベクトルMVと、該動きベクトルMVに対するSVD変換基底とが出力される。該動きベクトルMVは動き補償予測部2と受信側に送られ、一方該SVD変換基底はSVD直交変換部4と逆SVD直交変換部8に送られる。
【0012】
減算部3には、前記入力画像ブロックAと、動き補償予測部2から出力された前記動きベクトルMVに対応する予測画像ブロックCとが入力し、該減算部32は該入力画像ブロックAから予測画像ブロックCを減算し予測誤差を出力する。SVD直交変換部4は、入力してきた予測誤差に、前記SVD動き検出部1から送られてきたSVD変換基底を用いた直交変換を施して、SVD直交変換係数を得る。量子化部5は該SVD直交変換係数に量子化を施し、エントロピー符号化部6は該量子化された係数に対してエントロピー符号化を施す。該エントロピー符号化されたデータは、前記動きベクトルMVと共に伝送されるまたは蓄積装置に蓄積される。
【0013】
また、前記量子化されたSVD直交変換係数は、逆量子化部7に入力して逆量子化され、次いで逆SVD直交変換部8で逆SVDを施される。該逆SVDされた信号は前記動き補償予測部2からの予測画像と、加算部9で加算されることにより復号され、フレームメモリ10に記憶される。
【0014】
次に、前記SVD動き検出部1の機能を、図2のフローチャートを参照して説明する。
【0015】
ステップS1では、ある置き数i=1と置かれ、ステップS2では、入力画像ブロックAに対する候補予測画像ブロックBiを求め、該Biに対するSVD変換基底[Sv]、[SH]を求める。該Biに対するSVD変換基底[Sv]、[SH]は次のように求めることができる。
【0016】
いま、候補予測画像ブロックBがN×N画素からなる画素値行列[Bi]とすると、その水平方向に関する共分散行列[CH]は、[CH]=[Bi][Bi]T となる。また、垂直方向に関する共分散行列[Cv]は、[Cv]=[Bi]T [Bi]となる。ここに、[Bi]T は転置行列を表す。
【0017】
次に、上記の共分散行列[CH]、[Cv]から、対応する直交変換(KLT)基底([SH]、[SV])を求める。そうすると、前記画素値の行列[Bi]は、下記の式でSVD展開される。
[BiSVD]=[SV][Bi][SH]
【0018】
この時、行列[Bi]がN×Nの行列であれば、SVD展開係数[BiSVD]もN×Nの行列となり、対角成分以外の成分は全て零となる。この変換は、SVDと呼ばれ、矩形ブロックを2個の独立な水平・垂直の直交変換で表現する場合には、最適な変換になる。すなわち、最も少ない個数の係数で、矩形ブロック内の画素行列[Bi]を表現することができる。したがって、効率的な符号化を行うことが可能になる。
【0019】
次に、ステップS3では、前記候補予測画像ブロックBiと入力画素ブロックAの差分、すなわち予測誤差Ciを求める。Ci=Bi−Aとする。ステップS4では、
該予測誤差Ciに対して、前記ステップS2で求めた垂直、水平方向のSVD変換基底[SV]、[SH]を適用する。その結果を[CiSVD]とすると、[CiSVD]=[SV][Ci][SH]となる。
【0020】
ステップS5では、[Ci]のSVD展開係数[CiSVD]を量子化・エントロピー符号化する。ステップS6では、該量子化・エントロピー符号化されたSNと符号量Eiを求める。ステップS7では、i=Zが成立したか否かの判断をする。ここに、ZはブロックAに対する候補予測画像ブロックBiの総数である。この判断が否定の時には、ステップS8に進んで、iに1を加算する。そして、前記ステップS2に戻って、再度前記ステップS2〜S7の動作を繰り返す。
【0021】
以上の結果、ステップS7の判断が肯定になると、ステップS9に進んで、前記符号量Eiが最小の候補予測画像Biminを求める。ステップS10では、図3に示されているように、前記ブロックAの該予測画像Biminに対する変位を動きベクトルMVとする。該動きベクトルMVは、動き補償予測部2と受信側に送られる。ステップS11では、該予測画像Biminに対するSVD直交変換基底[SV]、[SH]を、SVD直交変換部4と逆SVD直交変換部8に送る。
【0022】
以上のように、本実施形態の符号化装置によれば、個々のブロックに対しては、DCTよりも変換効率の高いSVDを用いて直交変換を行うようにする。なお、SVDを適用した場合には、一般的に、個々のブロックに対して計算したSVD変換基底を符号化して送る必要があるが、本実施形態では、予測誤差に対するSVD変換基底ではなく、予測画像Biminに対するSVD直交変換基底[SV]、[SH]を用いるようにしたので、送る必要がなくなる。すなわち、該符号化装置に対する受信側の復号装置では、前記ステップS10で求められた予測画像Biminに対する動きベクトルMVを受信するので、この動きベクトルMVから予測画像Biminを再生することができる。従って、該予測画像BiminからSVD直交変換基底[SV]、[SH]を再生することができ、このSVD直交変換基底[SV]、[SH]を受信側に送る必要がなくなる。
【0023】
【発明の効果】
以上の説明から明らかなように、本発明によれば、現画像の個々のブロックに対しては、DCTよりも変換効率の高いSVDを用いて直交変換を行うことができ、かつ該SVD直交変換に用いたSVD変換基底を受信側あるいは記録媒体に送る必要がないので、高効率の符号化を行えるようになる。
【図面の簡単な説明】
【図1】 本発明の一実施形態の構成を示すブロック図である。
【図2】 図1のSVD動き検出部の動作を示すフローチャートである。
【図3】 SVD動き検出部で求められる動きベクトルMVの説明図である。
【図4】 従来装置の構成を示すブロック図である。
【符号の説明】
1・・・SVD動き検出部、2・・・動き補償予測部、3・・・減算器、4・・・SVD直交変換部、5・・・量子化部、6・・・エントロピー符号化部、7・・・逆量子化部、8・・・逆SVD直交変換部、10・・・フレームメモリ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a motion compensated prediction singular value expansion encoding apparatus, and more particularly to a motion compensated prediction singular value expansion encoding apparatus capable of encoding a moving image with high efficiency.
[0002]
[Prior art]
Conventionally, a hybrid encoding method combining motion compensation prediction and DCT is often used as a moving image encoding apparatus. In FIG. An example of an encoding apparatus standardized by H.263, etc. is shown.
[0003]
An image input from a television camera or the like is subjected to motion detection in units of blocks with the image of the previous frame stored in the frame memory 39 in the motion detection unit 31. As a motion detection method, a method in which a displacement that minimizes the sum of squares of errors between frames is used as a motion vector, a method in which a pixel value is obtained from a time-space gradient, a method in which an FFT is obtained, and the like are known. The motion
[0004]
The
[0005]
The quantized DCT coefficient is input to the
[0006]
[Problems to be solved by the invention]
However, although the above-described encoding apparatus can perform efficient encoding, further efficiency improvement is demanded from the standpoint of improving image quality, particularly at the time of low bit rate encoding.
[0007]
The present invention has been made in view of the above-described prior art, and an object thereof is to provide an adaptive orthogonal transform coding apparatus that can perform coding with higher efficiency than a conventional coding apparatus.
[0008]
[Means for Solving the Problems]
In order to achieve the above-described object, the present invention performs SVD conversion using the SVD obtained from the candidate prediction image block, as a prediction error between the block of the current image and a plurality of predetermined candidate prediction image blocks of the previous image. An SVD motion detection unit that obtains an SVD conversion base and a motion vector MV for the candidate prediction image block having the smallest code amount, and obtains a code amount by quantizing and entropy encoding the result of the SVD conversion; An SVD orthogonal transform unit that orthogonally transforms a prediction error, which is a difference from a predicted image that has been motion compensated with the motion vector MV, using the SVD transform base obtained by the SVD motion detection unit, and the SVD orthogonal transform unit. It is characterized in that it comprises means for quantizing and entropy encoding the conversion result.
[0009]
According to this feature, SVD orthogonal transform with higher coding efficiency can be performed instead of the conventional DCT, and the SVD transform base used for the SVD orthogonal transform does not need to be sent to the receiving side. Encoding can be performed with higher efficiency than the encoding device.
[0010]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
[0011]
In the figure, an input image is input to the SVD
[0012]
The
[0013]
The quantized SVD orthogonal transform coefficient is input to the inverse quantization unit 7 and inversely quantized, and then subjected to inverse SVD by the inverse SVD
[0014]
Next, the function of the
[0015]
In step S1, a certain number i = 1 is set, and in step S2, a candidate prediction image block Bi for the input image block A is obtained, and SVD conversion bases [S v ] and [S H ] for the Bi are obtained. The SVD conversion base [S v ] and [S H ] for the Bi can be obtained as follows.
[0016]
If the candidate predicted image block B is a pixel value matrix [Bi] composed of N × N pixels, the covariance matrix [C H ] in the horizontal direction is [C H ] = [Bi] [Bi] T. . The covariance matrix [C v ] in the vertical direction is [C v ] = [ B i] T [ B i]. Here, [Bi] T represents a transposed matrix.
[0017]
Next, a corresponding orthogonal transform (KLT) basis ([S H ], [S V ]) is obtained from the covariance matrices [C H ], [C v ]. Then, the pixel value matrix [Bi] is SVD expanded by the following equation.
[BiSVD] = [S V] [Bi] [S H]
[0018]
At this time, if the matrix [Bi] is an N × N matrix, the SVD expansion coefficient [BiSVD] is also an N × N matrix, and all components other than the diagonal components are zero. This conversion is called SVD, and is an optimal conversion when a rectangular block is expressed by two independent horizontal / vertical orthogonal transforms. That is, the pixel matrix [Bi] in the rectangular block can be expressed with the smallest number of coefficients. Therefore, efficient encoding can be performed.
[0019]
Next, in step S3, a difference between the candidate predicted image block Bi and the input pixel block A, that is, a prediction error Ci is obtained. Let Ci = Bi-A. In step S4,
The vertical and horizontal SVD conversion bases [S V ] and [S H ] obtained in step S2 are applied to the prediction error Ci. When the result is [CiSVD], [CiSVD] = [S V ] [ C i] [S H ].
[0020]
In step S5, the SVD expansion coefficient [CiSVD] of [Ci] is quantized and entropy encoded. In step S6, the quantization and entropy-encoded SN and code amount Ei are obtained. In step S7, it is determined whether i = Z is established. Here, Z is the total number of candidate predicted image blocks Bi for block A. When this determination is negative, the process proceeds to step S8, and 1 is added to i. Then, returning to the step S2, the operations of the steps S2 to S7 are repeated again.
[0021]
As a result, if the determination in step S7 becomes affirmative, the process proceeds to step S9 to obtain a candidate predicted image Bimin having the smallest code amount Ei. In step S10, as shown in FIG. 3, the displacement of the block A with respect to the predicted image Bimin is set as a motion vector MV. The motion vector MV is sent to the motion
[0022]
As described above, according to the encoding apparatus of the present embodiment, orthogonal transform is performed on each block using SVD having higher conversion efficiency than DCT. When SVD is applied, it is generally necessary to encode and send the SVD transform base calculated for each block. However, in the present embodiment, instead of the SVD transform base for the prediction error, prediction is not performed. Since the SVD orthogonal transform base [S V ] and [S H ] for the image Bimin are used, it is not necessary to send them. That is, since the decoding device on the receiving side for the encoding device receives the motion vector MV for the predicted image Bimin obtained in step S10, the predicted image Bimin can be reproduced from the motion vector MV. Therefore, the SVD orthogonal transform bases [S V ] and [S H ] can be reproduced from the predicted image Bimin, and it is not necessary to send the SVD orthogonal transform bases [S V ] and [S H ] to the receiving side.
[0023]
【The invention's effect】
As is apparent from the above description, according to the present invention, each block of the current image can be subjected to orthogonal transform using SVD having higher conversion efficiency than DCT, and the SVD orthogonal transform can be performed. It is not necessary to send the SVD conversion base used in the above to the receiving side or the recording medium, so that highly efficient encoding can be performed.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of the present invention.
FIG. 2 is a flowchart showing an operation of the SVD motion detection unit in FIG. 1;
FIG. 3 is an explanatory diagram of a motion vector MV obtained by an SVD motion detection unit.
FIG. 4 is a block diagram showing a configuration of a conventional apparatus.
[Explanation of symbols]
DESCRIPTION OF
Claims (3)
現画像と前記動きベクトルMVで動き補償された予測画像との差分である予測誤差を、前記SVD動き検出部で求められたSVD変換基底を用いて直交変換するSVD直交変換部と、
該SVD直交変換部による変換結果を量子化・エントロピー符号化する手段とを具備したことを特徴とする動き補償予測特異値展開符号化装置。A prediction error between a block of the current image and a plurality of predetermined candidate prediction image blocks of the previous image is subjected to SVD conversion using SVD obtained from the candidate prediction image block, and the result of the SVD conversion is quantized / entropy coded An SVD motion detection unit for obtaining an SVD conversion base and a motion vector MV for the candidate prediction image block having the smallest code amount,
An SVD orthogonal transform unit that orthogonally transforms a prediction error, which is a difference between a current image and a predicted image motion-compensated with the motion vector MV, using the SVD transform base obtained by the SVD motion detection unit;
A motion compensated prediction singular value expansion encoding apparatus comprising: means for quantizing and entropy encoding a conversion result by the SVD orthogonal transform unit.
前記SVD直交変換部で用いられたSVD変換基底を用いて逆SVD直交変換する逆SVD直交変換手段と、
前記動き補償された予測画像と前記逆SVD直交変換されたデータとを加算する加算手段とをさらに具備し、
前記前画像を生成することを特徴とする請求項1または2に記載の動き補償予測特異値展開符号化装置。Means for dequantizing the data quantized by the quantization means;
Inverse SVD orthogonal transform means for performing inverse SVD orthogonal transform using the SVD transform base used in the SVD orthogonal transform unit;
Adding means for adding the motion compensated predicted image and the inverse SVD orthogonal transformed data;
The motion compensated prediction singular value expansion coding apparatus according to claim 1, wherein the previous image is generated.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115672A JP3804764B2 (en) | 2001-04-13 | 2001-04-13 | Motion compensated prediction singular value expansion coding apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001115672A JP3804764B2 (en) | 2001-04-13 | 2001-04-13 | Motion compensated prediction singular value expansion coding apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002315006A JP2002315006A (en) | 2002-10-25 |
| JP3804764B2 true JP3804764B2 (en) | 2006-08-02 |
Family
ID=18966536
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001115672A Expired - Fee Related JP3804764B2 (en) | 2001-04-13 | 2001-04-13 | Motion compensated prediction singular value expansion coding apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3804764B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093259A (en) * | 2017-12-14 | 2018-05-29 | 希诺麦田技术(深圳)有限公司 | Picture motion estimating method, device and computer readable storage medium |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4561401B2 (en) * | 2005-02-25 | 2010-10-13 | ソニー株式会社 | Data conversion apparatus and method, data reverse conversion apparatus and method, information processing system, recording medium, and program |
| WO2011080807A1 (en) * | 2009-12-28 | 2011-07-07 | 富士通株式会社 | Moving picture coding device and moving picture decoding device |
| WO2011083520A1 (en) | 2010-01-08 | 2011-07-14 | 富士通株式会社 | Moving picture coding device and moving picture decoding device |
| CN103974076B (en) | 2014-05-19 | 2018-01-12 | 华为技术有限公司 | Image coding/decoding method and equipment, system |
-
2001
- 2001-04-13 JP JP2001115672A patent/JP3804764B2/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108093259A (en) * | 2017-12-14 | 2018-05-29 | 希诺麦田技术(深圳)有限公司 | Picture motion estimating method, device and computer readable storage medium |
| CN108093259B (en) * | 2017-12-14 | 2021-10-08 | 希诺麦田技术(深圳)有限公司 | Image motion estimation method, device and computer readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002315006A (en) | 2002-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5373626B2 (en) | Method, apparatus, encoder, decoder, and decoding method for estimating a motion vector using a plurality of motion vector predictors | |
| KR101403338B1 (en) | Method and apparatus for image encoding, decoding | |
| CN101352046B (en) | Image encoding/decoding method and apparatus | |
| JP2801559B2 (en) | Motion compensation coding method and apparatus adapted to the magnitude of motion | |
| US20080175322A1 (en) | Method and apparatus for encoding and decoding image using adaptive interpolation filter | |
| US20090161757A1 (en) | Method and Apparatus for Selecting a Coding Mode for a Block | |
| US8107749B2 (en) | Apparatus, method, and medium for encoding/decoding of color image and video using inter-color-component prediction according to coding modes | |
| US9106917B2 (en) | Video encoding apparatus and video encoding method | |
| US9313496B2 (en) | Video encoder and video encoding method as well as video decoder and video decoding method | |
| KR20090087767A (en) | Intra Prediction Coding Method of Image | |
| JP4494803B2 (en) | Improved noise prediction method and apparatus based on motion compensation, and moving picture encoding method and apparatus using the same | |
| US20120163468A1 (en) | Method of and apparatus for estimating motion vector based on sizes of neighboring partitions, encoder, decoding, and decoding method | |
| US20080107176A1 (en) | Method and Apparatus for Detecting All Zero Coefficients | |
| US8792549B2 (en) | Decoder-derived geometric transformations for motion compensated inter prediction | |
| CN1159236A (en) | Method and apparatus for regenerating compact motion vector fields | |
| JP3804764B2 (en) | Motion compensated prediction singular value expansion coding apparatus | |
| US20060274832A1 (en) | Device for encoding a video data stream | |
| US6141449A (en) | Coding mode determination system | |
| TWI825742B (en) | Method and apparatuses of video encoding | |
| US20080107183A1 (en) | Method and apparatus for detecting zero coefficients | |
| KR100744435B1 (en) | How to Omit DCT and Quantization for High-Speed Video Compression | |
| US20070297517A1 (en) | Entropy encoding and decoding apparatuses, and entropy encoding and decoding methods | |
| JPH0686267A (en) | Encoder for video signal | |
| JPH07203461A (en) | Image decoding method and device therefor | |
| JPH07322258A (en) | Data processing device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060502 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060502 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150519 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |