Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3099852B2 - Excitation signal gain quantization method - Google Patents
[go: Go Back, main page]

JP3099852B2 - Excitation signal gain quantization method - Google Patents

Excitation signal gain quantization method

Info

Publication number
JP3099852B2
JP3099852B2 JP05001110A JP111093A JP3099852B2 JP 3099852 B2 JP3099852 B2 JP 3099852B2 JP 05001110 A JP05001110 A JP 05001110A JP 111093 A JP111093 A JP 111093A JP 3099852 B2 JP3099852 B2 JP 3099852B2
Authority
JP
Japan
Prior art keywords
gain
quantization
vector
excitation
stage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP05001110A
Other languages
Japanese (ja)
Other versions
JPH06202697A (en
Inventor
健弘 守谷
一則 間野
聡 三樹
仲 大室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP05001110A priority Critical patent/JP3099852B2/en
Publication of JPH06202697A publication Critical patent/JPH06202697A/en
Application granted granted Critical
Publication of JP3099852B2 publication Critical patent/JP3099852B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】この発明は、励振信号の利得量子
化方法に関し、特に、音声の信号系列を少ない情報量の
もとで符号励振型線形予測符号化(Code Excited Linea
r Prediction:CELP)による波形歪を小さくすることが
できる効率のよい励振信号の利得の量子化方法に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method for quantizing a gain of an excitation signal, and more particularly to a code-excited linear predictive encoding (Code Excited Linea) for a speech signal sequence with a small amount of information.
The present invention relates to an efficient excitation signal gain quantization method capable of reducing waveform distortion due to r prediction (CELP).

【0002】[0002]

【従来の技術】ディジタル移動無線通信、音声蓄積サー
ビスその他の情報を伝送し或は蓄積する技術分野におい
ては、電波その他の情報伝送媒体或は記憶媒体の効率的
利用を図るために種々の高能率音声符号化方法が採用さ
れている。サンプリング周波数を8kHz としてサンプリ
ングされた音声を8kbit/s程度で符号化する方法として
はCELP符号化方法が有力な方法である。この方法は、要
約するに、複数の励振信号ベクトルの形状および利得を
選択する線形予測合成器を具備し、合成後の信号と入力
音声信号との間の聴感上の歪が最小となる様に励振源を
制御して、その符号を伝送するものである。
2. Description of the Related Art In the technical field of transmitting or storing digital mobile radio communications, voice storage services and other information, various high-efficiency systems are used to efficiently utilize radio waves and other information transmission media or storage media. A speech coding method is employed. The CELP encoding method is an effective method for encoding audio sampled at a sampling frequency of 8 kHz at about 8 kbit / s. The method, in summary, comprises a linear predictive synthesizer that selects the shape and gain of a plurality of excitation signal vectors such that the perceptual distortion between the synthesized signal and the input speech signal is minimized. The code is transmitted by controlling the excitation source.

【0003】以下、図1を参照してCELP符号化方法につ
いて説明する。音声を高能率に符号化する方法として、
原音声をフレームと呼ばれる5〜50ms程度の一定間隔
の区間に分割し、その1フレームの音声を周波数スペク
トルの包絡線形状についての信号と、その包絡線形状に
対応する線形フィルタを駆動する励振信号とに分離して
それぞれを符号化する方法が提案されている。この場
合、励振信号を符号化する方法として、励振信号を音声
の基本周波数(或はピッチ周期)に対応すると考えられ
る周期成分と、それ以外の成分(換言すれば非周期成
分)とに分離して符号化する方法が知られている。この
励振信号の符号化方法の一種として符号励振型線形予測
符号化方法(CELP)がある。この符号化方法は、図1に
示される如く入力端子11に入力される入力音声Xにつ
いて線形予測分析部12においてその周波数スペクトル
の包絡線形状を表すパラメータが計算される。この分析
には通常、線形予測分析法が使用される。この線形予測
パラメータは線形予測パラメータ符号化部13において
符号化され、この符号化出力Aは線形予測パラメータ復
号化部14において復号化され、この復号化された線形
予測パラメータa’は線形予測合成部15のフィルタ係
数として設定される。線形予測合成部15に後で説明さ
れる励振信号(ベクトル)Eを与えることにより再生合
成音声X’が得られる。
Hereinafter, a CELP encoding method will be described with reference to FIG. As a method of encoding audio efficiently,
The original sound is divided into sections called frames, which have a fixed interval of about 5 to 50 ms, and the sound of one frame is a signal about the envelope shape of the frequency spectrum and an excitation signal for driving a linear filter corresponding to the envelope shape. And a method of encoding each of them separately. In this case, as a method of encoding the excitation signal, the excitation signal is separated into a periodic component considered to correspond to a fundamental frequency (or a pitch period) of the voice and another component (in other words, an aperiodic component). There is a known encoding method. One type of encoding method of the excitation signal is a code excitation type linear prediction encoding method (CELP). In this encoding method, as shown in FIG. 1, a parameter representing an envelope shape of a frequency spectrum of an input speech X input to an input terminal 11 is calculated in a linear prediction analysis unit 12. This analysis typically employs linear predictive analysis. The linear prediction parameter is encoded by a linear prediction parameter encoding unit 13, the encoded output A is decoded by a linear prediction parameter decoding unit 14, and the decoded linear prediction parameter a ′ is It is set as 15 filter coefficients. By supplying an excitation signal (vector) E to be described later to the linear prediction synthesis unit 15, a reproduced synthesized speech X 'can be obtained.

【0004】ここで、励振信号(ベクトル)Eについて
説明する。符号帳16は一定の励振ベクトルを多数保持
して切り替え使用する様にするか、或は常に直前のフレ
ームの確定された励振ベクトルが保持される様に構成す
る。この励振ベクトルから或る周期(ピッチ周期)に相
当する長さLのセグメントが切り出され、その切り出さ
れたベクトルセグメントをフレームの長さTになるまで
繰り返し接続して音声の周期成分と対応する符号ベクト
ルが出力される。符号帳16に周期符号(切り出し長と
同じ記号Lで表す)として与える切り出し長Lを変える
ことにより異なる周期成分と対応する符号ベクトルを出
力することができる。以下、符号帳から出力される符号
ベクトルを適応符号ベクトルと称す。
Here, the excitation signal (vector) E will be described. The codebook 16 is configured to store and use a large number of fixed excitation vectors, or to always hold the determined excitation vector of the immediately preceding frame. A segment having a length L corresponding to a certain period (pitch period) is cut out from the excitation vector, and the cut-out vector segments are connected repeatedly until the frame length T is reached, and a code corresponding to the period component of the speech is obtained. The vector is output. By changing the cutout length L given to the codebook 16 as a periodic code (represented by the same symbol L as the cutout length), a code vector corresponding to a different periodic component can be output. Hereinafter, the code vector output from the codebook is referred to as an adaptive code vector.

【0005】符号帳17は乱数符号帳であって、これは
1個或はそれ以上設けられるが、以下の説明は2個の乱
数符号帳171 、172 が設けられる場合について説明
である。各乱数符号帳171 、172 は通常白色ガウス
性ランダム雑音を基調とし、1フレーム分の長さLの各
種の内臓ベクトルが入力音声とは独立にあらかじめ記憶
されており、与えられた乱数符号C(C1 、C2 )によ
りそれぞれ指定されたベクトルが読みだされ、それぞれ
音声の非周期成分と対応する符号ベクトルとして出力さ
れる。以下、乱数符号帳17から出力される符号ベクト
ルを乱数符号ベクトルと称す。
The codebook 17 is a random number codebook, and one or more codebooks are provided. The following description is for a case where two random number codebooks 17 1 and 17 2 are provided. Each random number codebook 17 1 , 17 2 is usually based on white Gaussian random noise, and various built-in vectors having a length L for one frame are stored in advance independently of the input voice, and given random number codes Vectors specified by C (C 1 , C 2 ) are read out and output as code vectors corresponding to the non-periodic components of speech. Hereinafter, the code vector output from the random number code book 17 is referred to as a random number code vector.

【0006】符号帳16および符号帳17から出力され
る各符号ベクトルは利得量子化部20において利得調整
される。即ち各符号ベクトルはそれぞれ利得調整部21
0 、211 、212 において符号帳23から出力される
利得g0 、g1 、g2 により利得調整され、これらの結
果は加算部22において加算される。符号帳23は与え
られた利得符号Gに従って利得g0 、g1 、g2 を切り
替え、或は作成する。加算部22の加算出力Eは励振ベ
クトル候補として線形予測合成部15に供給され、合成
部15から合成再生音声X’が出力される。入力端子1
1から入力される入力音声Xに対するこの合成音声X’
の歪dが歪計算部18において計算される。聴感補正部
19は歪dを最小化する基準に基づいて、先ず、符号帳
16における切り出し長さLを検索し、符号帳16の最
適符号ベクトルを決定する。次いで符号帳17から乱数
符号ベクトルを決定し、更に利得量子化部20の最適利
得g0 、g1 、g2 を決定する。以上の手順により歪d
が最小になる様な符号の組み合わせが検索され、その時
の励振ベクトル候補として現フレームの励振ベクトルE
が確定される。歪dが最小となったときの符号帳16の
切り出し長を示す周期符号Lと、符号帳171 、172
の各符号ベクトルを示す乱数符号C1 、C2と、利得g
0 、g1 、g2 を示す利得符号Gと、線形予測パラメー
タ符号Aとが符号化出力として出力され、伝送または蓄
積される。
Each of the code vectors output from codebook 16 and codebook 17 is gain-adjusted in gain quantization section 20. In other words, each code vector is individually
The gains are adjusted by the gains g 0 , g 1 , and g 2 output from the codebook 23 in 0 , 21 1 , and 21 2 , and these results are added in the adder 22. The codebook 23 switches or creates the gains g 0 , g 1 , g 2 according to the given gain code G. The addition output E of the addition unit 22 is supplied to the linear prediction synthesis unit 15 as an excitation vector candidate, and the synthesis unit 15 outputs a synthesized reproduction voice X ′. Input terminal 1
This synthesized speech X ′ with respect to the input speech X input from
Is calculated by the distortion calculator 18. Based on the criterion for minimizing the distortion d, the auditory sensation correction unit 19 first searches the cutout length L in the codebook 16 and determines the optimal code vector of the codebook 16. Next, a random code vector is determined from the codebook 17, and the optimum gains g 0 , g 1 , and g 2 of the gain quantization unit 20 are further determined. According to the above procedure, the distortion d
Is searched for, and the excitation vector E of the current frame is selected as an excitation vector candidate at that time.
Is determined. A periodic code L indicating the cut-out length of the codebook 16 when the distortion d is minimized, and codebooks 17 1 and 17 2
Random numbers C 1 and C 2 indicating the respective code vectors of
A gain code G indicating 0 , g 1 , g 2 and a linear prediction parameter code A are output as encoded outputs and transmitted or stored.

【0007】[0007]

【発明が解決しようとする課題】これら励振信号ベクト
ルの形状および利得の量子化の内の利得の量子化につい
ては、励振信号ベクトル毎に対応する利得をスカラ量子
化する方法と、複数の励振信号ベクトルに対応する利得
を一括して量子化するベクトル量子化方法とがある。こ
こで、これら量子化方法の特性についてであるが、スカ
ラ量子化方法は必要とされるメモリ量は僅かであるが波
形歪を小さくするには難点のあるものである一方、ベク
トル量子化方法は波形歪を小さくするには好適であるが
大なるメモリ量の符号帳を必要とするものである。
As for the quantization of the shape of the excitation signal vector and the quantization of the gain, a method of scalar-quantizing a gain corresponding to each excitation signal vector and a method of quantizing a plurality of excitation signals are described. There is a vector quantization method that collectively quantizes a gain corresponding to a vector. Here, regarding the characteristics of these quantization methods, the scalar quantization method requires a small amount of memory but has difficulty in reducing the waveform distortion, while the vector quantization method has This is suitable for reducing waveform distortion, but requires a codebook with a large memory amount.

【0008】そして、利得をベクトル量子化する場合、
図2に示される如く利得を切り替え選択するために使用
する複数の符号帳23を具備し、入力音声を特徴分析部
30により分析した結果である入力音声の性質、即ち、
入力音声の有声音であるか或いは無声音であるかの情
報、パワ、ピッチ周期その他の特徴を使用して適応的に
これら符号帳23を切り替え使用する手法もある。この
様にすることにより波形歪を削減することはできるが、
符号帳23のメモリ量は一般に大きく、これを複数具備
することにより全メモリ量は更に増大するという問題が
あった。
Then, when the gain is vector-quantized,
As shown in FIG. 2, a plurality of codebooks 23 are used to switch and select the gain, and the characteristics of the input speech as a result of analyzing the input speech by the feature analysis unit 30 , that is,
Information on whether the input voice is voiced or unvoiced
There is also a method of adaptively switching and using these codebooks 23 using information, power, pitch period, and other characteristics . By doing so, the waveform distortion can be reduced,
The memory capacity of the codebook 23 is generally large, and there is a problem that the provision of a plurality of codebooks further increases the total memory capacity.

【0009】この発明は、少ない情報量のもとでCELP符
号化による波形歪を小さくすることができる効率のよい
励振源の利得の量子化方法を提供するものである。
An object of the present invention is to provide an efficient method for quantizing the gain of an excitation source, which can reduce waveform distortion due to CELP coding with a small amount of information.

【0010】[0010]

【課題を解決するための手段】入力音声を一定のサンプ
リング周期毎に線形予測分析12し、予測係数より成る
線形予測合成部15通過後の合成信号X’と入力音声X
との間の歪を最小とする複数の励振信号の形状および利
得を決定する線形予測符号化方法に使用される励振信号
の利得量子化方法において、2段階の利得量子化を実施
し、第1段階の利得量子化201 においては入力音声の
特徴30に合わせて量子化テーブル31を適応的に変更
し、第1の励振信号系列を線形予測合成部を通過させて
合成した後の合成信号x’、目標とする信号系列yとし
たときの差信号系列d=(y−gx’)を求め、そのエ
ネルギ即ち歪が最小となる利得の値gを求め、目標とす
る信号系列yから利得gを励振信号系列x’に乗じた系
列を差し引いた差信号系列(y−gx’)を生成し、第
2段階の利得量子化においては第1段階における差信号
系列(y−gx’)を新たな目標信号系列とし、複数の
新たな目標信号の利得を一括してベクトル量子化する励
振信号の利得量子化方法を構成した。
The input speech is subjected to linear prediction analysis 12 at a predetermined sampling period, and a synthesized signal X 'having passed through a linear prediction synthesis unit 15 comprising prediction coefficients and an input speech X are input.
In the gain quantization method of the excitation signal used in the linear prediction encoding method for determining the shapes and gains of the plurality of excitation signals that minimizes the distortion between the first and second excitation signals, two-stage gain quantization is performed. in the gain quantization 20 first stage quantization tables 31 adaptively changed in accordance with the characteristic 30 of the input speech, and the first excitation signal sequence is passed through a linear prediction synthesis unit
The synthesized signal x ′ after synthesis and the target signal sequence y
Signal sequence d = (y−gx ′) at the time of
The difference signal sequence (y-gx ') is obtained by obtaining a gain value g that minimizes the energy or distortion, and subtracting a sequence obtained by multiplying the excitation signal sequence x' by the gain g from the target signal sequence y. In the two-stage gain quantization, the difference signal sequence (y-gx ') in the first stage is set as a new target signal sequence, and the gain of the excitation signal is vector-quantized collectively for a plurality of new target signals. The construction method was constructed.

【0011】[0011]

【実施例】この発明の励振信号の利得量子化方法は、要
約すれば、複数の励振信号に対する利得を2段階に分け
て量子化するものであり、第1段階においては利得を入
力音声の特徴に合わせて適応的に量子化し、第2段階に
おいては第1段階における利得量子化の結果を補う様に
一括して利得をベクトル量子化するものである。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The gain quantization method of an excitation signal according to the present invention, in short, quantizes gains for a plurality of excitation signals in two stages. In the second stage, the gain is vector-quantized collectively so as to supplement the result of the gain quantization in the first stage.

【0012】図3を参照してこの発明の第1の実施例を
具体的に説明する。先ず、第1段階において符号帳16
を選択して得られる第1の励振ベクトルの利得について
のみ利得量子化部201 においてスカラ量子化を実施
し、第2段階において第1段階における利得量子化の結
果を補う様に、第1の励振ベクトルの利得と符号帳17
を選択して得られる第2の励振信号ベクトルの利得とを
ベクトル量子化部202 において一括してベクトル量子
化を実施する。
The first embodiment of the present invention will be described in detail with reference to FIG. First, in the first stage, the codebook 16
Performing scalar quantization in the gain quantizer 20 1 only for the first gain of the excitation vector obtained by selecting, as supplement the results of the gain quantization in the first stage in the second stage, the first Excitation vector gain and codebook 17
The a gain of the second excitation signal vector obtained by collectively selected in the vector quantization section 20 2 to implement the vector quantization.

【0013】符号帳16は、通常、常に直前のフレーム
の確定された励振ベクトルを保持する様に構成した適応
符号帳であり、第1の励振ベクトルはこの適応符号帳1
6からの出力であり、第2の励振信号ベクトルは乱数符
号帳である符号帳17からの出力である。量子化テーブ
ル31は利得gの切り替えのためのものであり、情報量
の極く少ないもので事足りる。特徴分析部30により分
析された音声の性質である例えば入力音声が有声音であ
るか或いは無声音であるかの情報、ピッチ周期に合わせ
て適応的に切り替え使用される。
The codebook 16 is usually an adaptive codebook configured to always hold the determined excitation vector of the immediately preceding frame, and the first excitation vector is the adaptive codebook 1
6 and the second excitation signal vector is an output from codebook 17 which is a random codebook. The quantization table 31 is for switching the gain g, and a very small amount of information is sufficient. For example, the input voice, which is a property of the voice analyzed by the feature
It is adaptively switched and used in accordance with the information as to whether the sound is a voice or a voiceless sound, and the pitch cycle .

【0014】励振信号の利得量子化方法は下記の通りで
ある。第1。最初に、第1の励振ベクトルの形状を決定
する。この処理は適応符号帳16を使用する。通常の場
合はピッチ周期を求めることとほぼ等価である。第2。
ここで、第1段階の利得量子化を第1段階の利得量子化
部201 において実施する。この処理は第1の励振信号
のみを線形予測合成部15を通過させて合成した後の
成信号x' と直前のフレームからの応答分を差し引いた
目標信号である入力音声yについて、差信号系列(y−
gx' )のエネルギ即ち歪を最小とする利得gを決定す
る。この場合、当該フレームの入力音声のレベルが例え
ば0であっても直前のフレームの入力音声の影響は当該
フレームにも及ぶところから、当該フレームのレベルは
直前のフレームからの応答分である僅かのレベルを有す
るものである。従って、真のフレームの入力音声yを求
めるのに見かけ上の入力音声から直前のフレームからの
応答分を差し引いた結果を目標信号とするのである。
1の励振信号の利得gの量子化テーブル31は情報量の
極く少ないもので事足り、特徴分析部30により分析さ
れた音声の性質に合わせて適応的に切り替え使用するこ
とにより歪を小さくすることができる。切り替えのパラ
メータとしては有声無声の情報、パワ、ピッチ周期が考
えられる。この第1段階の量子化はスカラ量子化である
ので、数多くの量子化テーブルを使用しても量子化テー
ブルのメモリ量自体極く僅かでもあるところから全メモ
リ量の増加は問題とするに値しない。
The method of quantizing the gain of the excitation signal is as follows. First. First, the shape of the first excitation vector is determined. This process uses the adaptive codebook 16. In the normal case, it is almost equivalent to obtaining the pitch period. Second.
Here, carrying out the gain quantization of the first stage in the gain quantization section 20 1 of the first stage. In this processing, a synthesized signal x 'obtained by passing only the first excitation signal through the linear prediction synthesizing unit 15 and synthesizing is subtracted from a response from the immediately preceding frame.
For an input voice y as a target signal, a difference signal sequence (y−
gx '), the gain g which minimizes the energy or distortion is determined. In this case, even if the level of the input voice of the frame is, for example, 0, the effect of the input voice of the immediately preceding frame extends to the frame, so that the level of the frame is slightly smaller than the response from the immediately preceding frame. It has a level. Therefore, the result of subtracting the response from the immediately preceding frame from the apparent input voice to obtain the input voice y of the true frame is used as the target signal. It is sufficient that the quantization table 31 of the gain g of the first excitation signal has a very small amount of information, and the distortion is reduced by adaptively switching and using it according to the characteristics of the voice analyzed by the feature analysis unit 30. be able to. Voiced and unvoiced information, power, and pitch cycle can be considered as switching parameters. Since the quantization in the first stage is scalar quantization, even if a large number of quantization tables are used, the amount of memory in the quantization table itself is very small. do not do.

【0015】第3。第2の励振ベクトルの形状vを決定
する。具体的には、乱数の符号帳17からひとつづつベ
クトルを取り出し、線形予測合成部15を通過させた
後、第1段階の量子化において生成された差信号系列
(y−gx’)と比較して歪を計算する。この結果の歪
の最も小さかったベクトルvを選択する。第4。第2段
階の利得のベクトル量子化を第2段階の利得のベクトル
量子化部202 において実施する。第2段階の利得の量
子化においては第1段階における利得量子化の結果を補
う様に第1の励振ベクトルの利得と第2の励振信号ベク
トルの利得とを一括してベクトル量子化を実施する。
こで、「第1段階における 利得量子化の結果を補う様
に」の意味内容を説明すると次の通りである。励振信号
の利得量子化においては、一般に、利得全体で8ビット
程度の少ないビット数により量子化を実施することを要
請され、第1段階におけるスカラ量子化にはその内の2
ビット程度しか与えることができないという事情があ
り、第1段階の利得量子化部20 1 の利得の量子化のス
テップは4段階の極く粗く設定されたものとなる。その
上に、入力信号の特徴パラメータに合わせた量子化を実
施することにより歪を削減することはできるとはいえ、
第1の励振信号の利得が入力信号の特徴パラメータに1
00%依存するという訳ではないので、これに合わせた
量子化を実施することのみによっては、必然的に利得量
子化誤差が発生するに到る。これ故に、第2の励振信号
と合わせた第2段階のベクトル量子化を実施してこの利
得量子化誤差を補い補正することにより全体の歪を削減
するのである。
Third. Determine the shape v of the second excitation vector. Specifically, the codebook 17 of random numbers
And then passed through the linear prediction synthesis unit 15
Later, the difference signal sequence generated in the first stage quantization
The distortion is calculated in comparison with (y−gx ′). The distortion of this result
Select the vector v which was the smallest of Fourth. The vector quantization of the gain of the second stage is carried out in the vector quantization section 20 2 of the gain of the second stage. In the gain quantization in the second stage, the vector quantization is performed collectively on the gain of the first excitation vector and the gain of the second excitation signal vector so as to supplement the result of the gain quantization in the first stage. . This
Here, " How to compensate for the result of gain quantization in the first stage
The meaning of "ni" is as follows. Excitation signal
In the gain quantization, generally, the total gain is 8 bits.
It is necessary to perform quantization with a small number of bits.
Scalar quantization in the first stage
Because you can only give a bit
Ri, the quantization of the gain quantizer 20 1 of the gain of the first stage scan
The steps are extremely coarsely set in four steps. That
Above, quantization is performed according to the characteristic parameters of the input signal.
Although distortion can be reduced by applying
The gain of the first excitation signal is 1
It doesn't mean that it depends on 00%.
Only by performing quantization, the amount of gain
A child error occurs. Hence, the second excitation signal
The second-stage vector quantization combined with
Reduces overall distortion by compensating and correcting the gain quantization error
You do it.

【0016】第2段階のベクトル量子化は、具体的には
次の様に実施される。即ち、第1段階の利得量子化にお
ける差信号系列(y−gx’)を新たな目標信号系列と
し、複数の新たな目標信号の利得を一括して利得ベクト
ル量子化部202 においてベクトル量子化する。この場
合、図3に明示されている訳ではないが、第1段階のス
カラ量子化により得られた差信号系列(y−gx’)は
バッファ素子に記憶され、これが歪計算部18に供給さ
れて第1の励振信号および第2の励振信号を線形予測合
成部15を通過させて合成した後の合成信号と比較す
る。次の式eで表現される合成後の差信号系列を求め、
そのエネルギ即ち歪が最小となる様な利得ベクトルを利
得ベクトル量子化部20 2 内に具備されている利得符号
帳から選択する。
The vector quantization in the second stage is, specifically,
It is implemented as follows. That is, the difference signal sequence in the gain quantization of the first stage (y-gx ') as a new target signal sequence, the vector quantization in the gain vector quantizer 20 2 collectively gain more new target signal I do. This place
In this case, although not explicitly shown in FIG.
The difference signal sequence (y−gx ′) obtained by the color quantization is
This is stored in the buffer element, and this is supplied to the distortion calculation unit 18.
The first excitation signal and the second excitation signal are
The signal is compared with the synthesized signal after passing through the
You. A difference signal sequence after synthesis represented by the following equation e is obtained,
Use a gain vector that minimizes the energy or distortion.
Gain code that is provided to obtain the vector quantizer 20 2
Select from book.

【0017】e=(y−gx’)−(g 1 x’+g 2 v’) 但し、g 1 およびg 2 :利得ベクトルの要素 v’:第2の励振信号のvを線形予測合成部に通した後
の信号 以上の通りにして、この発明の利得のベクトル量子化方
法は第1段階における量子化により利得の大きな変動を
吸収するので、第2段階における量子化の符号帳の符号
ベクトルの変動範囲を通常のベクトル量子化の場合の変
動範囲と比較して小さくすることができる。
E = (y−gx ′) − (g 1 x ′ + g 2 v ′) where g 1 and g 2 : gain vector elements v ′: v of the second excitation signal are sent to the linear prediction synthesis unit. After passing
As described above, since the gain vector quantization method of the present invention absorbs a large fluctuation of the gain by the quantization in the first stage, the variation range of the code vector of the codebook of the quantization in the second stage is obtained. The variation range can be reduced as compared with the variation range in the case of normal vector quantization.

【0018】以上を要約するに、通常のCELPにおい
ては、一般に、第1の励振信号はピッチ周期性を有して
おり、第2の励振信号はピッチ周期性を有しない雑音的
なものである。この通常のCELPについて説明する
に、第1の励振信号に対してその利得には入力音声信号
のピッチ周期の周期性の程度、当該フレームの前のフレ
ームと比較した振幅の増大の程度が反映される。ここ
で、段落番号[0013]に記載される通り、符号帳切
り替えのパラメータとしては入力音声が有声音であるか
或いは無声音であるかの情報、パワ、ピッチ周期が考え
られる。なお、これらのパラメータ、情報はCELPの
場合は補助パラメータとして復合器にも送信され、復合
器においても参照される。
To summarize the above, in ordinary CELP
In general, the first excitation signal has a pitch periodicity
And the second excitation signal is noise-like without pitch periodicity.
It is something. I will explain this normal CELP
In addition, the gain of the first excitation signal is
The degree of periodicity of the pitch period of the
This reflects the magnitude of the increase in amplitude compared to the here
As described in paragraph number [0013],
Whether the input voice is a voiced sound
Or the information of unvoiced sound, power and pitch cycle
Can be Note that these parameters and information are
Is also sent to the demultiplexer as an auxiliary parameter,
Reference is also made to vessels.

【0019】励振信号の利得量子化装置の合成フィルタ
直前の励振信号はパワが1となる様に正規化されている
ものとする。この時、入力音声が有声音の場合はピッチ
周期の周期性の程度は高いので1に近い利得があるのに
対して、無声音の場合はピッチ周期の周期性の程度は低
いので0. 5以下となることが多い。この時、利得は第
1の励振信号と第2の励振信号の混合の割合を示すこと
となり、0と1の間の数値となる。また、パワが大きい
時は有声音であることが多く、第1の励振信号の利得は
1に近くなる。
Synthetic filter for gain quantization apparatus for excitation signal
The immediately preceding excitation signal is normalized so that the power is 1
Shall be. At this time, if the input voice is voiced,
Although the degree of periodicity is high, there is a gain close to 1
On the other hand, in the case of unvoiced sounds, the periodicity of the pitch period is low.
Therefore, it is often less than 0.5. At this time, the gain
To indicate the mixing ratio of the first excitation signal and the second excitation signal
And becomes a numerical value between 0 and 1. In addition, power is big
Time is often voiced, and the gain of the first excitation signal is
Close to 1.

【0020】以上の通り、ピッチ周期性を有する信号で
ある第1の励振信号の利得は、既に求められている入力
信号の特徴パラメータに依存する場合が多いので、入力
信号の特徴に合わせた量子化を実施することにより歪を
削減することができる場合が多い。しかし、第1の励振
信号の利得が入力信号の特徴パラメータに100%依存
するという訳ではないので、これに合わせた量子化を実
施することのみによっては利得量子化誤差が発生する場
合があり、これ故に、第1段階の利得量子化と合わせた
第2段階のベクトル量子化も併用することにより全体の
歪を削減するものである。
As described above, a signal having a pitch periodicity
The gain of a certain first excitation signal is equal to the input
Since it often depends on the characteristic parameters of the signal, the input
Distortion by performing quantization according to the characteristics of the signal
In many cases, it can be reduced. But the first excitation
Signal gain 100% dependent on input signal characteristic parameters
Does not mean that quantization
If gain quantization error occurs only by applying
And therefore combined with the first stage gain quantization
By using the vector quantization of the second stage together,
This is to reduce distortion.

【0021】ここで、利得量子化方法の従来例とこの発
明の利得量子化方法の奏する効果の差について説明す
る。利得全体で8ビットの量子化を実施することを考え
る。励振信号の利得量子化装置全体の演算処理量、メモ
リ量は符号帳の要素数に比例するので、要素数について
この発明と従来例との間の比較をする。第1の励振信号
と第2の励振信号より成る2個の励振信号に対して2次
元のベクトル量子化を実施すると、各励振信号について
8 =256個の符号ベクトルを必要とする。従って、
必要とされる要素数は256×2=512個となる。
Here, a conventional example of the gain quantization method and its generation will be described.
The difference between the effects of the bright gain quantization method will be explained.
You. Consider performing 8-bit quantization on the entire gain
You. Calculation amount and memo of the entire excitation signal gain quantizer
The amount is proportional to the number of elements in the codebook.
A comparison between the present invention and the conventional example will be made. First excitation signal
And two second excitation signals, the second excitation signal
When the original vector quantization is performed, for each excitation signal
It requires 2 8 = 256 code vectors. Therefore,
The required number of elements is 256 × 2 = 512.

【0022】従来例におけるが如く、入力信号の特徴パ
ラメータに依存して符号ベクトルの組である符号帳をn
種類準備してこれを切り替えるものとすると、励振信号
の利得量子化装置全体の要素数は512×nとなる。こ
の場合、歪は極めて小さくすることができる。これに対
して、この発明の第1の実施例について、利得全体で8
ビットの量子化を実施することを考える。スカラ量子化
に2ビットを与え、ベクトル量子化に6ビットを与える
ものとする。スカラ量子化は2 2 =4ステップより成
り、このステップ幅を入力音声の特徴に合わせて符号帳
をn種類準備して切り替えると、n×4の要素数のテー
ブルを必要とされるだけである。次に、ベクトル量子化
についてみると、この量子化には2 6 ×2=128個の
要素数の符号帳が必要とされるが、これは音声入力の特
徴には依存しないので、利得量子化装置全体の要素数は
(n×4+128=4n+128)個となる。
As in the conventional example, the characteristic pattern of the input signal is
The codebook, which is a set of code vectors, is represented by n
If the type is prepared and switched, the excitation signal
The number of elements of the entire gain quantization apparatus is 512 × n. This
In the case of, the distortion can be made extremely small. Against this
Then, in the first embodiment of the present invention, the total gain is 8
Consider implementing bit quantization. Scalar quantization
Give 2 bits and give vector quantization 6 bits
Shall be. Scalar quantization consists of 2 2 = 4 steps.
This step width is adjusted according to the characteristics of the input speech.
When n types are prepared and switched, a table with n × 4 elements
You just need a bull. Next, vector quantization
In this quantization, this quantization has 2 6 × 2 = 128
A codebook with the number of elements is required, which is a feature of voice input.
The number of elements of the entire gain quantizer is
(N × 4 + 128 = 4n + 128).

【0023】この発明の実施例は、その要素数は(4n
+128)個であって、これは全ての信号をベクトル量
子化する従来例の要素数である(512n)と比較して
格段に小さいが、この従来例と同等の歪削減の効果を奏
するに到る。即ち、励振信号の利得量子化装置全体の演
算処理量およびメモリ量は上述した通り要素数に比例す
るのであるが、従来例と比較して格段に小さい要素数で
事足りるこの発明は演算処理量およびメモリ量が極く少
なくして歪削減の効果の優れたものとすることができ
る。
In the embodiment of the present invention, the number of elements is (4n
+128), which is a vector quantity
In comparison with (512n), which is the number of elements
It is much smaller, but has the same effect of distortion reduction as this conventional example.
To come. That is, the entire operation of the gain quantization apparatus for the excitation signal is performed.
The amount of processing and memory is proportional to the number of elements as described above.
However, the number of elements is much smaller than in the conventional example.
The present invention suffices because the amount of arithmetic processing and memory is extremely small.
Without distortion, it is possible to obtain an excellent distortion reduction effect.
You.

【0024】図4を参照してこの発明の第2の実施例を
説明する。この場合、利得のベクトル量子化部202
おいて利得のベクトル量子化を実施するに先だって、時
間領域について各励振ベクトル毎にレベルの三角窓40
を乗算し、励振ベクトル信号を計4個の信号に分離す
る。この様に励振ベクトルにレベルの三角窓40を乗算
してフレームの前半および後半を強調する前操作を施す
ことにより、励振ベクトルを直接ベクトル量子化する第
1の実施例の場合と比較して歪をより小さくすることが
できる。
A second embodiment of the present invention will be described with reference to FIG. In this case, prior to performing the vector quantization of gains in the vector quantization section 20 2 of the gain, triangular window level for each excitation vector in time domain 40
To separate the excitation vector signal into a total of four signals. By multiplying the excitation vector by the triangular window 40 of the level and performing the pre-operation for emphasizing the first half and the second half of the frame in this manner, distortion is reduced as compared with the first embodiment in which the excitation vector is directly vector-quantized. Can be made smaller.

【0025】図5を参照してこの発明の第3の実施例を
説明する。第2の実施例と同様に、各励振ベクトルに時
間領域の三角窓40を乗算してこれらを計4個の信号の
系統に分離している。第1段階における利得の量子化は
音声信号の特徴に合わせて量子化レベルを制御する。或
は、複数の量子化テーブルを具備してこれらを切り替え
て使用する。これに対して、第2段階における利得の量
子化は第1段階にける利得の量子化の結果を補う様に利
得を一括してベクトル量子化する。この場合、音声の特
徴とは無関係に全ての場合に共通に符号帳の中から歪を
最小にする利得ベクトルを選択してその符号を伝送す
る。
A third embodiment of the present invention will be described with reference to FIG. As in the second embodiment, each excitation vector is multiplied by a triangular window 40 in the time domain, and these are separated into a total of four signal systems. The quantization of the gain in the first stage controls the quantization level according to the characteristics of the audio signal. Alternatively, a plurality of quantization tables are provided and these are switched and used. On the other hand, in the gain quantization in the second stage, the gain is collectively vector-quantized so as to supplement the result of the gain quantization in the first stage. In this case, a gain vector that minimizes distortion is selected from the codebook and transmitted in the codebook regardless of the characteristics of the voice.

【0026】上述された何れの実施例の場合も、入力音
声のパワー、線形予測の予測利得、励振ベクトルのパワ
ーを使用して利得の量子化の前に信号の正規化を行なう
ことができ、スカラ量子化のステップ幅やベクトル量子
化の符号ベクトルの変動幅を小さくすることが可能であ
る。そして、通常第1段階にける利得の量子化は比較的
少ないビット数の量子化でよい。適応的に平均値のみを
変化させる量子化(0ビット量子化)を採用することが
できる。
In any of the embodiments described above, signal normalization can be performed prior to gain quantization using the power of the input speech, the prediction gain of the linear prediction, and the power of the excitation vector, It is possible to reduce the step width of the scalar quantization and the variation width of the code vector of the vector quantization. Usually, the quantization of the gain in the first stage may be a quantization of a relatively small number of bits. It is possible to adopt quantization (0-bit quantization) that adaptively changes only the average value.

【0027】[0027]

【発明の効果】以上の通りであって、この発明は第1段
階における適応的量子化により、フレーム毎に変化する
音声の特徴に合わせた量子化がなされ、第2段階の量子
化において全ての励振信号を考慮したベクトル量子化を
実施することにより波形歪を小さくすることができる。
As described above, according to the present invention, the adaptive quantization in the first stage performs quantization in accordance with the characteristics of speech that changes from frame to frame, and all quantization is performed in the quantization in the second stage. By performing vector quantization in consideration of the excitation signal, waveform distortion can be reduced.

【0028】即ち、この発明の利得のベクトル量子化方
法は第1段階における量子化により利得の大きな変動を
吸収するので、第2段階における量子化の符号帳の符号
ベクトルの変動範囲を通常のベクトル量子化の場合の変
動範囲と比較して小さくすることができる。従って、符
号誤りがある場合も、第1段階における符号ビットだけ
を保護すれば符号誤りの影響を軽減することができる。
That is, since the gain vector quantization method of the present invention absorbs a large change in gain by the quantization in the first stage, the variation range of the code vector of the codebook of the quantization in the second stage is changed to a normal vector. The variation range can be smaller than the variation range in the case of quantization. Therefore, even if there is a code error, the effect of the code error can be reduced by protecting only the code bits in the first stage.

【0029】そして、図1に示される様な従来の利得の
ベクトル量子化方法と比較して演算量およびメモリ量を
殆ど増加させることなくして歪を小さくすることができ
る。また、図2に示される様な適応的にベクトル量子化
の符号帳を切り替える利得のベクトル量子化方法と比較
して、歪を殆ど増加させることなくして符号帳のメモリ
量を大幅に削減することができる。
The distortion can be reduced without increasing the amount of calculation and the amount of memory as compared with the conventional vector quantization method of gain as shown in FIG. Also, as compared with the vector quantization method of gain that adaptively switches between codebooks of vector quantization as shown in FIG. 2, the amount of memory of the codebook can be significantly reduced without increasing distortion. Can be.

【0030】更に、利得gの量子化テーブルは情報量の
極く少ないもので事足り、特徴分析部により分析された
音声の性質に合わせて適応的に切り替え使用することに
より歪を小さくすることができる。切り替えのパラメー
タとしては有声無声の情報、パワ、ピッチ周期が考えら
れるが、この第1段階の量子化はスカラ量子化であるの
で、数多くの量子化テーブルを使用しても量子化テーブ
ルのメモリ量自体極く僅かでもあるところから全メモリ
量の増加は問題とするに値しない。
Further, the quantization table for the gain g needs only a very small amount of information, and the distortion can be reduced by adaptively switching and using it according to the characteristics of the voice analyzed by the feature analysis unit. . Although voiced and unvoiced information, power, and pitch period can be considered as switching parameters, the quantization in the first stage is scalar quantization. The increase in the total amount of memory is not a problem because it is very small.

【図面の簡単な説明】[Brief description of the drawings]

【図1】複数の励振信号をもつCELP符号化方法の基本構
成を示す図。
FIG. 1 is a diagram showing a basic configuration of a CELP encoding method having a plurality of excitation signals.

【図2】適応的に利得を量子化するCELP符号化方法の従
来例を示す図。
FIG. 2 is a diagram showing a conventional example of a CELP encoding method for adaptively quantizing a gain.

【図3】この発明の励振信号の利得量子化方法の第1の
実施例を示す図。
FIG. 3 is a diagram showing a first embodiment of a gain quantization method for an excitation signal according to the present invention;

【図4】この発明の励振信号の利得量子化方法の第2の
実施例を示す図。
FIG. 4 is a diagram showing a second embodiment of the excitation signal gain quantization method of the present invention.

【図5】この発明の励振信号の利得量子化方法の第3の
実施例を示す図。
FIG. 5 is a diagram showing a third embodiment of the gain quantization method of the excitation signal according to the present invention.

【符号の説明】[Explanation of symbols]

12 線形予測分析 15 線形予測合成部 16 符号帳 17 符号帳 201 利得の量子化部 202 利得のベクトル量子化部 30 特徴分析部 31 量子化テーブルReference Signs List 12 Linear prediction analysis 15 Linear prediction synthesis unit 16 Codebook 17 Codebook 20 1- gain quantization unit 20 2- gain vector quantization unit 30 Feature analysis unit 31 Quantization table

───────────────────────────────────────────────────── フロントページの続き (72)発明者 大室 仲 東京都千代田区内幸町1丁目1番6号 日本電信電話株式会社内 (56)参考文献 特開 平4−1800(JP,A) 特開 平2−144598(JP,A) (58)調査した分野(Int.Cl.7,DB名) G10L 11/00 - 21/06 H03M 7/30 H04B 14/04 JICSTファイル(JOIS)──────────────────────────────────────────────────続 き Continuation of front page (72) Inventor Naka Omuro 1-6, Uchisaiwaicho, Chiyoda-ku, Tokyo Nippon Telegraph and Telephone Corporation (56) References JP-A-4-1800 (JP, A) JP-A Hei 2-144598 (JP, A) (58) Field surveyed (Int. Cl. 7 , DB name) G10L 11/00-21/06 H03M 7/30 H04B 14/04 JICST file (JOIS)

Claims (1)

(57)【特許請求の範囲】(57) [Claims] 【請求項1】 入力音声を一定のサンプリング周期毎に
線形予測分析し、予測係数より成る線形予測合成部通過
後の合成信号と入力音声との間の歪を最小とする複数の
励振信号の形状および利得を決定する線形予測符号化方
法に使用される励振信号の利得量子化方法において、 2段階の利得量子化を実施し、 第1段階利得量子化においては、入力音声の特徴に合わ
せて量子化テーブルを適応的に変更し、入力音声の特徴
に合わせて量子化テーブルを適応的に変更し、第1の励
振信号系列を線形予測合成部を通過させて成した後の
合成信号x’、目標とする信号系列yとしたときの差信
号系列d=(y−gx’)を求め、そのエネルギ即ち歪
が最小となる利得の値gを求め、目標とする信号系列y
から利得gを励振信号系列x’に乗じた系列を差し引い
た差信号系列(y−gx’)を生成し、 第2段階の利得量子化においては第1段階における差信
号系列(y−gx’)を新たな目標信号系列とし、複数
の新たな目標信号の利得を一括してベクトル量子化する
ことを特徴とする励振信号の利得量子化方法。
1. A plurality of excitation signal shapes for minimizing distortion between an input speech and a synthesized signal after passing through a linear prediction synthesis section composed of prediction coefficients and performing linear prediction analysis of the input speech at predetermined sampling periods. In the gain quantization method of the excitation signal used in the linear prediction coding method for determining the gain and the gain, two-stage gain quantization is performed. In the first-stage gain quantization, the quantization is performed in accordance with the characteristics of the input speech. the table adaptively change the quantization table adaptively changed according to the characteristics of the input speech, the first excitation
After form if it the oscillating signal sequence is passed through a linear prediction synthesis unit
Difference signal when the synthesized signal x 'and the target signal sequence y are set
Signal sequence d = (y−gx ′), and its energy, that is, distortion
Is determined, and the target signal sequence y
, A difference signal sequence (y-gx ′) is generated by subtracting a sequence obtained by multiplying the excitation signal sequence x ′ by the gain g, and the difference signal sequence (y-gx ′) in the first stage is obtained in the second stage of gain quantization. ) Is a new target signal sequence, and the gains of a plurality of new target signals are collectively vector-quantized.
JP05001110A 1993-01-07 1993-01-07 Excitation signal gain quantization method Expired - Lifetime JP3099852B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP05001110A JP3099852B2 (en) 1993-01-07 1993-01-07 Excitation signal gain quantization method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP05001110A JP3099852B2 (en) 1993-01-07 1993-01-07 Excitation signal gain quantization method

Publications (2)

Publication Number Publication Date
JPH06202697A JPH06202697A (en) 1994-07-22
JP3099852B2 true JP3099852B2 (en) 2000-10-16

Family

ID=11492334

Family Applications (1)

Application Number Title Priority Date Filing Date
JP05001110A Expired - Lifetime JP3099852B2 (en) 1993-01-07 1993-01-07 Excitation signal gain quantization method

Country Status (1)

Country Link
JP (1) JP3099852B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08272395A (en) * 1995-03-31 1996-10-18 Nec Corp Voice encoding device
KR100339168B1 (en) 1996-11-07 2002-06-03 모리시타 요이찌 Excitation vector generator, speech coder, and speech decoder
BR112016008662B1 (en) 2013-10-18 2022-06-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V METHOD, DECODER AND ENCODER FOR CODING AND DECODING AN AUDIO SIGNAL USING SPECTRAL MODULATION INFORMATION RELATED TO SPEECH
ES2839086T3 (en) 2013-10-18 2021-07-05 Fraunhofer Ges Forschung Concept for encoding an audio signal and decoding an audio signal using deterministic information and noise characteristics

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2691921B2 (en) * 1988-11-25 1997-12-17 日本電信電話株式会社 Audio coding method
JP3252285B2 (en) * 1990-04-19 2002-02-04 日本電気株式会社 Audio band signal encoding method
JP2776050B2 (en) * 1991-02-26 1998-07-16 日本電気株式会社 Audio coding method

Also Published As

Publication number Publication date
JPH06202697A (en) 1994-07-22

Similar Documents

Publication Publication Date Title
CA2177421C (en) Pitch delay modification during frame erasures
EP0747883A2 (en) Voiced/unvoiced classification of speech for use in speech decoding during frame erasures
JP3378238B2 (en) Speech coding including soft adaptability characteristics
JPH1091194A (en) Audio decoding method and apparatus
WO2001015144A1 (en) Voice encoder and voice encoding method
JPH09127996A (en) Audio decoding method and apparatus
US5659659A (en) Speech compressor using trellis encoding and linear prediction
KR19980080463A (en) Vector quantization method in code-excited linear predictive speech coder
US6910009B1 (en) Speech signal decoding method and apparatus, speech signal encoding/decoding method and apparatus, and program product therefor
JPH08272395A (en) Voice encoding device
EP0619574A1 (en) Speech coder employing analysis-by-synthesis techniques with a pulse excitation
US7047186B2 (en) Voice decoder, voice decoding method and program for decoding voice signals
JP3099852B2 (en) Excitation signal gain quantization method
JP3353852B2 (en) Audio encoding method
JP3746067B2 (en) Speech decoding method and speech decoding apparatus
US5799271A (en) Method for reducing pitch search time for vocoder
EP1617411B1 (en) Code conversion method and device
US6006177A (en) Apparatus for transmitting synthesized speech with high quality at a low bit rate
JP3199142B2 (en) Method and apparatus for encoding excitation signal of speech
JP3219467B2 (en) Audio decoding method
US6842732B2 (en) Speech encoding and decoding method and electronic apparatus for synthesizing speech signals using excitation signals
JP2613503B2 (en) Speech excitation signal encoding / decoding method
JP3417362B2 (en) Audio signal decoding method and audio signal encoding / decoding method
JP4295372B2 (en) Speech encoding device
JPH11219196A (en) Voice synthesis method

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20070818

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080818

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080818

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090818

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100818

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110818

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120818

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 13

EXPY Cancellation because of completion of term
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130818

Year of fee payment: 13