Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP3713288B2 - 音声復号装置 - Google Patents
[go: Go Back, main page]

JP3713288B2 - 音声復号装置 - Google Patents

音声復号装置 Download PDF

Info

Publication number
JP3713288B2
JP3713288B2 JP06522794A JP6522794A JP3713288B2 JP 3713288 B2 JP3713288 B2 JP 3713288B2 JP 06522794 A JP06522794 A JP 06522794A JP 6522794 A JP6522794 A JP 6522794A JP 3713288 B2 JP3713288 B2 JP 3713288B2
Authority
JP
Japan
Prior art keywords
speech
error
speech coding
parameter
coding parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP06522794A
Other languages
English (en)
Other versions
JPH07271391A (ja
Inventor
政巳 赤嶺
公生 三関
進 神庭
皇 天田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP06522794A priority Critical patent/JP3713288B2/ja
Publication of JPH07271391A publication Critical patent/JPH07271391A/ja
Application granted granted Critical
Publication of JP3713288B2 publication Critical patent/JP3713288B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、音声符号化パラメータを受けて元の音声を復号再生する音声復号装置に関する。
【0002】
【従来の技術】
自動車電話等の移動体通信システムに用いられる音声符号化/復号装置は、低ビットレート化のほかに、移動端末がビルの谷間等のような電界強度の低い場所を通ることによって符号誤りが生じた場合でも良好な音声を再生できることが要求される。特公昭58−49874号公報に記載された音声合成装置は、このような要求に応えるものとして提案された従来の音声復号装置の例である。
【0003】
図4は、この従来の音声復号装置のブロック図であり、1は入力端子、2は出力端子、3は再生中継復調回路、4は合成回路、5は瞬断時と瞬断回復時を検出する瞬断検出回路、6は分析パラメータの1組を遅延記憶する遅延記憶回路、7はスイッチである。
【0004】
この従来装置において、入力端子1から入力された受信信号は再生中継復調回路3によって再生中継復調され、ディジタル信号の分析パラメータに変換されて遅延記憶回路6とスイッチ7に出力される。瞬断時でない場合、瞬断検出回路5は瞬断でないことを検出し、これを遅延記憶回路6とスイッチ7に出力する。遅延記憶回路6は瞬断検出回路5からの信号に基づいて、再生中継復調回路3からの分析パラメータを入力して順次遅延記憶する。スイッチ7は、瞬断検出回路5からの信号に基づいて再生中継復調回路3と合成回路4とを接続する。合成回路4は、スイッチ7を介して再生中継復調回路3の出力信号に基づいて音声信号を復元し、出力端子2に出力する。
【0005】
入力端子1からの入力信号に瞬断が生じた場合は、瞬断検出回路5でそれを検出し、この情報を遅延記憶回路6とスイッチ7に出力する。遅延記憶回路6は、瞬断検出回路5からの瞬断情報により再生中継復調回路3からの入力信号を遅延記憶するのを止め、記憶内容を古い順に順次スイッチ7に繰り返し出力する。遅延記憶回路6は分析パラメータ1組の記憶容量を持っているので、ちょうど1組前の分析パラメータがスイッチ7に出力される。スイッチ7は、瞬断検出回路5からの瞬断情報に基づいて遅延記憶回路6と合成回路4を接続する。合成回路4は、この遅延記憶回路6からの入力信号に基づいて音声信号に復元し、出力端子2に出力する。瞬断が回復すると、瞬断検出回路5が瞬断回復時を検出し、瞬断回復情報を遅延記憶回路6とスイッチ7に出力する。このときは前述の瞬断でない場合の動作に戻る。
【0006】
このように従来の音声復号装置では、電波の瞬断によって音声符号化パラメータに誤りが生じた場合、正常時に入力した1組の音声符号化パラメータに基づいて音声を再生しているので、符号誤りが生じた場合でも音質の大きな劣化を防止することができる。しかしながら、瞬断検出回路5の検出能力には限界があり、どのような検出法を用いたとしても、誤検出を起こすことがあり得る。従って、瞬断検出回路5の検出能力以上の誤りが発生した場合、再生音声の音質が大きく劣化することがある。
【0007】
【発明が解決しようとする課題】
上述したように、従来の音声復号装置では瞬断検出回路の検出能力に限界があるため、瞬断を誤検出することがあり、瞬断によって符号誤りがあったフレームでも誤りなしと検出する可能性がある。このような場合、符号誤りがあるにも拘らず検出されなかったフレームの音声符号化パラメータを記憶してしまい、この音声符号化パラメータに基づいて音声を再生するため、復号音声の音質が劣化するという問題があった。
本発明は、音声符号化パラメータの誤りの誤検出による再生音声の音質劣化を防止できる音声復号装置を提供することを目的とする。
【0008】
【課題を解決するための手段】
本発明は、上記の課題を解決するため、単位区間毎に入力される音声符号化パラメータに基づいて復号を行って音声信号を再生する音声復号装置において、前記入力される音声符号化パラメータの誤りを検出する誤り検出手段と、前記入力される音声符号化パラメータの少なくとも1組を前記誤り検出手段により誤りが検出されない複数の単位区間にわたり記憶する記憶手段と、前記記憶手段から読み出された過去の複数の単位区間にわたる音声符号化パラメータに基づいて音声符号化パラメータを再生するパラメータ再生手段と、
前記誤り検出手段により誤りが検出されない単位区間については前記入力される音声符号化パラメータに基づいて音声信号を再生し、前記誤り検出手段により誤りが検出された単位区間については前記パラメータ再生手段により再生された音声符号化パラメータに基づいて音声信号を再生する再生手段とを備えたことを特徴とする。
【0009】
より具体的には、上記パラメータ再生手段として記憶手段から読み出された過去の複数の単位区間にわたる音声符号化パラメータの補間演算を行う補間手段を設け、誤り検出手段により誤りが検出された単位区間については補間手段により得られた音声符号化パラメータに基づいて音声信号を再生するようにしてもよい。
【0010】
さらに、本発明においては記憶手段から読み出された過去の複数の単位区間にわたる音声符号化パラメータのうち最も信頼性の高い音声符号化パラメータを選択する選択手段を設け、誤り検出手段により誤りが検出された単位区間については、再生手段において該選択手段により選択された音声符号化パラメータに基づいて音声信号を再生するようにしてもよい。
【0011】
【作用】
本発明に係る音声復号装置においては、誤り検出手段によって入力された音声符号化パラメータの符号誤りの有無が検出され、誤りが検出されない単位区間では、入力した音声符号化パラメータに基づいて再生手段で音声が再生されるとともに、記憶手段よって音声符号化パラメータの少なくとも1組が記憶される。このようにして、記憶手段では誤りが検出されない複数の単位区間の音声符号化パラメータが記憶され、さらにこの記憶手段から読み出された過去の複数の単位区間の符号化パラメータについて例えば補間演算が補間手段で行われる。そして、誤りが検出された単位区間では、この補間手段で得られた音声符号化パラメータに基づいて音声が再生される。
【0012】
ここで、入力した音声符号化パラメータに誤りが生じているにも拘らず、誤り検出手段の誤検出により誤りなしと検出された場合でも、そのような誤検出が2つ以上の単位区間にわたり連続して発生する確率は非常に少ない。従って、誤りなしと検出された複数の単位区間の音声符号化パラメータの補間演算を行うと、いずれかの単位区間の音声符号化パラメータが誤っていても、他の誤りの生じていない単位区間の音声符号化パラメータによって、その誤りの影響が緩和される結果、補間演算により得られた音声符号化パラメータの信頼性が向上するので、一つの単位区間のみの音声符号化パラメータに基づいて音声を再生する従来の方式に比較して、音質の劣化は著しく少なくなる。
【0013】
また、誤りなしと検出された複数の単位区間の音声符号化パラメータの信頼性を何らかの手段により判定し、その判定結果に基づいても最も信頼性の高い音声符号化パラメータを用いて音声の再生を行うようにしても、同様に再生音声の音質劣化は低減される。
【0014】
【実施例】
以下、図面を参照して本発明の実施例を説明する。
(実施例1)
図1は、本発明の一実施例に係る音声復号装置のブロック図である。この実施例の音声復号装置は、入力端子100に入力される音声符号化パラメータを復号する符号化パラメータ復号器101と、入力される音声符号化パラメータの誤りを検出する誤り検出回路102と、スイッチ103と、誤り検出回路102により“誤りなし”と検出されたフレーム(単位区間)の音声符号化パラメータを記憶する第1および第2の記憶回路104,105と、これらの記憶回路104,105から読み出された音声符号化パラメータの補間演算を行う補間回路106と、符号化パラメータ復号器101の出力と補間回路106の出力のいずれかを選択するスイッチ107と、このスイッチ107により選択された音声符号化パラメータから元の音声を合成して再生し、出力端子109に出力する音声合成器108により構成される。また、スイッチ103、補間回路106およびスイッチ107は、誤り検出回路102の出力によって制御される。
【0015】
次に、本実施例に係る音声復号装置の動作について説明する。
入力端子100には、図示しない送信側の音声符号化装置から送信された複数の音声符号化パラメータがフレーム単位で入力される。これらの音声符号化パラメータは、例えば音声符号化装置の符号化方式がCELP(Code Excited Linear Prediction)方式の場合を例にとると、LPC分析パラメータ、合成フィルタの駆動信号、音声信号のピッチおよびゲインといったパラメータである。また、これらの音声符号化パラメータは、誤り訂正符号化されて伝送される。
【0016】
入力端子100に入力されたこれらの音声符号化パラメータは、符号化パラメータ復号器101によって復号され、さらにスイッチ103,107に出力される。
【0017】
また、入力端子100に入力された音声符号化パラメータは誤り検出回路102にも入力され、ここで符号誤りがあるかどうかが検出される。スイッチ103,107は、誤り検出回路102の出力によって制御される。すなわち、誤り検出回路102の出力が“誤りなし”を示している場合、スイッチ107は符号化パラメータ復号器101によって復号された音声符号化パラメータを選択して音声合成器108へ送る。また、このときスイッチ103はオンとなって、符号化パラメータ復号器101により復号された音声符号化パラメータを第1の記憶回路104に送る。第1の記憶回路104は、それまで記憶保持していた内容を第2の記憶回路105に出力した後、スイッチ103を介して入力した新たな音声符号化パラメータを記憶すると同時に、それまで記憶保持していた内容を補間回路106へ出力する。一方、第2の記憶回路105はそれまで記憶保持していた内容をクリアした後、第1の記憶回路104から入力された内容を記憶する。
【0018】
このようにして、第1および第2の記憶回路104,105には、誤り検出回路102により符号誤りが検出されなかったフレームの音声符号化パラメータが新しい順に2フレーム分記憶保持される。
【0019】
次に、誤り検出回路102の出力が“誤りあり”を示している場合には、スイッチ103がオフとなって、誤りが検出された音声符号化パラメータの記憶回路104への入力が阻止されるとともに、補間回路106によって第1および第2の記憶回路104,105の内容に基づいて音声符号化パラメータの補間演算が行われる。具体的には、例えば音声符号化パラメータに一つであるLPC分析パラメータとしてLSPパラメータを用いた場合、補間回路106は次式に従ってLSPパラメータの補間を行う。
【0020】
ωi(n)=αωi(n−1)+(1−α)ωi(n−2) (1)
ここで、1≦i≦PでPは分析次数、ωi(n)は現在のフレームのLSPパラメータ、ωi(n−1),ωi(n−2)はそれぞれ記憶回路104,105に記憶保持されているLSPパラメータであり、“誤りなし”と検出されたフレームのLSPパラメータのうちで1番目と2番目に新しいパラメータである。
【0021】
また、αはωi(n−1)とωi(n−2)を加重平均するための0<α<1なる係数であり、より現実的には例えば0.8<α<1の範囲に設定される。このように、ωi(n−1)に対する加重係数αをωi(n−2)に対する加重係数(α−1)より大きくする理由は、ωi(n−1)の方が補間演算結果として実際に要求される音声符号化パラメータに時間的に近いためである。
【0022】
誤り検出回路102の出力が“誤りあり”を示した場合、補間回路106により上記のようにして補間演算された音声符号化パラメータがスイッチ107によって選択され、音声合成器108に入力される。音声合成器108は、入力された音声符号化パラメータに基づいて音声信号を再生し、出力端子102へ出力する。
【0023】
このように本実施例では、誤りが検出されたフレームの音声符号化パラメータの少なくとも1組(上記例ではLSPパラメータ)については、過去に誤りが検出されなかった2つのフレームのパラメータを加重平均して補間したパラメータで代用している。誤り検出回路102の検出能力には限界があるために、誤検出の可能性があることは前述した通りであるが、誤検出が重ねて発生する確率は非常に少ないため、本実施例のように2つのフレームの音声符号化パラメータを加重平均することにより補間したパラメータの信頼性は大きく向上し、これを音声信号の復号再生に用いることにより、符号誤りが生じたフレームでの再生音声の音質劣化を防ぐことができる。また、従来方式では音声符号化パラメータの補間をいわば1つのフレームのパラメータに基づいて行っていたのに対し、本実施例においては2つのフレームのパラメータに基づいて行っているため、補間精度が向上し、再生音声の品質がさらに向上する効果も期待できる。
【0024】
なお、上記実施例では2つのフレームの音声符号化パラメータを記憶保持し、その内容に基づいて、誤ったフレームのパラメータを2次の補間によって求める構成としたが、記憶回路の数を増やして、より高次の補間を行う構成としてもよい。この場合、誤りの誤検出による影響をより小さくすると共に、補間精度をより高くする効果がある。
【0025】
(実施例2)
図2は、本発明の他の実施例に係る復号装置の構成を示すブロック図である。図1に示した実施例と同一部分に同一符号を付して相違点を中心に説明すると、本実施例では音声符号化パラメータの補間を移動平均によって行っている点が図1の実施例と異なる。
【0026】
すなわち、図2においては誤り検出回路102の出力が“誤りなし”を示したときに符号化パラメータ復号器101により復号された音声符号化パラメータが第1の記憶回路104で記憶保持される。補間回路202は係数乗算器203,204と加算器205および第2の記憶回路206からなり、記憶回路206は誤り検出回路102の出力が“誤りなし”を示したフレーム単位で内容を記憶保持するように制御される。この実施例の場合、音声符号化パラメータの補間値は次式により計算される。
【0027】
Ωi=βΩi+(1−β)ωi(n−1) (2)
ここで、ΩiはLSPパラメータの補間値で、加算器205の出力、ωi(n−1)は誤り検出回路102の出力が“誤りなし”を示したフレームのLSPパラメータ、(1−β)は乗算器203の係数、βは乗算器204の係数(移動平均の係数)である。
【0028】
本実施例によれば、音声符号化パラメータの補間を過去の誤りなしの全フレームのパラメータを移動平均することにより行うため、補間パラメータの信頼性および補間精度が向上する。さらに、2個の係数乗算器203,204と加算器205および1個の記憶回路206で構成される補間回路202によって高次の補間を行うため、図1の実施例のような単純な加算平均により高次の補間を実現する場合に比較して回路規模を小さくできるという利点もある。
【0029】
なお、以上の各実施例では音声符号化パラメータの補間演算をフレーム単位で行ったが、サブフレーム単位で行ってもよい。その場合、補間に用いるパラメータの相関が強くなるため、補間精度が向上する効果がある。
【0030】
(実施例3)
図3は、本発明のさらに別の実施例に係る音声復号装置の構成を示すブロック図である。図1に示した実施例と同一部分に同一符号を付して相違点を中心に説明すると、本実施例では信頼性判定部301とスイッチ302を設け、音声符号化パラメータの補間を行う代わりに、第1および第2の記憶回路104,105に記憶保持された音声符号化パラメータを選択的に切り替えて音声信号の復号再生に用いる点が図1の実施例と異なっている。
【0031】
第1および第2の記憶回路104,105は、誤り検出回路102の出力が“誤りなし”を示したときに符号化パラメータ復号器101により復号された音声符号化パラメータをそれぞれ記憶している。信頼性判定部301は、これら記憶回路104,105に記憶保持されている音声符号化パラメータのうち、過去の音声符号化パラメータとの連続性が良くなる方を信頼性の高いものと判定し、その判定結果に基づいてスイッチ302を制御する。そして、誤り検出回路102が“誤りあり”と検出したときには、スイッチ302で選択された音声符号化パラメータがスイッチ107で選択され、これに基づいて音声合成器108で音声が復号再生される。
【0032】
なお、記憶回路104,105に記憶保持された音声符号化パラメータを選択する際には、上述した過去の音声符号化パラメータとの連続性を考慮する方法の他、音声符号化パラメータに含まれるフィルタ係数について、フィルタがより安定となるようなフィルタ係数を含む音声符号化パラメータをより信頼性が高いものとして判定してもよい。また、音声符号化パラメータに含まれる電力係数について、過去の音声符号化パラメータに含まれる電力係数からの変化がより滑らかに変化する電力係数を含む音声符号化パラメータをより信頼性が高いものとして判定してもよい。
【0033】
このように本実施例によれば、誤りが検出されたフレームの音声符号化パラメータについては、複数の記憶回路104,105に記憶保持されている誤りが検出されなかったときの音声符号化パラメータのうち信頼性の最も高いパラメータを選択して音声の再生に用いることにより、符号誤りが生じたフレームの再生音声の音質劣化を防止することができる。
【0034】
【発明の効果】
以上説明したように、本発明によれば音声符号化パラメータに誤りがあった場合には、過去の誤りなしと判定された複数の単位区間の音声符号化パラメータに基づいて音声を再生して出力するため、誤り検出の誤検出による音質劣化を防ぐとともに、符号誤り時の音声符号化パラメータの補間を精度よく行うことができるので、再生音質が向上するという効果が得られる。
【図面の簡単な説明】
【図1】本発明の一実施例に係る音声復号装置の構成を示すブロック図
【図2】本発明の他の実施例に係る音声復号装置の構成を示すブロック図
【図3】本発明のさらに別の実施例に係る音声復号装置の構成を示すブロック図
【図4】従来の音声復号装置の構成を示すブロック図
【符号の説明】
100…入力端子
101…符号化パラメータ復号器
102…誤り検出回路
103…スイッチ
104…第1の記憶回路
105…第2の記憶回路
106…補間回路
107…スイッチ
108…音声合成器
109…出力端子
202…補間回路
203…係数乗算器
204…係数乗算器
205…加算器
206…記憶回路
301…信頼性判定部
302…スイッチ

Claims (1)

  1. 単位区間毎に入力される音声符号化パラメータに基づいて復号を行って音声信号を再生する音声復号装置において、
    前記入力される音声符号化パラメータの誤りを検出する誤り検出手段と、
    前記入力される音声符号化パラメータの少なくとも1組を前記誤り検出手段により誤りが検出されない複数の単位区間にわたり記憶する記憶手段と、
    前記記憶手段から読み出された過去の複数の単位区間にわたる音声符号化パラメータのうち、過去の音声符号化パラメータに含まれる電力係数からの変化がより滑らかに変化する電力係数を含む音声符号化パラメータほど信頼性が高いものとして判定して最も信頼性の高い音声符号化パラメータを選択する選択手段と、
    前記誤り検出手段により誤りが検出されない単位区間については前記入力される音声符号化パラメータに基づいて音声信号を再生し、前記誤り検出手段により誤りが検出された単位区間については前記選択手段により選択された音声符号化パラメータに基づいて音声信号を再生する再生手段とを備えたことを特徴とする音声復号装置。
JP06522794A 1994-04-01 1994-04-01 音声復号装置 Expired - Fee Related JP3713288B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06522794A JP3713288B2 (ja) 1994-04-01 1994-04-01 音声復号装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06522794A JP3713288B2 (ja) 1994-04-01 1994-04-01 音声復号装置

Publications (2)

Publication Number Publication Date
JPH07271391A JPH07271391A (ja) 1995-10-20
JP3713288B2 true JP3713288B2 (ja) 2005-11-09

Family

ID=13280829

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06522794A Expired - Fee Related JP3713288B2 (ja) 1994-04-01 1994-04-01 音声復号装置

Country Status (1)

Country Link
JP (1) JP3713288B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100633720B1 (ko) * 1999-04-19 2006-10-16 에이티 앤드 티 코포레이션 패킷 손실 또는 프레임 삭제 은폐를 수행하는 방법 및 장치
US7117156B1 (en) 1999-04-19 2006-10-03 At&T Corp. Method and apparatus for performing packet loss or frame erasure concealment
US7047190B1 (en) 1999-04-19 2006-05-16 At&Tcorp. Method and apparatus for performing packet loss or frame erasure concealment
US7031926B2 (en) 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
JP4419748B2 (ja) * 2004-08-12 2010-02-24 沖電気工業株式会社 消失補償装置、消失補償方法、および消失補償プログラム
KR102259112B1 (ko) * 2012-11-15 2021-05-31 가부시키가이샤 엔.티.티.도코모 음성 부호화 장치, 음성 부호화 방법, 음성 부호화 프로그램, 음성 복호 장치, 음성 복호 방법 및 음성 복호 프로그램
MX2023000343A (es) * 2020-07-08 2023-02-09 Dolby Int Ab Ocultacion de perdida de paquetes.

Also Published As

Publication number Publication date
JPH07271391A (ja) 1995-10-20

Similar Documents

Publication Publication Date Title
JP4199281B2 (ja) Tdma無線システムにおけるソフト誤り補正
EP0459358B1 (en) Speech decoder
EP0116975B1 (en) Speech-adaptive predictive coding system
JP3155952B2 (ja) 音声復号装置
EP0603854B1 (en) Speech decoder
US7117150B2 (en) Voice detecting method and apparatus using a long-time average of the time variation of speech features, and medium thereof
EP1746581B1 (en) Sound packet transmitting method, sound packet transmitting apparatus, sound packet transmitting program, and recording medium in which that program has been recorded
JP3713288B2 (ja) 音声復号装置
JPH0927757A (ja) 消去中の音の復元の方法と装置
EP1074975B1 (en) Method for decoding an audio signal with transmission error concealment
JP3583550B2 (ja) 補間装置
US8335579B2 (en) Restoring corrupted audio signals
JPH08211898A (ja) サブバンド・オーディオ信号合成装置
JPH0612095A (ja) 音声復号化方法
JP3368443B2 (ja) 音声符号化伝送システム及び受信装置
JP4551555B2 (ja) 符号化データ伝送装置
JP2001339368A (ja) 誤り補償回路及び誤り補償機能を備えた復号装置
JP3187953B2 (ja) 無線通信装置
JP4572755B2 (ja) 復号化装置,復号化方法及びデジタル音声通信システム
JP2000196568A (ja) Adpcm補正方式
JPH0865275A (ja) 音声信号の受信方法
JPH0690207A (ja) Adpcm受信機
JP2001177481A (ja) 復号化装置
JP2529447B2 (ja) デ―タ補間方法及び装置
JP2823407B2 (ja) 音声復号装置

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040816

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041006

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050822

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090826

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees