Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4626261B2 - Speech coding apparatus and speech coding method - Google Patents
[go: Go Back, main page]

JP4626261B2 - Speech coding apparatus and speech coding method - Google Patents

Speech coding apparatus and speech coding method Download PDF

Info

Publication number
JP4626261B2
JP4626261B2 JP2004307029A JP2004307029A JP4626261B2 JP 4626261 B2 JP4626261 B2 JP 4626261B2 JP 2004307029 A JP2004307029 A JP 2004307029A JP 2004307029 A JP2004307029 A JP 2004307029A JP 4626261 B2 JP4626261 B2 JP 4626261B2
Authority
JP
Japan
Prior art keywords
unit
block
frame
frequency
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004307029A
Other languages
Japanese (ja)
Other versions
JP2006119363A (en
Inventor
博康 井手
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2004307029A priority Critical patent/JP4626261B2/en
Publication of JP2006119363A publication Critical patent/JP2006119363A/en
Application granted granted Critical
Publication of JP4626261B2 publication Critical patent/JP4626261B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

本発明は、音声符号化装置、及び音声符号化方法に関する。   The present invention relates to a speech coding apparatus and a speech coding method.

従来より、音声信号の圧縮方式として、μ−law、ADPCM(Adaptive Differential Pulse Code Modulation)、音楽で利用されるMP3(MPEG Audio Layer-3)、携帯電話等で利用されるVSELP(Vector Sum Excited Linear Prediction)、G.729等のCELP(Code-Excited Linear Prediction)系の圧縮方式が実用化されている。特許文献1には、音声圧縮技術として、ベクトル量子化を用いた技術が開示されている。
特開平10−63299号公報
Conventionally, audio signal compression methods include μ-law, ADPCM (Adaptive Differential Pulse Code Modulation), MP3 (MPEG Audio Layer-3) used in music, VSELP (Vector Sum Excited Linear) used in mobile phones, etc. Prediction), G. A CELP (Code-Excited Linear Prediction) type compression method such as 729 has been put into practical use. Patent Document 1 discloses a technique using vector quantization as an audio compression technique.
Japanese Patent Laid-Open No. 10-63299

語学学習において会話等の録音を行う場合、16kHz程度のサンプリング周波数が、各言語の特徴を保ちつつ、多くのデータ量を必要としない適度な周波数であると考えられている。しかしながら、CELP系の圧縮方式に現れる圧縮ノイズは、語学学習用には適切ではないという問題があった。また、μ−law、ADPCMは、十分な音質であるが、符号化レートが高いため、携帯機器でこれらの圧縮方式を利用する場合、録音時間が短くなってしまうという問題があった。また、MP3は、主に高品質の音声の圧縮を対象としており、16kHz程度のサンプリング周波数では、効果的に圧縮を行うことができないという問題があった。   When recording conversation or the like in language learning, a sampling frequency of about 16 kHz is considered to be an appropriate frequency that does not require a large amount of data while maintaining the characteristics of each language. However, there is a problem that the compression noise that appears in the CELP compression method is not appropriate for language learning. In addition, although μ-law and ADPCM have sufficient sound quality, since the encoding rate is high, there is a problem that recording time is shortened when these compression methods are used in a portable device. MP3 is mainly intended for compression of high-quality audio, and there is a problem that compression cannot be performed effectively at a sampling frequency of about 16 kHz.

本発明の課題は、音声符号化における符号化の効率を向上させることにより、効果的な音声符号化を実現させることである。   An object of the present invention is to realize effective speech coding by improving coding efficiency in speech coding.

本発明に係る音声符号化装置は、入力された音声信号をフレームに分割するフレーム化部と、1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、前記周波数変換部で得られた変換係数のうちの予め指定された1つのブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、を備えることを特徴としている。
また別の本発明に係る音声符号化装置は、入力された音声信号をフレームに分割するフレーム化部と、1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、前記周波数変換部で得られた変換係数に基づいて、フレームを構成するブロック単位毎に変換係数の絶対値の和を算出し、この絶対値の和の値が最も大きなブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、を備えることを特徴とする。
更に別の本発明に係る音声符号化装置は、入力された音声信号をフレームに分割するフレーム化部と、1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、フレームを構成するブロック単位毎に算出された変換係数のうち絶対値が最大となる値を有するブロックを求め、当該ブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、を備えることを特徴とする。
The speech coding apparatus according to the present invention includes a framing unit that divides an input speech signal into frames, and a frequency that performs frequency transformation on the speech signal for each block unit constituting one frame and calculates a transform coefficient. A conversion unit, a division unit that divides a conversion coefficient of another block in the same frame by a conversion coefficient of one block specified in advance among the conversion coefficients obtained by the frequency conversion unit, and the division unit A vector quantization unit that vector-quantizes the obtained divided coefficients of the transform coefficients for each block for each frequency band, and encodes index data obtained by the vector quantization unit using a predetermined encoding method. And an encoding unit for converting to an encoding unit.
Another speech encoding apparatus according to the present invention includes a framing unit that divides an input speech signal into frames, and performs a transform on the speech signal for each block unit constituting one frame to obtain a transform coefficient. Based on the frequency conversion unit to be calculated and the conversion coefficient obtained by the frequency conversion unit, the sum of absolute values of the conversion coefficients is calculated for each block unit constituting the frame, and the sum of the absolute values is the largest. Divide the transform coefficient of the other block in the same frame by the transform coefficient of the block, and vector quantization of the divided values of the transform coefficients of each block obtained by the divider for each frequency band A vector quantization unit that encodes the index data obtained by the vector quantization unit using a predetermined encoding method.
Furthermore, another speech encoding apparatus according to the present invention includes a framing unit that divides an input speech signal into frames, and performs a frequency conversion on the speech signal for each block unit constituting one frame to obtain a transform coefficient. A frequency conversion unit to be calculated and a block having a value having the maximum absolute value among the conversion coefficients calculated for each block unit constituting the frame are obtained, and the conversion coefficient of the block is used to determine other blocks in the same frame. A division unit that divides the transform coefficient, a vector quantization unit that collectively vector-quantizes the divided values of the transform coefficient of each block obtained by the division unit for each frequency band, and the vector quantization unit. And an encoding unit that encodes the index data obtained by a predetermined encoding method.

本発明によれば、周波数変換により得られた変換係数のうち、フレーム中の所定の1つのブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算するようにしたことにより、除算後の変換係数の絶対値の範囲が狭くなり、ベクトル量子化やエントロピー符号化等の効率が向上し、音質を向上させることができる。 According to the present invention, among the transform coefficients obtained by frequency transform, the transform coefficient of another block in the same frame is divided by the transform coefficient of a predetermined one block in the frame. The range of the absolute value of the subsequent transform coefficient is narrowed, the efficiency of vector quantization, entropy coding, etc. is improved, and the sound quality can be improved.

以下、図面を参照して、本発明の実施形態について詳細に説明する。
まず、本実施形態における構成について説明する。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
First, the configuration in the present embodiment will be described.

図1に、本発明の実施形態に係る音声符号化装置100の構成を示す。音声符号化装置100は、図1に示すように、A/D変換部1、DC(Direct Current)除去部2、フレーム化部3、レベル調整部4、周波数変換部5、除算部6、周波数並べ替え部7、ベクトル量子化部8、エントロピー符号化部9、レートコントローラ10、データ削除部11により構成される。   FIG. 1 shows a configuration of speech encoding apparatus 100 according to an embodiment of the present invention. As shown in FIG. 1, the speech encoding apparatus 100 includes an A / D converter 1, a DC (Direct Current) removing unit 2, a framing unit 3, a level adjusting unit 4, a frequency converting unit 5, a dividing unit 6, a frequency The rearrangement unit 7, the vector quantization unit 8, the entropy encoding unit 9, the rate controller 10, and the data deletion unit 11 are configured.

A/D変換部1は、入力された音声アナログ信号をデジタル信号に変換し、DC除去部2に出力する。サンプリング周波数は、16kHz程度が望ましいが、11.025kHz、22.05kHz等でもかまわない。   The A / D conversion unit 1 converts the input audio analog signal into a digital signal and outputs the digital signal to the DC removal unit 2. The sampling frequency is preferably about 16 kHz, but may be 11.025 kHz, 22.05 kHz, or the like.

DC除去部2は、A/D変換部1から入力された音声信号の直流成分を除去し、フレーム化部3に出力する。音声信号の直流成分を除去するのは、直流成分が音質にほとんど無関係であることによる。直流成分の除去は、例えば、高域通過フィルタによって実現することができる。高域通過フィルタには、例えば、式(1)で表されるものがある。

Figure 0004626261
The DC removal unit 2 removes the direct current component of the audio signal input from the A / D conversion unit 1 and outputs it to the framing unit 3. The reason why the DC component of the audio signal is removed is that the DC component is almost irrelevant to the sound quality. The removal of the direct current component can be realized by, for example, a high-pass filter. An example of the high-pass filter is represented by Expression (1).
Figure 0004626261

フレーム化部3は、DC除去部2から入力された信号を、符号化(圧縮)の処理単位であるフレームに分割し、レベル調整部4に出力する。ここで、1つのフレームは、1つ以上、好ましくは4つ以上のブロックが含まれる長さにする。1ブロックは、1回のMDCT(Modified Discrete Cosine Transform:変形離散コサイン変換)を行う単位であり、MDCTの次数分の長さを有する。以下、1フレームを構成する各ブロックをMDCTブロックと呼ぶことにする。図2に、入力信号と各フレームとの関係を示し、図3に、1フレームと各MDCTブロックとの関係を示す。図3に示すように、各MDCTブロックは直前のMDCTブロックと、MDCTブロックの半分の長さの重複部分を有する。また、図2に示すように、各フレームは、直前のフレームと、MDCTブロックの半分の長さの重複部分を有する。   The framing unit 3 divides the signal input from the DC removal unit 2 into frames that are processing units of encoding (compression) and outputs the frames to the level adjustment unit 4. Here, one frame has a length including one or more, preferably four or more blocks. One block is a unit for performing one MDCT (Modified Discrete Cosine Transform), and has a length corresponding to the order of MDCT. Hereinafter, each block constituting one frame is referred to as an MDCT block. FIG. 2 shows the relationship between the input signal and each frame, and FIG. 3 shows the relationship between one frame and each MDCT block. As shown in FIG. 3, each MDCT block has an overlap portion that is half the length of the previous MDCT block and the MDCT block. In addition, as shown in FIG. 2, each frame has an overlapping portion that is half the length of the previous frame and the MDCT block.

レベル調整部4は、フレーム毎に、入力された音声信号のレベル調整を行い、レベル調整された信号を周波数変換部5に出力する。レベル調整とは、1フレーム中に含まれる信号の振幅の最大値を、指定されたビット(以下、制圧目標ビット)数に収まるようにすることである。レベル調整は、例えば、1フレーム中の信号の最大振幅をnbit、制圧目標ビット数をNとすると、フレーム中の信号を全て、式(2)を満たすshift_bit数分LSB(Least Significant Bit:最下位ビット)側にシフトすることによって実現できる。

Figure 0004626261
音声信号では、10ビット程度に制圧することが考えられる。なお、音声再生時には、振幅が制圧目標ビット以下に制圧された信号を元に戻す必要があるため、shift_bitを表す信号が、音声符号化信号の一部として出力される。 The level adjustment unit 4 adjusts the level of the input audio signal for each frame, and outputs the level-adjusted signal to the frequency conversion unit 5. Level adjustment is to make the maximum value of the amplitude of a signal included in one frame fall within a specified number of bits (hereinafter referred to as suppression target bits). For example, if the maximum amplitude of a signal in one frame is nbit and the suppression target bit number is N, all the signals in the frame are LSB (Least Significant Bit: least significant) for the number of shift_bits that satisfy Expression (2). This can be realized by shifting to the bit) side.
Figure 0004626261
It can be considered that the audio signal is suppressed to about 10 bits. Note that, during audio reproduction, a signal whose amplitude is suppressed to a suppression target bit or less needs to be restored, so a signal representing shift_bit is output as part of the encoded audio signal.

周波数変換部5は、レベル調整部4から入力された信号に対し周波数変換を施し、除算部6に出力する。本実施形態では、周波数変換としてMDCT(Modified Discrete Cosine Transform:変形離散コサイン変換)を用いる場合を示す。MDCTブロックの長さをM、入力信号を{xn|n=0,…,M-1}とすると、MDCT係数{Xk|k=0,…,M/2-1}は式(3)のように表される。

Figure 0004626261
ここで、hnは窓関数であり、式(4)で表される。
Figure 0004626261
なお、ブロック長Mは、16kHz程度のサンプリング周波数の音声では、256程度の値が考えられる。 The frequency conversion unit 5 performs frequency conversion on the signal input from the level adjustment unit 4 and outputs the result to the division unit 6. In the present embodiment, a case where MDCT (Modified Discrete Cosine Transform) is used as frequency conversion is shown. When the length of the MDCT block is M and the input signal is {x n | n = 0,..., M−1}, the MDCT coefficient {X k | k = 0,. ).
Figure 0004626261
Here, h n is a window function, and is represented by Expression (4).
Figure 0004626261
Note that the block length M may be a value of about 256 for audio having a sampling frequency of about 16 kHz.

除算部6は、周波数変換により得られた1フレーム分のMDCTブロックのうち予め指定されたMDCTブロックのMDCT係数で、他のMDCTブロックのMDCT係数を除算する処理を行う。例えば、1フレーム中にM0〜M3の4つのMDCTブロックがあり、各MDCTブロックは6次のMDCT係数を有するものとする。i番目のMDCTブロックのMDCT係数をMi={min|n=0,…,5}と表し、除算処理において除算値として予め指定されたMDCTブロックをM0とする。同一フレーム内の他のMDCTブロックM1〜M3のMDCT係数をM0のMDCT係数で除算した結果M'i={m'in|n=0,…,5}は、式(5)のようになる。
m'in=min / m0n i=1,2,3, n=0,…,5 (5)
なお、除算値m0nの絶対値が1未満であった場合、除算によりMDCT係数の値が却って大きくなってしまうため、除算値m0nの絶対値が1以上である場合(|m0n|>1)のみ、除算処理を行うようにする。
The division unit 6 performs a process of dividing the MDCT coefficient of another MDCT block by the MDCT coefficient of the MDCT block designated in advance among the MDCT blocks for one frame obtained by the frequency conversion. For example, there are four MDCT blocks M 0 to M 3 in one frame, and each MDCT block has a sixth-order MDCT coefficient. The MDCT coefficient of the i -th MDCT block is expressed as M i = {m in | n = 0,..., 5}, and the MDCT block designated in advance as a division value in the division processing is M 0 . As a result of dividing the MDCT coefficients of other MDCT blocks M 1 to M 3 in the same frame by the MDCT coefficient of M 0 , M ′ i = {m ′ in | n = 0,..., 5} It becomes like this.
m 'in = m in / m 0n i = 1,2,3, n = 0, ..., 5 (5)
If the absolute value of the division value m 0n is less than 1, the value of the MDCT coefficient becomes larger due to the division, so that the absolute value of the division value m 0n is 1 or more (| m 0n |> 1) Only perform division processing.

例えば、MDCTブロックM0〜M3のMDCT係数が下記の式(6)である場合、除算処理後のM'i(i=1,2,3)は式(7)のようになる。

Figure 0004626261
Figure 0004626261
For example, when the MDCT coefficients of the MDCT blocks M 0 to M 3 are expressed by the following formula (6), M ′ i (i = 1, 2, 3) after the division processing is expressed by the following formula (7).
Figure 0004626261
Figure 0004626261

周波数並べ替え部7は、除算部6の除算処理で得られたMDCT係数を周波数毎に並べ替え、同一周波数帯域の係数をまとめてベクトル化し、ベクトル量子化部8に出力する。このように、同一周波数帯域の信号をまとめてベクトル化すると、例えば、定常信号を多く含む場合、後のベクトル量子化の精度が向上する。1フレームにMDCTブロックがm個あり、各MDCTでMDCT係数がM/2個算出された場合、i番目のMDCTブロックのj番目のMDCT係数をXijとすると、j番目の周波数帯域をまとめたベクトルFjは、Fj={Xij|i=0,…,m-1},j=0,…,M/2-1となる。 The frequency rearrangement unit 7 rearranges the MDCT coefficients obtained by the division process of the division unit 6 for each frequency, collectively vectorizes the coefficients in the same frequency band, and outputs them to the vector quantization unit 8. As described above, when signals in the same frequency band are collectively vectorized, for example, when many stationary signals are included, the accuracy of subsequent vector quantization is improved. When there are m MDCT blocks in one frame and M / 2 MDCT coefficients are calculated in each MDCT, the j-th frequency band is summarized assuming that the j-th MDCT coefficient of the i-th MDCT block is X ij . The vector F j is F j = {X ij | i = 0,..., M−1}, j = 0,.

ベクトル量子化部8は、複数の音声パターンを示す代表ベクトルを格納したVQ(Vector Quantization)テーブルを有し、周波数並べ替え部7で作成されたベクトルFjと、VQテーブルに格納された各代表ベクトルを比較し、最も類似した代表ベクトルが示すインデックスを符号としてエントロピー符号化部9に出力する。 The vector quantization unit 8 has a VQ (Vector Quantization) table that stores representative vectors representing a plurality of speech patterns. The vector F j created by the frequency rearrangement unit 7 and each representative stored in the VQ table. The vectors are compared, and the index indicated by the most similar representative vector is output as a code to the entropy encoding unit 9.

例えば、ベクトル長Nの符号化対象のベクトルを{sj|j=1,…,N}、VQテーブルに格納されたk個の代表ベクトルを{Vi|i=1,…,k}、Vi={vij|j=1,…,N}とすると、符号化対象のベクトルと、VQテーブルに格納されたi番目の代表ベクトルの各要素vijの誤差eiが最小となるようなi(インデックス)を、出力する符号とする。誤差eiの算出式を式(8)に示す。

Figure 0004626261
代表ベクトルの数kと符号化対象ベクトルのベクトル長Nは、ベクトル量子化に要する処理時間やVQテーブルの容量等を勘案して決定される。例えば、ベクトル長を2にして代表ベクトル数を256にしたり、ベクトル長を4にして代表ベクトル数を8192(=213)にしたりするなど、自由な組み合わせが考えられる。 For example, {s j | j = 1,..., N} is an encoding target vector having a vector length N, and k representative vectors stored in the VQ table are {V i | i = 1,. If V i = {v ij | j = 1,..., N}, the error e i between the encoding target vector and each element v ij of the i-th representative vector stored in the VQ table is minimized. I (index) is an output code. The equation for calculating the error e i shown in equation (8).
Figure 0004626261
The number k of representative vectors and the vector length N of the encoding target vector are determined in consideration of the processing time required for vector quantization, the capacity of the VQ table, and the like. For example, a free combination is conceivable, for example, the vector length is 2 and the number of representative vectors is 256, or the vector length is 4 and the number of representative vectors is 8192 (= 2 13 ).

音声は、高域周波数部分と低域周波数部分で異なる特性がある場合が多いため、本実施形態では、高域と低域で異なるVQテーブルを用いることにする。高域用の代表ベクトルが格納されたVQテーブルを高域用VQテーブル8a、低域用の代表ベクトルが格納されたVQテーブルを低域用VQテーブル8bとする。周波数並べ替え部7で作成されたベクトルFj={Xij|i=0,…,m-1},j=0,…,M/2-1において、高域と低域の境界は、周波数帯域を示すjを単純に半分に分ければよい。即ち、F0,F1,…,FM/4-1を低域、FM/4,FM/4+1,…,FM/2-1を高域とすればよい。従って、低域のベクトルF0,F1,…,FM/4-1は、低域用VQテーブル8bに格納された各代表ベクトルと比較され、最も類似した代表ベクトルが示すインデックスが符号として出力される。同様に、高域のベクトルFM/4,FM/4+1,…,FM/2-1は、高域用VQテーブル8aに格納された各代表ベクトルと比較され、最も類似した代表ベクトルが示すインデックスが符号として出力される。 Since audio often has different characteristics in the high frequency part and the low frequency part, in this embodiment, different VQ tables are used in the high frequency and the low frequency. The VQ table storing the high frequency representative vector is referred to as the high frequency VQ table 8a, and the VQ table storing the low frequency representative vector is referred to as the low frequency VQ table 8b. In the vector F j = {X ij | i = 0,..., M−1}, j = 0,..., M / 2-1 created by the frequency rearrangement unit 7, the boundary between the high frequency and the low frequency is What is necessary is just to divide j which shows a frequency band into half simply. That, F 0, F 1, ... , low the F M / 4-1, F M / 4, F M / 4 + 1, ..., a F M / 2-1 may be set to the high band. Therefore, the low-frequency vectors F 0 , F 1 ,..., F M / 4-1 are compared with the representative vectors stored in the low-frequency VQ table 8b, and the index indicated by the most similar representative vector is used as a code. Is output. Similarly, the high-frequency vectors F M / 4 , F M / 4 + 1 ,..., F M / 2-1 are compared with the representative vectors stored in the high-frequency VQ table 8a, and the most similar representatives are compared. The index indicated by the vector is output as a code.

エントロピー符号化部9は、ベクトル量子化部8から入力された符号に対してエントロピー符号化を施し、レートコントローラ10に出力する。エントロピー符号化とは、信号の統計的性質を利用して、符号をより短い符号へと変換する符号化方式であり、ハフマン(Huffman)符号化、算術符号化、レンジコーダ(Range Coder)による符号化等がある。エントロピー符号化の詳細については、後に図4〜図8を参照して説明する。   The entropy encoding unit 9 performs entropy encoding on the code input from the vector quantization unit 8 and outputs the result to the rate controller 10. Entropy coding is a coding method that uses the statistical properties of a signal to convert a code into a shorter code. Huffman coding, arithmetic coding, and code by a range coder (Range Coder) There is. Details of the entropy encoding will be described later with reference to FIGS.

レートコントローラ10は、エントロピー符号化で得られた符号のデータ量が、予め設定された目標データ量より大きいか否かを判定し、エントロピー符号化で得られた符号のデータ量が目標データ量より大きいと判定した場合、データ削除部11に対し、符号のデータ量の抑制を要求する。エントロピー符号化で得られた符号のデータ量が目標データ量以下であると判定した場合は、レートコントローラ10は、エントロピー符号化で得られた符号を符号化(圧縮)された音声信号として出力する。レートコントローラ10から出力された音声符号化信号は、記録媒体に記録されたり、通信ネットワークを介して外部装置に伝送されたりする。   The rate controller 10 determines whether or not the amount of code data obtained by entropy coding is larger than a preset target data amount, and the amount of code data obtained by entropy coding is larger than the target data amount. When it determines with it being large, it requests | requires suppression of the data amount of a code | symbol with respect to the data deletion part 11. FIG. When it is determined that the data amount of the code obtained by entropy coding is less than or equal to the target data amount, the rate controller 10 outputs the code obtained by entropy coding as an encoded (compressed) audio signal. . The encoded speech signal output from the rate controller 10 is recorded on a recording medium or transmitted to an external device via a communication network.

データ削除部11は、レートコントローラ10により、エントロピー符号化で得られた符号のデータ量が目標データ量より大きいと判定された場合、エネルギー|Fj2が最小の帯域を削除し、削除後の音声信号をエントロピー符号化部9に出力し、再度、エントロピー符号化を要求する。 Data deleting unit 11, by the rate controller 10, if the data amount of the code obtained by the entropy coding is determined to be greater than the target amount of data, energy | F j | 2 deletes the minimum bandwidth, after deletion Are output to the entropy encoding unit 9 and the entropy encoding is requested again.

〈エントロピー符号化〉
以下では、本実施形態で適用されるエントロピー符号化の例として、ハフマン符号化、レンジコーダによる符号化について説明する。
<Entropy coding>
Hereinafter, Huffman coding and coding by a range coder will be described as examples of entropy coding applied in the present embodiment.

(ハフマン符号化)
ハフマン符号化とは、出現頻度の高い記号には短い符号を割り当て、出現頻度の低い記号には長い符号を割り当てることで、全体のデータ量を圧縮する方式である。例えば、4つの記号{a、b、c、d}からなる100文字のデータがあったとする。全ての記号に同じ長さの2進数の符号(固定長符号)を割り当てる場合、4つの記号を表すには2ビットが必要であるため、100文字のデータ量は、2[bit]×100=200[bit]となる。
(Huffman coding)
Huffman coding is a method of compressing the entire data amount by assigning short codes to symbols with high appearance frequency and assigning long codes to symbols with low appearance frequency. For example, assume that there is 100 characters of data consisting of four symbols {a, b, c, d}. When a binary code (fixed length code) having the same length is assigned to all symbols, 2 bits are required to represent the four symbols, so the data amount of 100 characters is 2 [bit] × 100 = 200 [bit].

ハフマン符号化では、各記号の出現頻度に応じて2進数の符号が割り当てられる。図4に、100文字のデータ中の各記号a、b、c、dの出現頻度が、それぞれ、10、70、1、19である場合に各記号に割り当てられた2進数の符号の例を示す。図4に示すように、記号a、b、c、dに、それぞれ、符号100、0、101、11が割り当てられた場合、100文字のデータ量は、3[bit]×10+1[bit]×70+3[bit]×1+2[bit]×19=141[bit]となり、データ量は、固定長符号のデータ量の70%に圧縮される。   In Huffman coding, a binary code is assigned according to the appearance frequency of each symbol. FIG. 4 shows an example of a binary code assigned to each symbol when the appearance frequency of each symbol a, b, c, d in 100-character data is 10, 70, 1, 19 respectively. Show. As shown in FIG. 4, when symbols 100, 0, 101, and 11 are assigned to the symbols a, b, c, and d, respectively, the data amount of 100 characters is 3 [bit] × 10 + 1 [bit] ×. 70 + 3 [bit] × 1 + 2 [bit] × 19 = 141 [bit], and the data amount is compressed to 70% of the data amount of the fixed-length code.

(レンジコーダによる符号化)
符号化前の元信号に含まれる記号の集合をS={si|i=1,…,n}とし、各記号siの出現確率をpiとする。また、元信号に含まれる各記号siを予め決められた順番に並べ替えた記号列{s1、s2、…、sn}において、記号sk(k≧2)より前に並んでいる各記号の出現確率の合計をGkとする。即ち、Gkは、式(9)のように表される。

Figure 0004626261
(Encoding by range coder)
Assume that a set of symbols included in the original signal before encoding is S = {s i | i = 1,..., N}, and the appearance probability of each symbol s i is p i . Furthermore, symbol strings sorted in a predetermined order each symbol s i in the original signal {s 1, s 2, ... , s n} in, lined before the symbol s k (k ≧ 2) Let G k be the total appearance probability of each symbol. That is, G k is expressed as in Expression (9).
Figure 0004626261

レンジコーダによる符号化では、記号毎に出現確率piとGiを対応付けて格納したテーブル(以下、生起確率テーブルという。)に基づいて、入力済みの信号が示す記号列に、数値で示す範囲(下限、幅)を設定する処理を行う。入力済みの信号に設定される範囲(下限、幅)は、直前に入力された信号に設定された範囲と生起確率テーブルに基づいて決定される。 In the encoding by the range coder, a symbol string indicated by an input signal is indicated by a numerical value based on a table (hereinafter referred to as an occurrence probability table) in which appearance probabilities p i and G i are stored in association with each symbol. Process to set the range (lower limit, width). The range (lower limit, width) set for the input signal is determined based on the range set for the signal input immediately before and the occurrence probability table.

符号化対象の信号skが入力されたときに設定される幅をrange'、下限をlow'とし、その信号skの1つ前の信号が入力されたときに設定された幅をrange、下限をlowとすると、幅range'、下限low'は、それぞれ、式(10)、式(11)のように表される。
range'=range×pk (10)
low'=low+range×Gk (11)
式(10)及び式(11)で算出されたrange'、low'が、次の信号が入力されたときのrange、lowとなる。
The range set when the signal s k to be encoded is input is range ', the lower limit is low', and the range set when the signal before the signal s k is input is range, Assuming that the lower limit is low, the width range ′ and the lower limit low ′ are expressed as in Expression (10) and Expression (11), respectively.
range '= range × pk (10)
low '= low + range × G k (11)
The range ′ and low ′ calculated by Expression (10) and Expression (11) are the range and low when the next signal is input.

式(10)及び式(11)で示す算出処理は、入力信号がなくなるまで行われ、最後の信号が入力されたときに算出されたrange、lowに基づいて決定される範囲low〜low+rangeの間の値が符号値として出力される。   The calculation processing shown in Expression (10) and Expression (11) is performed until there is no input signal. Between the range low and low + range determined based on the range and low calculated when the last signal is input. Is output as a code value.

図5に、レンジコーダ符号化の例を示す。図5(a)に、元信号に含まれる記号の集合がS={s1=a、s2=b、s3=c、s4=d}であるときの生起確率テーブルの一例を示す。また、図5(b)に、記号列{baca}に対する符号化の一例を示す。図5(b)では、記号列を示す符号を10進数とし、lowの初期値を0、rangeの初期値を106とした場合を示している。図5(b)において、「入力信号」項目は、入力された記号を示し、「記号列」項目は、これまでに入力された記号列を示し、「low」項目は、式(11)により算出されるlow'を示し、「range」項目は、式(10)により算出されるrange'を示す。また、「範囲」項目は、low及びrangeから決定される符号値の範囲を示す。図5(b)において、[x、y)という表記は、符号値Zがx≦Z<yを満たすことを意味する。図5(b)によると、593750≦Z<603125を満たす符号値Zのうちの1つ(例えば、600000)が、記号列{baca}を符号化した結果として出力されることになる。 FIG. 5 shows an example of range coder encoding. FIG. 5A shows an example of the occurrence probability table when the set of symbols included in the original signal is S = {s 1 = a, s 2 = b, s 3 = c, s 4 = d}. . FIG. 5B shows an example of encoding for the symbol string {baca}. FIG. 5B shows a case where the code indicating the symbol string is a decimal number, the initial value of low is 0, and the initial value of range is 10 6 . In FIG. 5B, the “input signal” item indicates the input symbol, the “symbol string” item indicates the symbol string input so far, and the “low” item is expressed by the equation (11). “Low ′” is calculated, and the “range” item indicates “range ′” calculated by Expression (10). The “range” item indicates a range of code values determined from low and range. In FIG. 5B, the notation [x, y) means that the code value Z satisfies x ≦ Z <y. According to FIG. 5B, one of the code values Z satisfying 593750 ≦ Z <603125 (for example, 600000) is output as a result of encoding the symbol string {baca}.

このように、レンジコーダによる符号化では、予め決められた出現確率を利用して入力される各記号を符号化しているため、元信号に含まれる各記号の出現確率が固定された情報源からの発生であれば非常に有効である。しかしながら、符号化対象となる信号が、出現確率が一定の情報源から発生されていることは極めてまれである。よって、上述のレンジコーダによる符号化では、各記号の出現確率が符号化対象となる信号に適応していない。そこで、本実施形態では、レンジコーダ符号化において、信号が入力される度に出現確率を更新させるようにすることによって、実際の信号に適応可能にした。以下、本実施形態のレンジコーダによる符号化について説明する。   As described above, in encoding by the range coder, each symbol input is encoded using a predetermined appearance probability, and therefore, from an information source in which the appearance probability of each symbol included in the original signal is fixed. This is very effective. However, it is extremely rare that a signal to be encoded is generated from an information source having a constant appearance probability. Therefore, in the encoding by the above range coder, the appearance probability of each symbol is not adapted to the signal to be encoded. Therefore, in the present embodiment, in the range coder encoding, the appearance probability is updated every time a signal is input, so that it can be adapted to an actual signal. Hereinafter, encoding by the range coder of this embodiment will be described.

上述と同様に、符号化前の元信号に含まれる記号の集合をS={si|i=1,…,n}とする。元信号に含まれる記号siの出現頻度をgi、出現頻度giの合計をcum、各記号siの出現確率をpiとすると、cum、piは、それぞれ、式(12)、式(13)のように表される。

Figure 0004626261
Figure 0004626261
Similarly to the above, a set of symbols included in the original signal before encoding is S = {s i | i = 1,..., N}. Assuming that the appearance frequency of symbols s i included in the original signal is g i , the sum of the appearance frequencies g i is cum, and the appearance probability of each symbol s i is p i , cum and p i are respectively expressed by Equation (12), It is expressed as equation (13).
Figure 0004626261
Figure 0004626261

エントロピー符号化部9は、入力された信号に幅range及び下限lowを設定するためのテーブルとして、図6に示すような生起確率テーブル81を有する。生起確率テーブル81は、図6に示すように、各記号毎に、出現頻度gi、出現確率pi、Giの各項目を対応付けて格納している。Giの定義は、式(9)で示したとおりである。 The entropy encoding unit 9 has an occurrence probability table 81 as shown in FIG. 6 as a table for setting the width range and the lower limit low for the input signal. As shown in FIG. 6, the occurrence probability table 81 stores the items of the appearance frequency g i , the appearance probability p i , and G i in association with each symbol. The definition of G i is as shown in Expression (9).

エントロピー符号化部9に符号化対象の信号skが入力されたときに設定される幅をrange'、下限をlow'とし、その信号skの1つ前の信号が入力されたときに設定された幅をrange、下限をlowとすると、幅range'、下限low'は、それぞれ、式(14)、式(15)のように表される。

Figure 0004626261
Figure 0004626261
式(14)及び式(15)で算出されたrange'、low'が、次の信号が入力されたときのrange、lowとなる。 The range set when the encoding target signal s k is input to the entropy encoding unit 9 is set as range ', the lower limit is set as low', and is set when the signal before the signal s k is input. Assuming that the obtained width is range and the lower limit is low, the width range ′ and the lower limit low ′ are respectively expressed as Expression (14) and Expression (15).
Figure 0004626261
Figure 0004626261
The range ′ and low ′ calculated by Expression (14) and Expression (15) are the range and low when the next signal is input.

信号skの入力によりrange、lowが算出されると、エントロピー符号化部9は、式(16)に示すように、出現確率gkに1を加算し、算出された出現確率gk'を新たなgkとする。
k'=gk+1 (16)
エントロピー符号化部9は、出現確率gkの加算に伴い、cum、出現確率pi、Giを再計算し、生起確率テーブル81を更新する。エントロピー符号化部9は、これらの処理を、入力信号がなくなるまで行い、最後の信号が入力されたときに算出されたrange、lowに基づいて決定される範囲low〜low+rangeの間の値を符号値として出力する。
When range and low are calculated by the input of the signal s k , the entropy encoding unit 9 adds 1 to the appearance probability g k as shown in the equation (16), and uses the calculated appearance probability g k ′. Let it be a new g k .
g k '= g k +1 (16)
The entropy encoding unit 9 recalculates the cum, the appearance probabilities p i and G i with the addition of the appearance probability g k , and updates the occurrence probability table 81. The entropy encoding unit 9 performs these processes until there is no input signal, and encodes a value between the range low to low + range determined based on the range and low calculated when the last signal is input. Output as a value.

図7及び図8に、本実施形態のレンジコーダ符号化の例を示す。図7(a)に、元信号に含まれる記号の集合がS={s1=a、s2=b、s3=c、s4=d}であるときのデフォルトの生起確率テーブル81の一例を示す。図7(a)に示すデフォルトの生起確率テーブル81のpi及びGiは、図5(a)に示す生起確率テーブルと同一であるものとする。また、図7(b)には、図5(b)に示した記号列と同一の記号列{baca}に対する符号化の一例を示す。図7(b)においても、記号列を示す符号を10進数とし、lowの初期値を0、rangeの初期値を106とする。図7(b)において、「入力信号」項目は、入力された記号を示し、「記号列」項目は、これまでに入力された記号列を示し、「low」項目は、式(15)により算出されるlow'を示し、「range」項目は、式(14)により算出されるrange'を示す。また、「範囲」項目は、low及びrangeから決定される符号値の範囲を示す。また、「生起確率テーブル」項目は、記号の入力毎に更新された生起確率テーブルを示す。図8に、記号の入力毎に更新された生起確率テーブルを示す。図7(b)によると、記号の入力毎に生起確率テーブルを更新することで、記号列{baca}が示す「範囲」は、図5(b)に示した生起確率テーブルが固定された場合と異なり、591992≦Z<599757を満たす符号値Zのうちの1つが、記号列{baca}を符号化した結果として出力されることになる。 7 and 8 show examples of range coder encoding according to this embodiment. FIG. 7A shows a default occurrence probability table 81 when the set of symbols included in the original signal is S = {s 1 = a, s 2 = b, s 3 = c, s 4 = d}. An example is shown. It is assumed that p i and G i of the default occurrence probability table 81 shown in FIG. 7A are the same as the occurrence probability table shown in FIG. FIG. 7B shows an example of encoding for the same symbol string {baca} as the symbol string shown in FIG. Also in FIG. 7B, the symbol indicating the symbol string is a decimal number, the initial value of low is 0, and the initial value of range is 10 6 . In FIG. 7B, the “input signal” item indicates the input symbol, the “symbol string” item indicates the symbol string input so far, and the “low” item is expressed by the equation (15). “Low ′” is calculated, and the “range” item indicates “range ′” calculated by the equation (14). The “range” item indicates a range of code values determined from low and range. The “occurrence probability table” item indicates an occurrence probability table updated every time a symbol is input. FIG. 8 shows an occurrence probability table updated every time a symbol is input. According to FIG. 7B, by updating the occurrence probability table for each input of the symbol, the “range” indicated by the symbol string {baca} is the case where the occurrence probability table shown in FIG. 5B is fixed. Unlike the above, one of the code values Z satisfying 591992 ≦ Z <599757 is output as a result of encoding the symbol string {baca}.

図9に、音声符号化装置100により符号化(圧縮)された音声信号を復号する音声復号装置200の構成を示す。音声復号装置200は、図9に示すように、エントロピー復号部21、逆ベクトル量子化部22、時間順並べ替え部23、乗算部24、周波数逆変換部25、レベル再現部26、フレーム合成部27、D/A変換部28により構成される。なお、音声符号化装置100と音声復号装置200を1つの筐体に一体的に備えるような構造としてもよいし、各々を別体として設けるようにしてもよい。   FIG. 9 shows a configuration of a speech decoding apparatus 200 that decodes a speech signal encoded (compressed) by the speech encoding apparatus 100. As shown in FIG. 9, the speech decoding apparatus 200 includes an entropy decoding unit 21, an inverse vector quantization unit 22, a time order rearrangement unit 23, a multiplication unit 24, a frequency inverse transformation unit 25, a level reproduction unit 26, and a frame synthesis unit. 27, a D / A converter 28. Note that the structure may be such that the speech encoding apparatus 100 and the speech decoding apparatus 200 are integrally provided in one housing, or each may be provided separately.

エントロピー復号部21は、エントロピー符号化により符号化された信号を復号し、逆ベクトル量子化部22に出力する。逆ベクトル量子化部22は、複数の音声パターンを示す代表ベクトルを格納したテーブルとして、高域用VQテーブル22a、低域用VQテーブル22bを有し、エントロピー復号部21から入力された信号(インデックス)に対応する代表ベクトルを抽出し、時間順並べ替え部23に出力する。高域用VQテーブル22a、低域用VQテーブル22bは、それぞれ、図1に示す高域用VQテーブル8a、低域用VQテーブル8bと同一のものである。   The entropy decoding unit 21 decodes the signal encoded by entropy encoding and outputs the decoded signal to the inverse vector quantization unit 22. The inverse vector quantization unit 22 has a high frequency VQ table 22a and a low frequency VQ table 22b as tables storing representative vectors indicating a plurality of speech patterns, and a signal (index) input from the entropy decoding unit 21. ) Are extracted and output to the time order rearrangement unit 23. The high frequency VQ table 22a and the low frequency VQ table 22b are respectively the same as the high frequency VQ table 8a and the low frequency VQ table 8b shown in FIG.

時間順並べ替え部23は、逆ベクトル量子化部22から入力されたベクトルを時間順に並べ替え、乗算部24に出力する。乗算部24は、時間順並べ替え部23により得られた1フレーム分のMDCTブロックのうち予め指定されたMDCTブロックのMDCT係数を、他のMDCTブロックのMDCT係数に乗算し、乗算結果を周波数逆変換部25に出力する。ここで、予め指定されたMDCTブロックとは、符号化時に音声符号化装置100の除算部6において除算値として使用されたMDCTブロックと同一である。   The time order rearrangement unit 23 rearranges the vectors input from the inverse vector quantization unit 22 in time order and outputs the vectors to the multiplication unit 24. The multiplying unit 24 multiplies the MDCT coefficient of the MDCT block specified in advance among the MDCT blocks for one frame obtained by the time-order rearranging unit 23 by the MDCT coefficient of the other MDCT block, and inverses the frequency of the multiplication result. The data is output to the conversion unit 25. Here, the MDCT block designated in advance is the same as the MDCT block used as a division value in the division unit 6 of the speech encoding apparatus 100 at the time of encoding.

周波数逆変換部25は、乗算部24から入力された信号(MDCT係数)に対し逆MDCTを施し、レベル再現部26に出力する。レベル再現部26は、周波数逆変換部25から入力された信号のレベル調節を行って、元のレベルに戻し、フレーム合成部27に出力する。   The frequency inverse transform unit 25 performs inverse MDCT on the signal (MDCT coefficient) input from the multiplication unit 24 and outputs the result to the level reproduction unit 26. The level reproduction unit 26 adjusts the level of the signal input from the frequency inverse conversion unit 25, returns it to the original level, and outputs it to the frame synthesis unit 27.

フレーム合成部27は、符号化及び復号化の処理単位であったフレームを合成し、合成後の信号をD/A変換部28に出力する。D/A変換部28は、フレーム合成部27から入力されたデジタル信号をアナログ信号に変換し、音声再生信号として出力する。   The frame synthesizing unit 27 synthesizes frames that are processing units of encoding and decoding, and outputs the combined signal to the D / A converting unit 28. The D / A converter 28 converts the digital signal input from the frame synthesizer 27 into an analog signal and outputs it as an audio reproduction signal.

次に、本実施形態における動作について説明する。
まず、図10のフローチャートを参照して、音声符号化装置100において実行される音声符号化処理について説明する。
Next, the operation in this embodiment will be described.
First, the speech encoding process executed in speech encoding apparatus 100 will be described with reference to the flowchart of FIG.

まず、音声アナログ信号が入力されると、A/D変換部1において、入力された音声アナログ信号が音声デジタル信号に変換される(ステップS1)。以下、符号化対象の音声デジタル信号を単に音声信号を呼ぶことにする。次いで、DC除去部2において、音声信号の直流成分が削除され(ステップS2)、フレーム化部3において、直流成分削除後の音声信号がフレームに分割される(ステップS3)。   First, when an audio analog signal is input, the input audio analog signal is converted into an audio digital signal in the A / D converter 1 (step S1). Hereinafter, the audio digital signal to be encoded is simply referred to as an audio signal. Next, the DC removal unit 2 deletes the DC component of the audio signal (step S2), and the framing unit 3 divides the audio signal after the DC component deletion into frames (step S3).

次いで、レベル調整部4において、フレーム毎に、入力された音声信号のレベルが調整され(ステップS4)、周波数変換部5において、レベル調整後の音声信号に対し、MDCTが施される(ステップS5)。   Next, the level adjustment unit 4 adjusts the level of the input audio signal for each frame (step S4), and the frequency conversion unit 5 applies MDCT to the audio signal after level adjustment (step S5). ).

次いで、除算部6において、フレーム毎に、ステップS5で得られたMDCT係数に対する除算処理(周波数変換係数除算処理)が行われる(ステップS6)。ステップS6では、図11に示すように、周波数変換部5で得られた1フレーム分のMDCTブロックのうち予め指定されたMDCTブロックのMDCT係数で、同一フレーム内の他のMDCTブロックのMDCT係数が除算される(ステップS20)。   Next, the division unit 6 performs a division process (frequency conversion coefficient division process) on the MDCT coefficient obtained in step S5 for each frame (step S6). In step S6, as shown in FIG. 11, the MDCT coefficient of the MDCT block designated in advance among the MDCT blocks for one frame obtained by the frequency converter 5, and the MDCT coefficients of other MDCT blocks in the same frame are set. Divide (step S20).

次いで、周波数並べ替え部7において、ステップS6の周波数変換係数除算処理で得られたMDCT係数が周波数毎に並べ替えられ(ステップS7)、同一周波数帯域の係数がまとめてベクトル化される。   Next, the frequency rearrangement unit 7 rearranges the MDCT coefficients obtained by the frequency conversion coefficient division processing in step S6 for each frequency (step S7), and collectively vectorizes the coefficients in the same frequency band.

次いで、ベクトル量子化部8において、高域のMDCT係数のベクトルと高域用VQテーブル8aに格納された代表ベクトルが比較されるとともに、低域のMDCT係数のベクトルと低域用VQテーブル8bに格納された代表ベクトルが比較され、最も類似した代表ベクトルが示すインデックスが符号として出力される(ステップS8)。   Next, the vector quantization unit 8 compares the high-frequency MDCT coefficient vector with the representative vector stored in the high-frequency VQ table 8a, and stores the low-frequency MDCT coefficient vector in the low-frequency VQ table 8b. The stored representative vectors are compared, and the index indicated by the most similar representative vector is output as a code (step S8).

次いで、ベクトル量子化後の音声信号に対し、フレーム毎にエントロピー符号化が施され(ステップS9)、エントロピー符号化後の信号が音声符号化信号としてレートコントローラ10に出力される。次いで、レートコントローラ10において、エントロピー符号化部9から入力された1フレーム分の音声符号化信号が予め設定された目標データ量以下であるか否かが判定される(ステップS10)。   Next, entropy encoding is performed for each frame on the speech signal after vector quantization (step S9), and the entropy encoded signal is output to the rate controller 10 as a speech encoded signal. Next, the rate controller 10 determines whether or not the speech encoded signal for one frame input from the entropy encoding unit 9 is equal to or less than a preset target data amount (step S10).

ステップS10において、入力された音声符号化信号が目標データ量より大きいと判定された場合(ステップS10;NO)、データ削除部11において、1フレーム分の音声符号化信号のうち、エネルギー|Fj2が最小の帯域の信号が削除される(ステップS12)。ステップS12が終了すると、ステップS9に戻り、再度、該当フレームの音声信号に対するエントロピー符号化が行われる(ステップS9)。 If it is determined in step S10 that the input speech encoded signal is larger than the target data amount (step S10; NO), the data deleting unit 11 uses the energy | F j in the speech encoded signal for one frame. The signal in the band with the minimum | 2 is deleted (step S12). When step S12 ends, the process returns to step S9, and entropy coding is performed again on the audio signal of the corresponding frame (step S9).

ステップS10において、入力された音声符号化信号が目標データ量以下であると判定された場合(ステップS10;YES)、エントロピー符号化部9に次のフレームの音声信号が入力されたか否かが判定される(ステップS11)。   When it is determined in step S10 that the input speech encoded signal is equal to or less than the target data amount (step S10; YES), it is determined whether the speech signal of the next frame is input to the entropy encoding unit 9 or not. (Step S11).

ステップS11において、エントロピー符号化部9に次のフレームの音声信号が入力されたと判定された場合(ステップS11;YES)、ステップS9に戻り、当該フレームに対するエントロピー符号化が行われる(ステップS9)。ステップS11において、エントロピー符号化部9に入力された全てのフレームに対するエントロピー符号化が終了したと判定された場合(ステップS11;NO)、本音声符号化処理が終了する。   In step S11, when it is determined that the audio signal of the next frame is input to the entropy encoding unit 9 (step S11; YES), the process returns to step S9, and entropy encoding is performed on the frame (step S9). If it is determined in step S11 that entropy encoding has been completed for all frames input to the entropy encoding unit 9 (step S11; NO), the speech encoding process ends.

<周波数変換係数除算処理の変形例>
ステップS6の周波数変換係数除算処理の方法は、図11に示した方法に限定されない。以下、図11の周波数変換係数除算処理の変形例について、図12のフローチャートを参照して説明する。
<Modification of frequency conversion coefficient division>
The frequency conversion coefficient division processing method in step S6 is not limited to the method shown in FIG. Hereinafter, a modification of the frequency conversion coefficient division process of FIG. 11 will be described with reference to the flowchart of FIG.

まず、1フレーム分の各MDCTブロック毎に、MDCT係数の絶対値の和が算出される(ステップS30)。i番目のMDCTブロックのMDCT係数をMi={min|n=0,…,k-1}とすると、i番目のMDCTブロックのMDCT係数の絶対値の和SMiは式(17)のように表される。

Figure 0004626261
First, the sum of absolute values of MDCT coefficients is calculated for each MDCT block for one frame (step S30). When the MDCT coefficient of the i -th MDCT block is M i = {m in | n = 0,..., k−1}, the sum SM i of the absolute values of the MDCT coefficients of the i-th MDCT block is given by Equation (17). It is expressed as follows.
Figure 0004626261

次いで、該当フレームのMDCTブロックのうち、MDCT係数の絶対値の和SMiが最も大きいMDCTブロックが選択され(ステップS31)、その選択されたMDCTブロックのMDCT係数で、同一フレーム内の他のMDCTブロックのMDCT係数が除算され(ステップS32)、本周波数変換係数除算処理が終了する。 Then, among the MDCT block of the corresponding frame, the sum SM i of the largest absolute value MDCT block of MDCT coefficients is selected (step S31), in MDCT coefficients of the selected MDCT blocks, other MDCT in the same frame The MDCT coefficient of the block is divided (step S32), and the frequency conversion coefficient division process is completed.

例えば、式(6)で示した例において、各MDCTブロック毎にMDCT係数の絶対値の和SMiを計算すると、SM0=186、SM1=201、SM2=150、SM3=180となる。この中ではSM1が最も大きいため、M1が除算値として利用するMDCTブロックとして選択される。このとき、除算処理後のM'i(i=0,2,3)は式(18)のようになる。

Figure 0004626261
式(18)と式(7)を比較すると、式(18)の方が、除算処理後のMDCT係数のとり得る範囲がより狭いことがわかる。 For example, in the example shown in Expression (6), when the sum SM i of the absolute values of the MDCT coefficients is calculated for each MDCT block, SM 0 = 186, SM 1 = 201, SM 2 = 150, SM 3 = 180. Become. Among these, since SM 1 is the largest, M 1 is selected as an MDCT block to be used as a division value. At this time, M ′ i (i = 0, 2, 3) after the division processing is as shown in Expression (18).
Figure 0004626261
Comparing equation (18) and equation (7), it can be seen that equation (18) has a narrower range of possible MDCT coefficients after division processing.

周波数変換係数除算処理の他の方法として、絶対値が最も大きいMDCT係数を有するMDCTブロックを除算値として利用する方法がある。例えば、式(6)で示した例では、各MDCTブロックにおいて絶対値が最も大きいMCDT係数は、M0が112、M1が120、M2が97、M3が110となる。この中で最も大きいのはM1の120であるため、M1が除算値として利用するMDCTブロックとして選択される。 As another method of frequency conversion coefficient division processing, there is a method of using an MDCT block having an MDCT coefficient having the largest absolute value as a division value. For example, in the example shown in Expression (6), the MCDT coefficient having the largest absolute value in each MDCT block is M 0 is 112, M 1 is 120, M 2 is 97, and M 3 is 110. Since the largest of these is M 1 120, M 1 is selected as the MDCT block to be used as a division value.

音声復号装置200の乗算部24では、図10のステップS6に示した周波数変換係数除算処理(以下、単に「除算処理」という。)の方法に対応して、周波数変換係数乗算処理が行われる。   The multiplication unit 24 of the speech decoding apparatus 200 performs frequency conversion coefficient multiplication processing corresponding to the method of frequency conversion coefficient division processing (hereinafter simply referred to as “division processing”) shown in step S6 of FIG.

ステップS6において図11の除算処理が行われた場合、乗算部24では、図13に示すように、1フレーム分のMDCTブロックのうち予め指定されたMDCTブロックのMDCT係数が、同一フレーム内の他のMDCTブロックのMDCT係数に乗算される(ステップS40)。ここで、予め指定されたMDCTブロックとは、符号化時に音声符号化装置100の除算部6において除算値として使用されたMDCTブロックと同一である。   When the division process of FIG. 11 is performed in step S6, the multiplication unit 24 sets the MDCT coefficient of the MDCT block designated in advance among the MDCT blocks for one frame as shown in FIG. The MDCT coefficient of each MDCT block is multiplied (step S40). Here, the MDCT block designated in advance is the same as the MDCT block used as a division value in the division unit 6 of the speech encoding apparatus 100 at the time of encoding.

ステップS6において図12の除算処理が行われた場合、乗算部24では、図14に示すように、1フレーム分のMDCTブロックのうち、ステップS31で選択されたMDCTブロックのMDCT係数が、他のMDCTブロックのMDCT係数に乗算される(ステップS50)。   When the division process of FIG. 12 is performed in step S6, the multiplication unit 24 determines that the MDCT coefficients of the MDCT block selected in step S31 out of the MDCT blocks for one frame are other values as shown in FIG. The MDCT coefficient of the MDCT block is multiplied (step S50).

ステップS6において、絶対値が最も大きいMDCT係数を有するMDCTブロックを除算値として利用する除算処理が行われた場合、乗算部24では、当該MDCTブロックのMDCT係数が、他のMDCTブロックのMDCT係数に乗算される。   In step S6, when division processing using the MDCT block having the MDCT coefficient having the largest absolute value as the division value is performed, the multiplication unit 24 converts the MDCT coefficient of the MDCT block into the MDCT coefficient of another MDCT block. Is multiplied.

以上のように、本実施形態及びその変形例の音声符号化装置100及び音声復号装置200によれば、1フレーム中の1つのMDCTブロックのMDCT係数を用いて、他のMDCTブロックのMDCT係数を除算するようにしたことにより、除算後のMDCT係数の絶対値の範囲が狭くなり、ベクトル量子化やエントロピー符号化等の効率が向上し、音質を向上させることができる。また、除算値の絶対値が1以上である場合にのみ、除算処理を行うことにより、MDCT係数が却って大きくなることを防ぎ、ベクトル量子化の効率に悪影響を与えることがなくなる。   As described above, according to the speech coding apparatus 100 and the speech decoding apparatus 200 of the present embodiment and the modifications thereof, the MDCT coefficients of other MDCT blocks are obtained using the MDCT coefficients of one MDCT block in one frame. By performing the division, the range of the absolute value of the MDCT coefficient after the division is narrowed, the efficiency of vector quantization, entropy coding and the like is improved, and the sound quality can be improved. Also, by performing the division process only when the absolute value of the division value is 1 or more, the MDCT coefficient is prevented from becoming larger and the vector quantization efficiency is not adversely affected.

なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、上述の実施形態では、周波数変換としてMDCTを用いる場合を示したが、FFT(Fast Fourier Transform:高速フーリエ変換)等の他の周波数変換を用いるようにしてもよい。
Note that the description in the present embodiment can be changed as appropriate without departing from the spirit of the present invention.
For example, although the case where MDCT is used as frequency conversion has been described in the above-described embodiment, other frequency conversion such as FFT (Fast Fourier Transform) may be used.

本発明の実施形態に係る音声符号化装置の構成を示すブロック図。The block diagram which shows the structure of the audio | voice coding apparatus which concerns on embodiment of this invention. 入力信号のフレーム分割を示す図。The figure which shows the frame division | segmentation of an input signal. 1フレームと各MDCTブロックの関係を示す図。The figure which shows the relationship between 1 frame and each MDCT block. ハフマン符号の一例を示す図。The figure which shows an example of a Huffman code | symbol. 従来のレンジコーダによる符号化の一例を示す図。The figure which shows an example of the encoding by the conventional range coder. 本実施形態のレンジコーダ符号化に必要な生起確率テーブル81のデータ構成を示す図。The figure which shows the data structure of the occurrence probability table 81 required for the range coder encoding of this embodiment. デフォルトの生起確率テーブル81の一例(同図(a))と、符号化の一例(同図(b))を示す図。The figure which shows an example (the figure (a)) of default occurrence probability table 81, and an example (the figure (b)) of encoding. 生起確率テーブル81の更新例を示す図。The figure which shows the example of an update of the occurrence probability table 81. FIG. 符号化された音声を復号する音声復号装置の構成を示すブロック図。The block diagram which shows the structure of the audio | voice decoding apparatus which decodes the audio | voice encoded. 本実施形態の音声符号化装置において実行される音声符号化処理を示すフローチャート。The flowchart which shows the audio | voice encoding process performed in the audio | voice encoding apparatus of this embodiment. 本実施形態の音声符号化装置において実行される周波数変換係数除算処理を示すフローチャート。The flowchart which shows the frequency-transform coefficient division process performed in the audio | voice coding apparatus of this embodiment. 図11の周波数変換係数除算処理の変形例を示すフローチャート。The flowchart which shows the modification of the frequency conversion coefficient division process of FIG. 本実施形態の音声復号装置において実行される周波数変換係数乗算処理を示すフローチャート。The flowchart which shows the frequency conversion coefficient multiplication process performed in the audio | voice decoding apparatus of this embodiment. 図13の周波数変換係数乗算処理の変形例を示すフローチャート。14 is a flowchart showing a modification of the frequency conversion coefficient multiplication process of FIG.

符号の説明Explanation of symbols

1 A/D変換部
2 DC除去部
3 フレーム化部
4 レベル調整部
5 周波数変換部
6 除算部
7 周波数並べ替え部
8 ベクトル量子化部
8a 高域用VQテーブル
8b 低域用VQテーブル
9 エントロピー符号化部
10 レートコントローラ
11 データ削除部
81 生起確率テーブル
21 エントロピー復号部
22 逆ベクトル量子化部
23 時間順並べ替え部
24 乗算部
25 周波数逆変換部
26 レベル再現部
27 フレーム合成部
28 D/A変換部
100 音声符号化装置
200 音声復号装置
1 A / D conversion unit 2 DC removal unit 3 Framing unit 4 Level adjustment unit 5 Frequency conversion unit 6 Division unit 7 Frequency rearrangement unit 8 Vector quantization unit 8a High frequency VQ table 8b Low frequency VQ table 9 Entropy code Conversion unit 10 rate controller 11 data deletion unit 81 occurrence probability table 21 entropy decoding unit 22 inverse vector quantization unit 23 time order rearrangement unit 24 multiplication unit 25 frequency inverse conversion unit 26 level reproduction unit 27 frame synthesis unit 28 D / A conversion Unit 100 speech coding apparatus 200 speech decoding apparatus

Claims (6)

入力された音声信号をフレームに分割するフレーム化部と、
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、
前記周波数変換部で得られた変換係数のうちの予め指定された1つのブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、
前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、
前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、
を備えることを特徴とする音声符号化装置。
A framing unit that divides the input audio signal into frames;
A frequency conversion unit that performs frequency conversion on an audio signal and calculates a conversion coefficient for each block unit constituting one frame;
A division unit that divides a conversion coefficient of another block in the same frame by a conversion coefficient of one block designated in advance among the conversion coefficients obtained by the frequency conversion unit;
A vector quantization unit that collectively vector-quantizes the divided values of the transform coefficients of each block obtained by the division unit for each frequency band;
An encoding unit that encodes the index data obtained by the vector quantization unit using a predetermined encoding method;
A speech encoding apparatus comprising:
入力された音声信号をフレームに分割するフレーム化部と、  A framing unit that divides the input audio signal into frames;
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、  A frequency conversion unit that performs frequency conversion on an audio signal and calculates a conversion coefficient for each block unit constituting one frame;
前記周波数変換部で得られた変換係数に基づいて、フレームを構成するブロック単位毎に変換係数の絶対値の和を算出し、この絶対値の和の値が最も大きなブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、  Based on the transform coefficient obtained by the frequency transform unit, the sum of the absolute values of the transform coefficients is calculated for each block unit constituting the frame, and the same transform coefficient of the block having the largest absolute value is the same. A division unit that divides the transform coefficients of other blocks in the frame;
前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、  A vector quantization unit that collectively vector-quantizes the divided values of the transform coefficients of each block obtained by the division unit for each frequency band;
前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、  An encoding unit that encodes the index data obtained by the vector quantization unit using a predetermined encoding method;
を備えることを特徴とする音声符号化装置。A speech encoding apparatus comprising:
入力された音声信号をフレームに分割するフレーム化部と、  A framing unit that divides the input audio signal into frames;
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換部と、  A frequency conversion unit that performs frequency conversion on an audio signal and calculates a conversion coefficient for each block unit constituting one frame;
フレームを構成するブロック単位毎に算出された変換係数のうち絶対値が最大となる値を有するブロックを求め、当該ブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算部と、  A division unit that obtains a block having a maximum absolute value among the transform coefficients calculated for each block constituting the frame, and divides the transform coefficient of another block in the same frame by the transform coefficient of the block. When,
前記除算部で得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化部と、  A vector quantization unit that collectively vector-quantizes the divided values of the transform coefficients of each block obtained by the division unit for each frequency band;
前記ベクトル量子化部により得られたインデックスデータを、所定の符号化方式で符号化する符号化部と、  An encoding unit that encodes the index data obtained by the vector quantization unit using a predetermined encoding method;
を備えることを特徴とする音声符号化装置。A speech encoding apparatus comprising:
入力された音声信号をフレームに分割するフレーム化ステップと、
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換ステップと、
前記周波数変換ステップで得られた変換係数のうちの予め指定された1つのブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算ステップと、
前記除算ステップで得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化ステップと、
前記ベクトル量子化ステップにより得られたインデックスデータを、所定の符号化方式で符号化する符号化ステップと、
を備えることを特徴とする音声符号化方法。
A framing step for dividing the input audio signal into frames;
A frequency conversion step of performing a frequency conversion on the audio signal and calculating a conversion coefficient for each block unit constituting one frame;
A division step of dividing a conversion coefficient of another block in the same frame by a conversion coefficient of one block specified in advance among the conversion coefficients obtained in the frequency conversion step;
A vector quantization step for performing vector quantization for each frequency band by dividing the divided values of the transform coefficients of each block obtained in the division step;
An encoding step for encoding the index data obtained by the vector quantization step by a predetermined encoding method;
A speech encoding method comprising:
入力された音声信号をフレームに分割するフレーム化ステップと、  A framing step for dividing the input audio signal into frames;
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換ステップと、  A frequency conversion step of performing a frequency conversion on the audio signal and calculating a conversion coefficient for each block unit constituting one frame;
前記周波数変換ステップで得られた変換係数に基づいて、フレームを構成するブロック単位毎に変換係数の絶対値の和を算出し、この絶対値の和の値が最も大きなブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算ステップと、  Based on the transform coefficient obtained in the frequency transform step, the sum of the absolute values of the transform coefficients is calculated for each block unit constituting the frame, and the same transform coefficient of the block having the largest absolute value is the same. A division step to divide the transform coefficients of other blocks in the frame;
前記除算ステップで得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化ステップと、  A vector quantization step for performing vector quantization for each frequency band by dividing the divided values of the transform coefficients of each block obtained in the division step;
前記ベクトル量子化ステップにより得られたインデックスデータを、所定の符号化方式で符号化する符号化ステップと、  An encoding step for encoding the index data obtained by the vector quantization step by a predetermined encoding method;
を備えることを特徴とする音声符号化方法。A speech encoding method comprising:
入力された音声信号をフレームに分割するフレーム化ステップと、  A framing step for dividing the input audio signal into frames;
1フレームを構成するブロック単位毎に、音声信号に対し周波数変換を施して変換係数を算出する周波数変換ステップと、  A frequency conversion step of performing a frequency conversion on the audio signal and calculating a conversion coefficient for each block unit constituting one frame;
フレームを構成するブロック単位毎に算出された変換係数のうち絶対値が最大となる値を有するブロックを求め、当該ブロックの変換係数で、同一フレーム内の他のブロックの変換係数を除算する除算ステップと、  A division step of obtaining a block having a maximum absolute value among the transform coefficients calculated for each block constituting the frame, and dividing the transform coefficient of another block in the same frame by the transform coefficient of the block When,
前記除算ステップで得られた各ブロックの変換係数の除算された値を周波数帯域毎にまとめてベクトル量子化するベクトル量子化ステップと、  A vector quantization step for performing vector quantization for each frequency band by dividing the divided values of the transform coefficients of each block obtained in the division step;
前記ベクトル量子化ステップにより得られたインデックスデータを、所定の符号化方式で符号化する符号化ステップと、  An encoding step for encoding the index data obtained by the vector quantization step by a predetermined encoding method;
を備えることを特徴とする音声符号化方法。A speech encoding method comprising:
JP2004307029A 2004-10-21 2004-10-21 Speech coding apparatus and speech coding method Expired - Fee Related JP4626261B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004307029A JP4626261B2 (en) 2004-10-21 2004-10-21 Speech coding apparatus and speech coding method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004307029A JP4626261B2 (en) 2004-10-21 2004-10-21 Speech coding apparatus and speech coding method

Publications (2)

Publication Number Publication Date
JP2006119363A JP2006119363A (en) 2006-05-11
JP4626261B2 true JP4626261B2 (en) 2011-02-02

Family

ID=36537307

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004307029A Expired - Fee Related JP4626261B2 (en) 2004-10-21 2004-10-21 Speech coding apparatus and speech coding method

Country Status (1)

Country Link
JP (1) JP4626261B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3107096A1 (en) 2015-06-16 2016-12-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Downscaled decoding

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230365B2 (en) * 1994-02-05 2001-11-19 ソニー株式会社 Information encoding method and apparatus, and information decoding method and apparatus
JP4193243B2 (en) * 1998-10-07 2008-12-10 ソニー株式会社 Acoustic signal encoding method and apparatus, acoustic signal decoding method and apparatus, and recording medium
JP4618823B2 (en) * 1998-10-22 2011-01-26 ソニー株式会社 Signal encoding apparatus and method
JP3698418B2 (en) * 2001-05-25 2005-09-21 松下電器産業株式会社 Audio signal compression method and audio signal compression apparatus
JP2003216188A (en) * 2002-01-25 2003-07-30 Matsushita Electric Ind Co Ltd Audio signal encoding method, encoder and storage medium
JP3881943B2 (en) * 2002-09-06 2007-02-14 松下電器産業株式会社 Acoustic encoding apparatus and acoustic encoding method

Also Published As

Publication number Publication date
JP2006119363A (en) 2006-05-11

Similar Documents

Publication Publication Date Title
CN101004914B (en) Audio coding apparatus and audio decoding method
JP6452759B2 (en) Advanced quantizer
US6593872B2 (en) Signal processing apparatus and method, signal coding apparatus and method, and signal decoding apparatus and method
JP5331249B2 (en) Encoding method, decoding method, apparatus, program, and recording medium
JP5694751B2 (en) Encoding method, decoding method, encoding device, decoding device, program, recording medium
JP4978539B2 (en) Encoding apparatus, encoding method, and program.
US7599833B2 (en) Apparatus and method for coding residual signals of audio signals into a frequency domain and apparatus and method for decoding the same
JP4800645B2 (en) Speech coding apparatus and speech coding method
US9838700B2 (en) Encoding apparatus, decoding apparatus, and method and program for the same
JP3344944B2 (en) Audio signal encoding device, audio signal decoding device, audio signal encoding method, and audio signal decoding method
US20090210219A1 (en) Apparatus and method for coding and decoding residual signal
JP4734859B2 (en) Signal encoding apparatus and method, and signal decoding apparatus and method
JP4259401B2 (en) Speech processing apparatus and speech coding method
JP4009781B2 (en) Speech processing apparatus and speech coding method
JP5539992B2 (en) RATE CONTROL DEVICE, RATE CONTROL METHOD, AND RATE CONTROL PROGRAM
JP4626261B2 (en) Speech coding apparatus and speech coding method
JP4054919B2 (en) Speech processing apparatus and speech coding method
JP2005128401A (en) Speech processing apparatus and speech coding method
JP4373693B2 (en) Hierarchical encoding method and hierarchical decoding method for acoustic signals
JP2006126592A (en) Speech coding apparatus, speech decoding apparatus, speech coding method, and speech decoding method
JP3453116B2 (en) Audio encoding method and apparatus
JP4024185B2 (en) Digital data encoding device
JP5018557B2 (en) Encoding device, decoding device, encoding method, decoding method, and program
JP2009193015A (en) Encoding device, decoding device, encoding method, decoding method, and program
JPH0573098A (en) Speech processor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100511

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100628

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100720

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101012

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101025

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4626261

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees