JP4371002B2 - Loudspeaker - Google Patents
Loudspeaker Download PDFInfo
- Publication number
- JP4371002B2 JP4371002B2 JP2004229773A JP2004229773A JP4371002B2 JP 4371002 B2 JP4371002 B2 JP 4371002B2 JP 2004229773 A JP2004229773 A JP 2004229773A JP 2004229773 A JP2004229773 A JP 2004229773A JP 4371002 B2 JP4371002 B2 JP 4371002B2
- Authority
- JP
- Japan
- Prior art keywords
- feedback gain
- unit
- signal
- frequency band
- acoustic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Interconnected Communication Systems, Intercoms, And Interphones (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
- Telephone Function (AREA)
Description
本発明は、住宅や事務所等で用いられるインターホンなどの拡声通話装置に関するものである。 The present invention relates to a loudspeaker device such as an interphone used in a house or office.
この種の拡声通話装置では、マイクロホンとスピーカの音響結合により形成される音響側の帰還経路や、相手側の通話端末との間で形成される回線側の帰還経路によって不快なエコー(音響エコーあるいは回線エコー)が聞こえてしまう場合があり、あるいは、上記帰還経路などにより任意の周波数成分における一巡利得が1倍を超えるような閉ループが通話系に形成されると当該周波数にてハウリングが生じてしまう場合があるので、上述のような不快なエコー及びハウリングの発生を防止するためにエコーキャンセラ並びに音声スイッチを備えている。 In this type of loudspeaker, an uncomfortable echo (acoustic echo or acoustic echo) is caused by an acoustic return path formed by acoustic coupling of a microphone and a speaker, or a line-side return path formed between the other party's call terminal. Line echo) may be heard, or howling occurs at the frequency when a closed loop in which the loop gain in an arbitrary frequency component exceeds 1 is formed in the communication system by the feedback path or the like. In some cases, an echo canceller and a voice switch are provided to prevent the generation of unpleasant echoes and howling as described above.
音声スイッチは、通話状態(送話状態、受話状態)を常時推定し、推定結果に基づき適切な配分で送話側及び受話側の信号経路に対して損失を挿入するものである。また、エコーキャンセラは、帰還経路のインパルス応答を適応的に同定して帰還経路への入力信号から帰還経路の擬似エコー成分を推定する適応フィルタと、適応フィルタで推定された擬似エコー成分を帰還経路からの出力信号より減算する減算器とで構成されるものである。ここで、エコーキャンセラの適応フィルタが帰還経路のインパルス応答を同定するのに通常数秒の学習時間を要するため、通話開始直後からの数秒間にはエコーキャンセラによるエコーの抑制効果が十分に期待できず、通話系に閉ループが形成された状態にあり、不快なエコーやハウリングが生じる虞がある。 The voice switch constantly estimates the call state (sending state, receiving state) and inserts a loss into the signal path on the transmitting side and the receiving side with an appropriate distribution based on the estimation result. The echo canceller adaptively identifies the impulse response of the feedback path and estimates the pseudo echo component of the feedback path from the input signal to the feedback path, and the pseudo echo component estimated by the adaptive filter as the feedback path. And a subtracter that subtracts from the output signal from the. Here, since the echo canceller's adaptive filter normally requires several seconds of learning time to identify the impulse response of the feedback path, the echo suppression effect of the echo canceller cannot be expected sufficiently in the few seconds immediately after the start of the call. There is a possibility that an unpleasant echo or howling may occur because a closed loop is formed in the call system.
そこで本出願人は、通話開始直後における不快なエコーやハウリングの抑制を可能とした拡声通話装置を既に提案している(特許文献1参照)。 Therefore, the present applicant has already proposed a loudspeaker device that can suppress unpleasant echoes and howling immediately after the start of a call (see Patent Document 1).
この従来例では、通話開始直後のエコーキャンセラが収束していない状態においては、音声スイッチが信号経路に挿入する損失の総量(総損失量)を十分に大きい初期値に固定する固定モードで動作することで不快なエコーやハウリングを抑制し、エコーキャンセラが十分に収束した状態においては、音声スイッチが総損失量を随時更新する更新モードで動作することで双方向の同時通話を実現している。 In this conventional example, when the echo canceller immediately after the start of the call has not converged, the voice switch operates in a fixed mode that fixes the total amount of loss (total loss amount) inserted into the signal path to a sufficiently large initial value. Thus, unpleasant echoes and howling are suppressed, and in a state where the echo canceller has sufficiently converged, the voice switch operates in an update mode in which the total loss amount is updated at any time, thereby realizing two-way simultaneous calls.
特許文献1に開示されている従来例の音声スイッチは、送話側の信号経路に損失を挿入する送話側減衰器と、受話側の信号経路に損失を挿入する受話側減衰器と、送話側及び受話側の各減衰器から挿入する損失量を制御する挿入損失量制御部とを具備する。また挿入損失量制御部は、受話側減衰器の出力点から音響エコー経路を介して送話側減衰器の入力点へ帰還する経路(以下、「音響側帰還経路」という)の音響側帰還利得を推定するとともに、送話側減衰器の出力点から回線エコー経路を介して受話側減衰器の入力点へ帰還する経路(以下、「回線側帰還経路」という)の回線側帰還利得を推定し、音響側及び回線側の各帰還利得の推定値に基づいて閉ループに挿入すべき損失量の総和(送話側減衰器の挿入損失量と受話側減衰器の挿入損失量の和)を算出する総損失量算出部と、送話信号及び受話信号を監視して通話状態を推定し、この推定結果と総損失量算出部の算出値に応じて送話側減衰器及び受話側減衰器の各挿入損失量の配分を決定する挿入損失量分配処理部とで構成される。
The conventional voice switch disclosed in
総損失量算出部では、整流平滑器や低域通過フィルタ等を用いて送話側減衰器の入力信号の短時間における時間平均パワーを推定し、同じく整流平滑器や低域通過フィルタ等を用いて受話側減衰器の出力信号の短時間における時間平均パワーを推定し、音響側帰還経路にて想定される最大遅延時間において受話側減衰器の出力信号の時間平均パワーの推定値の最小値を求め、この最小値で送話側減衰器の入力信号の時間平均パワーの推定値を除算した値を音響側帰還利得の推定値とするとともに、整流平滑器や低域通過フィルタ等を用いて受話側減衰器の入力信号の短時間における時間平均パワーを推定し、同じく整流平滑器や低域通過フィルタ等を用いて送話側減衰器の出力信号の短時間における時間平均パワーを推定し、回線側帰還経路にて想定される最大遅延時間において送話側減衰器の出力信号の時間平均パワーの推定値の最小値を求め、この最小値で受話側減衰器の入力信号の時間平均パワーの推定値を除算した値を回線側帰還利得の推定値とする。そして、総損失量算出部は音響側帰還利得及び回線側帰還利得の各推定値から所望の利得余裕を得るために必要な総損失量を算出し、その値を挿入損失量分配処理部に出力する。 The total loss calculation unit estimates the time average power of the input signal of the transmitting side attenuator in a short time using a rectifier / smoothing device or low-pass filter, and also uses a rectifier / smoothing device or low-pass filter. The time average power of the output signal of the receiver attenuator in a short time is estimated, and the minimum value of the estimated value of the time average power of the output signal of the receiver attenuator is calculated at the maximum delay time assumed in the acoustic side feedback path. The value obtained by dividing the estimated value of the time average power of the input signal of the transmitting side attenuator by this minimum value is used as the estimated value of the acoustic side feedback gain, and the received signal is received using a rectifier / smoothing device, a low-pass filter, etc. Estimate the time average power of the input signal of the side attenuator in a short time, and also estimate the time average power of the output signal of the transmission side attenuator in a short time using a rectifier smoother or low-pass filter, etc. Side return path The minimum value of the average value of the time average power of the output signal of the transmitting side attenuator is obtained at the maximum delay time assumed, and the estimated value of the time average power of the input signal of the receiving side attenuator is divided by this minimum value. The value is an estimated value of the line-side feedback gain. Then, the total loss amount calculation unit calculates the total loss amount necessary to obtain a desired gain margin from the estimated values of the acoustic side feedback gain and the line side feedback gain, and outputs the value to the insertion loss amount distribution processing unit. To do.
そして挿入損失量分配処理部では、送話側減衰器の入出力信号及び受話側減衰器の入出力信号を監視し、これらの信号のパワーレベルの大小関係並びに音声信号の有無などの情報から通話状態(受話状態、送話状態等)を判定するとともに、判定された通話状態に応じた割合で総損失量を送話側減衰器と受話側減衰器に分配するように各減衰器の挿入損失量を調整するのである。
ところで帰還経路は一般的に周波数依存性を持つため、特定の周波数でハウリングが起こる。そのため利得余裕などの見積もりには周波数依存性を調べて最大値(ピーク値)を用いる必要がある。しかしながら、上記従来例の帰還利得推定処理では周波数依存性を考慮せず、時間平均パワーの比で推定値を求めていたため、帰還経路の利得の周波数依存性が高ければ高いほど推定精度が劣化していた。よって、帰還経路の一巡利得が1倍を超えるような閉ループが通話系に形成されたときに発生するハウリングを防止するためには、利得余裕を安全側に設計せざるを得ず、そのため一巡利得が1倍を超えていない場合でも双方向の同時通話を実現できず片方向通話になってしまう場合があった。 By the way, since the feedback path generally has frequency dependency, howling occurs at a specific frequency. Therefore, it is necessary to investigate the frequency dependence and use the maximum value (peak value) for estimating the gain margin and the like. However, in the feedback gain estimation process of the above conventional example, the estimated value is obtained by the ratio of the time average power without considering the frequency dependence. Therefore, the higher the frequency dependence of the gain of the feedback path, the lower the estimation accuracy. It was. Therefore, in order to prevent the howling that occurs when a closed loop in which the round trip gain of the feedback path exceeds 1 is formed in the communication system, the gain margin must be designed on the safe side. However, even if the number does not exceed one time, there is a case where a two-way simultaneous call cannot be realized and a one-way call is made.
本発明は上記事情に鑑みて為されたものであり、その目的は、帰還利得の推定精度を向上させ、閉ループの一巡利得が1倍を超えないような総損失量制御を従来以上に最適に行うことにより、双方向の同時通話を実現する機会をさらに増やすことができる拡声通話装置を提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to improve the estimation accuracy of the feedback gain, and to control the total loss amount so that the closed loop loop gain does not exceed one time more optimal than before. An object of the present invention is to provide a loudspeaker device that can further increase the opportunities for realizing two-way simultaneous calls.
請求項1の発明は、上記目的を達成するために、マイクロホン及びスピーカと、相手側
の通話端末から送られてくる受話信号をスピーカに伝送する受話側信号経路並びにマイク
ロホンで集音された送話信号を伝送して相手側の通話端末へ送る送話側信号経路に損失を
挿入することで通話状態を受話及び送話に切り換える音声スイッチと、マイクロホンとス
ピーカの音響結合によって生じる音響エコーを抑制するエコーキャンセラとを備えており
、音声スイッチは、送話側の信号経路に損失を挿入する送話側損失挿入部と、受話側の信
号経路に損失を挿入する受話側損失挿入部と、送話側及び受話側の各損失挿入部から挿入
する損失量を制御する挿入損失量制御部とを具備し、挿入損失量制御部は、受話側損失挿
入部の出力点から音響エコー経路を介して送話側損失挿入部の入力点へ帰還する経路の音
響側帰還利得を推定するとともに、送話側損失挿入部の出力点から回線エコー経路を介し
て受話側挿入損失部の入力点へ帰還する経路の回線側帰還利得を推定する帰還利得推定部
と、音響側及び回線側の各帰還利得の推定値に基づいて閉ループに挿入すべき損失量の総
和を算出する総損失量算出部と、送話信号及び受話信号を監視して通話状態を推定し、こ
の推定結果と総損失量算出部の算出値に応じて送話側損失挿入部及び受話側損失挿入部の
各挿入損失量の配分を決定する挿入損失量分配処理部とからなり、総損失量算出部は、各
帰還利得の推定値に基づいて閉ループに挿入すべき損失量の総和を算出して適応更新する
更新モード、並びに総損失量を所定の初期値に固定する固定モードの2つの動作モードを
有し、相手側の通話端末との通話開始からエコーキャンセラが十分に収束するまでの期間
には固定モードで動作するとともに、エコーキャンセラが十分に収束した後の期間には更
新モードで動作する拡声通話装置において、帰還利得推定部は、音響側及び回線側の各帰
還経路が固有にもつ信号伝達時間の差を補正する伝達時間差補正部と、伝達時間差補正部
で補正された後の信号をフーリエ変換処理することにより周波数帯域別の信号レベルを求
める周波数帯域別信号レベル算出部と、周波数帯域別信号レベル算出部で算出した信号レ
ベルから周波数帯域別の帰還利得を推定し、各周波数帯域毎の帰還利得のうちで最大の帰
還利得を選択する最大帰還利得選択部と、最大帰還利得選択部により選択された最大帰還
利得を時系列に平滑化するとともに平滑化した値がパラメータ設定によって可変である平
滑化フィルタ部とを具備することを特徴とする。
In order to achieve the above object, the invention of
請求項2の発明は、請求項1の発明において、送話信号及び受話信号の参照信号をサンプリングしたデータを記憶する参照信号記憶部を帰還利得推定部に具備し、周波数帯域別信号レベル算出部は、参照信号記憶部に記憶したデータを読み取って離散フーリエ変換処理を実施することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the invention, the feedback gain estimation unit includes a reference signal storage unit that stores data obtained by sampling the reference signal of the transmission signal and the reception signal, and a signal level calculation unit for each frequency band. Is characterized in that it performs discrete Fourier transform processing by reading data stored in the reference signal storage unit.
請求項3の発明は、請求項1又は2の発明において、周波数帯域別信号レベル算出部で算出した周波数帯域別の信号レベルに対して各周波数帯域毎に時系列平均を求めるエンベローブ部を帰還利得推定部に具備し、最大帰還利得選択部はエンベローブ部で求めた信号レベルの時系列平均のうちで最大の時系列平均を帰還利得として選択することを特徴とする。 According to a third aspect of the present invention, in the first or second aspect of the present invention, an envelope unit that obtains a time series average for each frequency band with respect to the signal level for each frequency band calculated by the signal level calculation unit for each frequency band is provided with a feedback gain. The maximum feedback gain selection unit is provided in the estimation unit, and selects the maximum time series average among the time series averages of the signal levels obtained by the envelope unit as a feedback gain.
請求項4の発明は、請求項1〜3の何れかの発明において、帰還利得推定部は、音響側
帰還利得及び回線側帰還利得を一定時間毎に交互に推定し、互いに異なる時間に推定され
た音響側帰還利得と回線側帰還利得を組み合わせて帰還利得推定を行うことを特徴とする
。
According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects, the feedback gain estimation unit alternately estimates the acoustic side feedback gain and the line side feedback gain at regular intervals, and is estimated at different times. The feedback gain estimation is performed by combining the acoustic side feedback gain and the line side feedback gain.
請求項5の発明は、請求項1〜4の何れかの発明において、周波数帯域別信号レベル算
出部は、信号レベルを算出するに当たって平方根を求める処理を行うものであって、変数
と該変数の平方根とを一対一に対応させたリストを有し、該リストを参照することで平方
根の演算を行うことを特徴とする。
According to a fifth aspect of the present invention, in any one of the first to fourth aspects, the signal level calculation unit for each frequency band performs a process of obtaining a square root when calculating the signal level. A list having a one-to-one correspondence with the square root is provided, and the square root is calculated by referring to the list.
請求項6の発明は、請求項2の発明において、周波数帯域別信号レベル算出部は、離散
フーリエ変換処理を実施するために参照信号記憶部から読み取ったデータが全て所定のし
きい値以下であれば離散フーリエ変換処理を中止して前回の離散フーリエ変換処理で得ら
れた信号レベルで代用することを特徴とする。
According to a sixth aspect of the present invention, in the second aspect of the invention, the signal level calculation unit for each frequency band may be such that all the data read from the reference signal storage unit for performing the discrete Fourier transform processing is equal to or less than a predetermined threshold value. For example, the discrete Fourier transform process is stopped and the signal level obtained by the previous discrete Fourier transform process is used instead.
請求項7の発明は、請求項1〜6の何れかの発明において、周波数帯域別信号レベル算
出部は、エコーキャンセラが帰還利得を推定する経路の途中で音声成分が印加されるダブ
ルトーク状態を検出した場合、離散フーリエ変換処理を中止して前回の離散フーリエ変換
処理で得られた信号レベルで代用することを特徴とする。
The invention according to
請求項8の発明は、請求項1〜7の何れかの発明において、最大帰還利得選択部は、音
響側帰還利得と回線側帰還利得の和で表される閉ループ帰還利得に対して最大の帰還利得
を持つ周波数帯域の信号レベルを選択する際に分数式で表現される帰還利得算出式の周波
数帯域別の分母を通分することを特徴とする。
The invention according to
請求項1の発明によれば、周波数帯域別に求めた帰還利得のうちで最大のものを帰還利
得の推定値として選択しているため、参照信号の時間平均パワーから帰還利得を推定して
いた従来例に比べて帰還利得の推定精度が向上し、その結果、閉ループの一巡利得が1倍
を超えないような総損失量制御を従来以上に最適に行うことが可能になるため、双方向の
同時通話を実現する機会をさらに増やすことが可能となり、また屋外の道路騒音や室内の
テレビ騒音など周囲騒音が発生しているために通常では通話が困難な環境下においても、
より快適な通話を実現し、更に選択された最大帰還利得を時系列に平滑化するとともに平
滑化した値がパラメータ設定によって可変であるから、誤った推定によるハウリングの発
生を防止する設計が容易になる拡声通話装置が提供できるという効果がある。
According to the first aspect of the present invention, since the largest feedback gain obtained for each frequency band is selected as the estimated value of the feedback gain, the feedback gain is estimated from the time average power of the reference signal. The feedback gain estimation accuracy is improved compared to the example, and as a result, it is possible to perform the total loss amount control so that the closed loop loop gain does not exceed one time more optimally than in the past. It is possible to further increase opportunities to make calls, and even in environments where it is difficult to call normally due to ambient noise such as outdoor road noise and indoor TV noise,
A more comfortable call is achieved, and the selected maximum feedback gain is smoothed over time and flat.
Since the smoothed value is variable depending on the parameter setting, howling due to incorrect estimation occurs.
There is an effect that it is possible to provide a loudspeaker device that can be easily designed to prevent life .
請求項2の発明によれば、請求項1の発明の効果に加えて、離散フーリエ変換処理の対象となるデータが参照信号記憶部に蓄積されるまでの間の離散フーリエ変換処理の実行待ち時間がなくなり、参照信号のサンプリング周期と同期させた連続的な離散フーリエ変換処理が可能となるから、帰還利得の推定精度をさらに向上させることができるという効果がある。
According to the invention of
請求項3の発明によれば、請求項1又は2の発明の効果に加えて、エンベローブ部により周波数帯域別の信号レベルの時系列平均を求めているから、離散フーリエ変換処理における演算量を抑制するために当該離散フーリエ変換処理を同時に行うデータの数が少ない場合でもノイズの印加による帰還利得の推定精度の低下を防ぐことができるという効果がある。
According to the invention of
請求項4の発明によれば、請求項1〜3の何れかの発明の効果に加えて、音響側帰還利
得及び回線側帰還利得を同時に推定する場合に比べて演算量が削減されるため、低スペッ
クの計算機での実施が可能になるという効果がある。
According to the invention of claim 4 , in addition to the effects of the invention of any one of
請求項5の発明によれば、請求項1〜4の何れかの発明の効果に加えて、一般的なニュ
ートン・ラフソン法等を利用して平方根算出を行う場合に比べて演算量が削減されるため
、低スペックの計算機での実施が可能になるという効果がある。
According to the invention of claim 5 , in addition to the effect of any one of
請求項6の発明によれば、請求項2の発明の効果に加えて、定常的なノイズ信号の比で
帰還利得を推定してしまうことによる帰還利得推定精度の低下を防ぐことができるという
効果がある。
According to the sixth aspect of the invention, in addition to the effect of the second aspect of the invention, it is possible to prevent a reduction in feedback gain estimation accuracy caused by estimating a feedback gain by a ratio of stationary noise signals. There is.
請求項7の発明によれば、請求項1〜6の何れかの発明の効果に加えて、帰還利得を推
定する経路の途中で音声成分が印加されるダブルトーク状態で帰還利得を推定してしまう
ことによる帰還利得推定精度の低下を防ぐことができるという効果がある。
According to the invention of
請求項8の発明によれば、請求項1〜7の何れかの発明の効果に加えて、通分によって
除算演算を回避することができるから最大値選択に要する演算量を低減することができる
という効果がある。
According to the invention of
以下、本発明を拡声通話装置(インターホン端末)に適用した実施形態について図面を参照して詳細に説明する。但し、本発明はこれに限定されるものではなく、居住空間全般に設置される拡声通話装置であれば良い。 DESCRIPTION OF THE PREFERRED EMBODIMENTS Embodiments in which the present invention is applied to a voice call device (interphone terminal) will be described in detail below with reference to the drawings. However, the present invention is not limited to this, and may be any loudspeaker device installed in the entire living space.
本実施形態は、図2に示すようにマイクロホン1、スピーカ2、2線−4線変換回路3、マイクロホンアンプG1、回線(2線の伝送路)への送話信号を増幅する回線出力アンプG2、回線からの受話信号を増幅する回線入力アンプG3、スピーカアンプG4、送話音量調整用増幅器G5、受話音量調整用増幅器G6、音声スイッチ10、並びに第1及び第2のエコーキャンセラ30A、30Bで構成される。
In the present embodiment, as shown in FIG. 2, a
第1のエコーキャンセラ30Aは適応フィルタ31Aと減算器32Aからなる従来周知の構成を有し、スピーカ2−マイクロホン1間の音響結合により形成される帰還経路(音響エコー経路)HACのインパルス応答を適応フィルタ31Aにより適応的に同定し、参照信号(スピーカアンプG4への入力信号)から推定した擬似エコー成分(音響エコー)を減算器32AによりマイクロホンアンプG1の出力信号から減算することで音響エコーを抑制するものである。また、第2のエコーキャンセラ30Bも適応フィルタ31Bと減算器32Bからなる従来周知の構成を有し、2線−4線変換回路3と伝送路との間のインピーダンスの不整合による反射および相手の通話端末(例えば、インターホンシステムのドアホン子器など)におけるスピーカ−マイクロホン間の音響結合とにより形成される帰還経路(回線エコー経路)HLINのインパルス応答を適応フィルタ31Bにより適応的に同定し、参照信号(回線出力アンプG2への入力信号、すなわち送信信号)から推定した擬似エコー成分(回線エコー)を減算器32Bにより受話信号から減算することで回線エコーを抑制するものである。
The first echo canceller 30A includes a well-known structure composed of the
音声スイッチ10は、送話側の信号経路に損失を挿入する送話側減衰器11と、受話側の信号経路に損失を挿入する受話側減衰器12と、送話側及び受話側の各減衰器11、12から挿入する損失量を制御する挿入損失量制御部13とを具備する。挿入損失量制御部13は、受話側減衰器12の出力点Routから音響エコー経路HACを介して送話側減衰器11の入力点Tinへ帰還する経路(以下、「音響側帰還経路」という)の音響側帰還利得αを推定するとともに、送話側減衰器11の出力点Toutから回線エコー経路HLINを介して受話側減衰器12の入力点Rinへ帰還する経路(以下、「回線側帰還経路」という)の回線側帰還利得βを推定する帰還利得推定部14と、音響側及び回線側の各帰還利得α、βの推定値α'、β'に基づいて閉ループに挿入すべき損失量の総和(送話側減衰器の挿入損失量と受話側減衰器の挿入損失量の和)を算出する総損失量算出部15と、送話信号及び受話信号を監視して通話状態を推定し、この推定結果と総損失量算出部15の算出値に応じて送話側減衰器11及び受話側減衰器12の各挿入損失量の配分を決定する挿入損失量分配処理部16とからなる。なお、本実施形態における第1及び第2のエコーキャンセラ30A、30B並びに音声スイッチ10は、DSP(Digital Signal Processor)のハードウエアをエコーキャンセラ用並びに音声スイッチ用のソフトウエア(プログラム)で制御することによって実現されている。従って、以下の説明における音声スイッチ10並びに第1及び第2のエコーキャンセラ30A、30Bの入出力信号(受話信号及び送話信号)は所定のサンプリング周期でサンプリングされ、且つA/D変換器により量子化されている。
The
総損失量算出部15は音響側帰還利得α及び回線側帰還利得βの各推定値α'、β'から所望の利得余裕MGを得るために必要な総損失量Ltを算出し、その値Ltを挿入損失量分配処理部16に出力する。
The total loss
総損失量分配処理部16では、送話側減衰器11の入出力信号及び受話側減衰器12の入出力信号を監視し、これらの信号のパワーレベルの大小関係並びに音声信号の有無などの情報から通話状態(受話状態、送話状態等)を判定するとともに、判定された通話状態に応じた割合で総損失量Ltを送話側減衰器11と受話側減衰器12に分配するように各減衰器11、12の挿入損失量を調整する。
The total loss amount
ところで本実施形態における総損失量算出部15は、上述のように帰還利得推定部14が推定する各帰還利得α、βの推定値α'、β'に基づいて閉ループに挿入すべき損失量の総和を算出して適応更新する更新モード、並びに総損失量を所定の初期値に固定する固定モードの2つの動作モードを有し、相手側の通話端末との通話開始から第1及び第2のエコーキャンセラ30A、30Bが十分に収束するまでの期間には固定モードで動作するとともに、第1及び第2のエコーキャンセラ30A、30Bが十分に収束した後の期間には更新モードで動作する。すなわち、総損失量算出部15では音響側帰還利得α及び回線側帰還利得βの推定値α'、β'がともに通話開始から所定時間(数百ミリ秒)以上継続して所定の閾値ε(例えば、通話開始時における各推定値α'、β'に対して10〜15dB小さい値)を下回った時点で第1及び第2のエコーキャンセラ30A、30Bが十分に収束したものとみなし、上記時点以前には総損失量を初期値に固定する固定モードで動作し、上記時点以降には各推定値α'、β'に基づいて総損失量を適応更新する更新モードに動作モードを切り換える。なお、固定モードにおける総損失量の初期値は更新モードにおいて随時更新される総損失量よりも十分に大きな値に設定される。
By the way, the total
而して、通話開始直後の第1及び第2のエコーキャンセラ30A、30Bが十分に収束していない状態においては、固定モードで動作する総損失量算出部15によって十分に大きな値に設定される初期値の総損失量が閉ループに挿入されるため、不快なエコー(音響エコー並びに回線エコー)やハウリングの発生を抑制して安定した半二重通話を実現することができる。また、通話開始から時間が経過して第1及び第2のエコーキャンセラ30A、30Bが十分に収束した状態においては、総損失量15の動作モードが固定モードから更新モードに切り換わって閉ループに挿入する総損失量が初期値よりも十分に低い値に減少するため、双方向の同時通話が実現できるものである。
Thus, when the first and second echo cancellers 30A and 30B immediately after the start of the call are not sufficiently converged, the total loss
ここで、更新モードにおける総損失量算出部14の具体的な動作を図3のフローチャートを参照して説明する。
Here, a specific operation of the total loss
総損失量算出部15は、固定モードから更新モードに移行した時点から帰還利得推定部14により所定のサンプリング周期で実行される音響側帰還利得α及び回線側帰還利得βの推定値α'(n)、β'(n)の積α'(n)・β'(n)を読み込み(ステップ1)、この積α'(n)・β'(n)と利得余裕MGとから、閉ループの利得余裕をMG [dB]に保つために必要とされる総損失量所望値Lr(n)を下式により算出する(ステップ2)。
The total
Lr(n)=20log|α'(n)・β'(n) |+MG [dB]
なお、α'(n)、β'(n)、Lr (n)はそれぞれ更新モード移行時点からn回目のサンプリングによって算出された帰還利得の推定値並びに総損失量所望値を示す。さらに、総損失量算出部15は上式から算出したn回目の総損失量所望値Lr(n)と、前回(n−1回目)の総損失量値Lt(n-1)、すなわち前回の処理で決定されて実際に挿入された総損失量に対して今回算出した総損失量所望値Lr(n)が大きい場合、前回の総損失量Lt(n-1)に微少な増加量Δi[dB]を加算した値を今回の総損失量Lt(n)=Lt(n-1)+Δiとし(ステップ3、ステップ4)、前回の総損失量Lt(n-1)に対して今回算出した総損失量所望値Lr(n)が小さい場合、前回の総損失量Lt(n-1)から微少な減少量Δd[dB]を減算した値を今回の総損失量Lt(n)=Lt(n-1)−Δdとする(ステップ5、ステップ6)。
Lr (n) = 20 log | α ′ (n) · β ′ (n) | + MG [dB]
Note that α ′ (n), β ′ (n), and Lr (n) indicate an estimated value of feedback gain and a desired total loss amount calculated by the nth sampling from the update mode transition point, respectively. Further, the total loss
このように総損失量算出部15による総損失量の増減をΔi又はΔdの微少な値に抑えることにより、相手側の通話端末との通話開始直後のように第1または第2のエコーキャンセラ30A、30Bが収束に向かって活発に係数を更新しているために音響帰還利得α及び回線側帰還利得βの変化が激しい状態においても、聴感上の違和感をなくすことができる。
In this way, by suppressing the increase / decrease in the total loss amount by the total loss
次に、本発明の要旨である帰還利得推定部14について図1及び図4〜図9を用いて説明する。図1は挿入損失量制御部13のうち、特に帰還利得推定部14の構成を詳しく示したブロック図である。帰還利得推定部14は、受話側減衰器12の出力点Routから音響エコー経路HACを介して送話側減衰器11の入力点Tinへ帰還する経路(以下、「音響側帰還経路」という)の音響側帰還利得αを推定する音響側帰還利得推定部14Aと、送話側減衰器11の出力点Toutから回線エコー経路HLINを介して受話側減衰器12の入力点Rinへ帰還する経路(以下、「回線側帰還経路」という)の回線側帰還利得βを推定する回線側帰還利得推定部14Bからなる。
Next, the feedback
音響側帰還利得推定部14Aおよび回線側帰還利得推定部14Bは、ある時刻nにおいて、送話路上の送話側減衰器11の入力点Tinおよび出力点Tout、受話路上の受話側減衰器12の入力点Rinおよび出力点Routからそれぞれ送話信号並びに受話信号Tin(n)、Tout(n)、Rin(n)、Rout(n)を取り込み、音響側帰還利得α(n)および回線側帰還利得β(n)に対する推定値α'(n)、β'(n)を出力して、総損失量算出部15へ渡すようになっている。
The acoustic-side feedback
音響側帰還利得推定部14Aは、受話側減衰器12の出力点Routから参照した参照信号(受話信号)を処理する受話側ブロックと、送話側減衰器11の入力点Tinから参照した参照信号(送話信号)を処理する送話側ブロックとを有する。送話側ブロックには参照した参照信号を記憶する参照信号記憶部52Cと、参照信号記憶部52Cから参照信号を読み取って離散フーリエ変換処理することにより周波数帯域別の信号レベルを求める周波数帯域別信号レベル算出部53Cと、周波数帯域別信号レベル算出部53Cで算出した周波数帯域別の信号レベルに対して各周波数帯域毎に時系列平均を求めるエンベローブ部54Cとが含まれる。また受話側ブロックには音響側エコー経路HACを含めた音響側帰還経路が固有にもつ信号伝達時間の差を補正する伝達時間差補正部51Aと、信号伝達時間の差が補正された後の参照信号(受話信号)を記憶する参照信号記憶部52Aと、参照信号記憶部52Aから参照信号を読み取って離散フーリエ変換処理することにより周波数帯域別の信号レベルを求める周波数帯域別信号レベル算出部53Aと、周波数帯域別信号レベル算出部53Aで算出した周波数帯域別の信号レベルに対して各周波数帯域毎に時系列平均を求めるエンベローブ部54Aとが含まれる。さらに音響側帰還利得推定部14Aは最大帰還利得選択部55と平滑化フィルタ部56Aを具備している。最大帰還利得選択部55は、受話側ブロック及び送話側ブロックの各エンベローブ部54A,54Cの出力信号から周波数帯域別の帰還利得を推定し、各周波数帯域毎の帰還利得のうちで最大の帰還利得を選択する処理を行う。また平滑化フィルタ部56Aは、最大帰還利得選択部55により選択された最大帰還利得を時系列に平滑化する処理を行い、且つ後述するようにパラメータ設定によって平滑化した値を可変するものである。
The acoustic-side
一方、回線側帰還利得推定部14Bは、送話側減衰器11の出力点Toutから参照した参照信号(送話信号)を処理する送話側ブロックと、受話側減衰器12の入力点Rinから参照した参照信号(受話信号)を処理する受話側ブロックとを有する。受話側ブロックには参照した参照信号を記憶する参照信号記憶部52Dと、参照信号記憶部52Dから参照信号を読み取って離散フーリエ変換処理することにより周波数帯域別の信号レベルを求める周波数帯域別信号レベル算出部53Dと、周波数帯域別信号レベル算出部53Dで算出した周波数帯域別の信号レベルに対して各周波数帯域毎に時系列平均を求めるエンベローブ部54Dとが含まれる。また送話側ブロックには回線側エコー経路HLINを含めた回線側帰還経路が固有にもつ信号伝達時間の差を補正する伝達時間差補正部51Bと、信号伝達時間の差が補正された後の参照信号(送話信号)を記憶する参照信号記憶部52Bと、参照信号記憶部52Bから参照信号を読み取って離散フーリエ変換処理することにより周波数帯域別の信号レベルを求める周波数帯域別信号レベル算出部53Bと、周波数帯域別信号レベル算出部53Bで算出した周波数帯域別の信号レベルに対して各周波数帯域毎に時系列平均を求めるエンベローブ部54Bとが含まれる。さらに回線側帰還利得推定部14Bは最大帰還利得選択部55と平滑化フィルタ部56Bとを具備している。最大帰還利得選択部55は音響側帰還利得推定部14Aと共用されるものであって、送話側ブロック及び受話側ブロックの各エンベローブ部54B,54Dの出力信号から周波数帯域別の帰還利得を推定し、各周波数帯域毎の帰還利得のうちで最大の帰還利得を選択する処理を行う。また平滑化フィルタ部56Bは、最大帰還利得選択部55により選択された最大帰還利得を時系列に平滑化する処理を行い、且つ後述するようにパラメータ設定によって平滑化した値を可変するものである。なお、音声スイッチ10に含まれる上記各部はDSPのハードウェアを専用のプログラムで制御することによって実現されるものであり、音響側並びに回線側の各帰還利得推定部14A,14Bにおいて処理される信号は全てアナログの送話信号及び受話信号をサンプリングし且つ量子化したディジタルのデータとして扱われる。
On the other hand, the line-side
受話側減衰器12の出力点Routから出力された受話信号が音響エコー経路HACを含めた音響側帰還経路を経て送話側減衰器11の入力点Tinへ到達するまでにはその系固有の伝達時間が必要である。そのため伝達時間差補正部51Aでは、受話側減衰器12の出力点Routから発生させた単一パルスが送話側減衰器11の入力点Tinへ到達する時間を測定するなどして予め設定しておいたその系の伝達時間Dαだけ、受話側減衰器12の出力点Routからの参照信号を遅延させるようになっている。例えば、参照信号のサンプリング周波数を8[kHz]、測定した遅延時間が12[msec]の場合、8×12=96データ分の遅延処理用信号記憶部(参照信号記憶部52A〜52Dとは別のFIFO(First In First Out)型信号記憶部)を用意しておき、時刻nにおいて、遅延処理用信号記憶部(図示せず)で最も古い12[msec]前のデータをDRout(n)として参照信号記憶部52Aに渡すとともに、受話側減衰器12の出力点Routから参照した参照信号Rout(n)を遅延処理用信号記憶部に新しく蓄積するようにして信号遅延を実現している。
Receiving signals output from the output point Rout of the receiving
ところで、周波数帯域別信号レベル算出部53A〜53Dが一定数Nf(例えば、Nf=8)の参照信号データDRout(n),DRout(n-1),…,DRout(n-7)を纏めて参照信号記憶部52Aから読み込んで離散フーリエ変換処理を行うとすると(図4(a)参照)、サンプリング時間毎に発生する割込処理のNf回に1回の割合でしか離散フーリエ変換処理が行えないために帰還利得の推定精度が低下する虞がある。そのために本実施形態では、参照信号記憶部52A〜52Dを先入れ先出し(FIFO)型とし、図4(b)に示すようにサンプリングのための割込発生毎に参照信号記憶部52A〜52Dのデータを1つずつシフトして入れ換え(シフトブロック化)、入れ換えた後の参照信号データDRout(n),DRout(n-1),…,DRout(n-7)を参照信号記憶部52A〜52Dから周波数帯域別信号レベル算出部53A〜53Dに読み込んで離散フーリエ変換処理を行うことで遅延が生じるのを防ぎ、帰還利得の推定精度を向上させている(図6参照)。
By the way, the signal
次に周波数帯域別信号レベル算出部53Aにおける信号レベルの算出方法について、一度に処理するデータ数(離散フーリエ変換処理の長さ)Nfを8とし、図5のフローチャートを参照しながら説明する。周波数帯域別信号レベル算出部53Aは、時系列に参照された複数(本実施形態では8個)の参照信号データDRout(n),DRout(n-1),…,DRout(n-7)を参照信号記憶部52Aから読み込み(ステップ1)、読み込んだデータに対して離散フーリエ変換処理を行う(ステップ2)。この離散フーリエ変換処理においては4つに分けた周波数帯域[f0,f1,f2,f3]毎に実部と虚部を個別に演算し(ステップ3)、さらに実部と虚部の二乗和の平方根を演算することで各周波数帯域毎の信号レベル|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|を算出する(ステップ4)。すなわち、離散フーリエ変換は周波数成分について偶関数となるため、その長さNf=8の場合であれば半分の4成分を演算すれば十分であるから、参照信号のサンプリング周波数が8[kHz]でNf=8の場合、f0:0〜0.5[kHz]、f1:0.5〜1.5[kHz]、f2:1.5〜2.5[kHz]、f3:2.5〜3.5[kHz]の4つの周波数帯域成分を演算するようにしている。なお、図5のステップ2においては参照信号データDRout(n),DRout(n-1),…,DRout(n-7)の行列と周波数帯域毎の信号レベル|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|の行列との変換の関係式を4×8の行列Fで表している。そして、ステップ2の行列演算処理を行った後、[f0,f1,f2,f3]の帯域成分毎に、実部成分と虚部成分をそれぞれ2乗したもの(ステップ3)を加算し、さらに平方根演算処理を行う(ステップ4)ことで帯域成分毎の信号レベルの大きさ[|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|]を求めてエンベローブ部54Aに出力する。
Next, a signal level calculation method in the signal
ステップ4の平方根演算処理について、一般的に行われているニュートン・ラフソン(Newton-Rapson)法などのループ演算を繰り返す毎に値が真値に漸近していくアルゴリズムでは、例えば離散フーリエ変換処理の長さNf=8で、後述する帰還経路推定利得α',β'の更新処理を交互に実行する方式を用いても、2入力×4帯域=8個の各平方根演算においてループ演算を実行せねばならず、帰還利得推定部14を実現しているDSPの演算処理の負担が大きくなってしまう。そこで本実施形態では、予め不揮発性の記憶領域に平方根演算前と平方根演算後の結果を対応させたリストを格納し、そのリストを参照して平方根値を求めるようにすることでDSPの演算処理負荷を低減している。
With respect to the square root calculation processing in step 4, an algorithm in which the value gradually approaches a true value every time a loop operation such as a Newton-Rapson method, which is generally performed, is repeated. Even if a method of alternately executing update processing of feedback path estimation gains α ′ and β ′, which will be described later, is performed with length Nf = 8, loop calculation can be performed in each of two inputs × 4 bands = 8 square root operations. In other words, the processing load of the DSP realizing the feedback
具体的には、X(0≦X<1)の平方根Y=√X(0≦Y<1)を求める場合、X=a×2−bと分解した後、bの偶奇性を考慮して
Y=√a×2−n (b=2n、nは正の整数)
Y=√(0.5×a)×2−n (b=2n+1、nは正の整数)
と場合分けを行えば、bの部分に関してはnビットシフト演算を実行すればよく、残りの変数aの部分については、変数aとその平方根√aを対応させたリストを予め記憶領域に格納しておき、そのリストを参照して平方根√aを求めれば、所望の平方根Yが得られる。但し、使用するDSPの処理能力に余裕があれば、ニュートン・ラフソン法などの一般的な平方根算出アルゴリズムを用いてもよい。
Specifically, when obtaining the square root of X (0 ≦ X <1) Y = √X (0 ≦ Y <1), after decomposing it into X = a × 2-b, the even-oddness of b is considered. Y = √a × 2-n (b = 2n, n is a positive integer)
Y = √ (0.5 × a) × 2-n (b = 2n + 1, n is a positive integer)
If the case is divided, an n-bit shift operation may be executed for the part b, and for the remaining part of the variable a, a list in which the variable a is associated with the square root √a is stored in the storage area in advance. If the square root √a is obtained by referring to the list, the desired square root Y can be obtained. However, a general square root calculation algorithm such as Newton-Raphson method may be used if the DSP has sufficient processing capability.
ここで、通話が行われていない状況では定常的なノイズ成分のみが参照信号データDRout(n),DRout(n-1),…,DRout(n-7)に含まれることになり、これらの比で帰還利得を推定すると推定精度が低下してしまうことになる。故に周波数帯域別信号レベル算出部53Aにおいては、参照信号記憶部52Aから読み込んだ参照信号データDRout(n),DRout(n-1),…,DRout(n-7)の全ての信号レベルが所定のしきい値以下であれば、離散フーリエ変換処理を中止して前回の離散フーリエ変換処理で得られた信号レベルで代用し、その代用した信号レベルをエンベローブ部54Aに出力しており、上述のように定常的なノイズ信号の比で帰還利得を推定することに起因する推定精度の低下を防いでいる。
Here, in a situation where no call is made, only stationary noise components are included in the reference signal data DRout (n), DRout (n-1),..., DRout (n-7). If the feedback gain is estimated by the ratio, the estimation accuracy is lowered. Therefore, in the signal
また相手側の通話端末と本機とで話者がほぼ同時に話すことにより音響エコー経路HACにおいて音声成分が印加される状態、いわゆるダブルトーク状態においては、定常的なノイズ信号が存在する場合と同様に帰還利得の推定精度が低下することになる。そこで本実施形態では、第1のエコーキャンセラ30Aが有するダブルトーク検出機能によってダブルトーク状態を検出した場合、周波数帯域別信号レベル算出部53Aにおいては離散フーリエ変換処理を中止して前回の離散フーリエ変換処理で得られた信号レベルで代用し、その代用した信号レベルをエンベローブ部54Aに出力しており、上述のようにダブルトーク状態において帰還利得を推定することに起因した推定精度の低下を防いでいる。
The state the speaker at the other end of the call terminal and the unit audio component is applied in an acoustic echo path H AC by speaking almost simultaneously, in the so-called double-talk state, and if the stationary noise signal is present Similarly, the estimation accuracy of the feedback gain is lowered. Therefore, in this embodiment, when the double talk state is detected by the double talk detection function of the first echo canceller 30A, the signal
ところで本実施形態では、DSPによる演算処理の負担軽減を考慮して離散フーリエ変換処理の長さNfを一般的な値(256〜1024)よりもかなり小さい値(Nf=8)に設定しているため、離散フーリエ変換処理の長さNfを時間単位で表した時間長がサンプリング周波数(=8[kH])において8/8[kHz]=1[msec]と非常に短くなってしまい、雑音の印加によって帰還利得の推定精度低下の影響を受けやすくなっていることから、これを改善するために周波数帯域別信号レベル算出部53Aで算出した周波数帯域別の信号レベル[|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|]に対して各周波数帯域毎に時系列平均を求める演算(エンベローブ演算)をエンベローブ部54Aが行っている(図6参照)。このエンベローブ演算は、周波数帯域別の信号レベル[|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|]に対して下記式で表される演算を行うことで時系列平均を求めるものである。但し、下記式におけるエンベローブ係数ρは実測値[|FRout_f0(n)|,|FRout_f1(n)|,|FRout_f2(n)|,|FRout_f3(n)|]と平均値[env_RO_f0(n),env_RO_f1(n),env_RO_f2(n),env_RO_f3(n)]との重み付けを決める数値である。
By the way, in the present embodiment, the length Nf of the discrete Fourier transform process is set to a value (Nf = 8) that is considerably smaller than a general value (256 to 1024) in consideration of reducing the burden of calculation processing by the DSP. For this reason, the time length in which the length Nf of the discrete Fourier transform processing is expressed in time units becomes as short as 8/8 [kHz] = 1 [msec] at the sampling frequency (= 8 [kH]). Since it is easily affected by a decrease in estimation accuracy of the feedback gain due to the application, the signal level for each frequency band [| F Rout _f0 (n) calculated by the signal level calculation unit for each
env_RO_f0(n)=(1−ρ)env_RO_f0(n-1)+ρ|FRout_f0(n)|
env_RO_f1(n)=(1−ρ)env_RO_f1(n-1)+ρ|FRout_f1(n)|
env_RO_f2(n)=(1−ρ)env_RO_f2(n-1)+ρ|FRout_f2(n)|
env_RO_f3(n)=(1−ρ)env_RO_f3(n-1)+ρ|FRout_f3(n)|
例えば、参照信号を1[kHz]の正弦波信号とした場合、図7(a)に示すように離散フーリエ変換の長さNfを8とした8点フーリエ変換処理(時間長1[msec])と、同図(b)に示すように離散フーリエ変換の長さNfを倍の16とした16点フーリエ変換処理(時間長2[msec])とで変換後の周波数スペクトル値が一致(=0.5)し、両者に精度の差はない。一方、正弦波信号に雑音成分を印加すると、時間長が短い8点フーリエ変換処理の方(図8(a)参照)が16点フーリエ変換処理(同図(b)参照)に比べて雑音成分の寄与が大きいために精度低下が大きくなる。しかし、8点フーリエ変換処理においてエンベローブ処理を用いた場合、同図(c)に示すように処理された参照信号記憶部52Aのデータより過去のデータがもつ周期性を利用できるため、雑音成分が参照信号記憶部52Aから抜ける直前の最悪のケースにおいても、時間長が2倍の16点フーリエ変換処理に比べて精度が改善することがわかる(但し、図8(c)ではエンベローブ係数ρをρ=1/16としている)。
env_RO_f0 (n) = (1-ρ) env_RO_f0 (n-1) + ρ | F Rout _f0 (n) |
env_RO_f1 (n) = (1-ρ) env_RO_f1 (n-1) + ρ | F Rout _f1 (n) |
env_RO_f2 (n) = (1−ρ) env_RO_f2 (n−1) + ρ | F Rout _f2 (n) |
env_RO_f3 (n) = (1-ρ) env_RO_f3 (n-1) + ρ | F Rout _f3 (n) |
For example, if the reference signal is a sine wave signal of 1 [kHz], an 8-point Fourier transform process (time length 1 [msec]) with a discrete Fourier transform length Nf of 8 as shown in FIG. And the frequency spectrum value after the conversion coincides with the 16-point Fourier transform process (time length 2 [msec]) in which the length Nf of the discrete Fourier transform is 16 as shown in FIG. 5) and there is no difference in accuracy between the two. On the other hand, when a noise component is applied to the sine wave signal, the 8-point Fourier transform process (see FIG. 8A) with a shorter time length is more noise component than the 16-point Fourier transform process (see FIG. 8B). Since the contribution of is large, the decrease in accuracy becomes large. However, when the envelope process is used in the 8-point Fourier transform process, the periodicity of past data can be used from the data of the reference
次に、離散フーリエ変換処理の長さNf=8とした場合について最大帰還利得選択部55の動作を説明する。最大帰還利得選択部55は、音響側帰還利得推定部14Aにおいて受話側減衰器12の出力点Routを参照点として伝送時間差補正部51Aからエンベローブ部54Aによって算出された時刻nでの周波数帯域成分毎のエンベローブ部54Aの出力値[env_RO_f0(n) ,env_RO_f1(n),env_RO_f2(n),env_RO_f3(n)]を、送話側減衰器11の入力点Tinを参照点として参照信号記憶部52Cからエンベローブ部54Cによって算出された周波数帯域成分毎のエンベローブ部54Cの出力値[env_TI_f0(n),env_TI_f1(n),env_TI_f2(n),env_TI_f3(n)]で周波数帯域成分毎に除することにより(下式参照)、音響側帰還利得推定値[env_α'f0(n),env_α'f1(n),env_α'f2(n),env_α'f3(n)]を求めている(図9(a)参照)。
Next, the operation of the maximum feedback
env_TI_f0(n)/env_RO_f0(n)≡env_α'f0(n)
env_TI_f1(n)/env_RO_f1(n)≡env_α'f1(n)
env_TI_f2(n)/env_RO_f2(n)≡env_α'f2(n)
env_TI_f3(n)/env_RO_f3(n)≡env_α'f3(n)
また回線側帰還利得推定部14Bにおいて送話側減衰器11の出力点Toutを参照点として伝送時間差補正部51Bからエンベローブ部54Bによって算出された時刻nでの周波数帯域成分毎のエンベローブ部54Bの出力値[env_TO_f0(n),env_TO_f1(n),env_TO_f2(n),env_TO_f3(n)]を受話側減衰器12の入力点Rinを参照点として参照信号記憶部52Dからエンベローブ部54Dによって算出された周波数帯域成分毎のエンベローブ部54Dの出力値[env_RI_f0(n),env_RI_f1(n),env_RI_f2(n),env_RI_f3(n)]で周波数帯域成分毎に除することにより(下式参照)、回線側帰還利得推定値[env_β'f0(n),env_β'f1(n),env_β'f2(n),env_β'f3(n)]を求めている(図9(b)参照)。
env_TI_f0 (n) / env_RO_f0 (n) ≡env_α'f0 (n)
env_TI_f1 (n) / env_RO_f1 (n) ≡env_α'f1 (n)
env_TI_f2 (n) / env_RO_f2 (n) ≡env_α'f2 (n)
env_TI_f3 (n) / env_RO_f3 (n) ≡env_α'f3 (n)
The output of the
env_RI_f0(n)/env_TO_f0(n)≡env_β'f0(n)
env_RI_f1(n)/env_TO_f1(n)≡env_β'f1(n)
env_RI_f2(n)/env_TO_f2(n)≡env_β'f2(n)
env_RI_f3(n)/env_TO_f3(n)≡env_β'f3(n)
さらに音響側利得推定値[env_α'f0(n),env_α'f1(n),env_α'f2(n),env_α'f3(n)]と回線側利得推定値[env_β'f0(n),env_β'f1(n),env_β'f2(n),env_β'f3(n)]の周波数帯域成分毎の積
env_α'f0(n)×env_β'f0(n)
env_α'f1(n)×env_β'f1(n)
env_α'f2(n)×env_β'f2(n)
env_α'f3(n)×env_β'f3(n)
のうち、最大値をもつ周波数帯域成分を選択する。これはインターホンシステムにおける閉ループ一巡利得のハウリング余裕度の周波数依存性のうち、最も余裕がない周波数成分を特定することに対応しており、正確に最も余裕がない周波数成分とそのレベルが推定できることになる。例えば、図9(c)に示すように周波数帯域f1が帰還利得推定値の最大値をもつ帯域であれば、周波数帯域f1の成分env_α'f1(n),env_β'f1(n)をもって最大帰還利得選択部55が選択する時刻nでの最大帰還利得[α1(n)、β1(n)]を
α1(n)=env_α'f1(n)
β1(n)=env_β'f1(n)
とし、これを音響側平滑化フィルタ部56Aおよび回線側平滑化フィルタ部56Bへそれぞれ出力する。但し、上記周波数帯域成分毎の積の最大値を求める際、その積を通分すれば演算量を減らすことができる。つまり、周波数帯域成分毎の積を通分することで除算を実行しなくても最大値を求めることができ、DSPが不得手とする除算処理を回避することで演算処理の負担を軽減することができる。なお、DSPの演算処理能力に余裕があれば、除算処理を行うことは勿論構わない。
env_RI_f0 (n) / env_TO_f0 (n) ≡env_β'f0 (n)
env_RI_f1 (n) / env_TO_f1 (n) ≡env_β'f1 (n)
env_RI_f2 (n) / env_TO_f2 (n) ≡env_β'f2 (n)
env_RI_f3 (n) / env_TO_f3 (n) ≡env_β'f3 (n)
Furthermore, the acoustic side gain estimates [env_α'f0 (n), env_α'f1 (n), env_α'f2 (n), env_α'f3 (n)] and the line side gain estimates [env_β'f0 (n), env_β 'f1 (n), env_β'f2 (n), env_β'f3 (n)] product for each frequency band component
env_α'f0 (n) x env_β'f0 (n)
env_α'f1 (n) x env_β'f1 (n)
env_α'f2 (n) × env_β'f2 (n)
env_α'f3 (n) x env_β'f3 (n)
Of these, the frequency band component having the maximum value is selected. This corresponds to identifying the frequency component with the least margin among the frequency dependence of the howling margin of the closed loop loop gain in the interphone system, and it is possible to accurately estimate the frequency component with the least margin and its level. Become. For example, as shown in FIG. 9C, if the frequency band f1 is a band having the maximum value of the feedback gain estimation value, the maximum feedback is obtained with the components env_α′f1 (n) and env_β′f1 (n) of the frequency band f1. The maximum feedback gain [α1 (n), β1 (n)] at time n selected by the
β1 (n) = env_β'f1 (n)
This is output to the acoustic side smoothing
最後に図10を参照して平滑化フィルタ部56A,56Bの動作を説明する。但し、音響側平滑化フィルタ部56A並びに回線側平滑化フィルタ部56Bの平滑化処理は共通であるから、以下では音響側平滑化フィルタ部56Aについて説明する。
Finally, the operation of the smoothing
まず、平滑化処理を開始する前に変数UsCounter,DsCounterを予め設定したパラメータUs_Init,Ds_Initにそれぞれ初期化する。また平均化処理後の音響側帰還利得推定値α'(n)も初期値(=0)に初期化する(ステップ1)。続いて、最大帰還利得選択部55から出力される最大帰還利得α1(n)を読み取り、時刻nでの音響側帰還利得推定値α1(n)を時刻n−1での平均化処理後の音響側帰還利得推定値α'(n-1)と比較し、α1(n)の方が大きければ(α1(n)>α'(n-1))、変数UsCounterをデクリメントするとともに変数DsCounterを初期化し、反対にα1(n)の方が小さければ(α1(n)<α'(n-1))、変数DsCounterをデクリメントするとともに変数UsCounterを初期化し、両者が等しければ(α1(n)=α'(n))、処理を継続する(ステップ2)。そして、変数UsCounterが0である、つまりステップ2において時刻nでの音響側帰還利得推定値α1(n)が時刻n−1での平均化処理後の音響側帰還利得推定値α'(n-1)より大きい場合が連続して続けば、α'(n-1)にパラメータεを加えたものをα'(n)とする処理を行い、もし変数DsCounterが0である、つまりステップ2において時刻nでの音響側帰還利得推定値α1(n)が時刻n−1での平均化処理後の音響側帰還利得推定値α'(n-1)より小さい場合が連続して続けば、α'(n-1)からパラメータεを減じたものをα'(n)とする処理を行う。それ以外はα'(n)=α'(n-1)として前回の値を保持する(ステップ3)。
First, before starting the smoothing process, variables UsCounter and DsCounter are initialized to preset parameters Us_Init and Ds_Init, respectively. The acoustic feedback gain estimated value α ′ (n) after the averaging process is also initialized to an initial value (= 0) (step 1). Subsequently, the maximum feedback gain α1 (n) output from the maximum feedback
而して、平滑化フィルタ部56Aにおいては、変数UsCounter,DsCounterの初期値を表すパラメータUs_Init,Ds_Initの大小関係によって平均化処理後の音響側帰還利得推定値α'(n)を増減することが可能であって、Us_Init>Ds_Initとすれば音響側帰還利得推定値α'(n)をエンベローブ部54Aで演算した時系列平均に比べて値が小さくなる方向へ誘導することができ、逆にUs_Init<Ds_Initとすれば音響側帰還利得推定値α'(n)をエンベローブ部54Aで演算した時系列平均に比べて値が大きくなる方向へ誘導することができる。すなわち、エンベローブ部54Aによる時系列平均化で帰還利得が過度に大きい値に推定されると、誤った推定によるハウリングが発生してしまう虞があるから、このようなハウリングの発生を防止するために音響側帰還利得推定値α'(n)をエンベローブ部54Aで演算した時系列平均に比べて値が小さくなる方向へ誘導することが望ましく、例えば本実施形態では(Us_Init,Ds_Init)=(64,1)としている。
Thus, in the smoothing
なお、音響側帰還利得推定部14Aの受話側減衰器12の出力点Routを参照点とする処理フローについて主に説明したが、送話側減衰器11の入力点Tin、送話側減衰器11の出力点Tout、受話側減衰器12の入力点Rinを各々参照点とする処理フローに関しても伝送時間差補正部51の有無を除けば同様の処理を行っている。
Although the processing flow using the output point Rout of the
ところで、帰還利得推定部14をDSPで構成する場合、参照信号をA/D変換する際のサンプリング時間毎に音響側及び回線側の各帰還利得推定値を求める割込処理を行うことはDSPの演算処理の負担がかなり大きくなってしまう。そこで、DSPでA/Dサンプリング時間毎に発生させている割り込み処理に対して、本実施形態では音響側帰還利得部14Aと回線側帰還利得部14Bを交互に動作させてDSPへの処理負荷を低減している。具体的には、伝送時間差補正部51、参照信号記憶部52、最大帰還利得選択部55、および平滑化フィルタ部56は常に動作させておき、周波数帯域別信号レベル算出部54とエンベローブ部55を割込発生毎に排他的に動作/停止させる。その際最大帰還利得選択部55においては、例えば、時刻2k+1で音響側帰還利得推定値α'(2k+1)を更新し、時刻2kで音響側帰還利得推定値β'(2k)を更新する場合、時刻2k+1においては、音響側帰還利得推定値[env_α'f0(2k+1),env_α'f1(2k+1),env_α'f2(2k+1),env_α'f3(2k+1)]と回線側帰還利得推定値[env_β'f0(2k),env_β'f1(2k),env_β'f2(2k),env_β'f3(2k)]の周波数帯域成分毎の積
env_α'f0(2k+1)×env_β'f0(2k)
env_α'f1(2k+1)×env_β'f1(2k)
env_α'f2(2k+1)×env_β'f2(2k)
env_α'f3(2k+1)×env_β'f3(2k)
の中から、時刻2kにおいては、音響側帰還利得推定値[env_α'f0(2k-1),env_α'f1(2k-1),env_α'f2(2k-1),env_α'f3(2k-1)]と回線側帰還利得推定値[env_β'f0(2k),env_β'f1(2k),env_β'f2(2k),env_β'f3(2k)]の周波数帯域成分毎の積
env_α'f0(2k-1)×env_β'f0(2k)
env_α'f1(2k-1)×env_β'f1(2k)
env_α'f2(2k-1)×env_β'f2(2k)
env_α'f3(2k-1)×env_β'f3(2k)
の中から最大値をもつ周波数帯域成分を選択する。時刻n=2k+1またはn=2kでの最大帰還利得[α1(n),β1(n)]を求め、これを音響側平滑化フィルタ部56Aおよび回線側平滑化フィルタ部56Bへそれぞれ出力する。但し、DSPの処理能力に余裕がある場合は、1つの割込処理において音響側と回線側の帰還利得を同時に更新してもよい。
By the way, when the
env_α'f0 (2k + 1) × env_β'f0 (2k)
env_α'f1 (2k + 1) × env_β'f1 (2k)
env_α'f2 (2k + 1) × env_β'f2 (2k)
env_α'f3 (2k + 1) × env_β'f3 (2k)
At time 2k, the acoustic feedback gain estimate [env_α'f0 (2k-1), env_α'f1 (2k-1), env_α'f2 (2k-1), env_α'f3 (2k-1 )] And line-side feedback gain estimate [env_β'f0 (2k), env_β'f1 (2k), env_β'f2 (2k), env_β'f3 (2k)] for each frequency band component
env_α'f0 (2k-1) × env_β'f0 (2k)
env_α'f1 (2k-1) × env_β'f1 (2k)
env_α'f2 (2k-1) × env_β'f2 (2k)
env_α'f3 (2k-1) × env_β'f3 (2k)
The frequency band component having the maximum value is selected from The maximum feedback gain [α1 (n), β1 (n)] at time n = 2k + 1 or n = 2k is obtained and output to the acoustic side smoothing
13 挿入損失量制御部
14A 音響側帰還利得推定部
14B 回線側帰還利得推定部
51A,51B 伝達時間差補正部
52A〜52D 参照信号記憶部
53A〜53D 周波数帯域別信号レベル算出部
54A〜54D エンベローブ部
55 最大帰還利得選択部
56A,56B 平滑化フィルタ部
13 Insertion loss
Claims (8)
に伝送する受話側信号経路並びにマイクロホンで集音された送話信号を伝送して相手側の
通話端末へ送る送話側信号経路に損失を挿入することで通話状態を受話及び送話に切り換
える音声スイッチと、マイクロホンとスピーカの音響結合によって生じる音響エコーを抑
制するエコーキャンセラとを備えており、音声スイッチは、送話側の信号経路に損失を挿
入する送話側損失挿入部と、受話側の信号経路に損失を挿入する受話側損失挿入部と、送
話側及び受話側の各損失挿入部から挿入する損失量を制御する挿入損失量制御部とを具備
し、挿入損失量制御部は、受話側損失挿入部の出力点から音響エコー経路を介して送話側
損失挿入部の入力点へ帰還する経路の音響側帰還利得を推定するとともに、送話側損失挿
入部の出力点から回線エコー経路を介して受話側挿入損失部の入力点へ帰還する経路の回
線側帰還利得を推定する帰還利得推定部と、音響側及び回線側の各帰還利得の推定値に基
づいて閉ループに挿入すべき損失量の総和を算出する総損失量算出部と、送話信号及び受
話信号を監視して通話状態を推定し、この推定結果と総損失量算出部の算出値に応じて送
話側損失挿入部及び受話側損失挿入部の各挿入損失量の配分を決定する挿入損失量分配処
理部とからなり、総損失量算出部は、各帰還利得の推定値に基づいて閉ループに挿入すべ
き損失量の総和を算出して適応更新する更新モード、並びに総損失量を所定の初期値に固
定する固定モードの2つの動作モードを有し、相手側の通話端末との通話開始からエコー
キャンセラが十分に収束するまでの期間には固定モードで動作するとともに、エコーキャ
ンセラが十分に収束した後の期間には更新モードで動作する拡声通話装置において、帰還
利得推定部は、音響側及び回線側の各帰還経路が固有にもつ信号伝達時間の差を補正する
伝達時間差補正部と、伝達時間差補正部で補正された後の信号をフーリエ変換処理するこ
とにより周波数帯域別の信号レベルを求める周波数帯域別信号レベル算出部と、周波数帯
域別信号レベル算出部で算出した信号レベルから周波数帯域別の帰還利得を推定し、各周
波数帯域毎の帰還利得のうちで最大の帰還利得を選択する最大帰還利得選択部と、最大帰
還利得選択部により選択された最大帰還利得を時系列に平滑化するとともに平滑化した値
がパラメータ設定によって可変である平滑化フィルタ部とを具備することを特徴とする拡
声通話装置。 The microphone and speaker, the receiver side signal path for transmitting the reception signal sent from the other party's telephone terminal to the speaker, and the transmitter side transmitting the transmission signal collected by the microphone to the other party's telephone terminal The voice switch includes a voice switch that switches the call state between receiving and sending by inserting a loss in the signal path, and an echo canceller that suppresses acoustic echo caused by acoustic coupling between the microphone and the speaker. The loss amount inserted from the loss insertion unit on the transmission side, the loss insertion unit on the reception side that inserts the loss on the signal path on the reception side, and the loss insertion unit on the transmission side and the reception side. comprising an insertion loss amount control unit for controlling the insertion loss amount control unit is fed back from the output point of the receiving-side loss insertion portion to the input point of the transmitter-side loss insertion portion via an acoustic echo path Estimate the feedback gain on the acoustic side of the road and estimate the feedback gain on the line side of the path that returns from the output point of the loss insertion part on the transmission side to the input point on the insertion loss part on the reception side via the line echo path A total loss amount calculation unit that calculates the total amount of loss to be inserted into the closed loop based on the estimated values of the feedback gains on the acoustic side and the line side, and monitors the transmission signal and the reception signal to determine the call state And an insertion loss amount distribution processing unit that determines the distribution of each insertion loss amount of the transmission side loss insertion unit and the reception side loss insertion unit according to the estimation result and the calculated value of the total loss amount calculation unit, The total loss amount calculation unit calculates the sum of the loss amounts to be inserted into the closed loop based on the estimated value of each feedback gain and adaptively updates the update mode, and the fixed mode for fixing the total loss amount to a predetermined initial value. There are two modes of operation, and the other party's call The feedback gain estimation is performed in a loudspeaker that operates in the fixed mode during the period from the start of the call with the terminal until the echo canceller sufficiently converges and in the update mode during the period after the echo canceller sufficiently converges. The transmission time difference correction unit that corrects the difference in signal transmission time inherent to each feedback path on the acoustic side and the line side, and the frequency band by performing Fourier transform processing on the signal corrected by the transmission time difference correction unit Estimate the feedback gain for each frequency band from the signal level calculated by the signal level calculation unit for each frequency band and the signal level calculation unit for each frequency band to obtain another signal level, and the largest of the feedback gains for each frequency band The maximum feedback gain selection unit that selects the feedback gain, and the maximum feedback gain selected by the maximum feedback gain selection unit are smoothed in time series and the smoothed value is A loudspeaker apparatus comprising a smoothing filter unit that is variable by parameter setting.
を帰還利得推定部に具備し、周波数帯域別信号レベル算出部は、参照信号記憶部に記憶し
たデータを読み取って離散フーリエ変換処理を実施することを特徴とする請求項1記載の
拡声通話装置 The feedback gain estimation unit includes a reference signal storage unit that stores data obtained by sampling the reference signal of the transmission signal and the reception signal, and the signal level calculation unit for each frequency band reads and stores the data stored in the reference signal storage unit. The loudspeaker apparatus according to claim 1, wherein Fourier transform processing is performed.
帯域毎に時系列平均を求めるエンベローブ部を帰還利得推定部に具備し、最大帰還利得選
択部はエンベローブ部で求めた信号レベルの時系列平均のうちで最大の時系列平均を帰還
利得として選択することを特徴とする請求項2記載の拡声通話装置。 The feedback gain estimator includes an envelope unit that obtains a time series average for each frequency band with respect to the signal level for each frequency band calculated by the signal level calculation unit for each frequency band, and the maximum feedback gain selection unit is determined by the envelope unit. The loudspeaker apparatus according to claim 2, wherein the maximum time-series average among the time-series averages of the signal levels is selected as a feedback gain.
互いに異なる時間に推定された音響側帰還利得と回線側帰還利得を組み合わせて帰還利得
推定を行うことを特徴とする請求項1又は2又は3記載の拡声通話装置。 The feedback gain estimation unit alternately estimates the acoustic side feedback gain and the line side feedback gain at regular intervals,
Feedback gain by combining acoustic feedback gain and line feedback gain estimated at different times
The loudspeaker apparatus according to claim 1, 2 or 3, wherein estimation is performed .
理を行うものであって、変数と該変数の平方根とを一対一に対応させたリストを有し、該
リストを参照することで平方根の演算を行うことを特徴とする請求項1〜4の何れかに記
載の拡声通話装置。 The signal level calculation unit for each frequency band obtains the square root when calculating the signal level.
A list having a one-to-one correspondence between a variable and the square root of the variable,
5. The loudspeaker apparatus according to claim 1 , wherein a square root is calculated by referring to the list .
憶部から読み取ったデータが全て所定のしきい値以下であれば離散フーリエ変換処理を中
止して前回の離散フーリエ変換処理で得られた信号レベルで代用することを特徴とする請
求項2記載の拡声通話装置。 The signal level calculation unit for each frequency band performs reference signal recording in order to perform discrete Fourier transform processing.
If all the data read from the memory is below the specified threshold, the discrete Fourier transform process is
3. The loudspeaker apparatus according to claim 2 , wherein the signal level obtained by the previous discrete Fourier transform process is stopped and substituted .
で音声成分が印加されるダブルトーク状態を検出した場合、離散フーリエ変換処理を中止
して前回の離散フーリエ変換処理で得られた信号レベルで代用することを特徴とする請求
項1〜6の何れかに記載の拡声通話装置。 The signal level calculation unit for each frequency band is in the middle of the path where the echo canceller estimates the feedback gain.
When a double-talk state is detected in which audio components are applied, the discrete Fourier transform process is stopped.
The loudspeaker according to any one of claims 1 to 6, wherein the signal level obtained by the previous discrete Fourier transform process is substituted .
利得に対して最大の帰還利得を持つ周波数帯域の信号レベルを選択する際に分数式で表現
される帰還利得算出式の周波数帯域別の分母を通分することを特徴とする請求項1〜7の
何れかに記載の拡声通話装置。 The maximum feedback gain selector is a closed-loop feedback expressed as the sum of the acoustic feedback gain and the line feedback gain.
Expressed in fractional expression when selecting the signal level of the frequency band with the maximum feedback gain relative to the gain
The loudspeaker apparatus according to any one of claims 1 to 7, wherein a denominator for each frequency band of the feedback gain calculation formula is divided .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004229773A JP4371002B2 (en) | 2004-08-05 | 2004-08-05 | Loudspeaker |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004229773A JP4371002B2 (en) | 2004-08-05 | 2004-08-05 | Loudspeaker |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006050342A JP2006050342A (en) | 2006-02-16 |
| JP4371002B2 true JP4371002B2 (en) | 2009-11-25 |
Family
ID=36028361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004229773A Expired - Fee Related JP4371002B2 (en) | 2004-08-05 | 2004-08-05 | Loudspeaker |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4371002B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI399968B (en) * | 2009-04-21 | 2013-06-21 | 松下電器產業股份有限公司 | Speakerphone |
| WO2010122398A1 (en) * | 2009-04-21 | 2010-10-28 | Panasonic Electric Works Co., Ltd. | Speakerphone apparatus |
| JP5950199B2 (en) * | 2012-08-03 | 2016-07-13 | パナソニックIpマネジメント株式会社 | Loudspeaker |
-
2004
- 2004-08-05 JP JP2004229773A patent/JP4371002B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2006050342A (en) | 2006-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4975073B2 (en) | Acoustic echo canceller using digital adaptive filter and same filter | |
| US8693678B2 (en) | Device and method for controlling damping of residual echo | |
| CN1706174B (en) | Integrated noise cancellation and residual echo suppression | |
| JP5086769B2 (en) | Loudspeaker | |
| EP2700161B1 (en) | Processing audio signals | |
| JP2008263336A (en) | Echo canceler and residual echo suppressing method thereof | |
| TWI399968B (en) | Speakerphone | |
| JP4075835B2 (en) | Loudspeaker | |
| JP4371002B2 (en) | Loudspeaker | |
| JP4483761B2 (en) | Loudspeaker | |
| JP4725330B2 (en) | Loudspeaker | |
| JP2010273316A (en) | Loudspeaker | |
| JP4900185B2 (en) | Loudspeaker | |
| JP4650163B2 (en) | Loudspeaker | |
| JP5950199B2 (en) | Loudspeaker | |
| JP5510288B2 (en) | Adaptive filter order control device and program, and echo canceller | |
| JP3580168B2 (en) | Loudspeaker | |
| JP4349194B2 (en) | Loudspeaker | |
| JP2007124162A (en) | Loudspeaker call device | |
| JP5297396B2 (en) | Loudspeaker | |
| JP4380688B2 (en) | Telephone device | |
| JP3903933B2 (en) | Telephone device | |
| JP5432741B2 (en) | Loudspeaker | |
| JP2007124163A (en) | Call apparatus | |
| JP2005348147A (en) | Loud telephone conversation device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090420 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090519 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090721 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090811 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090824 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120911 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130911 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |