JP4729072B2 - Echo erasing device, echo erasing method, echo erasing program, and recording medium - Google Patents
Echo erasing device, echo erasing method, echo erasing program, and recording medium Download PDFInfo
- Publication number
- JP4729072B2 JP4729072B2 JP2008129478A JP2008129478A JP4729072B2 JP 4729072 B2 JP4729072 B2 JP 4729072B2 JP 2008129478 A JP2008129478 A JP 2008129478A JP 2008129478 A JP2008129478 A JP 2008129478A JP 4729072 B2 JP4729072 B2 JP 4729072B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- echo
- signal
- frequency domain
- increase
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Circuit For Audible Band Transducer (AREA)
- Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
Description
本発明は、例えば音響再生系を有する通信会議システムに適用され、ハウリングの原因および聴覚上の障害となる音響エコーを消去するエコー消去装置、エコー消去方法、エコー消去プログラム、および記録媒体に関する。 The present invention relates to an echo erasing apparatus, an echo erasing method, an echo erasing program, and a recording medium that are applied to, for example, a communication conference system having an acoustic reproduction system and erase acoustic echoes that cause acoustic feedback and cause hearing problems.
図1に従来のエコー消去装置を用いた音響再生系の機能構成例を示す。この音響再生系は、第1シリアル/パラレル変換部910、第1パラレル/シリアル変換部920、音響信号再生部(スピーカ)930、音響信号収音部(マイクロホン)950、第2シリアル/パラレル変換部960、第2パラレル/シリアル変換部970、およびエコー消去装置800から構成されている。音響信号再生部930で再生された音響信号は、エコー経路940を経て、音響信号収音部950で収音され、エコーとなってしまう。エコー消去装置800は、そのエコーを消去した信号を生成するための装置である。従来のエコー消去装置800としては、非特許文献1記載の例がある。エコー消去装置800では、エコー経路940のインパルス応答を要素として持つ長さL(すなわちタップ数であり、例えばL=1664)の疑似エコー経路の周波数特性の計算を行っている。ここで、nは所定間隔の離散的な時刻を示す数(サンプル点の番号)である。サンプリングとは、アナログの音声信号をデジタル信号に変換するために変数のある区間の値を1つの代表する値に置き換えることで、例えば、サンプリング周波数16kHz(1秒間に16000回)で行われる。
FIG. 1 shows a functional configuration example of a sound reproduction system using a conventional echo canceling apparatus. The sound reproduction system includes a first serial /
第1シリアル/パラレル変換部910は、N個(ただし、Nは2以上の整数)の時系列の再生信号x(1),…,x(N)(1フレームがN個の再生信号x(n)で構成されている)を要素とする再生信号ベクトルxN(k)を生成する。ここで、kはフレームの番号を示す数である。第1パラレル/シリアル変換部920は、再生信号ベクトルxN(k)を再生信号x(1),…,x(N)に変換する。
The first serial /
音響信号再生部930は、デジタル信号である再生信号x(n)をアナログ信号に変換した上で、再生する。音響信号収音部950は、アナログ信号を収音して、デジタル信号である収音信号y(n)に変換する。このように、第1パラレル/シリアル変換部920の出力信号と第2シリアル/パラレル変換部960の入力信号はデジタル信号であるが、音響信号再生部930が再生する信号と音響信号収音部950が収音する信号はアナログ信号である。以下の説明では、信号がデジタル信号であるかアナログ信号であるか、どの構成部でアナログ信号とデジタル信号の変換が行われているかは特に言及しないが、信号処理の対象となるのはデジタル信号であり、エコー経路940内の信号はアナログ信号である。また、どの構成部でアナログ信号とデジタル信号の変換を行うかは、上記の関係から当然に決まることである。
The acoustic
第2シリアル/パラレル変換部960は、N個の時系列の収音信号y(1),…,y(N)を要素とする収音信号ベクトルyN(k)を生成する。エコー消去装置800は、第1ベクトル増加部810、第1周波数分析部820、積算部830、周波数合成部840、ベクトル減少部850、減算部860、第2ベクトル増加部870、第2周波数分析部880、フィルタ更新部890を備え、疑似エコー経路の周波数特性の計算を行うことで、再生信号ベクトルxN(k)と収音信号ベクトルyN(k)から、エコー成分を消去した残留エコーベクトルeN(k)を求める。第2パラレル/シリアル変換部970は、残留エコーベクトルeN(k)を残留エコー信号e(1),…,e(N)に変換する。
エコー消去装置800は、演算量が多い周波数分析(第1周波数分析部820と第2周波数分析部880の処理)および周波数合成(周波数合成部840の処理)において、1フレームごとにN+Lという長い周波数分析点数の処理が必要であった。そのため、従来のエコー消去装置では、膨大な計算コストが必要であった。本発明の目的は、1フレームあたりの演算量を削減したエコー消去装置を提供することである。
The echo canceller 800 has a long frequency of N + L for each frame in frequency analysis (processing by the first
本発明のエコー消去装置は、第1ベクトル増加部、第1周波数分析部、積算部、周波数合成部、ベクトル減少部、減算部、第2ベクトル増加部、第2周波数分析部、フィルタ更新部を備える。第1ベクトル増加部は、N個(ただし、Nは2以上の整数)の時系列の再生信号(1フレーム)を要素とする再生信号ベクトルを入力とし、K個(ただし、Kは2以上の整数)の再生信号ベクトルの各要素を含むM個(ただし、MはKN以上の整数)の要素からなる再生信号増加ベクトルを出力する。第1周波数分析部は、再生信号増加ベクトルを周波数変換し、周波数領域再生信号を出力する。積算部は、周波数領域再生信号と周波数領域フィルタ係数とを積算し、周波数領域疑似エコーを出力する。周波数合成部は、周波数領域疑似エコーを時間領域に変換し、M個の要素からなる疑似エコー増加ベクトルを出力する。ベクトル減少部は、疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成し、N個の時系列の収音信号(1フレーム)を要素とする収音信号ベクトルが入力されるタイミングごとに疑似エコーベクトルを1つずつ出力する。減算部は、収音信号ベクトルと疑似エコーベクトルとの減算を行い、残留エコーベクトルを出力する。第2ベクトル増加部は、K個の残留エコーベクトルの各要素を含むM個の要素からなる残留エコー増加ベクトルを出力する。第2周波数分析部は、残留エコー増加ベクトルを周波数変換し、周波数領域残留エコーを出力する。フィルタ更新部は、周波数領域再生信号の複素共役と周波数領域残留エコーの要素ごとの積を用いて、周波数領域フィルタ係数を更新する。 The echo cancellation apparatus of the present invention includes a first vector increasing unit, a first frequency analyzing unit, an integrating unit, a frequency synthesizing unit, a vector reducing unit, a subtracting unit, a second vector increasing unit, a second frequency analyzing unit, and a filter updating unit. Prepare. The first vector increasing unit inputs a reproduction signal vector having N (where N is an integer of 2 or more) time-series reproduction signals (1 frame) as elements, and K (where K is 2 or more). A reproduction signal increase vector consisting of M elements (where M is an integer equal to or greater than KN) including each element of the (integral) reproduction signal vector is output. The first frequency analysis unit frequency-converts the reproduction signal increase vector and outputs a frequency domain reproduction signal. The integrating unit integrates the frequency domain reproduction signal and the frequency domain filter coefficient, and outputs a frequency domain pseudo echo. The frequency synthesizer converts the frequency domain pseudo echo into the time domain, and outputs a pseudo echo increase vector composed of M elements. The vector reduction unit generates K pseudo echo vectors including N elements from the pseudo echo increase vector, and a sound collection signal vector having N time series sound collection signals (one frame) as elements is input. One pseudo echo vector is output at each timing. The subtracting unit performs subtraction between the collected sound signal vector and the pseudo echo vector and outputs a residual echo vector. The second vector increasing unit outputs a residual echo increase vector composed of M elements including each element of K residual echo vectors. The second frequency analysis unit frequency-converts the residual echo increase vector and outputs a frequency domain residual echo. The filter updating unit updates the frequency domain filter coefficient using the product of each of the complex conjugate of the frequency domain reproduction signal and the frequency domain residual echo.
言い換えると、本発明のエコー消去装置は、N個(ただし、Nは2以上の整数)の時系列の再生信号(1フレーム)を要素とする再生信号ベクトルと、N個の時系列の収音信号(1フレーム)を要素とする収音信号ベクトルとを入力とし、収音信号ベクトルに含まれる再生信号ベクトルのエコー成分を、再生信号ベクトルから生成した疑似エコーベクトルを用いて消去するエコー消去装置であって、以下のような第1ベクトル増加部、擬似エコー増加ベクトル算出部、ベクトル減少部、減算部を備えることを特徴としている。第1ベクトル増加部は、K個(ただし、Kは2以上の整数)の再生信号ベクトルの各要素を含むM個(ただし、MはKN以上の整数)の要素からなる再生信号増加ベクトルを求める。擬似エコー増加ベクトル算出部は、再生信号増加ベクトルに対する周波数領域での演算によって、M個の要素からなる疑似エコー増加ベクトルを求める。ベクトル減少部は、疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成する。減算部は、収音信号ベクトルと疑似エコーベクトルとの減算を行い、収音信号ベクトルに含まれる前記再生信号ベクトルのエコー成分を消去した残留エコーベクトルを出力する。 In other words, the echo canceller of the present invention has a playback signal vector having N (where N is an integer equal to or greater than 2) time series playback signals (one frame) and N time series sound pickups. An echo canceling apparatus that receives a sound collection signal vector having a signal (one frame) as an input and cancels an echo component of the reproduction signal vector included in the sound collection signal vector using a pseudo echo vector generated from the reproduction signal vector The first vector increasing unit, the pseudo echo increasing vector calculating unit, the vector decreasing unit, and the subtracting unit are provided as follows. The first vector increase unit obtains a reproduction signal increase vector composed of M (where M is an integer equal to or greater than KN) elements including K elements (where K is an integer equal to or greater than 2). . The pseudo echo increase vector calculation unit obtains a pseudo echo increase vector composed of M elements by performing a calculation in the frequency domain on the reproduction signal increase vector. The vector reduction unit generates K pseudo echo vectors including N elements from the pseudo echo increase vector. The subtracting unit performs subtraction between the sound collection signal vector and the pseudo echo vector, and outputs a residual echo vector from which the echo component of the reproduction signal vector included in the sound collection signal vector is eliminated.
本発明のエコー消去装置によれば、Kフレームをまとめて周波数分析および周波数合成を行うことで、遅延を抑制しながら、Kフレームあたりの周波数分析点数をMとしている。ここで、M=KN+L(ただし、Lはタップ数)の場合、1フレームあたりの周波数分析点数は、N+L/Kとなる。例えば、N=128、L=1664、K=2の場合、従来のN+L=1792に対して、本発明ではN+L/K=960となる。つまり、演算量を約1/2にできる。つまり、本発明のエコー消去装置は、遅延を抑えながら(若しくは従来と同じにしながら)、演算量を少なくできる。 According to the echo canceling apparatus of the present invention, the frequency analysis points per K frame are set to M while the delay is suppressed by performing frequency analysis and frequency synthesis for K frames collectively. Here, when M = KN + L (where L is the number of taps), the number of frequency analysis points per frame is N + L / K. For example, when N = 128, L = 1664, and K = 2, in the present invention, N + L / K = 960 compared to the conventional N + L = 1789. That is, the calculation amount can be reduced to about ½. That is, the echo canceller of the present invention can reduce the amount of calculation while suppressing delay (or the same as the conventional one).
[分析]
まず、従来のエコー消去装置800の処理の分析を行う。図2に、図1の音響再生系でのアルゴリズム遅延(第1シリアル/パラレル変換部910、第2シリアル/パラレル変換部960での遅延)が1フレーム分であり、実装遅延(第1パラレル/シリアル変換部920、第2パラレル/シリアル変換部970での遅延)が無視できる場合のタイムチャートを示す。また、図3に、図1の音響再生系でのアルゴリズム遅延(第1シリアル/パラレル変換部910、第2シリアル/パラレル変換部960での遅延)が1フレーム分であり、実装遅延(第1パラレル/シリアル変換部920、第2パラレル/シリアル変換部970での遅延)が1フレーム分の場合のタイムチャートを示す。図中では、アルゴリズム遅延を二点鎖線、実装遅延を一点鎖線で表している。
[analysis]
First, processing of the conventional echo canceller 800 is analyzed. FIG. 2 shows an algorithm delay (delay in the first serial /
第1シリアル/パラレル変換部910は、N個の時系列の再生信号x(kN−N+1),…,x(kN)(1フレームがN個の再生信号x(n)で構成されている)を要素とする再生信号ベクトルxN(k)={x(kN−N+1),…,x(kN)}Tを生成する。ただし、Nは2以上の整数であり、例えば128である。このときに、必ず1フレーム分のアルゴリズム遅延が生じる。第1ベクトル増加部810は、再生信号ベクトルxN(k)を入力とし、再生信号ベクトルxN(k)の各要素を含むM’個の要素からなる再生信号増加ベクトルxM’(k)を出力する。例えば、xM’(k−1)の古い時刻順にN個のデータを捨て、xN(k)に接続することで、xM’(k)を求める。また、M’=N+Lである。ただし、Lは、時間領域対応フィルタのフィルタ長(タップ数)であり、例えば1664である。第1周波数分析部820は、再生信号増加ベクトルxM’(k)を周波数変換し、M’個の周波数成分Xm’(k)(ただし、m’=1,…,M’)を持つ周波数領域再生信号X’(k)を出力する。積算部830は、周波数領域再生信号X’(k)の各要素と周波数領域フィルタ係数W’とを積算し、周波数領域疑似エコーD^’(k)を出力する。具体的には、
The first serial /
のように、計算する。周波数合成部840は、周波数領域疑似エコーD^’(k)を時間領域に変換し、M’個の要素からなる疑似エコー増加ベクトルd^M’(k)を出力する。ベクトル減少部850は、疑似エコー増加ベクトルd^M’(k)から、N個の要素からなる疑似エコーベクトルd^N(k)を生成する。例えば、疑似エコー増加ベクトルd^M’(k)が、前から古い時刻のデータが時系列順に並んでいるベクトルの場合、後からN個のデータを選択して疑似エコーベクトルd^N(k)とする。
Calculate as follows. The
第1パラレル/シリアル変換部920は、再生信号ベクトルxN(k)を再生信号x(1),…,x(N)に変換する。実装遅延が無視できる場合(図2)は、遅延なく再生信号x(n)が所定の間隔(例えば10ms)で順次出力され、音響信号再生部930を介して再生される。1フレーム分の実装遅延がある場合(図3)は、1フレーム分の遅延の後、再生信号x(n)が所定の間隔で順次出力され、音響信号再生部930を介して再生される。第2シリアル/パラレル変換部960は、N個の時系列の収音信号y(1),…,y(N)を要素とする収音信号ベクトルyN(k)={y(kN−N+1),…,y(kN)}Tを生成する。このときに、必ず1フレーム分のアルゴリズム遅延が生じる。
The first parallel /
減算部860は、収音信号ベクトルyN(k)と疑似エコーベクトルd^N(k)との減算を行い、残留エコーベクトルeN(k)=yN(k)−d^N(k)を出力する。第2パラレル/シリアル変換部970は、残留エコーベクトルeN(k)を残留エコー信号e(1),…,e(N)に変換する。実装遅延が無視できる場合(図2)は、遅延なく残留エコー信号e(n)が所定の間隔で順次出力される。1フレーム分の実装遅延がある場合(図3)は、1フレーム分の遅延の後、残留エコー信号e(n)が所定の間隔で順次出力される。
The
第2ベクトル増加部870は、残留エコーベクトルeN(k)の各要素を含むM’個の要素からなる残留エコー増加ベクトルeM’(k)を出力する。具体的には、M’=N+L(ただし、Lはタップ数)である。第2周波数分析部880は、残留エコー増加ベクトルeM’(k)を周波数変換し、周波数領域残留エコーE’(k)を出力する。
The second
フィルタ更新部890は、周波数領域再生信号X’(k)の複素共役と周波数領域残留エコーE’(k)の要素ごとの積を用いて、周波数領域フィルタ係数Wを更新する。具体的には、非特許文献1記載のFBLMSアルゴリズムなどによって、
として更新する。ここで、W−’はメモリを上書きする前の周波数領域フィルタ係数、Pは拘束行列である。更新ベクトルΔW’は、要素ΔW’m’ごとに、例えば、
として計算する。ここで、μはステップサイズ、*は共役複素数、P[,γ]はγフレームの平均処理を示す。なお、周波数領域フィルタ係数W’は、更新するたびにメモリを上書きすればよいので、フレーム番号を示すkを持たなくてもよい。
The
Update as. Here, W − ′ is a frequency domain filter coefficient before overwriting the memory, and P is a constraint matrix. The update vector ΔW ′ is, for each element ΔW ′ m ′ , for example,
Calculate as Here, μ is a step size, * is a conjugate complex number, and P [, γ] is an average process of γ frames. Note that the frequency domain filter coefficient W ′ does not have to indicate k indicating the frame number because the memory may be overwritten every time it is updated.
エコー消去装置800はこのように動作するので、実装遅延が無視できる場合(図2)は、2フレーム分の遅延が生じる。また、1フレーム分の実装遅延がある場合(図3)は、4フレーム分の遅延が生じる。 Since the echo canceller 800 operates in this way, when the mounting delay can be ignored (FIG. 2), a delay of two frames occurs. When there is a mounting delay for one frame (FIG. 3), a delay for four frames occurs.
本発明は、アルゴリズム遅延や実装遅延によって生じる遅延時間を積極的に利用することで、演算量を削減しようとするものであり、その実施形態を以下に説明する。 The present invention intends to reduce the amount of calculation by actively using a delay time caused by an algorithm delay or an implementation delay, and an embodiment thereof will be described below.
図4に、本発明のエコー消去装置を用いた音響再生系の機能構成例を示す。第1シリアル/パラレル変換部910、第1パラレル/シリアル変換部920、音響信号再生部(スピーカ)930、音響信号収音部(マイクロホン)950、第2シリアル/パラレル変換部960、第2パラレル/シリアル変換部970は、従来の音響再生系(図1)と同じである。図5に本発明のエコー消去装置の処理フローを示す。また、図6に、図4の音響再生系でのアルゴリズム遅延(第1シリアル/パラレル変換部910、第2シリアル/パラレル変換部960での遅延)が1フレーム分であり、実装遅延(第1パラレル/シリアル変換部920、第2パラレル/シリアル変換部970での遅延)が無視できる場合のタイムチャートを示す。図7に、図4の音響再生系でのアルゴリズム遅延(第1シリアル/パラレル変換部910、第2シリアル/パラレル変換部960での遅延)が1フレーム分であり、実装遅延(第1パラレル/シリアル変換部920、第2パラレル/シリアル変換部970での遅延)が1フレーム分の場合のタイムチャートを示す。図中では、アルゴリズム遅延を二点鎖線、実装遅延を一点鎖線で表している。
FIG. 4 shows a functional configuration example of an acoustic reproduction system using the echo canceller of the present invention. First serial /
第1シリアル/パラレル変換部910は、N個の時系列の再生信号x(kN−N+1),…,x(kN)(1フレームがN個の再生信号x(n)で構成されている)を要素とする再生信号ベクトルxN(k)={x(kN−N+1),…,x(kN)}Tを生成する。ただし、Nは2以上の整数であり、例えば128である。また、kはフレームの番号を示す数である。このときに、必ず1フレーム分のアルゴリズム遅延が生じる。
The first serial /
エコー消去装置100は、第1ベクトル増加部110、第1周波数分析部120、積算部130、周波数合成部140、ベクトル減少部150、減算部160、第2ベクトル増加部170、第2周波数分析部180、フィルタ更新部190を備える。例えば、エコー消去装置100は、再生信号x(1),…,x(N)(1フレームがN個の再生信号x(n)で構成されている)が入力されたことを確認する。そして、再生信号x(n)が入力されると処理を開始し、再生信号x(n)が入力されている間処理を繰り返し、再生信号x(n)が入力されなくなると処理を終了する(S105)。
The echo cancellation apparatus 100 includes a first
第1ベクトル増加部110は、N個の時系列の再生信号x(n)を要素とする再生信号ベクトルxN(k)を入力とし、K個(ただし、Kは2以上の整数)の再生信号ベクトルxN(k),…,xN(k+K−1)の各要素を含むM個(ただし、MはKN以上の整数)の要素からなる再生信号増加ベクトルxM(k)を出力する(S110)。例えば、M=KN+Lである。ただし、Lは、時間領域対応フィルタのフィルタ長(タップ数)であり、例えば1664である。図6はK=2の例を示しており、図7はK=3の例を示している。例えば、K=2(図6)の場合であれば、xM(k−2)の古い時刻順に2N個のデータ(要素)を捨て、xN(k)、xN(k+1)に接続することで、xM(k)を求める。K=3(図7)の場合であれば、xM(k−3)の古い時刻順に3N個のデータ(要素)を捨て、xN(k)、xN(k+1)、xN(k+2)に接続することで、xM(k)を求める。
The first
第1周波数分析部120は、再生信号増加ベクトルxM(k)を周波数変換し、M個の周波数成分Xm(k)(ただし、m=1,…,M)を持つ周波数領域再生信号X(k)を出力する(S120)。積算部130は、周波数領域再生信号X(k)と周波数領域フィルタ係数Wとを積算し、周波数領域疑似エコーD^(k)を出力する(S130)。具体的には、
のように、計算する。
The first
Calculate as follows.
周波数合成部140は、周波数領域疑似エコーD^(k)を時間領域に変換し、M個の要素からなる疑似エコー増加ベクトルd^M(k)を出力する(S140)。なお、疑似エコー増加ベクトルd^M(k)は、K=2(図6)の場合は、
として出力し、K=3(図7)の場合は、
として出力すればよい。なお、cLのcは直線上畳み込みにあたらない値を、添え字Lは要素数を示しており、cLはL個の直線上畳み込みにあたらない値を要素とするベクトルを示している。
The
When K = 3 (FIG. 7),
As output. Incidentally, c of c L shows the vector values not exposed on a straight line convolution, subscript L denotes the number of elements, c L is composed of the elements of value not exposed to the convolution on the L line.
ベクトル減少部150は、疑似エコー増加ベクトルd^M(k)から、K個のN要素からなる疑似エコーベクトルd^N(k),…,d^N(k+K−1)を生成し、収音信号ベクトルyN(k)が入力されるタイミングごとに疑似エコーベクトルを1つずつ出力する(S150)。例えば、式(5)や式(6)に示された疑似エコー増加ベクトルd^M(k)が入力された場合、疑似エコー増加ベクトルd^M(k)の最後のKN個の要素から疑似エコーベクトルd^N(k),…,d^N(k+K−1)を生成すればよい。
The
第1パラレル/シリアル変換部920は、再生信号ベクトルxN(k)を再生信号x(1),…,x(N)に変換する。実装遅延が無視できる場合(図6)は、遅延なく再生信号x(n)が所定の間隔(例えば10ms)で順次出力され、音響信号再生部930を介して再生される。1フレーム分の実装遅延がある場合(図7)は、1フレーム分の遅延の後、再生信号x(n)が所定の間隔で順次出力され、音響信号再生部930を介して再生される。第2シリアル/パラレル変換部960は、N個の時系列の収音信号y(1),…,y(N)を要素とする収音信号ベクトルyN(k)={y(kN−N+1),…,y(kN)}Tを生成する。このときに、必ず1フレーム分のアルゴリズム遅延が生じる。
The first parallel /
減算部160は、収音信号ベクトルyN(k)と疑似エコーベクトルd^N(k)との減算を行い、残留エコーベクトルeN(k)=yN(k)−d^N(k)を出力する(S160)。第2パラレル/シリアル変換部970は、残留エコーベクトルeN(k)を残留エコー信号e(1),…,e(N)に変換する。実装遅延が無視できる場合(図6)は、遅延なく残留エコー信号e(n)が所定の間隔で順次出力される。1フレーム分の実装遅延がある場合(図7)は、1フレーム分の遅延の後、残留エコー信号e(n)が所定の間隔で順次出力される。
The subtracting
第2ベクトル増加部170は、K個の残留エコーベクトルeN(k),…,eN(k+K−1)の各要素を含むM個の要素からなる残留エコー増加ベクトルeM(k)を出力する(S170)。例えば、M=KN+Lである。なお、残留エコー増加ベクトルeM(k)は、K=2(図6)の場合は、
として出力し、K=3(図7)の場合は、
として出力すればよい。なお、0LはL個の“0”を要素とするベクトルを示している。
The second
When K = 3 (FIG. 7),
As output. Note that 0 L indicates a vector having L “0” elements.
第2周波数分析部180は、残留エコー増加ベクトルeM(k)を周波数変換し、周波数領域残留エコーE(k)を出力する(S180)。フィルタ更新部190は、周波数領域再生信号X(k)の複素共役と周波数領域残留エコーE(k)の要素ごとの積を用いて、周波数領域フィルタ係数Wを更新する(S190)。具体的には、FBLMSアルゴリズムなどによって、
として更新する。ここで、W−はメモリを上書きする前の周波数領域フィルタ係数、Pは拘束行列である。更新ベクトルΔWは、要素ΔWmごとに、例えば、
として計算する。ここで、μはステップサイズ、*は共役複素数、P[,γ]はγフレームの平均処理を示す。なお、周波数領域フィルタ係数Wは、更新するたびにメモリを上書きすればよいので、フレーム番号を示すkを持たなくてもよい。
The second
Update as. Here, W − is a frequency domain filter coefficient before overwriting the memory, and P is a constraint matrix. The update vector ΔW is for each element ΔW m , for example:
Calculate as Here, μ is a step size, * is a conjugate complex number, and P [, γ] is an average process of γ frames. Since the frequency domain filter coefficient W only needs to overwrite the memory each time it is updated, it does not need to have k indicating the frame number.
エコー消去装置100はこのように動作するので、実装遅延が無視できる場合(図6)は、2フレーム分の遅延が生じる。また、1フレーム分の実装遅延がある場合(図7)は、4フレーム分の遅延が生じる。これらの遅延は、図2、図3で示した遅延を同じである。一方、エコー消去装置100は、Kフレームをまとめて周波数分析および周波数合成を行うことで、Kフレームあたりの周波数分析点数をM(例えば、M=KN+L)としている。したがって、M=KN+Lの場合、1フレームあたりの周波数分析点数は、N+L/Kとなる。従来のN+L=1792に対して、N=128、L=1664、K=2の場合、N+L/K=960となる。また、N=128、L=1664、K=3の場合、N+L/K=682.66・・・となる。つまり、K=2の場合は演算量を約1/2にでき、K=3の場合は演算量を約1/3にできる。 Since the echo cancellation apparatus 100 operates in this way, when the mounting delay can be ignored (FIG. 6), a delay of two frames occurs. When there is a mounting delay for one frame (FIG. 7), a delay for four frames occurs. These delays are the same as the delays shown in FIGS. On the other hand, the echo canceller 100 performs frequency analysis and frequency synthesis on K frames together, thereby setting the number of frequency analysis points per K frame to M (for example, M = KN + L). Therefore, when M = KN + L, the number of frequency analysis points per frame is N + L / K. When N = 128, L = 1664, and K = 2 as compared to the conventional N + L = 1789, N + L / K = 960. Further, when N = 128, L = 1664, and K = 3, N + L / K = 682.66. That is, when K = 2, the calculation amount can be reduced to about ½, and when K = 3, the calculation amount can be reduced to about 3.
図8に、実装遅延が無視できる場合のKの値とアルゴリズム遅延による遅延量と演算量の関係を示す。また、図9に、1フレーム分の実装遅延がある場合のKの値とアルゴリズム遅延による遅延量と演算量の関係を示す。どちらの図も、K=1の場合が従来に相当する。これらの図からも分かるように、実装遅延が無視できるとき(図8)にはK=2の場合、1フレーム分の実装遅延があるとき(図9)にはK=2とK=3の場合、遅延は従来と同じである。なお、Kの値を大きくすれば、遅延量は増加するが演算量を少なくできる。つまり、本発明のエコー消去装置は、遅延を抑えながら(若しくは従来と同じにしながら)、演算量を少なくできる。 FIG. 8 shows the relationship between the value of K when the mounting delay is negligible, the delay amount due to the algorithm delay, and the calculation amount. FIG. 9 shows the relationship between the value of K when there is a mounting delay of one frame, the amount of delay due to the algorithm delay, and the amount of computation. In both figures, the case of K = 1 corresponds to the conventional case. As can be seen from these figures, when the mounting delay is negligible (FIG. 8), when K = 2, when there is a mounting delay of one frame (FIG. 9), K = 2 and K = 3. In this case, the delay is the same as before. If the value of K is increased, the amount of delay can be increased but the amount of computation can be reduced. That is, the echo canceller of the present invention can reduce the amount of calculation while suppressing delay (or the same as the conventional one).
[変形例]
なお、エコー消去装置100の特徴は、次のように表現することもできる。第1周波数分析部120、積算部130、周波数合成部140、第2ベクトル増加部170、第2周波数分析部180、フィルタ更新部190をまとめて、擬似エコー増加ベクトル算出部115とする。そうすると、エコー消去装置100は、第1ベクトル増加部110、擬似エコー増加ベクトル算出部115、ベクトル減少部150、減算部160を備える。そして、第1ベクトル増加部110は、K個(ただし、Kは2以上の整数)の再生信号ベクトルxN(k),…,xN(k+K−1)の各要素を含むM個(ただし、MはKN以上の整数)の要素からなる再生信号増加ベクトルxM(k)を求める。擬似エコー増加ベクトル算出部115は、再生信号増加ベクトルxM(k)に対する周波数領域での演算によって、M個の要素からなる疑似エコー増加ベクトルd^M(k)を求める。ベクトル減少部150は、疑似エコー増加ベクトルd^M(k)から、K個のN要素からなる疑似エコーベクトルd^N(k),…,d^N(k+K−1)を生成する。減算部160は、収音信号ベクトルyN(k)と疑似エコーベクトルd^N(k)との減算を行い、残留エコーベクトルeN(k)=yN(k)−d^N(k)を出力する。
[Modification]
Note that the features of the echo canceller 100 can also be expressed as follows. The first
本変形例では、擬似エコー増加ベクトル算出部115の処理を、実施例1の方法に限定していない。しかし、本変形例のエコー処理装置でも、もともと発生していた遅延時間を使って信号をまとめることにより、演算量を削減できる。
In this modification, the process of the pseudo echo increase
図10にコンピュータの機能構成例を示す。上述の実施例は、図10に示すコンピュータの記録部2020に、上記装置としてコンピュータを実行させるプログラムを読み込ませ、制御部2010、入力部2030、出力部2040などに動作させることで実施できる。また、コンピュータに読み込ませる方法としては、プログラムをコンピュータ読み取り可能な記録媒体に記録しておき、記録媒体からコンピュータに読み込ませる方法、サーバ等に記録されたプログラムを、電気通信回線等を通じてコンピュータに読み込ませる方法などがある。
FIG. 10 shows a functional configuration example of the computer. The above-described embodiment can be implemented by causing the
100、800 エコー消去装置 110、810 第1ベクトル増加部
115 擬似エコー増加ベクトル算出部 120、820 第1周波数分析部
130、830 積算部 140、840 周波数合成部
150、850 ベクトル減少部 160、860 減算部
170、870 第2ベクトル増加部 180、880 第2周波数分析部
190、890 フィルタ更新部 910 第1シリアル/パラレル変換部
920 第1パラレル/シリアル変換部 930 音響信号再生部
940 エコー経路 950 音響信号収音部
960 第2シリアル/パラレル変換部 970 第2パラレル/シリアル変換部
100, 800
Claims (6)
前記再生信号増加ベクトルを周波数変換し、周波数領域再生信号を出力する第1周波数分析部と、
前記周波数領域再生信号と周波数領域フィルタ係数とを積算し、周波数領域疑似エコーを出力する積算部と、
前記周波数領域疑似エコーを時間領域に変換し、M個の要素からなる疑似エコー増加ベクトルを出力する周波数合成部と、
前記疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成し、N個の時系列の収音信号(1フレーム)を要素とする収音信号ベクトルが入力されるタイミングごとに前記疑似エコーベクトルを1つずつ出力するベクトル減少部と、
前記収音信号ベクトルと前記疑似エコーベクトルとの減算を行い、残留エコーベクトルを出力する減算部と、
K個の前記残留エコーベクトルの各要素を含むM個の要素からなる残留エコー増加ベクトルを出力する第2ベクトル増加部と、
前記残留エコー増加ベクトルを周波数変換し、周波数領域残留エコーを出力する第2周波数分析部と、
前記周波数領域再生信号の複素共役と前記周波数領域残留エコーの要素ごとの積を用いて、前記周波数領域フィルタ係数を更新するフィルタ更新部と、
を備えるエコー消去装置。 A reproduction signal vector having N (where N is an integer of 2 or more) time-series reproduction signals (one frame) as inputs is input, and K (where K is an integer of 2 or more) reproduction signal vectors. M pieces containing each element (where, M is larger integer than K N) and the first vector increasing unit for outputting a reproduced signal increase vector of elements,
A first frequency analysis unit that frequency-converts the reproduction signal increase vector and outputs a frequency domain reproduction signal;
An integration unit that integrates the frequency domain reproduction signal and the frequency domain filter coefficient and outputs a frequency domain pseudo echo;
A frequency synthesizer that converts the frequency domain pseudo echo to the time domain and outputs a pseudo echo increase vector composed of M elements;
At each timing when K pseudo echo vectors composed of N elements are generated from the pseudo echo increase vector, and a sound collection signal vector having N time series sound collection signals (one frame) as elements is input. A vector reduction unit for outputting the pseudo echo vectors one by one;
Subtracting the sound collection signal vector and the pseudo echo vector, and outputting a residual echo vector;
A second vector increase unit for outputting a residual echo increase vector composed of M elements including each element of the K residual echo vectors;
A second frequency analysis unit that frequency-converts the residual echo increase vector and outputs a frequency domain residual echo;
A filter update unit that updates the frequency domain filter coefficient using a product of each complex conjugate of the frequency domain reproduction signal and the frequency domain residual echo;
An echo canceller comprising:
K個(ただし、Kは2以上の整数)の再生信号ベクトルの各要素を含むM個(ただし、MはKNより大きな整数)の要素からなる再生信号増加ベクトルを求める第1ベクトル増加部と、
前記再生信号増加ベクトルに対する周波数領域での演算によって、M個の要素からなる疑似エコー増加ベクトルを求める擬似エコー増加ベクトル算出部と、
前記疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成するベクトル減少部と、
前記収音信号ベクトルと前記疑似エコーベクトルとの減算を行い、前記収音信号ベクトルに含まれる前記再生信号ベクトルのエコー成分を消去した残留エコーベクトルを出力する減算部と、
を備えることを特徴とするエコー消去装置。 Reproduction signal vector having N (where N is an integer of 2 or more) time-series reproduction signals (one frame) and sound collection having N time-series sound collection signals (one frame) as elements An echo canceling device that receives a signal vector as input and cancels an echo component of the reproduced signal vector included in the collected sound signal vector using a pseudo echo vector generated from the reproduced signal vector,
The K (where, K is an integer of 2 or more) M number (where, M is larger integer than K N) containing each element of the reproduced signal vector of the first vector increasing portion for obtaining a reproduced signal increase vector of elements of When,
A pseudo echo increase vector calculation unit for obtaining a pseudo echo increase vector composed of M elements by calculation in the frequency domain with respect to the reproduction signal increase vector;
A vector reduction unit for generating K pseudo echo vectors composed of N elements from the pseudo echo increase vector;
A subtraction unit that performs subtraction between the collected sound signal vector and the pseudo echo vector and outputs a residual echo vector in which an echo component of the reproduction signal vector included in the collected sound signal vector is deleted;
An echo canceling device comprising:
前記再生信号増加ベクトルを周波数変換し、周波数領域再生信号を出力する第1周波数分析ステップと、
前記周波数領域再生信号と周波数領域フィルタ係数とを積算し、周波数領域疑似エコーを出力する積算ステップと、
前記周波数領域疑似エコーを時間領域に変換し、M個の要素からなる疑似エコー増加ベクトルを出力する周波数合成ステップと、
前記疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成し、N個の時系列の収音信号(1フレーム)を要素とする収音信号ベクトルが入力されるタイミングごとに前記疑似エコーベクトルを1つずつ出力するベクトル減少ステップと、
前記収音信号ベクトルと前記疑似エコーベクトルとの減算を行い、残留エコーベクトルを出力する減算ステップと、
K個の前記残留エコーベクトルの各要素を含むM個の要素からなる残留エコー増加ベクトルを出力する第2ベクトル増加ステップと、
前記残留エコー増加ベクトルを周波数変換し、周波数領域残留エコーを出力する第2周波数分析ステップと、
前記周波数領域再生信号の複素共役と前記周波数領域残留エコーの要素ごとの積を用いて、前記周波数領域フィルタ係数を更新するフィルタ更新ステップと
を有するエコー消去方法。 A reproduction signal vector having N (where N is an integer of 2 or more) time-series reproduction signals (one frame) as inputs is input, and K (where K is an integer of 2 or more) reproduction signal vectors. M pieces containing each element (where, M is larger integer than K N) and the first vector increasing step of outputting a reproduction signal increases vector of elements,
A first frequency analysis step of frequency-converting the reproduction signal increase vector and outputting a frequency domain reproduction signal;
Integrating the frequency domain reproduction signal and the frequency domain filter coefficient, and outputting a frequency domain pseudo echo; and
A frequency synthesis step of converting the frequency domain pseudo echo into the time domain and outputting a pseudo echo increase vector composed of M elements;
At each timing when K pseudo echo vectors composed of N elements are generated from the pseudo echo increase vector, and a sound collection signal vector having N time series sound collection signals (one frame) as elements is input. A vector reduction step of outputting the pseudo echo vectors one by one;
Subtracting the sound pickup signal vector and the pseudo echo vector to output a residual echo vector;
A second vector increasing step of outputting a residual echo increase vector composed of M elements including each element of the K residual echo vectors;
A second frequency analysis step of frequency-converting the residual echo increase vector and outputting a frequency domain residual echo;
An echo canceling method comprising: a filter updating step of updating the frequency domain filter coefficient using a product of each complex conjugate of the frequency domain reproduction signal and the frequency domain residual echo.
K個(ただし、Kは2以上の整数)の再生信号ベクトルの各要素を含むM個(ただし、MはKNより大きな整数)の要素からなる再生信号増加ベクトルを求める第1ベクトル増加ステップと、
前記再生信号増加ベクトルに対する周波数領域での演算によって、M個の要素からなる疑似エコー増加ベクトルを求める擬似エコー増加ベクトル算出ステップと、
前記疑似エコー増加ベクトルから、N個の要素からなる疑似エコーベクトルをK個生成するベクトル減少ステップと、
前記収音信号ベクトルと前記疑似エコーベクトルとの減算を行い、前記収音信号ベクトルに含まれる前記再生信号ベクトルのエコー成分を消去した残留エコーベクトルを出力する減算ステップと
を有することを特徴とするエコー消去方法。 Reproduction signal vector having N (where N is an integer of 2 or more) time-series reproduction signals (one frame) and sound collection having N time-series sound collection signals (one frame) as elements An echo canceling method for canceling an echo component of the reproduced signal vector included in the collected sound signal vector using a pseudo echo vector generated from the reproduced signal vector, the signal vector being an input,
The K (where, K is an integer of 2 or more) M number (where, M is larger integer than K N) first vector increases step of obtaining a reproduced signal increase vector of elements including the elements of the reproduction signal vector When,
A pseudo echo increase vector calculating step for obtaining a pseudo echo increase vector composed of M elements by an operation in a frequency domain with respect to the reproduction signal increase vector;
A vector reduction step of generating K pseudo echo vectors composed of N elements from the pseudo echo increase vector;
Subtracting the sound pickup signal vector from the pseudo echo vector and outputting a residual echo vector from which an echo component of the reproduction signal vector included in the sound pickup signal vector is eliminated. Echo cancellation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008129478A JP4729072B2 (en) | 2008-05-16 | 2008-05-16 | Echo erasing device, echo erasing method, echo erasing program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008129478A JP4729072B2 (en) | 2008-05-16 | 2008-05-16 | Echo erasing device, echo erasing method, echo erasing program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009278515A JP2009278515A (en) | 2009-11-26 |
| JP4729072B2 true JP4729072B2 (en) | 2011-07-20 |
Family
ID=41443500
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008129478A Active JP4729072B2 (en) | 2008-05-16 | 2008-05-16 | Echo erasing device, echo erasing method, echo erasing program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4729072B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000252891A (en) * | 1999-02-26 | 2000-09-14 | Toshiba Corp | Signal processing device |
| JP3787088B2 (en) * | 2001-12-21 | 2006-06-21 | 日本電信電話株式会社 | Acoustic echo cancellation method, apparatus, and acoustic echo cancellation program |
| JP2008066782A (en) * | 2006-09-04 | 2008-03-21 | Toshiba Corp | Signal processing apparatus and signal processing program |
-
2008
- 2008-05-16 JP JP2008129478A patent/JP4729072B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009278515A (en) | 2009-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4567655B2 (en) | Method and apparatus for suppressing background noise in audio signals, and corresponding apparatus with echo cancellation | |
| CN109727604B (en) | Frequency domain echo cancellation method and computer storage medium for speech recognition front-end | |
| JP5075042B2 (en) | Echo canceling apparatus, echo canceling method, program thereof, and recording medium | |
| JP5026495B2 (en) | System for active noise control using audio signal compensation | |
| CN101904098B (en) | Noise suppression method and apparatus | |
| JP5042823B2 (en) | Audio signal echo cancellation | |
| JP2004056453A (en) | Method and device for suppressing echo | |
| US20070036344A1 (en) | Method and system for eliminating noises and echo in voice signals | |
| JPH06500217A (en) | Static interference canceller | |
| JP6677662B2 (en) | Sound processing device, sound processing method and program | |
| CN100594542C (en) | Apparatus and method to eliminate noise in portable recorder | |
| CN115552924B (en) | Sound amplification device, howling suppression device and howling suppression method | |
| JP2010288174A (en) | Frequency domain echo removal apparatus, frequency domain echo removal method, program | |
| JP5662232B2 (en) | Echo canceling apparatus, method and program | |
| JP3864914B2 (en) | Echo suppression device | |
| CN109451398A (en) | Equipment, acoustic feedback removing method, audio processing system are eliminated in acoustic feedback | |
| JP3756828B2 (en) | Reverberation elimination method, apparatus for implementing this method, program, and recording medium therefor | |
| JP7598881B2 (en) | Sound collection device, sound collection method, and sound collection program | |
| JP4729072B2 (en) | Echo erasing device, echo erasing method, echo erasing program, and recording medium | |
| JP5524316B2 (en) | Parameter estimation apparatus, echo cancellation apparatus, parameter estimation method, and program | |
| JP3920795B2 (en) | Echo canceling apparatus, method, and echo canceling program | |
| JP7443952B2 (en) | Signal processing device, signal processing program, and signal processing method | |
| JP2010250131A (en) | Noise elimination device | |
| JP2015201787A (en) | Echo canceling apparatus, method and program | |
| JP5526053B2 (en) | Echo canceling method, apparatus and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110208 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110310 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110405 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110415 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4729072 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140422 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |