Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP4933975B2 - Signal extraction apparatus, method thereof, and program thereof - Google Patents
[go: Go Back, main page]

JP4933975B2 - Signal extraction apparatus, method thereof, and program thereof - Google Patents

Signal extraction apparatus, method thereof, and program thereof Download PDF

Info

Publication number
JP4933975B2
JP4933975B2 JP2007201704A JP2007201704A JP4933975B2 JP 4933975 B2 JP4933975 B2 JP 4933975B2 JP 2007201704 A JP2007201704 A JP 2007201704A JP 2007201704 A JP2007201704 A JP 2007201704A JP 4933975 B2 JP4933975 B2 JP 4933975B2
Authority
JP
Japan
Prior art keywords
signal
noise
correlation function
observation
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007201704A
Other languages
Japanese (ja)
Other versions
JP2009037032A (en
Inventor
賢一 古家
章俊 片岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2007201704A priority Critical patent/JP4933975B2/en
Publication of JP2009037032A publication Critical patent/JP2009037032A/en
Application granted granted Critical
Publication of JP4933975B2 publication Critical patent/JP4933975B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)

Description

この発明は、複数の信号源から発せられた混合信号から目的の信号を良好に抽出するための信号抽出装置、その方法、そのプログラムに関する。   The present invention relates to a signal extraction apparatus, a method thereof, and a program thereof for satisfactorily extracting a target signal from mixed signals emitted from a plurality of signal sources.

近年、マルチメディア技術の進歩に伴い、センサ(例えばマイクロホン)とスピーカを用いた拡声通話形態によるテレビ会議などの通信会議が普及してきている。その場合、机上に話者数分のマイクロホンを設置することなくマイクロホンを意識しない自然な通話が可能で、かつ音声品質を劣化させる騒音や残響を抑圧し、目的とする音声信号のみを観測する信号抽出装置が求められている。   In recent years, with the advancement of multimedia technology, communication conferences such as a video conference using a loudspeaker call form using a sensor (for example, a microphone) and a speaker have become widespread. In that case, it is possible to make a natural call without conscious of microphones without installing microphones for the number of speakers on the desk, and to suppress only noise and reverberation that degrade voice quality and to observe only the target voice signal There is a need for an extraction device.

そのような従来技術として、複数のマイクロホンを用いて、残響や雑音を抑圧する信号抽出装置がある。この信号抽出装置の詳細は特許文献1に記載されている。図1に従来技術の信号抽出装置500の機能構成例を示す。信号源の数をA個とし、そのうち、目的信号の音源(目的音源)の数を1個、雑音信号の音源(雑音源)をA−1個とする。マイクロホンの数をB個とする。ただし、A、Bは2以上の整数とする。B個のマイクロホン1(b=1,...,B)が信号抽出装置500に接続される。信号抽出装置500は、白色化フィルタ係数計算部110、観測相関関数計算部4、逆フィルタ係数計算部5、B個の白色化フィルタ部100(b=1,...,B)、B個のフィルタ部2(b=1,...,B)、加算部3により構成される。また、離散時刻pを用いて、目的信号をM(p)とし、雑音信号をN(p)とし、マイクロホン1で観測された観測信号R(p)とする。観測信号R(p)は目的信号M(p)と雑音信号N(p)とが、混合された信号である。 As such a conventional technique, there is a signal extraction device that suppresses reverberation and noise using a plurality of microphones. The details of this signal extraction device are described in Patent Document 1. FIG. 1 shows a functional configuration example of a conventional signal extraction device 500. The number of signal sources is A, of which the number of target signal sound sources (target sound sources) is one and the number of noise signal sound sources (noise sources) is A-1. Let B be the number of microphones. However, A and B are integers of 2 or more. B microphones 1 b (b = 1,..., B) are connected to the signal extraction device 500. The signal extraction apparatus 500 includes a whitening filter coefficient calculation unit 110, an observed correlation function calculation unit 4, an inverse filter coefficient calculation unit 5, B whitening filter units 100 b (b = 1,..., B), B The filter unit 2 b (b = 1,..., B) and the adder unit 3 are included. Also, using the discrete time p, the target signal is M (p), the noise signal is N (p), and the observed signal R b (p) observed by the microphone 1 b . The observation signal R b (p) is a signal obtained by mixing the target signal M b (p) and the noise signal N b (p).

まず、マイクロホン1よりの観測信号R(p)は白色化フィルタ係数計算部110とフィルタ部2に入力される。白色化フィルタ係数計算部110は、観測信号R(p)から目的信号M(p)の平均スペクトルを推定する。そして、その平均スペクトルをフラットにする白色化フィルタの係数を計算する。白色化フィルタ係数の計算は、次のように行なわれる。まず、観測信号R(p)から予め特定したチャネル(例えばチャネル1)の信号R(p)をF個のフレームに分ける。全てのフレームのフレーム長をG(例えば256)とする。そして、f(f=1,...,F)番目のフレームの自己相関関数U1f(p)を以下の式により計算する。
1f(p)=Σ(p)R(p+q) (1)
ただし、q=G×(f−1),G×(f−1)+1,...,G×f−2,G×f−1
p=−G,...,0,...,Gである。これをフレームについて平均をとって、以下の式により平均自己相関関数U (p)を計算する。
(p)=Σf=1 1f(p) (2)
First, the observed signal R b (p) of a microphone 1 b is input to the whitening filter coefficient calculating section 110 and filter section 2 b. The whitening filter coefficient calculation unit 110 estimates an average spectrum of the target signal M (p) from the observation signal R b (p). And the coefficient of the whitening filter which makes the average spectrum flat is calculated. The calculation of the whitening filter coefficient is performed as follows. First, a signal R 1 (p) of a channel (for example, channel 1) specified in advance from the observation signal R b (p) is divided into F frames. The frame length of all the frames is G (for example, 256). Then, the autocorrelation function U 1f (p) of the f (f = 1,..., F) -th frame is calculated by the following equation.
U 1f (p) = Σ q R 1 (p) R 1 (p + q) (1)
However, q = G × (f−1), G × (f−1) +1,. . . , G × f-2, G × f-1
p = -G,. . . , 0,. . . , G. Taking an average of the frames which the average autocorrelation function U by the following equation - calculating a 1 (p).
U - 1 (p) = Σ f = 1 F U 1f (p) (2)

この平均自己相関関数U (p)を周波数領域に変換することで、つまり、以下の式(3)により、観測信号の平均スペクトルV(k)が求められる。周波数領域への変換手法は、例えば、フーリエ変換などを用いれば良い。
(k)=FFT(U (p)) (3)
ただし、FFT(U (p))はU (p)に対して、フーリエ変換することであり、kは周波数を示す。
The average autocorrelation function U - 1 (p) to convert the frequency domain, i.e., the following equation (3), the average spectrum V 1 of the observation signal (k). For example, Fourier transform or the like may be used as the method of transforming to the frequency domain.
V 1 (k) = FFT ( U - 1 (p)) (3)
However, FFT (U - 1 (p)) is performing Fourier-transform with respect to U - 1 (p), and k shows a frequency.

また、別の平均スペクトルの計算方法として、以下の式(4)のように、各フレーム毎に信号R(p)のスペクトルを計算し、それを、フレームについて平均をとる方法もある。
(k)=Σf=1 |FFT(u(p))| (4)
As another average spectrum calculation method, there is a method in which the spectrum of the signal R 1 (p) is calculated for each frame and averaged for the frame, as shown in the following equation (4).
V 1 (k) = Σ f = 1 F | FFT (u 1 (p)) | (4)

次に、以下の式(5)のように、計算された平均スペクトルの逆数を計算することで、白色化フィルタのスペクトルW(k)が求められる。
(k)=1/V(k) (5)
白色化フィルタのフィルタ係数w(p)は、以下の式(6)のように、このスペクトルW(k)を逆フーリエ変換IFFTし、窓がけして計算される。窓の種類としてハニング窓、ハミング窓、方形窓、三角窓、カイザー窓、などがある。
(p)=window(IFFT(W(k))) (6)
これらの処理を各チャネルb(b=1,...,B)について行い、白色化フィルタ係数w(p)を求める。
Next, the spectrum W 1 (k) of the whitening filter is obtained by calculating the reciprocal of the calculated average spectrum as in the following formula (5).
W 1 (k) = 1 / V 1 (k) (5)
The filter coefficient w 1 (p) of the whitening filter is calculated by performing an inverse Fourier transform IFFT on the spectrum W 1 (k) and opening a window, as shown in the following equation (6). There are Hanning windows, Hamming windows, rectangular windows, triangular windows, Kaiser windows, and so on.
w 1 (p) = window (IFFT (W 1 (k))) (6)
These processes are performed for each channel b (b = 1,..., B) to obtain a whitening filter coefficient w b (p).

次に、白色化フィルタ部100(b=1,...,B)は、以下の式(7)のように、観測信号R(p)に白色化フィルタ係数w(p)を畳み込んで、観測信号R(p)を白色化する。以下、白色化された観測信号を白色化観測信号という。

Figure 0004933975
観測相関関数計算部4は、白色化観測信号R’(p)(n=1,...,N)の間の相関関数r’11(p),r’12(p),...,r’1B(p),r’21(p),...,r’2B(p),...,r’B1(p),...,r’BB(p)を計算する。この相関関数を以下では、r’ij(p)(i=1,...,B,j=1,...,B)と表す。
ここで、r’ij(p)=ΣR’(q) R’(q+p) (8)である。 Next, the whitening filter unit 100 b (b = 1,..., B) applies the whitening filter coefficient w b (p) to the observation signal R b (p) as shown in the following equation (7). The observation signal R b (p) is whitened by convolution. Hereinafter, the whitened observation signal is referred to as a whitened observation signal.
Figure 0004933975
The observed correlation function calculator 4 correlates the correlation functions r ′ 11 (p), r ′ 12 (p),... Between the whitened observation signals R ′ n (p) (n = 1,..., N). . . , R ′ 1B (p), r ′ 21 (p),. . . , R ′ 2B (p),. . . , R ′ B1 (p),. . . , R ′ BB (p). Hereinafter, this correlation function is expressed as r ′ ij (p) (i = 1,..., B, j = 1,..., B).
Here, a r 'ij (p) = Σ q R' i (q) R 'j (q + p) (8).

逆フィルタ係数計算部5は、以下の連立一次方程式を解くことで、逆フィルタを計算する。逆フィルタ係数とは、目的信号と雑音信号とが混合されている観測信号に畳み込むことで、雑音信号を抑圧し、目的信号を抽出できるものである。

Figure 0004933975
The inverse filter coefficient calculation unit 5 calculates an inverse filter by solving the following simultaneous linear equations. The inverse filter coefficient is a filter that can suppress the noise signal and extract the target signal by convolution with an observation signal in which the target signal and the noise signal are mixed.
Figure 0004933975

ここで、Rはチャネル間相関関数の行列、Rijはi番目のマイクロホン1とj番目のマイクロホン1の相関関数の行列、cは求めるべき逆フィルタ係数のベクトル、cは第n番目の逆フィルタ係数のベクトル、dはブラインド目的インパルス応答係数ベクトル、dは第b番目のブラインド目的インパルス応答ベクトル、c(L)は第b番目の逆フィルタ係数、Bはマイクロホン数、Lは逆フィルタのタップ数である。δは、目的音源6がマイクロホンの中で第b番目のマイクロホン1に最も近いときに「1」となり、それ以外では「0」とする。 Here, R is a matrix of correlation functions between channels, R ij is a matrix of correlation functions of i-th microphone 1 i and j-th microphone 1 j , c is a vector of inverse filter coefficients to be obtained, and c b is an n-th vector of inverse filter coefficients, d is the blind object impulse response coefficient vector, d b is the b th blind purposes impulse response vector, c b (L) is the b-th inverse filter coefficient, B is the number of microphones, L is This is the number of taps of the inverse filter. [delta] b is "1" when the target sound source 61 is closest to the b-th microphone 1 b in the microphone, in other cases a "0".

式(9)の連立一次方程式を解き、逆フィルタ係数ベクトルcを計算して、逆フィルタ係数c(p)を求める。式(4)の連立一次方程式が解けるためには、MINT理論と同様の条件(以下の式(10)(11)が成り立っていなければならない。
B>A+1 (10)
L=A(K−1)/(N−A) (11)
ただし、Aは音源数、Kはインパルス応答タップ数である。また、MINT理論については、「M.Miyoshi and Y.Kaneda,”Invese Filtering of acoustics,”IEEE Trans Acoust.Speech Signal Process.,vol.ASSP-36,no2,pp.145-152,Feb.1998.」に記載されている。
The simultaneous linear equations of Equation (9) are solved and the inverse filter coefficient vector c is calculated to obtain the inverse filter coefficient c b (p). In order to solve the simultaneous linear equations of the equation (4), the same conditions as the MINT theory (the following equations (10) and (11) must be satisfied).
B> A + 1 (10)
L = A (K-1) / (NA) (11)
However, A is the number of sound sources, and K is the number of impulse response taps. For MINT theory, see “M. Miyoshi and Y. Kaneda,” “Invese Filtering of acoustics,” IEEE Trans Acoust. Speech Signal Process., Vol. ASSP-36, no2, pp. 145-152, Feb. 1998. "It is described in.

それぞれのフィルタ部2は、観測信号R(p)に逆フィルタ係数c(p)を畳み込むことで、信号S(p)を得る。各フィルタ部2の出力S(p)を加算器3で全て加算し、その加算結果を目的信号S(p)として出力する。この出力信号S(p)は、騒音および残響音を抑圧し、目的音のみを抽出したものになっている。
特開2006−66989号
Each filter unit 2 b obtains a signal S b (p) by convolving an inverse filter coefficient c b (p) with the observation signal R b (p). All the outputs S b (p) of the filter units 2 b are added by the adder 3, and the addition result is output as the target signal S (p). This output signal S (p) suppresses noise and reverberation sound and extracts only the target sound.
JP 2006-66989 A

従来の信号抽出装置500を実施する場合、目的音源から最も近いマイクロホンと、雑音源から最も近いマイクロホンとが個別に存在するという環境下で実施しなければならなかった。この環境下でなければ、上記式(9)の連立一次方程式において、方程式の数が足りず、適切な逆フィルタ係数を求めることができなかった。従って、抽出目的となる音声の残響は抑圧されるが、雑音は除去されないという問題があった。   When the conventional signal extraction device 500 is implemented, it must be performed in an environment where the microphone closest to the target sound source and the microphone closest to the noise source exist individually. Without this environment, in the simultaneous linear equations of Equation (9), the number of equations was insufficient, and appropriate inverse filter coefficients could not be obtained. Therefore, there is a problem that the reverberation of the voice that is the extraction purpose is suppressed, but the noise is not removed.

本発明は、雑音信号を考慮した逆フィルタ係数を求めることで、目的信号の残響と雑音を効果的に除去する信号抽出装置、その方法、そのプログラムを提供することを目的とする。   An object of the present invention is to provide a signal extraction apparatus, a method thereof, and a program thereof that effectively remove reverberation and noise of a target signal by obtaining an inverse filter coefficient in consideration of a noise signal.

この発明は、複数の信号源からそれぞれ発せられた信号の混合信号をB個(B≧2)のセンサでそれぞれ観測して得られたBチャネルの観測信号から、特定の信号源から発せられた目的信号を抽出する信号抽出装置である。この信号抽出装置は、雑音相関関数計算部と観測相関関数計算部と重み付き逆フィルタ係数算出部とフィルタ部と加算部とを有する。雑音相関関数計算部は、Bチャネルの観測信号にそれぞれ含まれる雑音信号のチャネル間相関関数である雑音相関関数を計算する。観測相関関数計算部は、Bチャネルの観測信号のチャネル間相関関数である観測相関関数を計算する。重み付き逆フィルタ係数算出部は、観測相関関数と雑音相関関数とを用いて逆フィルタ係数を求め。フィルタ部は、逆フィルタ係数を観測信号に畳み込む。加算部は、フィルタ部の出力を加算することで目的信号を生成する。   The present invention originates from a specific signal source from B channel observation signals obtained by observing a mixed signal of signals emitted from a plurality of signal sources with B (B ≧ 2) sensors, respectively. It is a signal extraction device for extracting a target signal. The signal extraction device includes a noise correlation function calculation unit, an observation correlation function calculation unit, a weighted inverse filter coefficient calculation unit, a filter unit, and an addition unit. The noise correlation function calculation unit calculates a noise correlation function that is an inter-channel correlation function of a noise signal included in each B channel observation signal. The observation correlation function calculation unit calculates an observation correlation function that is an inter-channel correlation function of the B channel observation signal. The weighted inverse filter coefficient calculation unit obtains an inverse filter coefficient using the observed correlation function and the noise correlation function. The filter unit convolves the inverse filter coefficient with the observation signal. The adding unit generates a target signal by adding the outputs of the filter unit.

更に、白色化フィルタ係数計算部と白色化フィルタ部とを有しても良い。白色化フィルタ係数計算部は、観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する。白色化フィルタ部は、入力された信号に白色化フィルタ係数を畳み込んで白色化する。この場合、観測相関関数計算部は、白色化フィルタ部で白色化されたBチャネルの観測信号のチャネル間相関関数を計算して、観測相関関数として出力する。   Furthermore, you may have a whitening filter coefficient calculation part and a whitening filter part. The whitening filter coefficient calculation unit calculates a whitening filter coefficient using the average spectrum of the observation signal. The whitening filter unit whitens the input signal by convolving whitening filter coefficients. In this case, the observation correlation function calculation unit calculates an inter-channel correlation function of the B channel observation signal whitened by the whitening filter unit, and outputs the correlation function.

更に、雑音相関関数計算部は、白色化フィルタ部で白色化された雑音信号のチャネル間相関関数を計算して、雑音相関関数として出力してもよい。   Furthermore, the noise correlation function calculation unit may calculate an inter-channel correlation function of the noise signal that has been whitened by the whitening filter unit and output it as a noise correlation function.

更に、観測信号に含まれる雑音信号を検出する雑音区間検出部を備えてもよい。この場合、雑音相関関数計算部は、検出された雑音信号間の雑音相関関数を計算する。更に、この場合、白色化フィルタ係数計算部は、雑音区間検出部で検出された雑音信号の平均スペクトルとBチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算してもよい。   Furthermore, you may provide the noise area detection part which detects the noise signal contained in an observation signal. In this case, the noise correlation function calculation unit calculates a noise correlation function between the detected noise signals. Further, in this case, the whitening filter coefficient calculation unit may calculate the whitening filter coefficient using the average spectrum of the noise signal detected by the noise section detection unit and the average spectrum of the B channel observation signal.

また、本発明の信号抽出装置は、雑音区間検出部と雑音相関関数計算部と観測相関関数計算部と重み付き逆フィルタ係数算出部とフィルタ部と加算部とを備えても良い。雑音区間検出部は、Bチャネルの観測信号から雑音信号のみが含まれる雑音区間情報を検出する。雑音相関関数計算部は、Bチャネルの観測信号と雑音区間情報とから、Bチャネルの観測信号にそれぞれ含まれる雑音信号のチャネル間相関関数である雑音相関関数を計算する。観測相関関数計算部、重み付き逆フィルタ係数算出部、フィルタ部、加算部は上記と同様である。   In addition, the signal extraction apparatus of the present invention may include a noise section detection unit, a noise correlation function calculation unit, an observation correlation function calculation unit, a weighted inverse filter coefficient calculation unit, a filter unit, and an addition unit. The noise section detection unit detects noise section information including only a noise signal from the B channel observation signal. The noise correlation function calculation unit calculates a noise correlation function that is an interchannel correlation function of a noise signal included in each of the B channel observation signals from the B channel observation signals and the noise interval information. The observation correlation function calculation unit, the weighted inverse filter coefficient calculation unit, the filter unit, and the addition unit are the same as described above.

更に、この信号抽出装置の構成の場合、白色化フィルタ係数計算部と白色化フィルタ部とを備えても良い。白色化フィルタ係数計算部は、Bチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する。白色化フィルタ部は、入力された信号に白色化フィルタ係数を畳み込む。そして、観測相関関数計算部は、白色化フィルタ部で白色化されたBチャネルの観測信号のチャネル間の相関関数を計算して、観測相関関数として出力する。雑音相関関数計算部は、白色化されたBチャネルの観測信号と雑音区間情報とから雑音相関関数を計算する。   Further, in the case of the configuration of the signal extraction device, a whitening filter coefficient calculation unit and a whitening filter unit may be provided. The whitening filter coefficient calculation unit calculates the whitening filter coefficient using the average spectrum of the B channel observation signal. The whitening filter unit convolves whitening filter coefficients with the input signal. The observation correlation function calculation unit calculates a correlation function between channels of the B channel observation signal whitened by the whitening filter unit, and outputs the correlation function as an observation correlation function. The noise correlation function calculation unit calculates a noise correlation function from the whitened B channel observation signal and the noise interval information.

この場合、雑音区間検出部は、雑音信号も検出するようにしても良い。そして、白色化フィルタ係数計算部は、検出された雑音信号の平均スペクトルとBチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する。   In this case, the noise section detection unit may also detect a noise signal. Then, the whitening filter coefficient calculation unit calculates the whitening filter coefficient using the detected average spectrum of the noise signal and the average spectrum of the B channel observation signal.

上記の構成により、観測信号のチャネル間の相関関数である観測相関関数と、雑音信号のチャネル間の相関関数である雑音相関関数とが求められる。そして、観測相関関数に、雑音相関関数による拘束を付けて、逆フィルタ係数が求められる。つまり、雑音信号の特性を反映させた方程式が増加する。その結果、雑音源から最も近いマイクロホンと目的音源から最も近いマイクロホンとが同一であっても、目的信号の残響のみではなく、雑音も効果的に抑圧できる。   With the above configuration, an observation correlation function that is a correlation function between channels of an observation signal and a noise correlation function that is a correlation function between channels of a noise signal are obtained. Then, an inverse filter coefficient is obtained by constraining the observed correlation function with a noise correlation function. That is, an equation reflecting the characteristics of the noise signal increases. As a result, even if the microphone closest to the noise source and the microphone closest to the target sound source are the same, not only the reverberation of the target signal but also noise can be effectively suppressed.

以下に、発明を実施するための最良の形態を示す。なお、同じ機能を持つ構成部や同じ処理を行う過程には同じ番号を付し、重複説明を省略する。   The best mode for carrying out the invention will be described below. In addition, the same number is attached | subjected to the process which performs the same part and the process which has the same function, and duplication description is abbreviate | omitted.

この実施例の信号抽出装置の説明では、抽出の対象となる信号を音声信号として説明するが、これに限られない。この実施例の信号抽出装置によれば、例えば、ノイズに埋もれた電磁波から目的とする電磁波を鮮明に抽出することもできる。また信号を観測するセンサとは例えば、マイクロホンである。図2に実施例1の信号抽出装置600−1の機能構成例を示し、図3に信号抽出装置600−1の主な処理の流れを示す。[背景技術]で説明したものと同様に、信号源の数をA個とし、そのうち、目的信号の音源の数を1個、雑音信号の音源をA−1個とする。マイクロホンの数をB個とする。ただし、A、Bは2以上の整数とする。B個のマイクロホン1(b=1,...,B)が信号抽出装置600−1に接続される。信号抽出装置600−1は、雑音区間検出部120、白色化フィルタ係数計算部110、白色化フィルタ部100(b=1,...,B)、フィルタ部2(b=1,...,B)、観測相関関数計算部4、雑音相関関数計算部130、重み付き逆フィルタ係数計算部140、とで構成される。 In the description of the signal extraction device of this embodiment, the signal to be extracted is described as an audio signal, but is not limited thereto. According to the signal extraction apparatus of this embodiment, for example, a target electromagnetic wave can be clearly extracted from an electromagnetic wave buried in noise. The sensor for observing the signal is, for example, a microphone. FIG. 2 shows a functional configuration example of the signal extraction apparatus 600-1 of the first embodiment, and FIG. 3 shows a main processing flow of the signal extraction apparatus 600-1. In the same manner as described in [Background Art], the number of signal sources is A, of which the number of target signal sound sources is one and the number of noise signal sound sources is A-1. Let B be the number of microphones. However, A and B are integers of 2 or more. B microphones 1 b (b = 1,..., B) are connected to the signal extraction device 600-1. The signal extraction device 600-1 includes a noise section detection unit 120, a whitening filter coefficient calculation unit 110, a whitening filter unit 100 b (b = 1,..., B), and a filter unit 2 b (b = 1,. , B), an observation correlation function calculation unit 4, a noise correlation function calculation unit 130, and a weighted inverse filter coefficient calculation unit 140.

まず、マイクロホン1で観測信号R(p)が観測されると(ステップS2)、観測信号R(p)は、雑音区間検出部120に入力される。雑音区間検出部120は、観測信号R(p)に含まれる雑音信号N(p)を検出する(ステップS4)。例えば、目的信号M(p)を音声と考え、一般的なVAD(音声検出技術:Voice Activity Detection)を用いて、音声区間以外の信号を雑音信号N(p)として出力する。 First, when the observation signal R b (p) is observed by the microphone 1 b (step S2), the observation signal R b (p) is input to the noise section detection unit 120. The noise section detection unit 120 detects the noise signal N b (p) included in the observation signal R b (p) (step S4). For example, the target signal M b (p) is considered as speech, and a signal other than the speech interval is output as the noise signal N b (p) using general VAD (Voice Activity Detection).

また、白色化フィルタ係数計算部110は、マイクロホン1よりの観測信号R(p)の平均スペクトルを用いて、白色化フィルタ係数を計算する(ステップS6)。平均スペクトル、白色化フィルタ係数の求め方は上記式(1)〜(6)を用いればよいのでここでは省略する。白色化フィルタ部100は、上記式(7)により、対応する観測信号R(p)に白色化フィルタ係数w(p)を畳み込んで、白色化観測信号R’(p)を生成する(ステップS8)。そして、観測相関数計算部4は白色化された観測信号R’(p)について、上記式(8)より、チャネル間相関関数である観測相関関数r’ij(i=1,...,B j=1,...,B)を求める(ステップS10)。 The whitening filter coefficient calculation unit 110 calculates a whitening filter coefficient using the average spectrum of the observation signal R b (p) from the microphone 1 b (step S6). Since the above formulas (1) to (6) may be used for obtaining the average spectrum and the whitening filter coefficient, they are omitted here. The whitening filter unit 100 b convolves the whitening filter coefficient w b (p) with the corresponding observation signal R b (p) according to the above equation (7) to obtain the whitening observation signal R ′ b (p). Generate (step S8). Then, the observed correlation number calculator 4 uses the observed correlation function r ′ ij (i = 1,...), Which is a correlation function between channels, for the observed signal R ′ b (p) that has been whitened from the above equation (8). , B j = 1,..., B) are obtained (step S10).

一方、白色化フィルタ部100は、雑音信号N(p)に対応する白色化フィルタ係数w(p)を畳み込んで、白色化雑音信号N’(p)を生成する(ステップS12)。
雑音相関関数計算部130は、白色化雑音信号N’(p)のチャネル間の相関関数である雑音相関関数n’ij(p)(i=1,...,B j=1,...,B)を求める(ステップS14)。
On the other hand, the whitening filter unit 100 b includes whitening filter coefficients w b a (p) by convoluting corresponding to the noise signal N b (p), to produce a whitened noise signal N 'b (p) (Step S12 ).
The noise correlation function calculator 130 is a noise correlation function n ′ ij (p) (i = 1,..., B j = 1,...) That is a correlation function between channels of the whitened noise signal N ′ b (p). ., B) is obtained (step S14).

ここで、n’ij(p)=ΣN’(q)N’(q+p) (12)である。この加算処理は、qについては残響時間分、加算する。図2では、観測信号R(p)を白色化した白色化フィルタ部と雑音信号N(p)を白色化した白色化フィルタ部とを個別に記載しているが、これらを兼用しても良い。
重み付き逆フィルタ係数計算部140は、雑音相関関数Nと観測相関関数Rとを用いて重み付き逆フィルタ係数c(p)を計算する。具体的には以下の連立方程式(13)を解くことで、逆フィルタc(p)を求める。
Here, an n 'ij (p) = Σ q N' i (q) N 'j (q + p) (12). In this addition process, q is added for the reverberation time. In FIG. 2, the whitening filter unit that whitens the observation signal R b (p) and the whitening filter unit that whitens the noise signal N b (p) are individually described. Also good.
The weighted inverse filter coefficient calculation unit 140 calculates the weighted inverse filter coefficient c b (p) using the noise correlation function N and the observed correlation function R. Specifically, the inverse filter c b (p) is obtained by solving the following simultaneous equations (13).

Figure 0004933975
Figure 0004933975
ただし、λは補正係数であり、Rはチャネル間相関関数の行列、Rijはi番目のマイクロホン1とj番目のマイクロホン1のチャネル間相関関数の行列、cは逆フィルタ係数のベクトル、cは第n番目の逆フィルタ係数のベクトル、dはブラインド目的インパルス応答係数ベクトル、dは第n番目のブラインド目的インパルス応答ベクトル、c(L)は第b番目の逆フィルタ係数、Bはマイクロホン数、Lは逆フィルタタップ数である。δは、目的音源6がマイクロホンの中で第b番目のマイクロホン1に最も近いときに1となり、それ以外では0とする。行列dの要素は、d〜dでBL個であり、「0」の数もBL個である。従って行列dの要素数は2BL個である。
Figure 0004933975
Figure 0004933975
Where λ 1 is a correction coefficient, R is a matrix of inter-channel correlation functions, R ij is a matrix of inter-channel correlation functions of i-th microphone 1 i and j-th microphone 1 j , and c is a vector of inverse filter coefficients , c n is a vector of the n-th inverse filter coefficients, d is the blind object impulse response coefficient vector, d n is the n-th blind purposes impulse response vector, c b (L) is the b-th inverse filter coefficients, B is the number of microphones, and L is the number of inverse filter taps. [delta] b is becomes 1 when the target sound source 61 is closest to the b-th microphone 1 b in the microphone, 0 to otherwise. Elements of the matrix d is a BL number in d 1 ~d B, the number of "0" is also a BL number. Therefore, the number of elements of the matrix d is 2BL.

上記式(13)を詳細に示すと図4のようになる。また、式(13)を解くためには、[背景技術]で説明したMINT理論が成り立っていなければならない。   The above formula (13) is shown in detail as shown in FIG. In order to solve the equation (13), the MINT theory explained in [Background Art] must be established.

求められた重み付き逆フィルタ係数c(p)は対応するフィルタ部2に入力される。フィルタ部2は、観測信号R(p)に重み付き逆フィルタ係数c(p)を畳み込み、信号M’(p)を生成する。つまり、以下の式(14)が行われる。

Figure 0004933975
加算部3は、生成された信号M’(p)を全てのチャネル分加算することで、目的信号M(p)が生成する。つまり、以下の式により求められる。
M(p)=Σb=1 M’(p) (15) The obtained weighted inverse filter coefficient c b (p) is input to the corresponding filter unit 2 b . The filter unit 2 b convolves the observation signal R b (p) with the weighted inverse filter coefficient c b (p) to generate a signal M ′ (p). That is, the following formula (14) is performed.
Figure 0004933975
The adder 3 adds the generated signal M ′ b (p) for all channels to generate the target signal M (p). That is, it is obtained by the following formula.
M (p) = Σ b = 1 B M ′ b (p) (15)

また、上記式(13)中のλの値を小さくすれば、上記式(9)に近づくことになり、目的信号の残響を抑えることができるが、雑音信号を抑えることができなくなる。λの値を大きくすれば、雑音信号を抑えることができるが、目的信号の残響が大きくなる。よって、目的信号を抽出する環境などを考慮して、適宜λの値を変更すればよい。また、上記式(13)中の行列Rにおいて、λを雑音相関関数の行列Nにかけているが、λを観測相関関数の行列Rにかけてもよい。この場合は、λの値を大きくすれば、目的信号の残響を抑えることができるが、雑音信号を抑えることができなくなる。λの値を小さくすれば、雑音信号を抑えることができるが、目的信号の残響が大きくなる。また、λを観測相関関数の行列Nにかけ、λと異なる値である補正係数λ’を行列Rにかけてもよい。 Further, if the value of λ 1 in the equation (13) is reduced, the equation (9) is approached, and the reverberation of the target signal can be suppressed, but the noise signal cannot be suppressed. by increasing the lambda 1 value, it is possible to suppress the noise signal, the reverberation of the target signal is increased. Therefore, the value of λ 1 may be changed as appropriate in consideration of the environment in which the target signal is extracted. Further, in the matrix R E in the above formula (13), λ 1 is multiplied by the noise correlation function matrix N, but λ 1 may be multiplied by the observed correlation function matrix R. In this case, if the value of λ 1 is increased, the reverberation of the target signal can be suppressed, but the noise signal cannot be suppressed. If the value of λ 1 is decreased, the noise signal can be suppressed, but the reverberation of the target signal increases. Moreover, lambda 1 was subjected to matrix N of the observation correlation function may be multiplied by a correction coefficient lambda 1 'is lambda 1 and different values matrix R.

観測信号R(p)には、雑音信号N(p)と目的信号M(p)とが含まれている。観測信号R(p)に白色化フィルタ係数w(p)を畳み込むということは、観測信号中の目的信号M(p)については、適切に白色化できているが、観測信号中の雑音信号N(p)については、適切に白色化できていない。そこで、雑音区間検出部120よりの雑音信号N(p)についてもw(p)で白色化して、白色化された観測信号、雑音信号を用いることで、適切な重み付き逆フィルタを求めることができる。 The observation signal R b (p) includes a noise signal N b (p) and a target signal M b (p). Convolution of the whitening filter coefficient w b (p) with the observation signal R b (p) means that the target signal M b (p) in the observation signal can be appropriately whitened. The noise signal N b (p) cannot be appropriately whitened. Therefore, the noise signal N b (p) from the noise section detection unit 120 is also whitened with w b (p), and an appropriate weighted inverse filter is obtained by using the whitened observation signal and noise signal. be able to.

信号抽出装置500による逆行列を求める際に用いられる行列Rと、信号抽出装置600−1で用いられる行列Rとを比較すると、行列Rには、雑音相関関数の行列Nが加味されている。従って、従来より方程式の数が増加しており、かつ、雑音信号N(p)の特性も加味されている。よって、雑音源から最も近いマイクロホンと目的音源から最も近いマイクロホンとが同一であるという環境下においても、従来より適切な逆行列を求めることができ、結果として、効果的に雑音を抑圧できる。 A matrix R used in obtaining the inverse matrix by the signal extracting unit 500 is compared with the matrix R E used in signal extraction apparatus 600-1, the matrix R E, and the matrix N of the noise correlation function is taken into account Yes. Therefore, the number of equations is increased compared to the prior art, and the characteristics of the noise signal N b (p) are taken into consideration. Therefore, even in an environment where the microphone closest to the noise source and the microphone closest to the target sound source are the same, it is possible to obtain a more appropriate inverse matrix than before, and as a result, noise can be effectively suppressed.

[変形例1]
次に、実施例1の変形例1である信号抽出装置600−2について説明する。信号抽出装置600−2の機能構成例を図5に示す。信号抽出装置600−2は雑音信号N(p)を白色化しない点で信号抽出装置600−1と異なる。つまり、雑音相関関数計算部130は、雑音信号N(p)のチャネル間相関関数を求める。例えば、雑音信号が白色化された信号に近い波形であれば、白色化をする必要がない。従って、雑音信号が白色化された信号に近い波形であれば、このような構成にすることで、雑音信号の白色化処理を省くことができ、かつ、信号抽出装置600−1と同様の効果を得ることができる。
[Modification 1]
Next, a signal extraction device 600-2 that is a first modification of the first embodiment will be described. An example of a functional configuration of the signal extraction device 600-2 is shown in FIG. The signal extraction device 600-2 is different from the signal extraction device 600-1 in that the noise signal N b (p) is not whitened. That is, the noise correlation function calculation unit 130 obtains an interchannel correlation function of the noise signal N b (p). For example, if the noise signal has a waveform close to a whitened signal, whitening is not necessary. Therefore, if the noise signal has a waveform close to that of a whitened signal, the noise signal whitening process can be omitted by using such a configuration, and the same effect as that of the signal extracting device 600-1 can be eliminated. Can be obtained.

[変形例2]
次に、実施例1の変形例2である信号抽出装置600−3について説明する。信号抽出装置600−3の機能構成例を図6に示す。信号抽出装置600−3は雑音区間検出部120を設けず、雑音信号N(p)を検出しない点で信号抽出装置600−1と異なる。雑音信号がある程度予測できる環境下においては、雑音信号を検出しなくてもよい場合がある。例えば、会議室内で発声者の音声信号目的信号として抽出したい場合は、雑音信号は会議室内の空調などであることが多く、予め雑音信号を予測できる。従って予め、予測される雑音信号を入力し、雑音相関関数計算部130で、入力された雑音信号についての雑音相関関数を計算しておけば、雑音信号を検出することなく、雑音相関関数を求めることができ、信号抽出装置600−1と同様の効果を得ることができる。
[Modification 2]
Next, a signal extraction device 600-3 that is a second modification of the first embodiment will be described. A functional configuration example of the signal extraction device 600-3 is shown in FIG. The signal extraction device 600-3 is different from the signal extraction device 600-1 in that the noise section detection unit 120 is not provided and the noise signal N b (p) is not detected. In an environment where the noise signal can be predicted to some extent, it may not be necessary to detect the noise signal. For example, in the case where it is desired to extract a voice signal target signal of a speaker in a conference room, the noise signal is often air conditioning in the conference room and the noise signal can be predicted in advance. Therefore, if a noise signal to be predicted is input in advance and the noise correlation function for the input noise signal is calculated by the noise correlation function calculation unit 130, the noise correlation function is obtained without detecting the noise signal. The same effect as that of the signal extraction device 600-1 can be obtained.

[変形例3]
次に変形例3の信号抽出装置600−4について説明する。信号抽出装置600−4の機能構成例を図7に示す。信号抽出装置600−4は、白色化フィルタ部100、白色化フィルタ係数計算部110がない点で信号抽出装置600−1と異なる。例えば雑音信号、観測信号ともに白色化された信号に近い波形の場合は、雑音信号、観測信号ともに白色化する必要がない。従って、白色化フィルタ係数の計算処理、雑音信号に対する白色化係数の畳み込み処理、観測信号に対する白色化係数の畳み込み処理、を省略でき、信号抽出装置600−1と同様の効果を得ることができる。
[Modification 3]
Next, a signal extraction device 600-4 of Modification 3 will be described. A functional configuration example of the signal extraction device 600-4 is shown in FIG. The signal extraction device 600-4 is different from the signal extraction device 600-1 in that the whitening filter unit 100 b and the whitening filter coefficient calculation unit 110 are not provided. For example, in the case of a waveform close to a whitened signal for both the noise signal and the observation signal, it is not necessary to whiten the noise signal and the observation signal. Therefore, the calculation process of the whitening filter coefficient, the convolution process of the whitening coefficient with respect to the noise signal, and the convolution process of the whitening coefficient with respect to the observation signal can be omitted, and the same effect as that of the signal extraction device 600-1 can be obtained.

[変形例4]
次に変形例4の信号抽出装置600−5について説明する。信号抽出装置600−5を図8に示す。信号抽出装置600−5は、雑音区間検出部120がない点で、信号抽出装置600−4と異なる。[変形例2]で説明したとおり、雑音信号が予め予測できる環境にあり、かつ、雑音信号、目的信号ともに、白色化された信号に近い波形であれば、信号抽出装置600−5のような構成にすることで、演算量を大幅に削減でき信号抽出装置600−1と同様の効果を得ることができる。
[Modification 4]
Next, a signal extraction device 600-5 of Modification 4 will be described. A signal extraction device 600-5 is shown in FIG. The signal extraction device 600-5 is different from the signal extraction device 600-4 in that the noise section detection unit 120 is not provided. As described in [Modification 2], if the noise signal is in an environment where the noise signal can be predicted in advance and both the noise signal and the target signal have a waveform close to the whitened signal, the signal extraction device 600-5 is used. With the configuration, the amount of calculation can be greatly reduced, and the same effect as the signal extraction device 600-1 can be obtained.

実施例1で説明した信号抽出装置600−1の構成であると、雑音信号N(p)のパワーが目的信号M(p)のパワーより大きい場合、白色化フィルタ部100が雑音信号に影響を受け、雑音信号、観測信号を適切に白色化できず目的信号の残響抑圧の性能や雑音抑圧の性能が劣化するという問題が生じる。そこで、この実施例2の信号抽出装置600−6は、白色化フィルタ係数を計算する際(図3中のステップS6)に、観測信号のみを用いるのではなく、観測信号と雑音信号を用いて、白色化フィルタ係数を求めるというものである。このように求めた白色化フィルタ係数は、目的信号を白色化する上で、実施例1で求めた白色化フィルタ係数より精度の良いものになる。 In the configuration of the signal extraction device 600-1 described in the first embodiment, when the power of the noise signal N b (p) is larger than the power of the target signal M b (p), the whitening filter unit 100 b can generate a noise signal. As a result, the noise signal and the observation signal cannot be appropriately whitened, resulting in a problem that the reverberation suppression performance and noise suppression performance of the target signal deteriorate. Therefore, the signal extraction apparatus 600-6 of the second embodiment uses the observation signal and the noise signal instead of using only the observation signal when calculating the whitening filter coefficient (step S6 in FIG. 3). The whitening filter coefficient is obtained. The whitening filter coefficient obtained in this way is more accurate than the whitening filter coefficient obtained in the first embodiment in whitening the target signal.

図9に実施例2の信号抽出装置600−6の機能構成例を示す。信号抽出装置600−6は、白色化フィルタ係数計算部に観測信号R(p)と、雑音区間検出部120よりの雑音信号N(p)が入力される点で、信号抽出装置600−1と異なる。この白色化フィルタ係数計算部の参照番号を112とする。
白色化フィルタ係数計算部112は、観測信号R(p)の平均スペクトルVR(k)と雑音信号N(p)の平均スペクトルVN(k)とを用いて、目的信号M(p)の平均スペクトルVM(k)を推定する。具体的には、以下の式(16)により求められる。
VM(k)=VR(k)−λVN(k) (16)
ここで、λは補正係数であり、0<λ<1である。式(16)ではVN(k)に補正係数を乗算しているが、VR(k)に乗算してもよい。また、VN(k)とVR(k)の両方に乗算してよい。
そして、式(5)のV(k)をVM(k)として計算して、式(6)を用いることで、目的信号の白色化フィルタ係数wM(p)を求めることができる。このwM(p)で白色化された雑音信号N’(p)、観測信号R’(p)を用いて雑音相関関数計算部130、観測相関関数計算部4で雑音相関関数、観測相関関数を求めれば良い。
FIG. 9 illustrates a functional configuration example of the signal extraction device 600-6 according to the second embodiment. The signal extraction device 600-6 is such that the observation signal R b (p) and the noise signal N b (p) from the noise section detection unit 120 are input to the whitening filter coefficient calculation unit. Different from 1. The reference number of this whitening filter coefficient calculation unit is 112.
The whitening filter coefficient calculation unit 112 uses the average spectrum VR (k) of the observation signal R b (p) and the average spectrum VN (k) of the noise signal N b (p) to obtain the target signal M b (p). The average spectrum VM 1 (k) of is estimated. Specifically, it is calculated | required by the following formula | equation (16).
VM 1 (k) = VR (k) −λ 2 VN (k) (16)
Here, λ 2 is a correction coefficient, and 0 <λ 2 <1. In Expression (16), VN (k) is multiplied by a correction coefficient, but VR (k) may be multiplied. Further, both VN (k) and VR (k) may be multiplied.
Then, by calculating V 1 (k) in Expression (5) as VM 1 (k) and using Expression (6), the whitening filter coefficient wM b (p) of the target signal can be obtained. Using the noise signal N ′ b (p) and the observation signal R ′ b (p) whitened by wM b (p), the noise correlation function calculation unit 130 and the observation correlation function calculation unit 4 perform noise correlation functions and observations. What is necessary is just to obtain | require a correlation function.

観測信号R(p)には、雑音信号N(p)と目的信号M(p)とが含まれている。観測信号R(p)に目的信号の白色化フィルタ係数wMを畳み込むということは、観測信号中の目的信号M(p)については、適切に白色化できているが、観測信号中の雑音信号N(p)については、適切に白色化できていない。そこで、雑音区間検出部120よりの雑音信号N(p)についてもwMで白色化して、白色化された観測信号、雑音信号を用いることで、適切な重み付き逆フィルタを求めることができる。 The observation signal R b (p) includes a noise signal N b (p) and a target signal M b (p). Convolution of the observation signal R b (p) with the whitening filter coefficient wM b of the target signal means that the target signal M b (p) in the observation signal can be appropriately whitened. The noise signal N b (p) cannot be appropriately whitened. Therefore, the noise signal N b (p) from the noise section detection unit 120 is also whitened with wM b , and an appropriate weighted inverse filter can be obtained by using the whitened observation signal and noise signal. .

実施例1の信号抽出装置600−1では雑音信号N(p)の特性も含めて白色化フィルタを計算していたため、目的信号の白色化ができていなかった。しかし、信号抽出装置600−6の構成により、観測信号の平均スペクトルVR(k)から、雑音区間検出部120よりの雑音信号の平均スペクトルVN(k)を引くことにより、より精度の良い目的信号の平均スペクトルVM(k)を推定し、目的信号の白色化が可能となった。これにより、逆フィルタ係数の精度が向上し、雑音抑圧、目的信号の残響抑圧の性能が向上する。従って、雑音信号N(p)のパワーが大きい場合であっても、雑音抑圧、目的信号の残響抑圧が可能となる。 In the signal extraction device 600-1 of the first embodiment, since the whitening filter is calculated including the characteristics of the noise signal N b (p), the target signal cannot be whitened. However, the configuration of the signal extraction device 600-6 subtracts the average spectrum VN (k) of the noise signal from the noise section detection unit 120 from the average spectrum VR (k) of the observation signal, so that the target signal with higher accuracy can be obtained. The average spectrum VM (k) of the target signal can be estimated, and the target signal can be whitened. As a result, the accuracy of the inverse filter coefficient is improved, and the performance of noise suppression and reverberation suppression of the target signal is improved. Therefore, even when the power of the noise signal N b (p) is large, noise suppression and reverberation suppression of the target signal can be performed.

図10に実施例3の信号抽出装置600−7の機能構成例を示す。信号抽出装置600−7中の雑音区間検出部120は、雑音信号N(p)を検出するために用いられる各チャネルについての雑音区間情報T(b=1,...,B)と雑音信号N(p)も出力する。雑音区間情報Tとは、例えば、観測信号中に含まれている雑音信号の時間的区間t1〜t2などである。雑音区間情報Tは雑音相関関数計算部130に入力され、雑音信号N(p)は白色化フィルタ係数計算部112に入力される。そして、白色化フィルタ係数計算部112、白色化フィルタ部100の処理がなされる。 FIG. 10 shows a functional configuration example of the signal extraction device 600-7 of the third embodiment. The noise interval detector 120 in the signal extraction device 600-7 includes noise interval information T b (b = 1,..., B) for each channel used to detect the noise signal N b (p). A noise signal N b (p) is also output. The noise segment information T b, for example, a time interval t1~t2 of the noise signal contained in the observed signal. The noise interval information T b is input to the noise correlation function calculation unit 130, and the noise signal N b (p) is input to the whitening filter coefficient calculation unit 112. Then, the whitening filter coefficient calculation unit 112 and the whitening filter unit 100b are processed.

ここで、白色化フィルタ部100よりの白色化された観測信号R’(p)に含まれる雑音信号も白色化されている。また、白色化される前の観測信号R(p)に含まれる雑音信号の時間的区間と、白色化された観測信号R’(p)に含まれる雑音信号N’(p)の時間的区間とはほぼ等しい。従って、雑音区間検出部120で検出された雑音区間Tを用いれば、白色化された観測信号R’(p)から白色化された雑音信号N’(p)を検出できる。この検出処理は、この実施例3では、雑音相関関数計算部130が行うが、これに限られるものではない。よって、雑音区間検出部120よりの雑音信号N(p)について白色化する必要がなく、実施例2の信号抽出装置600−6と同様の効果を得ることができる。 Here, the noise signal included in the whitened observation signal R ′ b (p) from the whitening filter unit 100 b is also whitened. In addition, the time interval of the noise signal included in the observation signal R b (p) before whitening and the noise signal N ′ b (p) included in the whitened observation signal R ′ b (p) It is almost equal to the time interval. Therefore, if the noise section T detected by the noise section detection unit 120 is used, the whitened noise signal N ′ b (p) can be detected from the whitened observation signal R ′ b (p). This detection process is performed by the noise correlation function calculator 130 in the third embodiment, but is not limited to this. Therefore, it is not necessary to whiten the noise signal N b (p) from the noise section detection unit 120, and the same effect as the signal extraction device 600-6 of the second embodiment can be obtained.

また、実施例3の変形例として、図11記載の信号抽出装置600−8のように、白色化フィルタ係数計算部112から白色化フィルタ係数計算部110に代替し、観測信号R(p)のみを用いて白色化フィルタ係数を求めるようにしても良い。また、図12記載の信号抽出装置600−9のように、信号抽出装置600−8から白色化フィルタ係数計算部110と白色化フィルタ部100を省略してもよい。この場合、雑音相関関数計算部130は、雑音区間検出部120よりの雑音区間情報Tを用いて、観測信号を検出し、当該検出された観測信号についての雑音相関関数を求めればよい。 As a modification of the third embodiment, the observation signal R b (p) is replaced with the whitening filter coefficient calculation unit 112 instead of the whitening filter coefficient calculation unit 112 as in the signal extraction device 600-8 illustrated in FIG. The whitening filter coefficient may be obtained using only Further, as signal extracting device 600-9 of FIG. 12 described, it may be from the signal extraction unit 600-8 by omitting the whitening filter coefficient calculating section 110 and the whitening filter unit 100 b. In this case, the noise correlation function calculation unit 130 may detect an observation signal using the noise interval information T from the noise interval detection unit 120 and obtain a noise correlation function for the detected observation signal.

従来の信号抽出装置500の機能構成例を示す図。The figure which shows the function structural example of the conventional signal extraction apparatus 500. FIG. 実施例1の信号抽出装置600−1の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-1 of Example 1. FIG. 信号抽出装置600−1の主な処理の流れを示す図。The figure which shows the flow of the main processes of the signal extraction apparatus 600-1. 式(13)の詳細を示した図。The figure which showed the detail of Formula (13). 実施例1の信号抽出装置600−2の機能構成例を示す図。FIG. 3 is a diagram illustrating a functional configuration example of a signal extraction device 600-2 according to the first embodiment. 実施例1の信号抽出装置600−3の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-3 of Example 1. FIG. 実施例1の信号抽出装置600−4の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-4 of Example 1. FIG. 実施例1の信号抽出装置600−5の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-5 of Example 1. FIG. 実施例2の信号抽出装置600−6の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-6 of Example 2. FIG. 実施例3の信号抽出装置600−7の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-7 of Example 3. FIG. 実施例3の信号抽出装置600−8の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-8 of Example 3. FIG. 実施例3の信号抽出装置600−9の機能構成例を示す図。The figure which shows the function structural example of the signal extraction apparatus 600-9 of Example 3. FIG.

Claims (11)

複数の信号源からそれぞれ発せられた信号の混合信号をB個(B≧2)のセンサでそれぞれ観測して得られたBチャネルの観測信号から、特定の信号源から発せられた目的信号を抽出する信号抽出装置において、
前記Bチャネルの観測信号にそれぞれ含まれる雑音信号のチャネル間相関関数である雑音相関関数を計算する雑音相関関数計算部と、
前記Bチャネルの観測信号のチャネル間相関関数である観測相関関数を計算する観測相関関数計算部と、
前記観測相関関数と前記雑音相関関数とを用いて、逆フィルタ係数を求める重み付き逆フィルタ係数算出部と、
前記逆フィルタ係数を前記観測信号に畳み込むフィルタ部と、
前記フィルタ部の出力を加算することで前記目的信号を生成する加算部と、
前記観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する白色化フィルタ係数計算部と、
入力された信号に前記白色化フィルタ係数を畳み込んで白色化する白色化フィルタ部と、
前記観測信号に含まれる雑音信号を検出する雑音区間検出部と、を備え、
前記雑音相関関数計算部は、前記検出された雑音信号間の雑音相関関数を計算するものであり、
前記白色化フィルタ係数計算部は、前記雑音区間検出部で検出された雑音信号の平均スペクトルと前記Bチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算するものであることを特徴とする信号抽出装置。
Extraction of target signals from specific signal sources from B-channel observation signals obtained by observing mixed signals from multiple signal sources with B (B ≧ 2) sensors. In the signal extraction device
A noise correlation function calculation unit for calculating a noise correlation function that is an interchannel correlation function of a noise signal included in each of the B channel observation signals;
An observation correlation function calculator for calculating an observation correlation function which is an inter-channel correlation function of the B channel observation signal;
Using the observed correlation function and the noise correlation function, a weighted inverse filter coefficient calculation unit for obtaining an inverse filter coefficient;
A filter unit that convolves the inverse filter coefficient with the observation signal;
An adding unit that generates the target signal by adding the outputs of the filter unit;
A whitening filter coefficient calculation unit that calculates a whitening filter coefficient using an average spectrum of the observation signal;
A whitening filter unit that whitens the input signal by convolving the whitening filter coefficient;
A noise interval detection unit for detecting a noise signal included in the observation signal,
The noise correlation function calculator calculates a noise correlation function between the detected noise signals,
The whitening filter coefficient calculation unit uses an average spectrum of the observation signal average spectrum and the B channel of the detected noise signal in the noise interval detection section, the Der Rukoto adapted to calculate the whitening filter coefficients A characteristic signal extraction device.
複数の信号源からそれぞれ発せられた信号の混合信号をB個(B≧2)のセンサでそれぞれ観測して得られたBチャネルの観測信号にそれぞれ含まれる雑音信号のチャネル間相関関数である雑音相関関数を計算する雑音相関関数計算部と、
前記Bチャネルの観測信号のチャネル間相関関数である観測相関関数を計算する観測相関関数計算部と、
前記観測相関関数からなる行列にかけると特定のチャネルについてインパルスが得られ、その他のチャネルについて0となるベクトルが得られ、かつ、前記雑音相関係数からなる行列に重みをつけた行列にかけると0ベクトルが得られるベクトルの要素を各チャネルの逆フィルタ係数として算出する重み付き逆フィルタ係数算出部と、
前記逆フィルタ係数を前記観測信号に畳み込むフィルタ部と、
前記フィルタ部の出力を加算することで前記目的信号を生成する加算部と、
を備えることを特徴とする信号抽出装置。
Certain mixing signals of the emitted signals from the plurality of signal sources in the channel correlation function of B-number (B ≧ 2) sensor noise signals included in each of the observation signal obtained B channels by observing each A noise correlation function calculator for calculating a noise correlation function;
An observation correlation function calculator for calculating an observation correlation function which is an inter-channel correlation function of the B channel observation signal;
When applied to the matrix consisting of the observed correlation function, an impulse is obtained for a specific channel, and a vector of 0 is obtained for the other channels, and when applied to a matrix weighted to the matrix consisting of the noise correlation coefficient the elements of 0 vector vector is obtained and calculated to Ruomomi with inverse filter coefficient calculating section as an inverse filter coefficients of each channel,
A filter unit that convolves the inverse filter coefficient with the observation signal;
An adding unit that generates the target signal by adding the outputs of the filter unit;
A signal extraction device comprising:
請求項記載の信号抽出装置において、
更に、前記観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する白色化フィルタ係数計算部と、
入力された信号に前記白色化フィルタ係数を畳み込んで白色化する白色化フィルタ部と、を備え、
前記観測相関関数計算部は、前記白色化フィルタ部で白色化された前記Bチャネルの観測信号のチャネル間相関関数を計算して、前記観測相関関数として出力するものであることを特徴とする信号抽出装置。
The signal extraction device according to claim 2 ,
Furthermore, using the average spectrum of the observed signal, a whitening filter coefficient calculation unit that calculates a whitening filter coefficient;
A whitening filter unit that convolves the whitening filter coefficient with the input signal to whiten, and
The observation correlation function calculation unit calculates an inter-channel correlation function of the B channel observation signal whitened by the whitening filter unit, and outputs the correlation function as the observation correlation function Extraction device.
請求項記載の信号抽出装置であって、
前記雑音相関関数計算部は、前記白色化フィルタ部で白色化された雑音信号のチャネル間相関関数を計算して、前記雑音相関関数として出力するものであることを特徴とする信号抽出装置。
The signal extraction device according to claim 3 ,
The signal extraction apparatus, wherein the noise correlation function calculation unit calculates an inter-channel correlation function of the noise signal whitened by the whitening filter unit and outputs it as the noise correlation function.
請求項何れかに記載の信号抽出装置であって、
更に、前記観測信号に含まれる雑音信号を検出する雑音区間検出部を備え、
雑音相関関数計算部は、前記検出された雑音信号間の雑音相関関数を計算するものであることを特徴とする信号抽出装置。
The signal extraction device according to any one of claims 2 to 4 ,
Furthermore, a noise section detection unit for detecting a noise signal included in the observation signal is provided,
Before SL noise correlation function calculation unit, signal extraction apparatus, characterized in that to calculate the noise correlation function between said detected noise signal.
請求項記載の信号抽出装置であって、
前記白色化フィルタ係数計算部は、前記雑音区間検出部で検出された雑音信号の平均スペクトルと前記Bチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算するものであることを特徴とする信号抽出装置。
The signal extraction device according to claim 5 ,
The whitening filter coefficient calculation unit calculates a whitening filter coefficient using an average spectrum of the noise signal detected by the noise section detection unit and an average spectrum of the observation signal of the B channel. A signal extraction device.
複数の信号源からそれぞれ発せられた信号の混合信号をB個(B≧2)のセンサでそれぞれ観測して得られたBチャネルの観測信号から、特定の信号源から発せられた目的信号を抽出する信号抽出装置において、
前記Bチャネルの観測信号から雑音信号のみが含まれる雑音区間情報を検出する雑音区間検出部と、
前記Bチャネルの観測信号と前記雑音区間情報とから、前記Bチャネルの観測信号にそれぞれ含まれる雑音信号のチャネル間相関関数である雑音相関関数を計算する雑音相関関数計算部と、
前記Bチャネルの観測信号のチャネル間相関関数である観測相関関数を計算する観測相関関数計算部と、
前記観測相関係数からなる行列にかけると特定のチャネルについてインパルスが得られ、その他のチャネルについて0となるベクトルが得られ、かつ、前記雑音相関関数からなる行列に重みをつけた行列にかけると0ベクトルが得られるベクトルの要素を各チャネルの逆フィルタ係数として算出する重み付き逆フィルタ係数算出部と、
前記逆フィルタ係数を前記観測信号に畳み込むフィルタ部と、
前記フィルタ手段の出力を加算することで前記目的信号を生成する加算部と、
を備えることを特徴とする信号抽出装置。
Extraction of target signals from specific signal sources from B-channel observation signals obtained by observing mixed signals from multiple signal sources with B (B ≧ 2) sensors. In the signal extraction device
A noise interval detector that detects noise interval information including only noise signals from the B channel observation signal;
A noise correlation function calculator that calculates a noise correlation function that is an inter-channel correlation function of a noise signal included in each of the B channel observation signals from the B channel observation signal and the noise interval information;
An observation correlation function calculator for calculating an observation correlation function which is an inter-channel correlation function of the B channel observation signal;
When applied to the matrix composed of the observed correlation coefficients, an impulse is obtained for a specific channel, a vector of 0 is obtained for the other channels, and a matrix weighted to the matrix composed of the noise correlation function is obtained. the elements of 0 vector vector is obtained and calculated to Ruomomi with inverse filter coefficient calculating section as an inverse filter coefficients of each channel,
A filter unit that convolves the inverse filter coefficient with the observation signal;
An adder for generating the target signal by adding the outputs of the filter means;
A signal extraction device comprising:
請求項記載の信号抽出装置において、
更に、前記Bチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算する白色化フィルタ係数計算部と、
入力された信号に前記白色化フィルタ係数を畳み込む白色化フィルタ部を備え、
前記観測相関関数計算部は、前記白色化フィルタ部で白色化された前記Bチャネルの観測信号のチャネル間の相関関数を計算して、前記観測相関関数として出力するものであり、
前記雑音相関関数計算部は、前記白色化されたBチャネルの観測信号と前記雑音区間情報とから雑音相関関数を計算するものであることを特徴とする信号抽出装置。
The signal extraction device according to claim 7 , wherein
A whitening filter coefficient calculation unit for calculating a whitening filter coefficient using an average spectrum of the observation signal of the B channel;
A whitening filter unit that convolves the whitening filter coefficient with the input signal;
The observed correlation function calculation unit calculates a correlation function between channels of the observation signal of the B channel that has been whitened by the whitening filter unit, and outputs the correlation function as the observed correlation function,
The signal extraction apparatus, wherein the noise correlation function calculation unit calculates a noise correlation function from the whitened B channel observation signal and the noise interval information.
請求項記載の信号抽出装置であって、
前記雑音区間検出部は、雑音信号も検出するものであり、
前記白色化フィルタ係数計算部は、前記検出された雑音信号の平均スペクトルと前記Bチャネルの観測信号の平均スペクトルを用いて、白色化フィルタ係数を計算するものであることを特徴とする信号抽出装置。
The signal extraction device according to claim 8 , wherein
The noise section detection unit also detects a noise signal,
The whitening filter coefficient calculation unit calculates a whitening filter coefficient using an average spectrum of the detected noise signal and an average spectrum of the observation signal of the B channel. .
複数の信号源からそれぞれ発せられた信号の混合信号をB個(B≧2)のセンサでそれぞれ観測して得られたBチャネルの観測信号から、特定の信号源から発せられた目的信号を抽出する信号抽出方法において、
雑音区間検出部が、前記Bチャネルの観測信号それぞれに含まれる雑音信号を検出する過程と、
白色化フィルタ係数計算部が、前記雑音信号の平均スペクトルと前記観測信号の平均スペクトルとを用いて、白色化フィルタ係数を計算する過程と、
白色化フィルタ部が、前記Bチャネルの観測信号に前記白色化フィルタ係数を畳み込んで白色化する過程と、
前記白色化フィルタ部が、前記雑音信号に前記白色化フィルタ係数を畳み込んで白色化する過程と、
白色化された前記Bチャネルの観測信号のチャネル間相関関数である観測相関関数を計算する過程と、
白色化された前記雑音信号のチャネル間相関関数である雑音相関関数を計算する過程と、
前記観測相関関数からなる行列にかけると特定のチャネルについてインパルスが得られ、その他のチャネルについて0となるベクトルが得られ、かつ、前記雑音相関関数からなる行列に重みをつけた行列にかけると0ベクトルが得られるベクトルの要素を各チャネルの逆フィルタ係数として求める過程と、
前記逆フィルタ係数を前記Bチャネルの観測信号に畳み込んで、それぞれを加算することで前記目的信号を生成する過程と、を有することを特徴とする信号抽出方法。
Extraction of target signals from specific signal sources from B-channel observation signals obtained by observing mixed signals from multiple signal sources with B (B ≧ 2) sensors. In the signal extraction method to
A process in which a noise section detection unit detects a noise signal included in each of the observation signals of the B channel;
A whitening filter coefficient calculation unit calculates a whitening filter coefficient using an average spectrum of the noise signal and an average spectrum of the observation signal;
A whitening filter unit that performs whitening by convolving the whitening filter coefficient with the observation signal of the B channel;
The whitening filter unit convolves the whitening filter coefficient with the noise signal to whiten;
Calculating an observation correlation function that is an inter-channel correlation function of the whitened B channel observation signal;
Calculating a noise correlation function that is an interchannel correlation function of the whitened noise signal;
When applied to the matrix comprising the observed correlation function , an impulse is obtained for a specific channel, and a vector of 0 is obtained for the other channels, and when applied to a matrix weighted to the matrix comprising the noise correlation function , 0 is obtained. The process of obtaining the vector elements from which the vectors are obtained as inverse filter coefficients for each channel ;
And a step of generating the target signal by convolving the inverse filter coefficient with the observed signal of the B channel and adding each of them.
請求項1〜何れかに記載の信号抽出装置の各処理をコンピュータに実行させるための信号抽出プログラム。 Signal extraction program for executing each processing of the signal extracting device according to the computer in any one of claims 1-9.
JP2007201704A 2007-08-02 2007-08-02 Signal extraction apparatus, method thereof, and program thereof Expired - Fee Related JP4933975B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007201704A JP4933975B2 (en) 2007-08-02 2007-08-02 Signal extraction apparatus, method thereof, and program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007201704A JP4933975B2 (en) 2007-08-02 2007-08-02 Signal extraction apparatus, method thereof, and program thereof

Publications (2)

Publication Number Publication Date
JP2009037032A JP2009037032A (en) 2009-02-19
JP4933975B2 true JP4933975B2 (en) 2012-05-16

Family

ID=40438997

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007201704A Expired - Fee Related JP4933975B2 (en) 2007-08-02 2007-08-02 Signal extraction apparatus, method thereof, and program thereof

Country Status (1)

Country Link
JP (1) JP4933975B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5952692B2 (en) * 2012-09-13 2016-07-13 本田技研工業株式会社 Sound source direction estimating apparatus, sound processing system, sound source direction estimating method, and sound source direction estimating program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3583980B2 (en) * 2000-08-17 2004-11-04 日本電信電話株式会社 Sound collecting device and receiving device
JP3878892B2 (en) * 2002-08-21 2007-02-07 日本電信電話株式会社 Sound collection method, sound collection device, and sound collection program
JP4247037B2 (en) * 2003-01-29 2009-04-02 株式会社東芝 Audio signal processing method, apparatus and program
JP3986457B2 (en) * 2003-03-28 2007-10-03 日本電信電話株式会社 Input signal estimation method and apparatus, input signal estimation program, and recording medium therefor
JP4173469B2 (en) * 2004-08-24 2008-10-29 日本電信電話株式会社 Signal extraction method, signal extraction device, loudspeaker, transmitter, receiver, signal extraction program, and recording medium recording the same

Also Published As

Publication number Publication date
JP2009037032A (en) 2009-02-19

Similar Documents

Publication Publication Date Title
Schwartz et al. Multi-microphone speech dereverberation and noise reduction using relative early transfer functions
JP6703525B2 (en) Method and device for enhancing sound source
CN101965613B (en) Signal emphasis device, method thereof, program, and recording medium
JP4166706B2 (en) Adaptive beamforming method and apparatus using feedback structure
US9881634B1 (en) Multi-microphone speech processing system
CN105324982B (en) Method and device for suppressing unwanted audio signals
JP6279181B2 (en) Acoustic signal enhancement device
US9232309B2 (en) Microphone array processing system
Doclo et al. Multi-microphone noise reduction and dereverberation techniques for speech applications
JP4957810B2 (en) Sound processing apparatus, sound processing method, and sound processing program
EP3275208B1 (en) Sub-band mixing of multiple microphones
Hendriks et al. Optimal near-end speech intelligibility improvement incorporating additive noise and late reverberation under an approximation of the short-time SII
CN110364175B (en) Voice enhancement method and system and communication equipment
CN106031196A (en) Signal processing device, method and program
JP6840302B2 (en) Information processing equipment, programs and information processing methods
CN106340302A (en) De-reverberation method and device for speech data
Mosayyebpour et al. Single-microphone LP residual skewness-based inverse filtering of the room impulse response
CN112997249B (en) Voice processing method, device, storage medium and electronic equipment
JP4933975B2 (en) Signal extraction apparatus, method thereof, and program thereof
JP2002062900A (en) Sound collecting device and receiving device
Pathrose et al. MASTER: Microphone Array Source Time Difference Eco Canceller via Reconstructed Spiking Neural Network
JP4173469B2 (en) Signal extraction method, signal extraction device, loudspeaker, transmitter, receiver, signal extraction program, and recording medium recording the same
JP4478045B2 (en) Echo erasing device, echo erasing method, echo erasing program and recording medium therefor
Khan et al. A new cascaded spectral subtraction approach for binaural speech dereverberation and its application in source separation
EP3029671A1 (en) Method and apparatus for enhancing sound sources

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110425

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110629

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20110810

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150224

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees