JP4170072B2

JP4170072B2 - Voice extraction device

Info

Publication number: JP4170072B2
Application number: JP2002334276A
Authority: JP
Inventors: 香緒里遠藤; 恭士大田; 均佐々木; 光良松原
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2002-11-18
Filing date: 2002-11-18
Publication date: 2008-10-22
Anticipated expiration: 2022-11-18
Also published as: JP2004170552A

Description

【０００１】
【発明の属する技術分野】
本発明は、複数音源が混合した複数の入力信号と、該入力信号に含まれる音源の統計的な独立性を用いて、特定人の音声信号と該音声信号以外の非音声信号とが混合された混合信号から、特定人の音声を、音源の時間に依存した統計状態を考慮しつつ、抽出する音声抽出装置に関し、特に、携帯電話システムおよび実況中継において、混入した環境雑音と送話音声を分離し、送話音声のみを送信することができる音声抽出装置に関する。
【０００２】
【従来の技術】
複数の信号源から出た信号が混合している時、異なる信号源からでた信号が互いに統計的に独立であるという条件のみから、各々の信号を分離する方法は独立成分分析と呼ばれている。現在、よく知られている独立成分分析の手法（例えば、非特許文献１参照）では、信号源が未知で信号源の信号が一定の割合で線形的に結合され、観測されると仮定し、統計的な独立性の概念を基に混合信号を分離する手法を用いる技術が開示されている。
【０００３】
また、独立成分分析において、混合信号の数が統計的に独立な信号源の個数と等しいか、あるいはそれ以上の場合、該独立信号の混合である混合信号を分離し、未知である信号源の信号を特定する方法は知られている。例えば、非特許文献１がある。しかしながら、非特許文献による手法では混合信号の数より多い統計的に独立な音源信号からなる混合信号を分離することはできない。
【０００４】
これに対して、特許文献１は混合信号の数より多い独立な音源信号を混合信号の観測時間を遅延し、混合信号を逐次的に分離更新する方法を開示している。
【０００５】
【非特許文献１】
S.Amari,、T.P.Chen、およびA.Cichocki共著論文「Stability analysis of lear ning algorithms for blind source separation」Neural Networks, Vol.10, No.8, pp. 1345−1351
【特許文献１】
特開２００２−５５９６９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、この特許文献１の技術では、混合信号を逐次的に分離更新する方法に時間に依存した統計的機構が含まれていないため、音源が移動している状況などを考えれば、信号源の混合のされ方自体が時間変化する状況では混合信号を適切に分離することが望めない。
【０００７】
このため、混合信号の数以上の統計的に独立な音源信号からなる混合信号を、時間によって変動する混合信号の統計状態を考慮して、混合信号を逐次的に分離しつつ、目的に応じた音源信号を抽出することは、極めて重要な課題となっている。特に、携帯電話システムおよび実況中継においては、話者がマイクを持って移動する可能性があるため、環境雑音が話者の所有するマイクに混入する可能性がある。このような状況において、時間変化する環境雑音を考慮して、混入した環境雑音と送話音声を分離し、送話音声のみを送信する必要性がある。
【０００８】
この発明は、上記従来技術による課題を解決するためになされたものであり、複数音源が混合した複数の入力信号と、該入力信号に含まれる音源の統計的な独立性を用いて、特定人の音声信号と該音声信号以外の非音声信号とが混合された混合信号から、特定人の音声を、音源の時間に依存した統計状態を考慮しつつ、抽出する音声抽出装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、請求項１に係る音声抽出装置は、音音声信号と非音声信号とが混合された混合信号に対して下記の式（１）及び式（２）で定義される分離行列Ｗを用いて前記音声信号を抽出する音声抽出装置であって、
【数１】

【数２】

前記分離行列Ｗを用いて前記混合信号から分離された各分離信号について非音声信号であるか否かを判定する非音声信号判定手段と、前記非音声信号判定手段によっていずれの分離信号も非音声信号であると判定された場合に、各分離信号を用いて振幅の頻度分布を作成し、該頻度分布を用いて、非音声信号の確率密度関数を算出する非音声状態算出手段と、前記非音声状態算出手段によって算出された非音声信号の確率密度関数で前記式（２）におけるＰ１を更新して、前記音声信号を抽出する音声信号抽出手段と、を備えたことを特徴とする。
【００１０】
この請求項１の発明によれば、複数の音源が混合した混合信号から、音声が含まれない非音声区間を検出し、検出された非音声区間の情報を用いて非音声の統計状態を推定し、非音声の統計状態と特定人の音声の統計状態とを用いて、前記特定人の声を抽出することとしたので、時間変化する環境雑音を伴う混合信号から目的とする音声信号を抽出することができる。
【００１３】
また、請求項２に係る音声抽出装置は、請求項１の発明において、前記非音声信号判定手段は、単位時間毎に前記混合信号間のピッチ相関を算出し、該ピッチ相関を用いて、分離信号が音声信号または非音声信号であるかの判定をおこなうことを特徴とする。
【００１４】
この請求項２の発明によれば、単位時間毎に混合信号間のピッチ相関を算出し、該ピッチ相関を用いて、混合信号が音声信号または非音声信号であるかの判定をおこなうこととしたので、単位時間毎に混合信号の中から環境雑音を抽出し、単位時間毎に環境雑音の統計状態を推定することができる。
【００１７】
また、請求項３に係る音声抽出装置は、請求項１または２の発明において、前記非音声信号判定手段によっていずれの分離信号も非音声信号であると判定された場合に、信号を前記混合信号から分離する分離行列を初期化する初期化手段を備え、前記音声信号抽出手段は、更新された前記分離行列と、前記初期化手段によって初期化された分離行列との間に所定以上の相違がある場合には、前記音声信号を抽出するための分離行列として、前記初期化手段によって初期化された分離行列を用いることを特徴とする。
【００１８】
この請求項３の発明によれば、音声信号が含まれない非音声区間で信号を分離するための分離行列と、音声抽出手段が適応的に求めた分離行列との差が大きい場合は、音声信号が含まれない非音声区間で信号を分離するための分離行列を用いて信号の分離を行うこととしたので、分離行列が正解から外れた場合に分離行列を正解に近いものに置き換えることができ、もって、安定であり確度の高い音声信号の抽出ができる。
【００１９】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る音声抽出装置の好適な実施の形態を詳細に説明する。なお、本実施の形態では、便宜上、２つの混合信号を分離する場合について説明するが、少なくとも一つの音声信号源並びに少なくとも一つの非音声信号源からなる混合信号を分離する場合についても、目的とする音声信号の抽出が可能である。
【００２０】
以下、本発明の概略構成を説明した後、音声抽出装置の処理手順の概念を説明する。最後に、後音声抽出装置の処理手順としていくつかの実施の形態をフローチャートに基づいて説明する。
【００２１】
まず、本発明である音声抽出装置の概略構成を説明する。図１は本発明の概略構成を示す図である。複数の音源として、非音声音源１から非音声音源ｎまでのｎ個の音源と音声音源１から音声音源ｍまでのｍ個の音源から、各音声音源に対応する音声を抽出するための音声抽出装置１から音声抽出装置ｍまでがある。各音声抽出装置にはマイクが備わっておりここから非音声音源および音声音源から発信される混合信号を受信する。また、各音声抽出装置は、受信した混合信号から目的とする音声信号を抽出し、インターネットや無線あるいは有線の専用の通信回線を用いて、混合信号から分離された音声信号を別のサーバに出力する。
【００２２】
次に、音声抽出装置の機能について説明する。図２は音声抽出装置の機能ブロック図である。同図に基づいて各機能を説明する。
【００２３】
音声抽出装置１０は、音声音源と非音声音源の信号からなる混合信号をオンラインで分離するために、予め各音声信号の統計状態を音声統計状態推定部６０において推定し、推定結果を音声統計状態記憶部７０に知識として記憶しておく。
【００２４】
非音声区間検出部２０は、信号データのフレーム（信号源の数に対応した信号データをまとめたもので、実際は、ベクトル量として考える）毎に混合信号を入力し、該混合信号について当該フレームの音声または非音声の判定を行う。
【００２５】
非音声統計状態推定部３０は非音声区間検出部２０より音声および非音声判定結果と混合信号を受け取り、非音声区間の場合に混合信号を用いて振幅値の頻度分布を作成する。統計状態は振幅値の頻度を観測数で割ることによって求めることができる。
【００２６】
分離手続き初期化部４０は非音声区間検出部２０より音声または非音声の判定結果と混合信号を、音声抽出部５０より分離手続きの処理方法を受け取る。分離手続き初期化部４０は非音声区間の混合信号を用いて、分離手続きの処理方法の初期手続きを決定する。音声抽出部５０から入力した分離手続きの処理方法と分離手続き初期化部４０によって決定された分離手続きの処理方法との間に、ある数量的に表された一定以上の違いがあれば、音声抽出部５０の分離手続きの処理方法の初期化を行う。
【００２７】
音声抽出部５０は、混合信号、非音声統計状態推定部３０から非音声信号の統計状態、および分離手続き初期化部４０から初期化された分離手続きの処理方法との３つを受け取り、音声統計状態記憶部７０に、知識として予め保持された音声信号源の統計状態と、非音声統計状態推定部３０が算出した非音声音源の統計状態を用いて統計的独立性の尺度を算出し、独立性が高くなる規範で分離手続きの処理方法を更新する。該更新された分離手続きの処理方法を用いて音声信号と非音声信号に分離する。
【００２８】
以上の音声抽出装置の処理手続きの音声通信方式への応用例として、図３を説明する。同図に示すように、音声信号と非音声信号からなる混合信号は、音声抽出装置１の入力手段１と入力手段２によって、２つの混合信号として入力される。これら２つの混合信号は、音声抽出部５０、１００で分離され、音声信号および非音声信号となる。ここまでの処理は音声抽出装置の処理であるが、更に音声抽出装置に音声符号化部１１０、送信部１２０を付加することによって、本発明による音声抽出方法を音声通信方式へ応用可能である。
【００２９】
以下、音声抽出装置の音声抽出部の処理説明に必要となる独立成分分析の具体的な説明を、数式を用いて説明する。独立な音源信号ｓ（ｓは音源信号ベクトル）がある時間定数である混合行列Ａで混合され、混合信号ｘ（混合信号ベクトル）が観測されるものとする。数式で表現すると、ｘ＝Ａｓとなる。この式を、以下、観測式と呼ぶことにする。
音源信号ベクトルｓ＝（ｓ₁（ｔ），・・・，ｓ_n（ｔ））^T、
混合信号ベクトルｘ＝（ｘ₁（ｔ），・・・，ｘ_n（ｔ））^T、
混合行列Ａ（ｎ×ｎ行列）、
分離結果の信号ベクトルｙ＝（ｙ₁（ｔ），・・・，ｙ_n（ｔ））^T
とする。
【００３０】
このとき、混合信号ｘを用いて信号の統計的な独立性を手掛りに分離行列Ｗを求め、音源を分離する。数式で表現すると、ｙ＝Ｗｘとなる。この式を、以下、分離式と呼ぶことにする。分離式でｘを分離した（実際には、ベクトルｘの左から行列Ｗを乗算した）際に、ｙが独立となるように分離行列Ｗを求める問題となる。分離行列Ｗは音源間の統計的な独立性が大きくなる方向になるように下記の式で適応的に更新する。
【数１】

ここで、
【数２】

であり、ηは分離更新の大きさを調整する十分小さな正の係数である。
【００３１】
（数１）は、分離結果の信号ベクトルの確率密度関数と分離結果の信号ベクトルの各周辺分布の積との間の相対エントロピー（カルバック・ライブラー情報量など）が計算され、分離行列Ｗの関数である該相対エントロピーが最小化される方向を勾配流の概念を用いて導出される。ここで、重要な事実は、分離結果の確率密度関数を算出する必要はなく、混合信号ベクトルの確率密度関数を導出すればよい。従って、分離結果のベクトルの確率密度関数をいかに混合信号ベクトルから推定すればよいかが問題となる。
【００３２】
以下、音声抽出装置の処理手順に関する３つの実施の形態について説明する。以下では、混合信号の数を２（ｎ＝２）、分離行列Ｗ（２×２行列）の場合について具体的に説明する。
【００３３】
（実施の形態１）
図４は、音声抽出装置の処理の処理手順のフローチャート（その１）である。以下、各工程の説明を同図に基づいておこなう。各音源の確率密度関数を予め知識として記憶する（ステップＳ００１）。ただし、環境雑音等、未知の音源の確率密度関数は当然ながら保持する必要はない。具体的には、例えば、携帯電話を所有する所有人物が、携帯電話を電話として使用する前に所有者の音声信号を携帯電話に記憶させ、その音声の振幅をもとに音声統計状態推定部６０は確率密度関数を作成し、これを携帯電話の音声統計状態記憶部７０に記憶しておく。
【００３４】
次に、分離行列Ｗをランダム値で初期化する（ステップＳ００２）。次に、１フレーム分のN個の混合信号を入力する（ステップＳ００３）。例えば、ｘ１＝［ｘ１（０），．．．，ｘ１（ｋ−１）］，ｘ２＝［ｘ２（０），．．．，ｘ２（ｋ−１）］，ここで、ｋは１フレームのサンプル数をあらわす。次に、式ｙ＝Ｗｘにより、分離行列Ｗを用いて音源としての混合信号ベクトルｘを分離する（ステップＳ００４）。式ｙ＝Ｗｘを成分で書くと
【数３】

となる。
【００３５】
次に、分離信号のうち非音声信号源を特定する（ステップＳ００５）。実際、式ｙ＝Ｗｘで求めた分離信号ｙの成分のうち、非音声に対応する成分を選ぶ。ｙの成分のピッチ相関を算出し、最もピッチ相関が小さいものを非音声に対応する成分とする。非音声に対応する成分がｙ１成分となるように、ｙ、Ｗを並べ替える。たとえば、ｙ２成分が非音声に対応する成分の場合には、ｙ１、ｙ２を入れ替える。これに伴いＷの成分も第一行と第二行を入れ替える。次に、混合信号１の音声または非音声判定を行う。例えば、ピッチ相関を算出し、ピッチ相関＜閾値の場合、非音声と判定し、ピッチ相関≧閾値の場合、音声と判定する（ステップＳ００６）。
【００３６】
次に、混合信号1が非音声と判定された場合は、ステップＳ００８に処理を進める。混合信号1が音声と判定された場合は、ステップＳ０１３に処理を進める（ステップＳ００７）。次に、混合信号２の音声および非音声判定を行う（ステップＳ００８）。例えば、ピッチ相関を算出し、ピッチ相関＜閾値の場合、非音声と判定し、ピッチ相関≧閾値の場合、音声と判定する。次に、混合信号２が非音声と判定された場合は、ステップＳ０１０に処理を進め、混合信号２が音声と判定された場合は、ステップＳ０１３に処理を進める（ステップＳ００９）。
【００３７】
次に、混合信号１、２をパワーで正規化する（ステップＳ０１０）。実際、ｘ１（ｔ）＝ｘ１’（ｔ）／ｐ１およびｘ２（ｔ）＝ｘ２’（ｔ）／ｐ２、（ｔ＝０，．．．，ｋ−１）。ｐ１、ｐ２をそれぞれｙ１、ｙ２のフレームパワーとする。非音声信号源の確率密度関数を算出する（ステップＳ０１１）。ｘ１’（ｔ）およびｘ２’（ｔ）を用いて、正規化した非音声区間の信号の振幅の頻度分布を作成する。ｘ１’（ｔ）およびｘ２’（ｔ）は、−１から＋１の範囲の値となるので、−１から＋１の範囲を適当な数Ｒに分割し、ｒ（ｉ）＝ｑ（ｉ）／Ｎ_allとして非音声信号源の確率密度関数を算出する。ここで、ｉは０，．．．，Ｒ−１の範囲を動き、ｒ（ｉ）は非音声信号源の確率密度関数、ｑ（ｉ）はｉ番目の区間に入る振幅値の頻度（起動時からの総数）、Ｎ_allは振幅値の数（起動時からの総数）である。
【００３８】
次に、非音声信号源の確率密度関数をステップＳ０１１で算出したもので置き換える（ステップＳ０１２）。次に、分離行列Ｗを（数１）によって更新する（ステップＳ０１３）。次に、ステップＳ００４で算出した分離信号を出力する（ステップＳ０１４）。次に、入力終了の場合は、処理を終了し、入力が続く場合は、ステップＳ００３に処理を進める（ステップＳ０１５）。
【００３９】
上述してきたように、本実施の形態１では、非音声区間検出部２０で入力信号の非音声区間を検出することで、非音声のみの信号を知ることができ、これを用いて非音声信号源の確率密度関数を算出できる。これにより非音声信号源が未知である場合や時間変化する場合にも確率密度関数を正確に求めることができ、したがって分離性能の向上が可能となる。
【００４０】
（実施の形態２）
図５は、音声抽出装置の処理の処理手順のフローチャート（その２）である。以下、各工程の説明を同図に基づいておこなう。ステップＳ１０１〜ステップＳ１０９までは、実施の形態１と全く同様であるから、説明を省略する。ステップＳ１１０以降を説明する前に、本実施の形態の本質部分である分離行列Ｗの初期値算出の具体的方法について説明をした後、各ステップの説明を行う。
【００４１】
分離行列Ｗの初期値の算出は下記の通りに行う。時刻ｔで音源ｓ１（ｔ）とｓ２（ｔ）が混合行列Ａで混合され、その混合結果ｘ１（ｔ）とｘ２（ｔ）が観測されるものとする。音源ｓ１は音声信号源、音源ｓ２は非音声信号源であるとする。また混合行列は時間で変化しないと仮定する。数式で表現すれば下記の（数４）となる。
【数４】

ｘ１（ｔ）とｘ２（ｔ）を観測し、元の音源に分離するような分離行列Ｗを推定することで、音源を分離する。数式で表現すれば（数３）となる。
【００４２】
ここで、音声検出手段により、非音声区間を判定すると、その区間では観測される信号には非音声しか含まれていないことと、Ａ＝Ｗ^-1より、Ａ₁₂／Ａ₂₂＝−Ｗ₁₂／Ｗ₁₁＝αとなる。したがって、Ｗの初期値をＸとすると、Ｘの第一行の成分が、Ｘ₁₂／Ｘ₁₁＝αを満たすようにＷの初期値Ｘを算出する。ただし、Ｘの第二行目の成分は自由変数である。
【００４３】
さて、ここで処理手順のステップの説明に戻る。上記説明に基づき、分離行列の初期値Xを算出する（ステップＳ１１０）。次に、現在の分離行列Ｗと初期値Ｘについて｜−（Ｗ₁₂／Ｗ₁₁）−（Ｘ₁₂／Ｘ₁₁）｜＞ＴＨを評価し、成り立つ場合は、ステップＳ１１２に処理を進め、成り立たない場合は、ステップＳ１１３に処理を進める（ステップＳ１１１）。次に、分離行列を次式で更新する（ステップＳ１１２）。Ｗ₁₁＝Ｗ₁₁，Ｗ₁₂＝（Ｘ₁₂／Ｘ₁₁）×Ｗ₁₁，Ｗ₂₁＝Ｗ₂₁，Ｗ₂₂＝Ｗ₂₂。次に、ステップＳ４で算出した分離信号を出力する（ステップＳ１１３）。分離行列Ｗを（数１）によって更新する（ステップＳ１１４）。次に、ステップＳ１０４で算出した分離信号を出力する（ステップＳ１１５）。次に、入力終了の場合は、処理を終了し、入力が続く場合は、ステップＳ１０３に処理を進める（ステップＳ１１６）。
【００４４】
上述してきたように、本実施の形態２では、非音声区間検出部２０で入力信号の非音声区間を検出することで、非音声のみの信号を知ることができる。これを用いて分離行列の初期値を算出できる。このことでランダムな初期値よりも正解に近い初期値から計算を出発できること、また環境騒音の変化により分離行列が正解から外れた場合に、正解に近い初期値に設定できるので、正しい分離行列を求め易くなる。
【００４５】
（実施の形態３）
図６は、音声抽出装置の処理の処理手順のフローチャート（その３）である。以下、各工程の説明を同図に基づいておこなう。実施の形態３は、実施の形態１および実施の形態２を組み合わせたものであり、混合信号をパワーで正規化する処理と分離行列の初期値を算出する処理を音声抽出処理に組み込んだものである。
【００４６】
以下、各工程の説明を同図に基づいておこなう。各音源の確率密度関数を予め知識として記憶する（ステップＳ２０１）。ただし、環境雑音等、未知の音源の確率密度関数は当然ながら保持する必要はない。具体的には、例えば、携帯電話を所有する所有人物が、携帯電話を電話として使用する前に所有者の音声信号を携帯電話に記憶させ、その音声の振幅をもとに確率密度関数を作成し、これを携帯電話の記憶部に記憶しておく。次に、分離行列Ｗをランダム値で初期化する（ステップＳ２０２）。
【００４７】
次に、１フレーム分のＮ個の混合信号を入力する（ステップＳ２０３）。例えば、ｘ１＝［ｘ１（０），．．．，ｘ１（ｋ−１）］，ｘ２＝［ｘ２（０），．．．，ｘ２（ｋ−１）］，ここで、ｋは１フレームのサンプル数をあらわす。次に、式ｙ＝Ｗｘにより、分離行列Ｗを用いて音源としての混合信号ベクトルｘを分離する（ステップＳ２０４）。式ｙ＝Ｗｘを成分で書くと
【数３】

となる。
【００４８】
次に、分離信号のうち非音声信号源を特定する（ステップＳ２０５）。実際、式ｙ＝Ｗｘで求めた分離信号ｙの成分のうち、非音声に対応する成分を選ぶ。ｙの成分のピッチ相関を算出し、最もピッチ相関が小さいものを非音声に対応する成分とする。非音声に対応する成分がｙ１成分となるように、ｙ、Ｗを並べ替える。たとえば、ｙ２成分が非音声に対応する成分の場合には、ｙ１、ｙ２を入れ替える。これに伴いＷの成分も第一行と第二行を入れ替える。次に、混合信号１の音声または非音声判定を行う。例えば、ピッチ相関を算出し、ピッチ相関＜閾値の場合、非音声と判定し、ピッチ相関≧閾値の場合、音声と判定する（ステップＳ２０６）。
【００４９】
次に、混合信号１が非音声と判定された場合は、ステップＳ２０８に処理を進める。混合信号１が音声と判定された場合は、ステップＳ２１６に処理を進める（ステップＳ２０７）。次に、混合信号２の音声および非音声判定を行う（ステップＳ２０８）。例えば、ピッチ相関を算出し、ピッチ相関＜閾値の場合、非音声と判定し、ピッチ相関≧閾値の場合、音声と判定する。次に、混合信号２が非音声と判定された場合は、ステップＳ２１０に処理を進め、混合信号２が音声と判定された場合は、ステップＳ２１６に処理を進める（ステップＳ２０９）。
【００５０】
次に、混合信号１、２をパワーで正規化する（ステップＳ２１０）。実際、ｘ１（ｔ）＝ｘ１’（ｔ）／ｐ１およびｘ２（ｔ）＝ｘ２’（ｔ）／ｐ２、（ｔ＝０，．．．，ｋ−１）。ｐ１、ｐ２をそれぞれｙ１、ｙ２のフレームパワーとする。非音声信号源の確率密度関数を算出する（ステップＳ２１１）。ｘ１’（ｔ）およびｘ２’（ｔ）を用いて、正規化した非音声区間の信号の振幅の頻度分布を作成する。ｘ１’（ｔ）およびｘ２’（ｔ）は、−１から＋１の範囲の値となるので、−１から＋１の範囲を適当な数Rに分割し、ｒ（ｉ）＝ｑ（ｉ）／Ｎ_allとして非音声信号源の確率密度関数を算出する。ここで、ｉは０，．．．，Ｒ−１の範囲を動き、ｒ（ｉ）は非音声信号源の確率密度関数、ｑ（ｉ）はｉ番目の区間に入る振幅値の頻度（起動時からの総数）、Ｎ_allは振幅値の数（起動時からの総数）である。
【００５１】
次に、非音声信号源の確率密度関数をステップＳ２１１で算出したもので置き換える（ステップＳ２１２）。次に、分離行列の初期値Ｘを算出する（ステップＳ２１３）。次に、現在の分離行列Ｗと初期値Ｘについて｜−（Ｗ₁₂／Ｗ₁₁）−（Ｘ₁₂／Ｘ₁₁）｜＞ＴＨを評価し、成り立つ場合は、ステップＳ２１５に処理を進め、成り立たない場合は、ステップＳ２１６に処理を進める（ステップＳ２１４）。次に、分離行列を次式で更新する（ステップＳ２１５）。Ｗ₁₁＝Ｗ₁₁，Ｗ₁₂＝（Ｘ₁₂／Ｘ₁₁）×Ｗ₁₁，Ｗ₂₁＝Ｗ₂₁，Ｗ₂₂＝Ｗ₂₂。
【００５２】
分離行列Ｗを（数１）によって更新する（ステップＳ２１６）。次に、ステップＳ２０４で算出した分離信号を出力する（ステップＳ２１７）。次に、入力終了の場合は、処理を終了し、入力が続く場合は、ステップＳ２０３に処理を進める（ステップＳ２１８）。
【００５３】
上述してきたように、本実施の形態３では、非音声区間検出部２０で入力信号の非音声区間を検出することで、非音声のみの信号を知ることができるので、これを用いて非音声統計状態推定部３０で非音声信号源の確率密度関数と分離手続き初期化部４０で分離行列の初期値を算出できる。このことで非音声信号源が未知である場合や時間変化する場合にも確率密度関数を正確に求めることができる。さらに、ランダムな初期値よりも正解に近い初期値から計算を出発でき、また環境騒音の変化により分離行列が正解から外れた場合に、正解に近い初期値に設定できるので、正しい分離行列を求め易くなる。これらにより、分離性能の向上が可能となる。
【００５４】
ところで、本実施の形態では、音声抽出装置の処理手順に関する３つの実施の形態について、混合信号の数を２（ｎ＝２）、分離行列Ｗ（２×２行列）の場合について具体的に説明したが、本発明はこれに限定されるものではなく、ｎが一般の場合においても本発明を適用することもできる。
【００５５】
（付記１）特定人の音声信号と該音声信号以外の非音声信号とが混合された混合信号から、前記特定人の音声信号を抽出する音声抽出装置であって、
複数の音源が混合した混合信号から、音声が含まれない非音声区間を検出する非音声区間検出手段と、
前記非音声区間検出手段により検出された非音声区間の情報を用いて非音声の統計状態を推定する非音声統計状態推定手段と、
非音声の統計状態と特定人の音声の統計状態とを用いて、前記特定人の音声信号を抽出する音声信号抽出手段と、
を備えたことを特徴とする音声抽出装置。
【００５６】
（付記２）前記非音声区間検出手段は、単位時間毎に前記混合信号の情報を用いて、音声と非音声との信号特徴量を判定することにより非音声区間を検出することを特徴とする付記１に記載の音声抽出装置。
【００５７】
（付記３）前記非音声区間検出手段は、単位時間毎に前記混合信号間のピッチ相関を算出し、該ピッチ相関を用いて、混合信号が音声信号または非音声信号であるかの判定をおこなうことにより非音声区間を検出することを特徴とする付記１に記載の音声抽出装置。
【００５８】
（付記４）前記音声抽出手段は、前記非音声統計状態推定手段により推定された時間によって変動する非音声の統計状態と知識としての前記特定人の音声の統計状態との統計的な独立性を用いて、前記非音声の統計状態と前記特定人の音声の統計状態の組と前記混合信号の統計状態との相互情報量の隔たりを、前記単位時間毎に逐次更新する分離手続きを行って、前記特定人の音声を抽出することを特徴とする付記１に記載の音声抽出装置。
【００５９】
（付記５）前記非音声統計状態推定手段において算出された統計状態を用いて、前記混合信号の前記分離手続きを初期化する分離手続き初期化手段を備えたことを特徴とする付記１に記載の音声抽出装置。
【００６０】
（付記６）特定人の音声信号と該音声信号以外の非音声信号とが混合された混合信号から、前記特定人の音声信号を抽出する音声抽出プログラムであって、
複数の音源が混合した混合信号から、音声が含まれない非音声区間を検出する非音声区間声検出手順と、
前記非音声区間検出手順により検出された非音声区間の情報を用いて非音声の統計状態を推定する非音声統計状態推定手順と、
非音声の統計状態と特定人の音声の統計状態とを用いて、前記特定人の音声信号を抽出する音声信号抽出手順と、
を備えたことを特徴とする音声抽出プログラム。
【００６１】
（付記７）前記非音声区間検出手順は、単位時間毎に前記混合信号の情報を用いて、音声と非音声との信号特徴量を判定することにより非音声区間を検出することを特徴とする付記６に記載の音声抽出プログラム。
【００６２】
（付記８）前記非音声区間検出手順は、単位時間毎に前記混合信号間のピッチ相関を算出し、該ピッチ相関を用いて、混合信号が音声信号または非音声信号であるかの判定をおこなうことにより非音声区間を検出することを特徴とする付記６に記載の音声抽出プログラム。
【００６３】
（付記９）前記音声抽出手順は、前記非音声統計状態推定手順により推定された時間によって変動する非音声の統計状態と知識としての前記特定人の音声の統計状態との統計的な独立性を用いて、前記非音声の統計状態と前記特定人の音声の統計状態の組と前記混合信号の統計状態との相互情報量の隔たりを、前記単位時間毎に逐次更新する分離手続きを行って、前記特定人の音声を抽出することを特徴とする付記６に記載の音声抽出プログラム。
【００６４】
（付記１０）前記非音声統計状態推定手順において算出された統計状態を用いて、前記混合信号の前記分離手続きを初期化する分離手続き初期化手順を備えたことを特徴とする付記６に記載の音声抽出プログラム。
【００６５】
（付記１１）特定人の音声信号と該音声信号以外の非音声信号とが混合された混合信号から、前記特定人の音声信号を抽出する音声抽出方法であって、
複数の音源が混合した混合信号から、音声が含まれない非音声区間を検出する非音声区間声検出工程と、
前記非音声区間検出工程により検出された非音声区間の情報を用いて非音声の統計状態を推定する非音声統計状態推定工程と、
非音声の統計状態と特定人の音声の統計状態とを用いて、前記特定人の音声信号を抽出する音声信号抽出工程と、
を備えたことを特徴とする音声抽出方法。
【００６６】
【発明の効果】
以上説明したように、請求項１の発明によれば、複数の音源が混合した混合信号から、音声が含まれない非音声区間を検出し、検出された非音声区間の情報を用いて非音声の統計状態を推定し、非音声の統計状態と特定人の音声の統計状態とを用いて、前記特定人の声を抽出することとしたので、時間変化する環境雑音を伴う混合信号から目的とする音声信号を抽出することが可能な音声抽出装置が得られるという効果を奏する。
【００６８】
また、請求項２の発明によれば、単位時間毎に混合信号間のピッチ相関を算出し、該ピッチ相関を用いて、混合信号が音声信号または非音声信号であるかの判定をおこなうこととしたので、単位時間毎に混合信号の中から環境雑音を抽出し、単位時間毎に環境雑音の統計状態を推定することが可能な音声抽出装置が得られるという効果を奏する。
【００７０】
また、請求項３の発明によれば、音声信号が含まれない非音声区間で信号を分離するための分離行列と、音声抽出手段が適応的に求めた分離行列との差が大きい場合は、音声信号が含まれない非音声区間で信号を分離するための分離行列を用いて信号の分離を行うこととしたので、分離行列が正解から外れた場合に分離行列を正解に近いものに置き換えることができ、もって、安定であり確度の高い音声信号の抽出が可能な音声抽出装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の概略構成を示す図である。
【図２】音声抽出装置の機能ブロック図である。
【図３】本発明の音声通信方式への適用例の図である。
【図４】音声抽出装置の処理手順のフローチャート（その１）である。
【図５】音声抽出装置の処理手順のフローチャート（その２）である。
【図６】音声抽出装置の処理手順のフローチャート（その３）である。
【符号の説明】
１０音声抽出装置
２０非音声区間検出部
３０非音声統計状態推定部
４０分離手続き初期化部
５０，１００音声抽出部
６０音声統計状態推定部
７０音声統計状態記憶部
１１０音声符号化部
１２０送信部[0001]
BACKGROUND OF THE INVENTION
The present invention uses a plurality of input signals mixed with a plurality of sound sources and the statistical independence of sound sources included in the input signals to mix a specific person's voice signal and a non-speech signal other than the sound signal. In particular, a voice extraction device that extracts a specific person's voice from a mixed signal in consideration of the statistical state depending on the time of the sound source. The present invention relates to a speech extraction device that can separate and transmit only transmitted speech.
[0002]
[Prior art]
When signals from multiple signal sources are mixed, the method of separating each signal is called independent component analysis only on the condition that signals from different signal sources are statistically independent from each other. Yes. Currently, the well-known independent component analysis method (see, for example, Non-Patent Document 1) assumes that the signal source is unknown and the signals of the signal source are linearly combined and observed at a certain rate, A technique using a method of separating mixed signals based on the concept of statistical independence is disclosed.
[0003]
In the independent component analysis, when the number of mixed signals is equal to or more than the number of statistically independent signal sources, the mixed signal that is a mixture of the independent signals is separated, and the unknown signal source Methods for identifying signals are known. For example, there is Non-Patent Document 1. However, the method according to the non-patent literature cannot separate mixed signals composed of statistically independent sound source signals larger than the number of mixed signals.
[0004]
On the other hand, Patent Document 1 discloses a method of delaying the observation time of mixed signals for independent sound source signals larger than the number of mixed signals and sequentially separating and updating the mixed signals.
[0005]
[Non-Patent Document 1]
S.Amari, T.P.Chen, and A.Cichocki, "Stability analysis of learning algorithms for blind source separation" Neural Networks, Vol. 10, No. 8, pp. 1345-1351
[Patent Document 1]
JP 2002-55969 A
[0006]
[Problems to be solved by the invention]
However, since the technique of Patent Document 1 does not include a time-dependent statistical mechanism in the method of sequentially separating and updating the mixed signal, considering the situation where the sound source is moving, the signal source In a situation where the mixing method itself changes with time, it is not possible to properly separate the mixed signals.
[0007]
For this reason, a mixed signal composed of statistically independent sound source signals equal to or greater than the number of mixed signals is separated according to the purpose while sequentially separating the mixed signals in consideration of the statistical state of the mixed signal that varies with time. Extracting a sound source signal is a very important issue. In particular, in a mobile phone system and a live broadcast, a speaker may move with a microphone, so environmental noise may be mixed into the microphone owned by the speaker. In such a situation, it is necessary to separate the mixed environmental noise and the transmitted voice in consideration of time-varying environmental noise and transmit only the transmitted voice.
[0008]
The present invention has been made to solve the above-described problems of the prior art, and uses a plurality of input signals mixed with a plurality of sound sources and the statistical independence of the sound sources included in the input signals. To extract a voice of a specific person from a mixed signal obtained by mixing a voice signal and a non-voice signal other than the voice signal in consideration of a statistical state depending on the time of a sound source. Objective.
[0009]
[Means for Solving the Problems]
The present invention has been made to achieve the above object, and the speech extraction device according to claim 1A speech extraction device that extracts a speech signal by using a separation matrix W defined by the following equations (1) and (2) for a mixed signal obtained by mixing a sound speech signal and a non-speech signal: ,
[Expression 1]

[Expression 2]

Each separated signal separated from the mixed signal by using the separation matrix W is a non-speech signal determining unit that determines whether or not each separated signal is a non-speech signal. A non-speech state calculating means for creating a frequency distribution of amplitudes using each separated signal and determining a probability density function of a non-speech signal using the frequency distribution when the signal is determined to be a signal; Voice signal extraction means for extracting the voice signal by updating P1 in the equation (2) with the probability density function of the non-voice signal calculated by the voice state calculation means;It is characterized by.
[0010]
According to the first aspect of the present invention, a non-speech section that does not include speech is detected from a mixed signal in which a plurality of sound sources are mixed, and a non-speech statistical state is estimated using information of the detected non-speech section. Since the voice of the specific person is extracted using the non-speech statistical state and the statistical state of the specific person's voice, the target audio signal is extracted from the mixed signal with time-varying environmental noise. can do.
[0013]
  A speech extraction device according to claim 2 is the invention according to claim 1, whereinNonThe audio signal determination means calculates a pitch correlation between the mixed signals every unit time, and determines whether the separated signal is an audio signal or a non-audio signal using the pitch correlation.
[0014]
  This claim2According to the invention, the pitch correlation between the mixed signals is calculated every unit time, and it is determined whether the mixed signal is an audio signal or a non-audio signal using the pitch correlation. The environmental noise can be extracted from the mixed signal every time, and the statistical state of the environmental noise can be estimated every unit time.
[0017]
  Claims3According to the invention of claim 1 or 2,When the non-speech signal determination unit determines that any separation signal is a non-speech signal, the non-speech signal determination unit includes an initialization unit that initializes a separation matrix that separates the signal from the mixed signal, and the sound signal extraction unit includes If the difference between the updated separation matrix and the separation matrix initialized by the initialization means exceeds a predetermined value, the initialization means is used as a separation matrix for extracting the audio signal. Use a separation matrix initialized byIt is characterized by.
[0018]
  This claim3According to the invention ofWhen there is a large difference between the separation matrix for separating the signal in the non-speech section that does not include the speech signal and the separation matrix that is obtained adaptively by the speech extraction means, the signal is transmitted in the non-speech section that does not contain the speech signal. Since the separation of the signal is performed using the separation matrix for separating the separation matrix, the separation matrix can be replaced with one close to the correct answer when the separation matrix deviates from the correct answer,A stable and highly accurate audio signal can be extracted.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a speech extraction device according to the present invention will be explained below in detail with reference to the accompanying drawings. In this embodiment, for convenience, a case where two mixed signals are separated will be described. However, a case where a mixed signal composed of at least one audio signal source and at least one non-audio signal source is also separated is intended. The audio signal to be extracted can be extracted.
[0020]
Hereinafter, after describing the schematic configuration of the present invention, the concept of the processing procedure of the speech extraction device will be described. Finally, several embodiments will be described based on a flowchart as a processing procedure of the post-voice extraction apparatus.
[0021]
First, a schematic configuration of a speech extraction device according to the present invention will be described. FIG. 1 is a diagram showing a schematic configuration of the present invention. As a plurality of sound sources, sound extraction for extracting sound corresponding to each sound source from n sound sources from non-sound source 1 to non-sound source n and m sound sources from sound source 1 to sound source m There are devices 1 to m. Each sound extraction device is provided with a microphone, and receives a mixed signal transmitted from a non-sound source and a sound source. In addition, each voice extraction device extracts a target voice signal from the received mixed signal and outputs the voice signal separated from the mixed signal to another server using the Internet, a wireless or wired dedicated communication line. To do.
[0022]
Next, functions of the voice extraction device will be described. FIG. 2 is a functional block diagram of the voice extraction device. Each function will be described with reference to FIG.
[0023]
The speech extraction apparatus 10 estimates the statistical state of each speech signal in advance in the speech statistical state estimation unit 60 and separates the estimation result from the speech statistical state in order to separate the mixed signal composed of the speech and non-speech sound sources online. This is stored as knowledge in the storage unit 70.
[0024]
The non-speech section detection unit 20 inputs a mixed signal for each frame of signal data (a collection of signal data corresponding to the number of signal sources, which is actually considered as a vector quantity). Perform voice or non-voice determination.
[0025]
The non-speech statistical state estimation unit 30 receives the speech and non-speech determination result and the mixed signal from the non-speech interval detection unit 20, and creates a frequency distribution of amplitude values using the mixed signal in the non-speech interval. The statistical state can be obtained by dividing the frequency of the amplitude value by the number of observations.
[0026]
The separation procedure initialization unit 40 receives a determination result of speech or non-speech and a mixed signal from the non-speech section detection unit 20 and a processing method of the separation procedure from the speech extraction unit 50. The separation procedure initialization unit 40 determines the initial procedure of the separation procedure processing method using the mixed signal of the non-voice section. If there is a certain quantitative difference between the processing method of the separation procedure input from the speech extraction unit 50 and the processing method of the separation procedure determined by the separation procedure initialization unit 40, the speech extraction is performed. The processing method of the separation procedure of the unit 50 is initialized.
[0027]
The speech extraction unit 50 receives the mixed signal, the statistical state of the non-speech signal from the non-speech statistical state estimation unit 30, and the separation procedure processing method initialized from the separation procedure initialization unit 40. A statistical independence measure is calculated using the statistical state of the speech signal source previously stored as knowledge in the state storage unit 70 and the statistical state of the non-speech sound source calculated by the non-speech statistical state estimation unit 30, Update the processing method of the separation procedure with the norm that increases the nature. The voice signal and the non-voice signal are separated using the processing method of the updated separation procedure.
[0028]
FIG. 3 will be described as an application example of the above-described processing procedure of the voice extraction apparatus to the voice communication system. As shown in the figure, a mixed signal composed of an audio signal and a non-audio signal is input as two mixed signals by the input means 1 and the input means 2 of the audio extraction device 1. These two mixed signals are separated by the

voice extraction units

50 and 100 to become a voice signal and a non-voice signal. The processing so far is the processing of the speech extraction device. However, the speech extraction method according to the present invention can be applied to the speech communication system by adding the speech encoding unit 110 and the transmission unit 120 to the speech extraction device.
[0029]
Hereinafter, a specific description of the independent component analysis necessary for the processing description of the voice extraction unit of the voice extraction device will be described using mathematical expressions. It is assumed that independent sound source signals s (s is a sound source signal vector) are mixed by a mixing matrix A having a certain time constant, and a mixed signal x (mixed signal vector) is observed. Expressed as a mathematical formula, x = As. Hereinafter, this equation will be referred to as an observation equation.
Sound source signal vector s = (s₁(T), ..., s_n(T))^T,
Mixed signal vector x = (x₁(T), ..., x_n(T))^T,
Mixing matrix A (n × n matrix),
Signal vector y = (y₁(T), ..., y_n(T))^T
And
[0030]
At this time, using the mixed signal x, the separation matrix W is obtained with the statistical independence of the signal as a clue, and the sound source is separated. Expressed by a mathematical formula, y = Wx. Hereinafter, this equation will be referred to as a separation equation. When x is separated by the separation formula (actually, the matrix W is multiplied from the left of the vector x), the problem arises in that the separation matrix W is obtained so that y becomes independent. The separation matrix W is adaptively updated with the following formula so that the statistical independence between the sound sources increases.
[Expression 1]

here,
[Expression 2]

Η is a sufficiently small positive coefficient that adjusts the magnitude of the separation update.
[0031]
In (Equation 1), the relative entropy (such as the amount of information of the Cullback and the library) between the probability density function of the signal vector of the separation result and the product of each peripheral distribution of the signal vector of the separation result is calculated. The direction in which the relative entropy as a function is minimized is derived using the concept of gradient flow. Here, the important fact is that it is not necessary to calculate the probability density function of the separation result, and the probability density function of the mixed signal vector may be derived. Therefore, the problem is how to estimate the probability density function of the separation vector from the mixed signal vector.
[0032]
Hereinafter, three embodiments relating to the processing procedure of the voice extraction device will be described. Hereinafter, the case where the number of mixed signals is 2 (n = 2) and the separation matrix W (2 × 2 matrix) will be specifically described.
[0033]
(Embodiment 1)
FIG. 4 is a flowchart (part 1) of the processing procedure of the processing of the voice extraction device. Hereinafter, each process will be described with reference to FIG. The probability density function of each sound source is stored in advance as knowledge (step S001). However, the probability density function of unknown sound sources, such as environmental noise, need not be retained. Specifically, for example, the owner who owns the mobile phone stores the voice signal of the owner in the mobile phone before using the mobile phone as a phone, and based on the amplitude of the voice, the voice statistical state estimation unit 60 creates a probability density function and stores it in the voice statistics state storage 70 of the mobile phone.
[0034]
Next, the separation matrix W is initialized with a random value (step S002). Next, N mixed signals for one frame are input (step S003). For example, x1 = [x1 (0),. . . , X1 (k−1)], x2 = [x2 (0),. . . , X2 (k−1)], where k represents the number of samples in one frame. Next, the mixed signal vector x as the sound source is separated using the separation matrix W by the equation y = Wx (step S004). If you write the equation y = Wx as a component
[Equation 3]

It becomes.
[0035]
Next, a non-speech signal source is identified from the separated signals (step S005). Actually, the component corresponding to the non-speech is selected from the components of the separated signal y obtained by the equation y = Wx. The pitch correlation of the y component is calculated, and the component having the smallest pitch correlation is defined as a component corresponding to non-voice. Y and W are rearranged so that the component corresponding to the non-voice becomes the y1 component. For example, when the y2 component is a component corresponding to non-voice, y1 and y2 are switched. Along with this, the first row and the second row of the W component are also switched. Next, voice or non-voice determination of the mixed signal 1 is performed. For example, a pitch correlation is calculated, and when pitch correlation <threshold, it is determined as non-voice, and when pitch correlation ≧ threshold, it is determined as voice (step S006).
[0036]
Next, when it is determined that the mixed signal 1 is non-speech, the process proceeds to step S008. If it is determined that the mixed signal 1 is voice, the process proceeds to step S013 (step S007). Next, the voice and non-voice determination of the mixed signal 2 is performed (step S008). For example, a pitch correlation is calculated. If pitch correlation <threshold, it is determined as non-voice, and if pitch correlation ≧ threshold, it is determined as voice. Next, when the mixed signal 2 is determined to be non-speech, the process proceeds to step S010, and when the mixed signal 2 is determined to be sound, the process proceeds to step S013 (step S009).
[0037]
Next, the mixed signals 1 and 2 are normalized by power (step S010). In fact, x1 (t) = x1 ′ (t) / p1 and x2 (t) = x2 ′ (t) / p2, (t = 0,..., K−1). Let p1 and p2 be the frame powers of y1 and y2, respectively. A probability density function of the non-speech signal source is calculated (step S011). Using x1 '(t) and x2' (t), a frequency distribution of the amplitude of the signal of the normalized non-voice section is created. Since x1 ′ (t) and x2 ′ (t) have values in the range of −1 to +1, the range of −1 to +1 is divided into an appropriate number R, and r (i) = q (i) / N_allThe probability density function of the non-speech signal source is calculated as follows. Here, i is 0,. . . , R−1, r (i) is the probability density function of the non-speech signal source, q (i) is the frequency of the amplitude value entering the i-th interval (total number from the start), N_allIs the number of amplitude values (total number since startup).
[0038]
Next, the probability density function of the non-speech signal source is replaced with the one calculated in step S011 (step S012). Next, the separation matrix W is updated by (Equation 1) (step S013). Next, the separation signal calculated in step S004 is output (step S014). Next, when the input is completed, the process is terminated, and when the input is continued, the process proceeds to step S003 (step S015).
[0039]
As described above, in the first embodiment, the non-speech section detection unit 20 detects the non-speech section of the input signal, so that a non-speech signal can be known. The probability density function of the source can be calculated. As a result, even when the non-speech signal source is unknown or changes over time, the probability density function can be accurately obtained, and therefore the separation performance can be improved.
[0040]
(Embodiment 2)
FIG. 5 is a flowchart (part 2) of the processing procedure of the processing of the voice extraction device. Hereinafter, each process will be described with reference to FIG. Steps S101 to S109 are exactly the same as those in the first embodiment, and thus description thereof is omitted. Before describing step S110 and subsequent steps, a specific method for calculating an initial value of the separation matrix W, which is an essential part of the present embodiment, will be described, and then each step will be described.
[0041]
The initial value of the separation matrix W is calculated as follows. It is assumed that the sound sources s1 (t) and s2 (t) are mixed by the mixing matrix A at time t, and the mixing results x1 (t) and x2 (t) are observed. It is assumed that the sound source s1 is an audio signal source and the sound source s2 is a non-audio signal source. It is also assumed that the mixing matrix does not change with time. When expressed by a mathematical formula, the following (Equation 4) is obtained.
[Expression 4]

The sound source is separated by observing x1 (t) and x2 (t) and estimating a separation matrix W that separates the original sound source. If expressed by a mathematical formula, (Equation 3) is obtained.
[0042]
Here, when the non-voice section is determined by the voice detection means, the signal observed in the section includes only non-voice, and A = W^-1A₁₂/ A_{twenty two}= -W₁₂/ W₁₁= Α. Therefore, if the initial value of W is X, the component in the first row of X is X₁₂/ X₁₁= The initial value X of W is calculated so as to satisfy α. However, the component in the second row of X is a free variable.
[0043]
Now, let us return to the description of the steps of the processing procedure. Based on the above description, the initial value X of the separation matrix is calculated (step S110). Next, for the current separation matrix W and the initial value X, | − (W₁₂/ W₁₁)-(X₁₂/ X₁₁) |> TH is evaluated, and if satisfied, the process proceeds to step S112, and if not, the process proceeds to step S113 (step S111). Next, the separation matrix is updated by the following equation (step S112). W₁₁= W₁₁, W₁₂= (X₁₂/ X₁₁) X W₁₁, W_{twenty one}= W_{twenty one}, W_{twenty two}= W_{twenty two}. Next, the separation signal calculated in step S4 is output (step S113). The separation matrix W is updated by (Equation 1) (step S114). Next, the separation signal calculated in step S104 is output (step S115). Next, if the input is completed, the process is terminated, and if the input continues, the process proceeds to step S103 (step S116).
[0044]
As described above, in the second embodiment, the non-speech section detection unit 20 detects the non-speech section of the input signal, so that a non-speech-only signal can be known. Using this, the initial value of the separation matrix can be calculated. This makes it possible to start the calculation from an initial value closer to the correct answer than the random initial value, and when the separation matrix deviates from the correct answer due to changes in environmental noise, it can be set to an initial value close to the correct answer. It becomes easy to ask.
[0045]
(Embodiment 3)
FIG. 6 is a flowchart (part 3) of the processing procedure of the processing of the voice extraction device. Hereinafter, each process will be described with reference to FIG. The third embodiment is a combination of the first embodiment and the second embodiment, and incorporates the process of normalizing the mixed signal with power and the process of calculating the initial value of the separation matrix into the speech extraction process. is there.
[0046]
Hereinafter, each process will be described with reference to FIG. The probability density function of each sound source is stored in advance as knowledge (step S201). However, the probability density function of unknown sound sources, such as environmental noise, need not be retained. Specifically, for example, the owner who owns the mobile phone stores the voice signal of the owner in the mobile phone before using the mobile phone as a phone, and creates a probability density function based on the amplitude of the voice This is stored in the storage unit of the mobile phone. Next, the separation matrix W is initialized with a random value (step S202).
[0047]
Next, N mixed signals for one frame are input (step S203). For example, x1 = [x1 (0),. . . , X1 (k−1)], x2 = [x2 (0),. . . , X2 (k−1)], where k represents the number of samples in one frame. Next, the mixed signal vector x as the sound source is separated using the separation matrix W by the equation y = Wx (step S204). If you write the equation y = Wx as a component
[Equation 3]

It becomes.
[0048]
Next, a non-speech signal source is identified from the separated signals (step S205). Actually, the component corresponding to the non-speech is selected from the components of the separated signal y obtained by the equation y = Wx. The pitch correlation of the y component is calculated, and the component having the smallest pitch correlation is defined as a component corresponding to non-voice. Y and W are rearranged so that the component corresponding to the non-voice becomes the y1 component. For example, when the y2 component is a component corresponding to non-voice, y1 and y2 are switched. Along with this, the first row and the second row of the W component are also switched. Next, voice or non-voice determination of the mixed signal 1 is performed. For example, a pitch correlation is calculated, and when pitch correlation <threshold, it is determined as non-voice, and when pitch correlation ≧ threshold, it is determined as voice (step S206).
[0049]
Next, when it is determined that the mixed signal 1 is non-speech, the process proceeds to step S208. If it is determined that the mixed signal 1 is sound, the process proceeds to step S216 (step S207). Next, the voice and non-voice determination of the mixed signal 2 is performed (step S208). For example, a pitch correlation is calculated. If pitch correlation <threshold, it is determined as non-voice, and if pitch correlation ≧ threshold, it is determined as voice. Next, if the mixed signal 2 is determined to be non-speech, the process proceeds to step S210, and if the mixed signal 2 is determined to be sound, the process proceeds to step S216 (step S209).
[0050]
Next, the mixed signals 1 and 2 are normalized by power (step S210). In fact, x1 (t) = x1 ′ (t) / p1 and x2 (t) = x2 ′ (t) / p2, (t = 0,..., K−1). Let p1 and p2 be the frame powers of y1 and y2, respectively. A probability density function of the non-speech signal source is calculated (step S211). Using x1 '(t) and x2' (t), a frequency distribution of the amplitude of the signal of the normalized non-voice section is created. Since x1 ′ (t) and x2 ′ (t) have values in the range of −1 to +1, the range of −1 to +1 is divided into an appropriate number R, and r (i) = q (i) / N_allThe probability density function of the non-speech signal source is calculated as follows. Here, i is 0,. . . , R−1, r (i) is the probability density function of the non-speech signal source, q (i) is the frequency of the amplitude value entering the i-th interval (total number from the start), N_allIs the number of amplitude values (total number since startup).
[0051]
Next, the probability density function of the non-speech signal source is replaced with the one calculated in step S211 (step S212). Next, the initial value X of the separation matrix is calculated (step S213). Next, for the current separation matrix W and the initial value X, | − (W₁₂/ W₁₁)-(X₁₂/ X₁₁) |> TH is evaluated, and if satisfied, the process proceeds to step S215, and if not, the process proceeds to step S216 (step S214). Next, the separation matrix is updated with the following equation (step S215). W₁₁= W₁₁, W₁₂= (X₁₂/ X₁₁) X W₁₁, W_{twenty one}= W_{twenty one}, W_{twenty two}= W_{twenty two}.
[0052]
The separation matrix W is updated by (Equation 1) (step S216). Next, the separation signal calculated in step S204 is output (step S217). Next, if the input is completed, the process is terminated, and if the input continues, the process proceeds to step S203 (step S218).
[0053]
As described above, in the third embodiment, since the non-speech section detection unit 20 detects the non-speech section of the input signal, the non-speech signal can be known. The statistical state estimation unit 30 can calculate the probability density function of the non-speech signal source and the separation procedure initialization unit 40 can calculate the initial value of the separation matrix. This makes it possible to accurately obtain the probability density function even when the non-speech signal source is unknown or changes over time. Furthermore, the calculation can be started from an initial value closer to the correct answer than the random initial value, and when the separation matrix deviates from the correct answer due to changes in environmental noise, the initial value close to the correct answer can be set. It becomes easy. As a result, the separation performance can be improved.
[0054]
By the way, in the present embodiment, three embodiments related to the processing procedure of the speech extraction device will be specifically described in the case of the number of mixed signals being 2 (n = 2) and the separation matrix W (2 × 2 matrix). However, the present invention is not limited to this, and the present invention can be applied even when n is general.
[0055]
(Additional remark 1) It is the audio | voice extraction apparatus which extracts the said specific person's audio | voice signal from the mixed signal with which the specific person's audio | voice signal and non-voice signals other than this audio signal were mixed,
A non-speech section detecting means for detecting a non-speech section that does not include speech from a mixed signal in which a plurality of sound sources are mixed;
A non-speech statistical state estimation unit that estimates a non-speech statistical state using information of a non-speech segment detected by the non-speech segment detection unit;
A voice signal extracting means for extracting the voice signal of the specific person using the statistical state of the non-voice and the statistical state of the voice of the specific person;
A speech extraction device comprising:
[0056]
(Additional remark 2) The said non-speech section detection means detects a non-speech section by determining the signal feature-value of a sound and a non-speech using the information of the said mixed signal for every unit time. The speech extraction device according to attachment 1.
[0057]
(Additional remark 3) The said non-voice area detection means calculates the pitch correlation between the said mixed signals for every unit time, and determines whether a mixed signal is an audio | voice signal or a non-audio signal using this pitch correlation. The speech extraction apparatus according to supplementary note 1, wherein a non-speech section is detected by:
[0058]
(Additional remark 4) The said voice extraction means carries out the statistical independence of the statistical state of the non-speech statistical state which changes with the time estimated by the said non-speech statistical state estimation means, and the statistical state of the said specific person's voice as knowledge. Using the non-speech statistical state and the set of statistical states of the specific person's speech and the separation of mutual information between the statistical state of the mixed signal, a separation procedure for sequentially updating each unit time, The speech extraction apparatus according to appendix 1, wherein speech of the specific person is extracted.
[0059]
(Additional remark 5) The separation procedure initialization means which initializes the said separation procedure of the said mixed signal using the statistical state calculated in the said non-speech statistical state estimation means is provided. Voice extraction device.
[0060]
(Additional remark 6) It is the audio | voice extraction program which extracts the said specific person's audio | voice signal from the mixed signal with which the audio | voice signal of the specific person and the non audio | voice signal other than this audio signal were mixed,
A non-speech segment voice detection procedure for detecting a non-speech segment that does not include speech from a mixed signal in which a plurality of sound sources are mixed;
A non-speech statistical state estimation procedure for estimating a non-speech statistical state using information of a non-speech segment detected by the non-speech segment detection procedure;
A voice signal extraction procedure for extracting the voice signal of the specific person using a non-voice statistical state and a statistical state of the voice of the specific person;
A voice extraction program characterized by comprising:
[0061]
(Additional remark 7) The said non-speech section detection procedure detects a non-speech section by determining the signal feature-value of a sound and a non-speech using the information of the said mixed signal for every unit time. The voice extraction program according to attachment 6.
[0062]
(Additional remark 8) The said non-speech section detection procedure calculates the pitch correlation between the said mixed signals for every unit time, and determines whether a mixed signal is a speech signal or a non-speech signal using this pitch correlation. The speech extraction program according to appendix 6, wherein a non-speech section is detected as a result.
[0063]
(Supplementary Note 9) The voice extraction procedure is a method of calculating statistical independence between a non-speech statistical state that varies with time estimated by the non-speech statistical state estimation procedure and a statistical state of the specific person's speech as knowledge. Using the non-speech statistical state and the set of statistical states of the specific person's speech and the separation of mutual information between the statistical state of the mixed signal, a separation procedure for sequentially updating each unit time, The voice extraction program according to appendix 6, wherein the voice of the specific person is extracted.
[0064]
(Supplementary note 10) The method according to supplementary note 6, further comprising a separation procedure initialization procedure for initializing the separation procedure of the mixed signal using the statistical state calculated in the non-speech statistical state estimation procedure. Voice extraction program.
[0065]
(Additional remark 11) It is the audio | voice extraction method which extracts the said specific person's audio | voice signal from the mixed signal with which the specific person's audio | voice signal and non audio | voice signals other than this audio signal were mixed,
A non-speech section voice detection step of detecting a non-speech section that does not include speech from a mixed signal in which a plurality of sound sources are mixed;
A non-speech statistical state estimation step of estimating a non-speech statistical state using information of the non-speech interval detected by the non-speech interval detection step;
A voice signal extraction step of extracting the voice signal of the specific person using the statistical state of the non-voice and the statistical state of the voice of the specific person;
A speech extraction method characterized by comprising:
[0066]
【The invention's effect】
As described above, according to the first aspect of the present invention, a non-speech section that does not include speech is detected from a mixed signal in which a plurality of sound sources are mixed, and non-speech is performed using information of the detected non-speech section. The voice state of the specific person is extracted using the statistical state of the non-voice and the statistical state of the voice of the specific person. This produces an effect of obtaining a voice extraction device that can extract a voice signal to be played.
[0068]
Claims2According to the invention, the pitch correlation between the mixed signals is calculated every unit time, and it is determined whether the mixed signal is an audio signal or a non-audio signal using the pitch correlation. There is an effect that an audio extraction device capable of extracting the environmental noise from the mixed signal every time and estimating the statistical state of the environmental noise every unit time can be obtained.
[0070]
Claims3According to the invention ofWhen there is a large difference between the separation matrix for separating the signal in the non-speech section that does not include the speech signal and the separation matrix that is obtained adaptively by the speech extraction means, the signal is transmitted in the non-speech section that does not contain the speech signal. Since the separation of the signal is performed using the separation matrix for separating the separation matrix, the separation matrix can be replaced with one close to the correct answer when the separation matrix deviates from the correct answer,There is an effect that a voice extraction device that can extract a voice signal that is stable and highly accurate can be obtained.
[Brief description of the drawings]
FIG. 1 is a diagram showing a schematic configuration of the present invention.
FIG. 2 is a functional block diagram of a voice extraction device.
FIG. 3 is a diagram of an application example of the present invention to a voice communication system.
FIG. 4 is a flowchart (No. 1) of a processing procedure of the voice extraction device.
FIG. 5 is a flowchart (No. 2) of the processing procedure of the voice extraction device;
FIG. 6 is a flowchart (No. 3) of the processing procedure of the voice extraction device;
[Explanation of symbols]
10 Voice extractor
20 Non-speech section detector
30 Non-speech statistical state estimation unit
40 Separation Procedure Initialization Department
50,100 voice extractor
60 Voice statistics state estimation unit
70 Voice statistics state storage
110 Speech coding unit
120 Transmitter

Claims

A speech extraction device that extracts a speech signal using a separation matrix W defined by the following formulas (1) and (2) for a mixed signal obtained by mixing a speech signal and a non-speech signal,

Non-speech signal determining means for determining whether each separated signal separated from the mixed signal using the separation matrix W is a non-speech signal;
When it is determined by the non-speech signal determination means that any separated signal is a non-speech signal, a frequency distribution of amplitude is created using each separated signal, and the probability of the non-speech signal is generated using the frequency distribution. A non-speech state calculating means for calculating a density function;
A voice signal extracting means for extracting the voice signal by updating P1 in the equation (2) with the probability density function of the non-voice signal calculated by the non-voice state calculating means;
A speech extraction device comprising:

The non- speech signal determination means calculates a pitch correlation between the mixed signals every unit time, and determines whether the separated signal is a speech signal or a non-speech signal using the pitch correlation. The speech extraction device according to claim 1.

An initialization means for initializing a separation matrix for separating a signal from the mixed signal when any of the separated signals is determined to be a non-voice signal by the non-speech signal determination means;
The audio signal extraction unit extracts the audio signal when there is a predetermined difference or more between the updated separation matrix and the separation matrix initialized by the initialization unit. The speech extraction apparatus according to claim 1 or 2, wherein a separation matrix initialized by the initialization unit is used.