JP6541588B2

JP6541588B2 - 音声信号処理装置、方法及びプログラム

Info

Publication number: JP6541588B2
Application number: JP2016012288A
Authority: JP
Inventors: 堀内　俊治; 俊治堀内
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2016-01-26
Filing date: 2016-01-26
Publication date: 2019-07-10
Anticipated expiration: 2036-01-26
Also published as: JP2017134153A

Description

本発明は、入力される音声信号を記録し、或いは、通信インタフェースから送信する場合において、背景雑音及び不要な話者音声を除去する音声信号処理装置、方法及びプログラムに関する。

音声の記録装置や、音声通信装置においては、背景雑音に加え、記録又は通信対象である必要な話者の音声以外の不要な音声を除去することが望まれる。マイクロホン等により取得される信号のうち、必要な話者音声に比べて不要な話者音声が背景雑音と同程度に小さい場合、不要な話者音声及び背景雑音は、背景雑音を除去する技術により取り除くことができる。一方、不要な話者音声が必要な話者音声と同じ程度に大きい場合、どちらの音声がマイクロホンに近いかの判別が必要となる。通常、マイクロホンに近い位置にいる話者からの音声が、必要な話者音声であり、以下では、このマイクロホンに近い位置にいる話者を近接話者と呼ぶ。一方、近接話者よりマイクロホンから遠い位置にいる話者からの音声は、通常、不要な話者音声であり、以下では、不要な話者を遠隔話者と呼ぶものとする。例えば、近接話者が使用するメインのマイクロホンに加えて、１つ以上のサブのマイクロホンを使用することで、近接話者からの音声であるか、遠隔話者からの音声であること判別できる。しかしながら、機器に複数のマイクロホンを搭載する必要があり、例えば、携帯電話の様に、１つのマイクロホンのみを搭載している機器においては、この方法を利用することはできない。

非特許文献１から４は、音声に含まれる残響の影響に基づき、１つのマイクロホンで話者の遠近を判別して、遠隔話者からの音声を抑圧する構成を開示している。具体的には、非特許文献１から４は、残響と相関があることが知られている音声信号の線形予測残差の尖度に基づき、１つのマイクロホンで収録された音声が、近接話者からのものであるか、遠隔話者からのものであるかを判別することを開示している。

林田亘平、他、"線形予測残差の尖度に基づく近端/遠端話者判別の提案"，電子情報通信学会技術研究報告２０１４１１３（４５２），ＳＰ２０１３・１０７，１−６林田亘平、他、"線形予測残差の尖度に基づく近端/遠端話者判別の検討"，日本音響学会研究発表会講演論文集２０１４年春季，１−４−１２，２３−２４Ｋ．Ｈａｙａｓｈｉｄａ，ｅｔａｌ．，"Ｃｌｏｓｅ／ＤｉｓｔａｎｔＴａｌｋｅｒＤｉｓｃｒｉｍｉｎａｔｉｏｎＢａｓｅｄｏｎＫｕｒｔｏｓｉｓｏｆＬｉｎｅａｒＰｒｅｄｉｃｔｉｏｎＲｅｓｉｄｕａｌＳｉｇｎａｌｓ"，Ｐｒｏｃ．２０１４ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＡｃｏｕｓｔｉｃｓ，ＳｐｅｅｃｈａｎｄＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ（ＩＣＡＳＳＰ２０１４），２０１４年，２３４６−２３５０林田亘平、他、"音声の線形予測残差の尖度に基づく近接/遠隔話者の判別"，電子情報通信学会論文誌Ａ基礎・境界，２０１５年，Ｊ９８−Ａ（２），１９０−１９９

しかしながら、非特許文献１から４に記載の構成では、近接話者の音声が背景雑音よりも小さい場合や、遠隔話者からの音声信号レベルが、近接話者からの音声信号レベル以上の場合には、背景雑音や遠隔話者からの音声信号を十分に抑圧することができない。

本発明は、背景雑音及び遠隔話者からの音声信号を精度良く抑圧できる音声信号処理装置、方法及びプログラムを提供するものである。

本発明の一側面によると、音声信号処理装置は、マイクロホンで取得した入力信号を時間区間で分割して複数の区間信号を生成する第１生成手段と、前記複数の区間信号それぞれについて近接話者の音声成分を含むか否かを判定し、前記入力信号の各時間区間について、近接話者の音声成分を含む第１区間であるか近接話者の音声成分を含まない第２区間であるかを示す表示信号を生成する第２生成手段と、前記複数の区間信号それぞれを周波数領域の複数の第１信号に変換する第１変換手段と、各第１信号を複数の周波数帯域に分割し、第１信号の各周波数帯域における雑音成分に基づき当該第１信号の各周波数帯域の信号レベルを調整して第２信号を生成する第３生成手段と、前記第２信号を複数の周波数帯域に分割し、前記第２信号の各周波数帯域の重み係数を、前記表示信号及び前記第２信号の元となった第１信号に基づき決定し、前記第２信号の各周波数帯域の信号レベルを前記決定した重み係数で重み付けすることで第３信号を生成する第４生成手段と、前記第３信号を時間領域の信号に変換する第２変換手段と、を備え、前記第４生成手段は、前記重み係数として第１の値、又は、前記第１の値より小さい第２の値を使用し、前記表示信号が、前記第２信号の時間区間が前記第２区間であると示していると、前記第２信号の各周波数帯域の重み係数を前記第２の値に決定し、前記表示信号が、前記第２信号の時間区間が前記第１区間であると示していると、前記第２信号の各周波数帯域の第２信号レベルと、前記第２信号の元となった第１信号の同じ周波数帯域の第１信号レベルとを比較し、前記第２信号レベルが前記第１信号レベル以上である前記第２信号の周波数帯域の重み係数を前記第２の値に決定し、それ以外の前記第２信号の周波数帯域の重み係数を前記第１の値に決定することを特徴とする。

本発明によると、背景雑音及び遠隔話者からの音声信号を精度良く抑圧することができる。

一実施形態による音声信号処理装置の構成図。一実施形態による検出部の構成図。一実施形態による除去部の構成図。一実施形態による入力信号の分割方法の説明図。一実施形態によるマスク部での処理の説明図。

以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。

図１は、本実施形態による音声信号処理装置の構成図である。マイクロホンにより取得した入力信号である音声信号は分割部１に入力される。分割部１は、連続信号である入力信号を所定の時間単位で区切り、所定の時間区間の区間信号に分割する。区間の分割方法は、図４（Ａ）に示す様に、隣接する区間において入力信号の重複領域が存在しない様に行う構成とすることができる。或いは、図４（Ｂ）に示す様に、スライディング・ウィンドウにより、つまり、隣接する区間において入力信号の重複領域が存在する様に行う構成であっても良い。図４（Ｂ）に示す様に、隣接する区間において入力信号の重複領域が存在する様に区切る場合には、例えば、ハミング窓といった窓関数を使用して重複領域における信号レベルを調整する。

検出部２は、例えば、非特許文献１から４に記載されている様に、区間信号それぞれに対して、音声信号の線形予測残差の尖度に基づき近接話者からの音声成分を含むか否かを判定し、各時間区間について、近接話者による音声成分が存在する第１区間と、近接話者による音声成分が存在しない第２区間を示す近接話者区間表示信号をマスク部５に出力する。図２は、非特許文献１から４に記載の検出部２の構成図である。予測部２１は、区間信号から将来の区間信号の予測を行い、残差算出部２２は、予測した区間信号から、実際の区間信号を減じることで残差信号を求める。尖度算出部２３は、残差信号の尖度を求め、区間検出部２４は、尖度と閾値を比較することで近接話者による音声信号を含む区間を示す近接話者区間表示信号を出力する。具体的には、尖度が閾値以上であると、第１区間と判定し、尖度が閾値未満であると第２区間と判定する。

一方、変換部３は、区間信号をフーリエ変換して、周波数領域の信号Ｘ１に変換する。除去部４は、周波数領域の信号を所定の周波数区間（周波数帯域）に分割し、各周波数区間の信号対雑音比（ＳＮＲ）に基づき各周波数区間のレベルを調整し、信号Ｘ１の背景雑音を低減した周波数領域の信号Ｘ２を出力する。図３は、除去部４の構成例を示すブロック図である。雑音推定部４１は、各周波数区間について雑音レベルを推定する。雑音推定部４１は、例えば、複数の時間区間に対する信号Ｘ１の変化により各周波数区間に定常的に存在する雑音を推定することができる。また、雑音推定部４１は、信号Ｘ１のレベルにより近接話者による音声信号が存在しない時間区間を判定し、この時間区間における信号Ｘ１に基づき各周波数区間の雑音を推定することができる。ＳＮＲ推定部４２は、各周波数区間のＳＮＲを推定する。利得算出部４３は、各周波数区間のＳＮＲに基づき、各周波数区間の利得を算出する。なお、周波数区間のＳＮＲが高くなる程、つまり、周波数区間の品質が高くなる程、当該周波数区間の利得を高くする。調整部４４は、各周波数区間の周波数成分に、当該周波数区間の利得を乗ずることで信号Ｘ２を出力する。ＳＮＲが悪い周波数区間については、小さい利得を乗じてそのレベルを小さくすることで、雑音レベルを抑える。なお、上記処理は、通常、デジタル領域で行われる。つまり、変換部３は、離散フーリエ変換により区間信号を離散的な周波数の各成分を含む信号Ｘ１に変換する。この場合、信号Ｘ１を構成する複数の離散的な周波数成分の１つの周波数成分を１つの周波数区間とすることができる。また、信号Ｘ１を構成する複数の離散的な周波数成分の２つ以上を纏めて１つの周波数区間とすることができる。

マスク部５は、変換部３からの信号Ｘ１と、除去部４からの信号Ｘ２と、検出部２からの近接話者区間表示信号に基づき周波数領域の信号Ｙを出力する。まず、マスク部５は、各時間区間の信号Ｘ２を、所定の周波数区間に分割する。この周波数区間は、除去部４における周波数区間と同じ帯域幅としても、異なる帯域幅としても良い。図５は、周波数方向において４つの区間＃１〜＃４に分割した状態を示している。以下では、時間区間＃ｔであり、周波数区間＃ｆである信号Ｘ２の部分をＸ２（ｔ，ｆ）と表記する。マスク部５は、信号Ｘ１も、信号Ｘ２と同じ周波数区間に分割する。以下では、時間区間＃ｔであり、周波数区間＃ｆである信号Ｘ１の部分をＸ１（ｔ，ｆ）と表記する。また、マスク部５が出力する信号Ｙについて、時間区間＃ｔであり、周波数区間＃ｆである部分をＹ（ｔ，ｆ）と表記する。

マスク部５が出力する信号Ｙ（ｔ，ｆ）は、以下の式で表される。
Ｙ（ｔ，ｆ）＝ｍ×Ｘ２（ｔ，ｆ）（１）
ここで、重み係数ｍは０以上の値であり、かつ、第１の値か、第１の値より小さい第２の値に設定される。例えば、第１の値は１であり、第２の値は０又は０．５とすることができる。ｍの値を第１の値とするか、第２の値とするかは、近接話者区間表示信号と、信号Ｘ２（ｔ，ｆ）及び信号Ｘ１（ｔ，ｆ）との比較とに基づき判定される。

具体的には、近接話者区間表示信号が近接話者による音声成分が存在していない、つまり第２区間であると示す時間区間においては重み係数ｍを第２の値とする。一方、近接話者区間表示信号が近接話者による音声成分が存在している、つまり、第１区間であると示す時間区間＃ｔ１においては、Ｘ１（ｔ１，ｆ）の絶対値がＸ２（ｔ１，ｆ）の絶対値より大きい周波数区間に対してはｍを第１の値とし、それ以外の周波数区間においてはｍを第２の値とする。なお、デジタル領域の処理において、１つの周波数成分が１つの周波数区間に対応する場合には、当該１つの周波数成分の振幅の絶対値が比較対象となる。一方、１つの周波数区間が複数の周波数成分を含む場合には、各周波数成分の絶対値の積算値が比較対象となる。

例えば、図５において、時間区間＃１及び＃３が第２区間であり、時間区間＃２が第１区間であると近接話者区間表示信号が示しているものとする。さらに、Ｘ１（２，１）及びＸ１（２，２）の絶対値は、それぞれ、Ｘ２（２，１）及びＸ２（２，２）の絶対値より大きく、Ｘ１（２，３）及びＸ１（２，４）の絶対値は、それぞれ、Ｘ２（２，３）及びＸ２（２，４）の絶対値以下であるものとする。この場合、マスク部５は、Ｘ２（２，１）及びＸ２（２，２）に対する重み係数ｍを第１の値とし、それ以外の時間周波数区間についての重み係数を第２の値とする。そして、Ｘ２（２，１）及びＸ２（２，２）には第１の値を乗じ、それ以外の時間周波数区間については第２の値を乗ずることで信号Ｙを生成する。

逆変換部６は、各時間区間の信号Ｙに対して逆フーリエ変換を行い、各時間区間について時間領域の信号を出力する。合成部７は、各時間区間の信号を合成して、連続的な時間信号を出力する。なお、合成部７の処理は分割部１における処理に応じて決定される。具体的には、図４（Ａ）に示す様に重複領域が存在しない様に分割した場合には、単に、逆変換部６が出力する各時間区間の信号をその時間順に並べる。一方、図４（Ｂ）に示す様に重複領域が存在する様に分割した場合には、各時間区間の信号に対して分割したときと同じ重複領域を設けて合成する。この際、重複領域においては、分割したときの窓関数に基づき重複領域の合成の際の重みを調整する。

以上、本実施形態においては、除去部４において雑音成分を抑圧する。なお、遠隔話者の音声レベルが、近接話者の音声レベルより小さいと、除去部４において遠隔話者の音声レベルを抑圧できる。また、本実施形態においては、検出部２により各時間区間において、近接話者による音声成分が存在していないかを判定する。近接話者による音声成分が存在していないと判定された時間区間においては重み係数ｍを第２の値とすることで、遠隔話者の音声成分のみが存在する区間や音声信号が存在しない区間のレベルを抑圧する。なお、近接話者による音声成分が存在すると判定された時間区間においては、近接話者と遠隔話者の両方の音声成分が存在し得る。なお、上述した様に、遠隔話者の音声レベルが、近接話者の音声レベルより小さい場合においては、除去部４により遠隔話者の音声レベルは抑圧されている。しかしながら、近接話者と遠隔話者の音声成分の両方が存在し、かつ、遠隔話者の音声レベルが近接話者の音声レベルと同程度、或いは、近接話者の音声レベルより大きい状態の場合、除去部４では、遠隔話者の音声レベルを抑圧できない。

本実施形態において、マスク部５は、第１区間については、周波数区間に分割し、周波数区間毎に信号Ｘ１と信号Ｘ２のレベルを比較する。遠隔話者の音声レベルが近接話者の音声レベルより大きい周波数区間においては、スペクトラム変形が生じ、除去部４における利得が高くなる。したがって、信号Ｘ２のパワー成分は、信号Ｘ１のパワー成分以上となる。したがって、信号Ｘ２の絶対値が信号Ｘ１の絶対値以上である周波数区間については、遠隔話者の音声レベルが近接話者の音声レベルより大きい周波数区間であると判定し、当該周波数区間の重み係数を第２の値とし、その信号レベルを小さくする。この構成により、背景雑音及び遠隔話者の音声レベルを抑えた信号Ｙを得ることができる。

なお、本発明による音声信号処理装置は、コンピュータを上記音声信号処理装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。

１：分割部、２：検出部、３：変換部、４：除去部、５：マスク部、６：逆変換部、７：合成部

Claims

マイクロホンで取得した入力信号を時間区間で分割して複数の区間信号を生成する第１生成手段と、
前記複数の区間信号それぞれについて近接話者の音声成分を含むか否かを判定し、前記入力信号の各時間区間について、近接話者の音声成分を含む第１区間であるか近接話者の音声成分を含まない第２区間であるかを示す表示信号を生成する第２生成手段と、
前記複数の区間信号それぞれを周波数領域の複数の第１信号に変換する第１変換手段と、
各第１信号を複数の周波数帯域に分割し、第１信号の各周波数帯域における雑音成分に基づき当該第１信号の各周波数帯域の信号レベルを調整して第２信号を生成する第３生成手段と、
前記第２信号を複数の周波数帯域に分割し、前記第２信号の各周波数帯域の重み係数を、前記表示信号及び前記第２信号の元となった第１信号に基づき決定し、前記第２信号の各周波数帯域の信号レベルを前記決定した重み係数で重み付けすることで第３信号を生成する第４生成手段と、
前記第３信号を時間領域の信号に変換する第２変換手段と、
を備え、
前記第４生成手段は、前記重み係数として第１の値、又は、前記第１の値より小さい第２の値を使用し、前記表示信号が、前記第２信号の時間区間が前記第２区間であると示していると、前記第２信号の各周波数帯域の重み係数を前記第２の値に決定し、前記表示信号が、前記第２信号の時間区間が前記第１区間であると示していると、前記第２信号の各周波数帯域の第２信号レベルと、前記第２信号の元となった第１信号の同じ周波数帯域の第１信号レベルとを比較し、前記第２信号レベルが前記第１信号レベル以上である前記第２信号の周波数帯域の重み係数を前記第２の値に決定し、それ以外の前記第２信号の周波数帯域の重み係数を前記第１の値に決定することを特徴とする音声信号処理装置。
前記第２生成手段は、区間信号の予測残差の尖度を閾値と比較することで、当該区間信号の時間区間が前記第１区間であるか第２区間であるかを判定することを特徴とする請求項１に記載の音声信号処理装置。
前記第３生成手段は、前記第１信号の各周波数帯域の信号対雑音比を求め、周波数帯域の信号対雑音比が高くなる程、信号レベルが高くなる様に前記第１信号の各周波数帯域の信号レベルを調整することを特徴とする請求項１又は２に記載の音声信号処理装置。
マイクロホンで取得した入力信号を時間区間で分割して複数の区間信号を生成する第１生成ステップと、
前記複数の区間信号それぞれについて近接話者の音声成分を含むか否かを判定し、前記入力信号の各時間区間について、近接話者の音声成分を含む第１区間であるか近接話者の音声成分を含まない第２区間であるかを示す表示信号を生成する第２生成ステップと、
前記複数の区間信号それぞれを周波数領域の複数の第１信号に変換する第１変換ステップと、
各第１信号を複数の周波数帯域に分割し、第１信号の各周波数帯域における雑音成分に基づき当該第１信号の各周波数帯域の信号レベルを調整して第２信号を生成する第３生成ステップと、
前記第２信号を複数の周波数帯域に分割し、前記第２信号の各周波数帯域の重み係数を、前記表示信号及び前記第２信号の元となった第１信号に基づき決定し、前記第２信号の各周波数帯域の信号レベルを前記決定した重み係数で重み付けすることで第３信号を生成する第４生成ステップと、
前記第３信号を時間領域の信号に変換する第２変換ステップと、
を含み、
前記重み係数として第１の値、又は、前記第１の値より小さい第２の値が使用され、
前記表示信号が、前記第２信号の時間区間が前記第２区間であると示していると、前記第２信号の各周波数帯域の重み係数は、前記第２の値に決定され、
前記表示信号が、前記第２信号の時間区間が前記第１区間であると示していると、前記第２信号の各周波数帯域の第２信号レベルと、前記第２信号の元となった第１信号の同じ周波数帯域の第１信号レベルとを比較し、前記第２信号レベルが前記第１信号レベル以上である前記第２信号の周波数帯域の重み係数は、前記第２の値に決定され、それ以外の前記第２信号の周波数帯域の重み係数は前記第１の値に決定されることを特徴とする音声信号処理方法。
請求項１から３のいずれか１項に記載の音声信号処理装置としてコンピュータを機能させることを特徴とするプログラム。