Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6967966B2 - オーディオ通信内の音声データを背景データから分離する方法及び機器 - Google Patents
[go: Go Back, main page]

JP6967966B2 - オーディオ通信内の音声データを背景データから分離する方法及び機器 - Google Patents

オーディオ通信内の音声データを背景データから分離する方法及び機器 Download PDF

Info

Publication number
JP6967966B2
JP6967966B2 JP2017518295A JP2017518295A JP6967966B2 JP 6967966 B2 JP6967966 B2 JP 6967966B2 JP 2017518295 A JP2017518295 A JP 2017518295A JP 2017518295 A JP2017518295 A JP 2017518295A JP 6967966 B2 JP6967966 B2 JP 6967966B2
Authority
JP
Japan
Prior art keywords
audio communication
voice
model
caller
voice model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017518295A
Other languages
English (en)
Other versions
JP2017532601A5 (ja
JP2017532601A (ja
Inventor
オゼロフ,アレクセイ
カーン ゴク ドン,クアン
シュヴァリエ,ルイス
Original Assignee
インターデジタル マディソン パテント ホールディングス, エスアーエス
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インターデジタル マディソン パテント ホールディングス, エスアーエス filed Critical インターデジタル マディソン パテント ホールディングス, エスアーエス
Publication of JP2017532601A publication Critical patent/JP2017532601A/ja
Publication of JP2017532601A5 publication Critical patent/JP2017532601A5/ja
Application granted granted Critical
Publication of JP6967966B2 publication Critical patent/JP6967966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0272Voice signal separating
    • G10L21/028Voice signal separating using properties of sound source
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephonic Communication Services (AREA)
  • Telephone Function (AREA)
  • Time-Division Multiplex Systems (AREA)

Description

技術分野
本発明は、一般に通信内の音響雑音を抑制することに関する。具体的には、本発明はオーディオ通信内の音声データを背景データから分離する方法及び機器に関する。
背景
この節は、以下に記載の及び/又は特許請求の範囲に記載の本開示の様々な態様に関係し得る技術の様々な側面を読者に紹介することを意図する。この解説は、本開示の様々な態様をより良く理解するのを助けるための背景情報を読者に与えるのに有用だと考えられる。従って、これらの記述は従来技術の承認としてではなく、かかる観点から読まれるべきことを理解すべきである。
オーディオ通信、とりわけ無線通信は、例えば交通量の多い道やバーの中等の雑音のある環境で着呼される場合がある。その場合、背景雑音が原因で通信内の一方が音声を理解することが非常に困難となる場合が多くある。従って、音声の明瞭度を向上させるために有益となる、不所望の背景雑音を抑制すると共に目的の音声を保つことがオーディオ通信における重要な問題である。
受聴者の通信装置上で抑制が実装される雑音抑制の遠端実装と、話者の通信装置上で抑制が実装される近端実装とがある。先に言及した受聴者又は話者の通信装置は、スマートフォンやタブレット等であり得ることが理解され得る。商業的観点からは遠端実装の方が魅力的である。
従来技術は、オーディオ通信向けの雑音抑制を実現する幾つかの知られている解決策を含む。
この点に関する知られている解決策の1つは音声強調と呼ばれている。Y. Ephraim及びD. Malah著「Speech enhancement using a minimum mean square error short-time spectral amplitude estimator」IEEE Trans. Acoust. Speech Signal Process. 32, 1109-1121, 1984(以下参考文献1と呼ぶ)の中で或る例示的方法が論じられた。しかし、音声強調のかかる解決策には幾つかの不利点がある。音声強調は、定常雑音、即ち時間不変のスペクトル特性を有する雑音によって表わされる背景しか抑制しない。
もう1つの知られている解決策は、オンラインソース分離と呼ばれている。L. S. R. Simon及びE. Vincent著「A general framework for online audio source separation」International conference on Latent Variable Analysis and Signal Separation, Tel-Aviv, Israel, Mar. 2012(以下参考文献2と呼ぶ)の中で或る例示的方法が論じられた。オンラインソース分離の解決策は非定常背景を扱うことを可能にし、音声と背景の両ソースの高度なスペクトルモデルに通常基づく。しかし、オンラインソース分離は、分離しようとする実際のソースをソースモデルが適切に表すかどうかに強く依存する。
その結果、通話品質を改善することができるようにオーディオ通信の音声データを背景データから分離するために、オーディオ通信における雑音抑制を改善することが引き続き求められている。
概要
本発明の開示は、オーディオ通信内の音声データを背景データから分離する機器及び方法について記載する。
第1の態様によれば、オーディオ通信内の音声データを背景データから分離する方法が提案される。この方法は、オーディオ通信に、オーディオ通信の音声データを背景データから分離する音声モデルを適用するステップと、オーディオ通信中の音声データ及び背景データに応じて音声モデルを更新するステップとを含む。
一態様では、更新済みの音声モデルをオーディオ通信に適用する。
一態様では、発呼者の通話頻度及び通話時間に応じて、オーディオ通信の発呼者に関連する音声モデルを適用する。
一態様では、発呼者の通話頻度及び通話時間に応じて、オーディオ通信の発呼者に関連しない音声モデルを適用する。
一態様では、この方法は、オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、更新済みの音声モードを記憶するステップを更に含む。
一態様では、この方法は、発呼者の通話頻度及び通話時間に応じて、オーディオ通信後に音声モデルをオーディオ通信の発呼者に関連するように変更するステップを更に含む。
第2の態様によれば、オーディオ通信内の音声データを背景データから分離する機器が提案される。この機器は、オーディオ通信に、オーディオ通信の音声データを背景データから分離する音声モデルを適用する適用ユニットと、オーディオ通信中の音声データ及び背景データに応じて音声モデルを更新する更新ユニットとを含む。
一態様では、適用ユニットが更新済みの音声モデルをオーディオ通信に適用する。
一態様では、発呼者の通話頻度及び通話時間に応じて、適用ユニットがオーディオ通信の発呼者に関連する音声モデルを適用する。
一態様では、発呼者の通話頻度及び通話時間に応じて、適用ユニットがオーディオ通信の発呼者に関連しない音声モデルを適用する。
一態様では、この機器は、オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、更新済みの音声モードを記憶する記憶ユニットを更に含む。
一態様では、この機器は、発呼者の通話頻度及び通話時間に応じて、オーディオ通信後に音声モデルをオーディオ通信の発呼者に関連するように変更する変更ユニットを更に含む。
第3の態様によれば、通信ネットワークからダウンロード可能であり、コンピュータによって読取可能な媒体上に記録され、且つ/又はプロセッサによって実行可能なコンピュータプログラム製品が提案される。コンピュータプログラムは、本発明の開示の第2の態様による方法のステップを実施するプログラムコード命令を含む。
第4の態様によれば、そこに記録され、プロセッサによって実行され得るコンピュータプログラム製品を含む非一時的コンピュータ可読媒体が提案される。この非一時的コンピュータ可読媒体は、本発明の開示の第2の態様による方法のステップを実施するプログラムコード命令を含む。
本発明の更に多くの態様及び利点が、本発明の以下の詳細な説明の中で見つかることを理解すべきである。
図面の簡単な説明
添付図面は、実施形態の原理を説明するのに役立つ説明と共に、本発明の実施形態の更なる理解を与えるために含める。本発明は実施形態に限定されることはない。
本発明の一実施形態による、オーディオ通信内の音声データを背景データから分離する方法を示す流れ図である。 本開示を実装することができる一例示的システムを示す。 オーディオ通信内の音声データを背景データから分離する一例示的プロセスを示す図である。 本発明の一実施形態による、オーディオ通信内の音声データを背景データから分離する機器のブロック図である。
詳細な説明
次に、本発明の一実施形態を図面に関連して詳細に説明する。以下の説明では、簡潔にするために既知の機能及び構成の一部の詳細な説明を省く場合がある。
図1は、本発明の一実施形態による、オーディオ通信内の音声データを背景データから分離する方法を示す流れ図である。
図1に示すように、ステップS101で、この方法は、オーディオ通信に、オーディオ通信の音声データを背景データから分離する音声モデルを適用する。
音声モデルは、オーディオ通信の音声データを背景データから分離する、A. Ozerov, E. Vincent及びF. Bimbot著「A general flexible framework for the handling of prior information in audio source separation」IEEE Trans. on Audio, Speech and Lang. Proc., vol. 20, no. 4, pp. 1118-1133, 2012(以下参考文献3と呼ぶ)の中で記載されているもの等、任意の知られている音源分離アルゴリズムを使用することができる。この意味で、「モデル」という用語はここではこの技術分野内の任意のアルゴリズム/方法/手法/処理を指す。
音声モデルは、関心のある音源(ここでは音声又は特定の話者の音声)を表す特徴的スペクトルパターンの辞書として理解することができるスペクトルソースモデルとすることもできる。例えば、非負行列因子分解(NMF)ソーススペクトルモデルでは、特定の時間枠における混合内の対応するソース(ここでは音声)を表すために、これらのスペクトルパターンを非負係数と組み合わせる。混合ガウスモデル(GMM)ソーススペクトルモデルでは、特定の時間枠における混合内の対応するソース(ここでは音声)を表すために、最も可能性が高いスペクトルパターンを1つだけ選択する。
音声モデルは、オーディオ通信の発呼者に関連して適用することができる。例えば音声モデルは、発呼者の過去のオーディオ通信に従い、オーディオ通信のその発呼者に関連して適用される。その場合、音声モデルを「話者モデル」と呼ぶことができる。関連付けは発呼者のID、例えば発呼者の電話番号に基づき得る。
オーディオ通信の通話履歴内のN人の発呼者に対応するN個の音声モデルを含むようにデータベースを構築することができる。
オーディオ通信の開始時に、発呼者に割り当てる話者モデルをデータベースから選択し、オーディオ通信に適用することができる。N人の発呼者は、それらの者の通話頻度及び総通話時間に基づいて通話履歴内の全発呼者から選択され得る。つまり、より頻繁に通話し、累積通話時間がより長い発呼者は、話者モデルが割り当てられるN人の発呼者一覧内に優先して含められる。数Nは、オーディオ通信に使用される通信装置のメモリ容量に応じて設定することができ、例えば5、10、50、100等とすることができる。
利用者の通話頻度又は総通話時間に従い、通話履歴内にない発呼者に対してオーディオ通信の発呼者に関連しない汎用音声モデルを割り当てることができる。つまり、新たな発呼者には汎用音声モデルを割り当てることができる。通話履歴内にあるが、あまり頻繁に通話しない発呼者にも汎用音声モデルを割り当てることができる。
話者モデルと同様に、汎用音声モデルは、オーディオ通信の音声データを背景データから分離する任意の知られている音源分離アルゴリズムであり得る。例えば汎用音声モデルは、ソーススペクトルモデル又はNMFやGMM等のよく知られているモデルに関する特徴的スペクトルパターンの辞書であり得る。汎用音声モデルと話者モデルとの違いは、汎用音声モデルが、多くの異なる話者の音声サンプルのデータセット等、何らかの音声サンプルからオフラインで学習(又は訓練)されることである。そのため、話者モデルは特定の発呼者の音声及び声を表す傾向があるのに対し、汎用音声モデルは特定の話者に焦点を合わせることなく、人間の音声全般を表す傾向がある。
例えば男性/女性や大人/子供に関して、様々な分類の話者に対応するように幾つかの汎用音声モデルを設定することができる。その場合、話者の性別及び/又は平均年齢を決定するために話者の分類を検出する。その検出結果に応じて適切な汎用音声モデルを選択することができる。
ステップS102で、この方法は、オーディオ通信中の音声データ及び背景データに応じて音声モデルを更新する。
概して上記の適合は、知られているスペクトルソースモデル適合アルゴリズムを使用し、オーディオ通信の「音声だけの(雑音のない)」セグメント及び「背景だけの」セグメントを検出することに基づき得る。この点に関するより詳細な説明を特定のシステムに関して以下で示す。
更新済みの音声モデルは、現在のオーディオ通信に使用される。
この方法は、オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、更新済みの音声モデルをデータベース内に記憶するステップS103を更に含み得る。音声モデルが話者モデルである場合、更新済みの音声モデルはデータベース内に十分な空き容量がある場合にデータベース内に記憶される。音声モデルが話者モデルである場合、この方法は、例えば通話頻度や総通話時間に従い、更新済みの汎用音声モデルを音声モデルとしてデータベース内に記憶するステップを更に含み得る。
この実施形態の方法によれば、オーディオ通信の開始時に、この方法は、例えば入電の発呼者IDに従い、対応する話者モデルが音声モデルのデータベース内に既に記憶されているかどうかをまず確認する。話者モデルが既にデータベース内にある場合、そのオーディオ通信の音声モデルとしてその話者モデルを使用する。話者モデルはオーディオ通信中に更新することができる。その理由は、例えば発呼者の声が何らかの病気によって変わることがあるからである。
音声モデルのデータベース内に対応する話者モデルが記憶されていない場合、そのオーディオ通信の音声モデルとして汎用音声モデルを使用する。その発呼者により良く適合するように、汎用音声モデルも通話中に更新することができる。汎用音声モデルについては、この方法は、汎用音声モデルをオーディオ通信の発呼者に関連する話者モデルに変更できるかどうかを通話の終了時に判定することができる。例えば、発呼者の通話頻度や総通話時間に従い、汎用音声モデルを発呼者の話者モデルへと変更すべきだと判定される場合、その汎用音声モデルをその発呼者に関連する話者モデルとしてデータベース内に記憶する。データベースの空き容量が限られている場合、頻度がより低くなった1つ又は複数の話者モデルを破棄できることが理解され得る。
図2は、本開示を実装することができる一例示的システムを示す。このシステムは、電話システムや移動通信システム等、2人以上の当事者間のオーディオ通信を伴う任意の種類の通信システムとすることができる。図2のシステムでは、オンラインソース分離の遠端実装が示されている。しかし、本発明の実施形態は近端実装等の他のやり方でも実装できることが理解され得る。
図2に示すように、音声モデルのデータベースは最大N個の話者モデルを含む。図2に示すように、話者モデルはMaxのモデル、Annaのモデル、Bobのモデル、Johnのモデル等、それぞれの発呼者に関連する。
話者モデルに関して、過去の全発呼者の総通話時間をそれらの者のIDに従って累積する。発呼者ごとの「総通話時間」とは、その発呼者が通話していた合計時間、即ち「通話時間_1+通話時間_2+...+通話時間_K」を意味する。従って、ある意味では「総通話時間」は発呼者の情報通話頻度及び通話時間の両方を反映する。通話時間は、話者モデルを割り当てるために、最も頻度の高い発呼者を識別するために使用する。一実施形態では、「総通話時間」は或る時間窓の中でのみ、例えば過去12カ月内でのみ計算され得る。このように期間を限定することにより、過去に沢山通話していたがここしばらく通話していない発呼者の話者モデルを破棄するのを助ける。
最も頻度の高い発呼者を識別するために他のアルゴリズムも利用できることが理解され得る。例えば、通話頻度及び/又は通話時間の組合せをこの目的で検討することができる。更なる詳細は示さない。
図2に示すように、データベースは、オーディオ通信の特定の発呼者に関連しない汎用音声モデルも含む。汎用音声モデルは、何らかの音声信号データセットから訓練することができる。
新たな入電があると、発呼者に対応する話者モデル又は話者に依存しない汎用音声モデルを使用することにより、データベースの音声モデルが適用される。
図2に示すように、Bobが発呼している場合、話者モデル「Bobのモデル」がデータベースから選択されてこの通話に適用される、なぜならその話者モデルが通話履歴に従ってBobに割り当てられているからである。
この実施形態では、Bobのモデルは、ソーススペクトルモデルでもある背景ソースモデルであり得る。背景ソースモデルは、特徴的スペクトルパターンの辞書であり得る(例えばNMFやGMM)。そのため、背景ソースモデルの構造は音声ソースモデルと全く同じであり得る。主な違いはモデルのパラメータ値にあり、例えば背景モデルの特徴的スペクトルパターンは背景を表すべきであるのに対し、音声モデルの特徴的スペクトルパターンは音声を表すべきである。
図3は、オーディオ通信内の音声データを背景データから分離する一例示的プロセスを示す図である。
図3に示すプロセスでは、通話中に以下のステップを実行する。
1.以下の3つの状態のうちの現在の信号の状態を検出するために検出器を起動する。
a.音声だけ
b.背景だけ
c.音声+背景
当技術分野で知られている検出器、例えばShafran, I.及びRose, R.著2003,「Robust speech detection and segmentation for real-time ASR applications」Proceedings of IEEE International Conference no Acoustics, Speech, and Signal Processing (ICASSP). Vol. 1. 432-435)(以下参考文献4と呼ぶ)の中で解説されている検出器を上記の目的で使用することができる。オーディオイベントの検出に関する他の多くの手法と同様に、この手法は主に以下のステップを利用する。信号を複数の時間枠へと切り出し、或る特徴、例えばメル周波数ケプストラム係数(MFCC)のベクトルをフレームごとに計算する。例えば幾つかのGMM(各GMMは1つのイベントを表す)(ここでは「音声だけ」、「背景だけ」、及び「音声+背景」という3つのイベントがある)に基づく分類子を各特徴ベクトルに適用し、所与の時点における対応するオーディオイベントを検出する。例えばGMMに基づく分類子は、オーディオイベントのラベルが知られている(例えば人間によってラベル付けされている)何らかのオーディオデータからオフラインで予め訓練される必要がある。
2.「音声だけ」の状態では、話者ソースモデルが、例えば参考文献2の中に記載のアルゴリズムを使用してオンラインで学習される。オンライン学習とは、通話の経過内で入手可能な新たな信号の観察と共にモデル(ここでは話者モデル)のパラメータが継続的に更新される必要があることを意味する。つまり、アルゴリズムは過去の音サンプルしか使用できず、(装置のメモリの制約により)過去の音サンプルを記憶し過ぎるべきではない。参考文献2に関して説明した手法によれば、(参考文献2によればNMFモデルである)話者モデルのパラメータが、小さい定数(例えば10個)の直近のフレームから抽出される統計情報を使用してスムーズに更新される。
3.「背景だけ」の状態では、背景ソースモデルが、例えば参考文献2の中に記載のアルゴリズムを使用してオンラインで学習される。このオンラインでの背景ソースモデルの学習は、先の項目の中で説明した話者モデルの通りに行われる。
4.「音声+背景」の状態では、例えばZ. Duan, G. J. Mysore及びP. Smaragdis著「Online PLCA for real-time semi-supervised source separation」International Conference on Latent Variable Analysis and Source Separation (LVA/ICA). 2012, Springer(以下参考文献5と呼ぶ)の中で記載されているアルゴリズムを使用し、背景ソースモデルが固定されると仮定して、話者モデルがオンラインで適合される。この手法は、上記のステップ2及びステップ3の中で説明したのと同様である。それらとの唯一の違いは、このオンライン適合がクリーンなソース(「音声だけ又は背景だけ」)ではなくソースの混合(「音声+背景」)から行われることである。上記の目的のために、オンライン学習(項目2及び項目3)と同様のプロセスを適用する。違いは、この場合、話者ソースモデル及び背景ソースモデルが一緒に復号され、話者モデルは継続的に更新される一方で背景モデルは固定したままであることである。
或いは、話者ソースモデルが固定されると仮定し、背景ソースモデルを適合させることができる。しかし、「通常の雑音のある状況」では背景のないセグメント(「音声だけ」の検出)よりも音声のないセグメント(「背景だけ」の検出)を有する可能性が高いことが多いので、話者ソースモデルを更新する方が有利であり得る。つまり、背景ソースモデルは(音声のないセグメント上で)十分満足に訓練され得る。従って、「音声+背景」セグメント上で話者ソースモデルを適合させる方が有利であり得る。
5.最後に、クリーンな音声を推定するためにソース分離を継続的に適用する(図3参照)。このソース分離プロセスは、パラメータが2つのモデル(話者ソースモデル及び背景ソースモデル)及び雑音のある音声から推定される適合フィルタであるウィーナフィルタに基づく。参考文献2及び参考文献5がこの点に関してより詳細を示している。更なる情報は示さない。
通話の終了時に以下のステップを実行する。
1.その利用者の総通話時間を更新する。このステップは、既に記憶されている場合は単純にその時間を増加させることによって、又はその利用者が初めて発呼する場合は現在の通話時間でその時間を初期設定することによって行うことができる。
2.その話者の音声モデルが既にモデルのデータベース内にある場合、その音声モデルをデータベース内で更新する。
3.そうではなく音声モデルがデータベース内にない場合、データベースがN個の話者モデル未満で構成される場合にのみ、又は話者が他の者のうちで上位N個の通話時間内にある場合にのみ、音声モデルをデータベースに追加する(何れにせよデータベース内に常に最大N個のモデルがあるように頻度が低い話者のモデルはデータベースから削除する)。
本発明は、携帯電話の場合に通常そうであるように、同じ電話番号が同一人物によって使用される前提に依拠することに留意されたい。自宅の固定電話では、例えば家族全員がその電話を使う可能性があるのでかかる前提が該当しない場合がある。しかし自宅の電話の場合、背景を抑制することはさほど重大なことではない。実際、単純に音楽を止め、又は他の者に静かに話すように頼むことが大抵可能である。つまり、背景を抑制することが必要な殆どの場合この前提が該当し、該当しない場合でも(実際、通話するために他人の携帯電話を借りることもある)、新たな条件に合わせて話者モデルを継続的に再適合させるため、提案するシステムが機能しなくなることはない。
本発明の一実施形態は、オーディオ通信内の音声データを背景データから分離する機器を提供する。図4は、本発明の一実施形態による、オーディオ通信内の音声データを背景データから分離する機器のブロック図である。
図4に示すように、オーディオ通信内の音声データを背景データから分離する機器400は、オーディオ通信に、オーディオ通信の音声データを背景データから分離する音声モデルを適用する適用ユニット401と、オーディオ通信中の音声データ及び背景データに応じて音声モデルを更新する更新ユニット402とを含む。
機器400は、オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、更新済みの音声モデルを記憶する記憶ユニット403を更に含み得る。
機器400は、発呼者の通話頻度及び通話時間に応じて、オーディオ通信後に音声モデルをオーディオ通信の発呼者に関連するように変更する変更ユニット404を更に含み得る。
本発明の一実施形態は、通信ネットワークからダウンロード可能であり、コンピュータによって読取可能な媒体上に記録され、且つ/又はプロセッサによって実行可能な、上記の方法のステップを実施するプログラムコード命令を含むコンピュータプログラム製品を提供する。
本発明の一実施形態は、そこに記録され、プロセッサによって実行され得るコンピュータプログラム製品を含む非一時的コンピュータ可読媒体を提供し、非一時的コンピュータ可読媒体は、上記の方法のステップを実施するプログラムコード命令を含む。
本発明は様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、又はその組合せによって実装され得ることを理解すべきである。更にソフトウェアは、好ましくはプログラム記憶装置上に有形に具体化されるアプリケーションプログラムとして実装される。アプリケーションプログラムは、任意の適切なアーキテクチャを含むマシンにアップロードされ、かかるマシンによって実行され得る。好ましくは、そのマシンは1個又は複数個の中央処理装置(CPU)、ランダムアクセスメモリ(RAM)、入出力(I/O)インタフェース等のハードウェアを有するコンピュータプラットフォーム上に実装される。コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードも含む。本明細書に記載した様々なプロセス及び機能は、オペレーティングシステムによって実行されるマイクロ命令コードの一部又はアプリケーションプログラムの一部(又はその組合せ)とすることができる。更に、追加のデータ記憶装置や印刷装置等の他の様々な周辺装置がコンピュータプラットフォームに接続され得る。
添付図面に示した構成要素であるシステムコンポーネント及び方法ステップの一部はソフトウェアによって実装することが好ましいので、本発明をプログラムする方法に応じてシステムコンポーネント(又はプロセスステップ)間の実際の接続が異なり得ることを更に理解すべきである。本明細書の教示を所与として、当業者は本発明のこれらの及び同様の実装又は構成を考えることができる。
[付記1]
オーディオ通信内の音声データを背景データから分離する方法であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用するステップ(S101)と、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するステップ(S102)と
を含む、方法。
[付記2]
前記更新された音声モデルを前記オーディオ通信に適用する、付記1に記載の方法。
[付記3]
発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連する音声モデルを適用する、付記1又は2に記載の方法。
[付記4]
発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連しない音声モデルを適用する、付記1又は2に記載の方法。
[付記5]
前記オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶するステップ(S103)
を更に含む、付記1〜4の何れか一項に記載の方法。
[付記6]
前記発呼者の前記通話頻度及び通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連するように変更するステップ
を更に含む、付記4に記載の方法。
[付記7]
オーディオ通信内の音声データを背景データから分離する機器(400)であって、
前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用する適用ユニット(401)と、
前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新する更新ユニット(402)と
を含む、機器(400)。
[付記8]
前記適用ユニット(401)が前記更新された音声モデルを前記オーディオ通信に適用する、付記7に記載の機器(400)。
[付記9]
発呼者の通話頻度及び通話時間に応じて、前記適用ユニット(401)が前記オーディオ通信の前記発呼者に関連する音声モデルを適用する、付記7又は8に記載の機器(400)。
[付記10]
発呼者の通話頻度及び通話時間に応じて、前記適用ユニット(401)が前記オーディオ通信の前記発呼者に関連しない音声モデルを適用する、付記7又は8に記載の機器(400)。
[付記11]
前記オーディオ通信後に、利用者との次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶する記憶ユニット(403)
を更に含む、付記7〜10の何れか一項に記載の機器(400)。
[付記12]
前記発呼者の前記通話頻度及び通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連するように変更する変更ユニット(404)
を更に含む、付記10に記載の機器(400)。
[付記13]
付記1〜6の少なくとも一項に記載の方法のステップを実施する、プロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム。
[付記14]
付記1〜6の少なくとも一項に記載の方法のステップを実施する、非一時的コンピュータ可読媒体上に記憶され、プロセッサによって実行可能なプログラムコード命令を含む、コンピュータプログラム製品。

Claims (18)

  1. オーディオ通信内の音声データを背景データから分離する方法であって、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する、前記オーディオ通信の発呼者に関連付けられた音声モデルを適用することと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新することと、を含み、
    前記オーディオ通信の前記発呼者に関連付けられた前記音声モデルは、前記発呼者の通話頻度及び通話時間に応じて適用される、方法。
  2. 前記更新された音声モデルを前記オーディオ通信に適用する、請求項1に記載の方法。
  3. 前記オーディオ通信後に、次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶すること
    を更に含む、請求項1又は2に記載の方法。
  4. オーディオ通信内の音声データを背景データから分離する方法であって、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用することと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新することと
    を含み、
    発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられていない音声モデルが適用される、方法。
  5. 前記発呼者の前記通話頻度及び前記通話時間に応じて、前記オーディオ通信後に前記音声モデルを前記オーディオ通信の前記発呼者に関連付けられるように変更すること
    を更に含む、請求項4に記載の方法。
  6. オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する、前記オーディオ通信の発呼者に関連付けられた音声モデルを適用するように構成された適用ユニットと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するように構成された更新ユニットと、を含み、
    前記適用ユニットは、前記発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられている前記音声モデルを適用するように構成された、機器。
  7. 前記適用ユニットは、前記更新された音声モデルを前記オーディオ通信に適用するように構成された、請求項に記載の機器。
  8. 前記オーディオ通信後に、次回のオーディオ通信内で使用する、前記更新された音声モデルを記憶するように構成された記憶ユニット
    を更に含む、請求項6又は7に記載の機器。
  9. オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する音声モデルを適用するように構成された適用ユニットと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記音声モデルを更新するように構成された更新ユニットと
    を含み、
    前記適用ユニットは、発呼者の通話頻度及び通話時間に応じて、前記オーディオ通信の前記発呼者に関連付けられていない音声モデルを適用するように構成された、機器。
  10. 前記発呼者の前記通話頻度及び前記通話時間に応じて、前記オーディオ通信後に、前記オーディオ通信の前記発呼者に関連付けるように前記音声モデルを変更するように構成された変更ユニット
    を更に含む、請求項に記載の機器。
  11. 請求項1〜の少なくとも一項に記載の方法をコンピュータに実行させるように構成されたコンピュータプログラム。
  12. 請求項1〜の少なくとも一項に記載の方法をコンピュータに実行させるように構成されたコンピュータプログラムを記憶するコンピュータ可読記憶媒体。
  13. 前記音声モデルは、非負行列因子分解(NMF)、混合ガウスモデル(GMM)、ソーススペクトルモデル、及び特徴的スペクトルパターンの辞書の群から選択されたスペクトル音声モデルを含む、請求項1に記載の方法。
  14. オーディオ通信内の音声データを背景データから分離する方法であって、
    前記オーディオ通信の開始時に、前記オーディオ通信の発呼者に対応する音声モデルが利用可能か否かを確認することと、
    前記確認の結果に基づいて、複数の音声モデルから音声モデルを選択することと、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する前記選択された音声モデルを適用することと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記選択された音声モデルを更新することと
    を含む、方法。
  15. 前記発呼者に対応する音声モデルが利用可能であれば、前記音声モデルを選択することは、前記発呼者に対応する前記音声モデルを前記選択された音声モデルとして選択する、請求項14に記載の方法。
  16. 前記発呼者に対応する音声モデルが利用可能でなければ、前記音声モデルを選択することは、汎用音声モデルを前記選択された音声モデルとして選択する、請求項14に記載の方法。
  17. 前記複数の音声モデルから前記音声モデルを選択することは、データベースから前記音声モデルを選択することを含む、請求項14に記載の方法。
  18. オーディオ通信内の音声データを背景データから分離するように構成された機器であって、
    前記オーディオ通信の開始時に、前記オーディオ通信の発呼者に対応する音声モデルが利用可能か否かを確認し、
    前記確認の結果に基づいて、複数の音声モデルから音声モデルを選択し、
    前記オーディオ通信に、前記オーディオ通信の前記音声データを前記背景データから分離する前記選択された音声モデルを適用するように構成された適用ユニットと、
    前記オーディオ通信中の前記音声データ及び前記背景データに応じて前記選択された音声モデルを更新するように構成された更新ユニットと
    を含む、機器。
JP2017518295A 2014-10-14 2015-10-12 オーディオ通信内の音声データを背景データから分離する方法及び機器 Active JP6967966B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP14306623.1A EP3010017A1 (en) 2014-10-14 2014-10-14 Method and apparatus for separating speech data from background data in audio communication
EP14306623.1 2014-10-14
PCT/EP2015/073526 WO2016058974A1 (en) 2014-10-14 2015-10-12 Method and apparatus for separating speech data from background data in audio communication

Publications (3)

Publication Number Publication Date
JP2017532601A JP2017532601A (ja) 2017-11-02
JP2017532601A5 JP2017532601A5 (ja) 2018-10-25
JP6967966B2 true JP6967966B2 (ja) 2021-11-17

Family

ID=51844642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017518295A Active JP6967966B2 (ja) 2014-10-14 2015-10-12 オーディオ通信内の音声データを背景データから分離する方法及び機器

Country Status (7)

Country Link
US (1) US9990936B2 (ja)
EP (2) EP3010017A1 (ja)
JP (1) JP6967966B2 (ja)
KR (2) KR20170069221A (ja)
CN (1) CN106796803B (ja)
TW (1) TWI669708B (ja)
WO (1) WO2016058974A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10621990B2 (en) 2018-04-30 2020-04-14 International Business Machines Corporation Cognitive print speaker modeler
US10811007B2 (en) * 2018-06-08 2020-10-20 International Business Machines Corporation Filtering audio-based interference from voice commands using natural language processing
CN112562726B (zh) * 2020-10-27 2022-05-27 昆明理工大学 一种基于mfcc相似矩阵的语音音乐分离方法
US11462219B2 (en) * 2020-10-30 2022-10-04 Google Llc Voice filtering other speakers from calls and audio messages
US12148443B2 (en) * 2020-12-18 2024-11-19 International Business Machines Corporation Speaker-specific voice amplification
US20250011933A1 (en) 2021-03-23 2025-01-09 Toray Engineering Co., Ltd. Laminate manufacturing apparatus and self-assembled monolayer formation method
TWI801085B (zh) * 2022-01-07 2023-05-01 矽響先創科技股份有限公司 智能網路通訊之雜訊消減方法

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5946654A (en) 1997-02-21 1999-08-31 Dragon Systems, Inc. Speaker identification using unsupervised speech models
GB9714001D0 (en) * 1997-07-02 1997-09-10 Simoco Europ Limited Method and apparatus for speech enhancement in a speech communication system
US6766295B1 (en) * 1999-05-10 2004-07-20 Nuance Communications Adaptation of a speech recognition system across multiple remote sessions with a speaker
JP4464484B2 (ja) * 1999-06-15 2010-05-19 パナソニック株式会社 雑音信号符号化装置および音声信号符号化装置
JP2002330193A (ja) * 2001-05-07 2002-11-15 Sony Corp 通話装置および方法、記録媒体、並びにプログラム
US7072834B2 (en) * 2002-04-05 2006-07-04 Intel Corporation Adapting to adverse acoustic environment in speech processing using playback training data
US7107210B2 (en) * 2002-05-20 2006-09-12 Microsoft Corporation Method of noise reduction based on dynamic aspects of speech
US20040122672A1 (en) * 2002-12-18 2004-06-24 Jean-Francois Bonastre Gaussian model-based dynamic time warping system and method for speech processing
US7231019B2 (en) * 2004-02-12 2007-06-12 Microsoft Corporation Automatic identification of telephone callers based on voice characteristics
JP2006201496A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd フィルタリング装置
US7464029B2 (en) * 2005-07-22 2008-12-09 Qualcomm Incorporated Robust separation of speech signals in a noisy environment
KR100766061B1 (ko) * 2005-12-09 2007-10-11 한국전자통신연구원 화자적응 방법 및 장치
JP2007184820A (ja) * 2006-01-10 2007-07-19 Kenwood Corp 受信装置及び受信音声信号の補正方法
JP2009527024A (ja) * 2006-02-14 2009-07-23 インテレクチャル ベンチャーズ ファンド 21 エルエルシー 話者非依存的音声認識を有する通信装置
CN101166017B (zh) * 2006-10-20 2011-12-07 松下电器产业株式会社 用于声音产生设备的自动杂音补偿方法及装置
US8239052B2 (en) * 2007-04-13 2012-08-07 National Institute Of Advanced Industrial Science And Technology Sound source separation system, sound source separation method, and computer program for sound source separation
US8121837B2 (en) * 2008-04-24 2012-02-21 Nuance Communications, Inc. Adjusting a speech engine for a mobile computing device based on background noise
US8077836B2 (en) * 2008-07-30 2011-12-13 At&T Intellectual Property, I, L.P. Transparent voice registration and verification method and system
JP4621792B2 (ja) * 2009-06-30 2011-01-26 株式会社東芝 音質補正装置、音質補正方法及び音質補正用プログラム
JP2011191337A (ja) * 2010-03-11 2011-09-29 Nara Institute Of Science & Technology 雑音抑制装置、方法、及びプログラム
BR112012031656A2 (pt) * 2010-08-25 2016-11-08 Asahi Chemical Ind dispositivo, e método de separação de fontes sonoras, e, programa
US20120143604A1 (en) * 2010-12-07 2012-06-07 Rita Singh Method for Restoring Spectral Components in Denoised Speech Signals
TWI442384B (zh) * 2011-07-26 2014-06-21 Ind Tech Res Inst 以麥克風陣列為基礎之語音辨識系統與方法
CN102903368B (zh) * 2011-07-29 2017-04-12 杜比实验室特许公司 用于卷积盲源分离的方法和设备
JP5670298B2 (ja) * 2011-11-30 2015-02-18 日本電信電話株式会社 雑音抑圧装置、方法及びプログラム
US8886526B2 (en) * 2012-05-04 2014-11-11 Sony Computer Entertainment Inc. Source separation using independent component analysis with mixed multi-variate probability density function
US9881616B2 (en) 2012-06-06 2018-01-30 Qualcomm Incorporated Method and systems having improved speech recognition
CN102915742B (zh) * 2012-10-30 2014-07-30 中国人民解放军理工大学 基于低秩与稀疏矩阵分解的单通道无监督语噪分离方法
CN103871423A (zh) * 2012-12-13 2014-06-18 上海八方视界网络科技有限公司 一种基于nmf非负矩阵分解的音频分离方法
US9886968B2 (en) * 2013-03-04 2018-02-06 Synaptics Incorporated Robust speech boundary detection system and method
CN103559888B (zh) * 2013-11-07 2016-10-05 航空电子系统综合技术重点实验室 基于非负低秩和稀疏矩阵分解原理的语音增强方法
CN103617798A (zh) * 2013-12-04 2014-03-05 中国人民解放军成都军区总医院 一种强背景噪声下的语音提取方法
CN103903632A (zh) * 2014-04-02 2014-07-02 重庆邮电大学 一种多声源环境下的基于听觉中枢系统的语音分离方法

Also Published As

Publication number Publication date
CN106796803B (zh) 2023-09-19
WO2016058974A1 (en) 2016-04-21
TWI669708B (zh) 2019-08-21
KR20230015515A (ko) 2023-01-31
JP2017532601A (ja) 2017-11-02
TW201614642A (en) 2016-04-16
CN106796803A (zh) 2017-05-31
KR102702715B1 (ko) 2024-09-05
US9990936B2 (en) 2018-06-05
KR20170069221A (ko) 2017-06-20
US20170309291A1 (en) 2017-10-26
EP3010017A1 (en) 2016-04-20
EP3207543A1 (en) 2017-08-23
EP3207543B1 (en) 2024-03-13

Similar Documents

Publication Publication Date Title
JP6967966B2 (ja) オーディオ通信内の音声データを背景データから分離する方法及び機器
JP7094340B2 (ja) 畳み込みニューラルネットワークに基づく電話音声信号の強調のための方法
CN106486131B (zh) 一种语音去噪的方法及装置
US20220084509A1 (en) Speaker specific speech enhancement
CN111415686B (zh) 针对高度不稳定的噪声源的自适应空间vad和时间-频率掩码估计
CN114175144A (zh) 用于训练声学模型的每一代的数据增强
WO2019113130A1 (en) Voice activity detection systems and methods
JP2017508188A (ja) 適応型音声対話のための方法
US20110218803A1 (en) Method and system for assessing intelligibility of speech represented by a speech signal
CN108198569A (zh) 一种音频处理方法、装置、设备及可读存储介质
CN114207716B (zh) 用于归一化从音频数据提取的特征以进行信号识别或修改的方法和装置
AU2019287569A1 (en) Deep neural network based speech enhancement
CN110364175B (zh) 语音增强方法及系统、通话设备
CN120112996A (zh) 可切换降噪配置文件
Hou et al. Domain adversarial training for speech enhancement
Martín-Doñas et al. Dual-channel DNN-based speech enhancement for smartphones
US20240363133A1 (en) Noise suppression model using gated linear units
Han et al. Reverberation and noise robust feature compensation based on IMM
KR20210010133A (ko) 음성 인식 방법, 음성 인식을 위한 학습 방법 및 그 장치들
CA3099805C (en) Deep neural network based speech enhancement
Schwartz et al. LPC-based speech dereverberation using Kalman-EM algorithm
HK40066118A (zh) 用於归一化从音频数据提取的特徵以进行信号识别或修改的方法和装置
CN121938344A (zh) 基于头戴设备的语音生成方法、装置、设备及介质
Wang et al. A Two-step NMF Based Algorithm for Single Channel Speech Separation.
HK40073191B (en) Normalizing features extracted from audio data for signal recognition or modification

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180911

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191023

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20191111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191205

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200304

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200603

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201102

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20201217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210317

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210902

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211026

R150 Certificate of patent or registration of utility model

Ref document number: 6967966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250