Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7208846B2 - 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム - Google Patents
[go: Go Back, main page]

JP7208846B2 - 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム - Google Patents

音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム Download PDF

Info

Publication number
JP7208846B2
JP7208846B2 JP2019061514A JP2019061514A JP7208846B2 JP 7208846 B2 JP7208846 B2 JP 7208846B2 JP 2019061514 A JP2019061514 A JP 2019061514A JP 2019061514 A JP2019061514 A JP 2019061514A JP 7208846 B2 JP7208846 B2 JP 7208846B2
Authority
JP
Japan
Prior art keywords
acoustic
acoustic feature
feature quantity
unit
operating parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019061514A
Other languages
English (en)
Other versions
JP2020160344A (ja
Inventor
亮 田邊
洋平 川口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Industry and Control Solutions Co Ltd
Original Assignee
Hitachi Industry and Control Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Industry and Control Solutions Co Ltd filed Critical Hitachi Industry and Control Solutions Co Ltd
Priority to JP2019061514A priority Critical patent/JP7208846B2/ja
Publication of JP2020160344A publication Critical patent/JP2020160344A/ja
Application granted granted Critical
Publication of JP7208846B2 publication Critical patent/JP7208846B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、音響特徴量変換装置、音響モデル学習装置、音響認識装置、音響特徴量変換方法、および音響特徴量変換プログラムに関する。
例えば特許文献1には、音響モデルを学習するための学習データが不足している場合であっても、音響認識において実用レベルの性能を確保するために、擬似的な学習データを生成することで、音響認識の対象とするタスク(以下、認識対象タスクと呼ぶ)に対して音響モデルを適応させる技術が開示されている。ここで、認識対象タスクとは、元々の音響モデルに対して、音源の物理的な状態、音1の伝達環境、雑音タイプなどの音響的特徴が異なるタスクである。
一般的に、音響認識の性能は、認識対象タスクの複雑さに対する学習データの網羅性に依存する。タスクの複雑さとは、音源の物理的な状態、音の伝達環境、雑音タイプなどの前述の音響的特徴がとりうる多様な変化がどれだけ複雑かということである。
つまり、認識対象タスクの学習データが不足している場合、そのまま音響モデルを認識対象タスクに適応させたとしても、十分な認識精度を得られない場合が多い。そこで、通常は、十分な種類の音響条件で学習データの収録を行ったうえで、それらの学習データをデータ拡張によって水増しすることで、所望の網羅性を有した学習データ群を形成し、この学習データ群を用いて音響モデルを適応させることが行われている。
特開2016-186515号公報
しかしながら、上述の従来技術のように、所望の網羅性を有した学習データ群を形成するには、多大な経済的、時間的コストを要する。また、所望の網羅性を有した学習データ群は、膨大なデータストレージ容量を要し、また、認識対象タスクに対する音響モデルの適応に多大な計算時間を要する。加えて、音響モデルは、認識対象タスクの複雑さに応じて複雑となり、データストレージ容量、および学習にかかる計算時間が増大する。
すなわち、十分な音響認識精度を確保するために所望の網羅性を有した学習データ群は、データ量が多く、データセットの収録に時間および労力を要し、膨大なデータストレージ容量を要し、学習モデルが複雑となるために学習時間が増大するという問題がある。
本発明は、上述の課題を考慮してなされたものであり、少量の学習データであっても、十分な音響認識精度を得ることを1つの目的とする。
かかる課題を解決するため本発明においては、1つの手段として、音響特徴量変換装置は、音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離部と、前記音源分離部によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出部と、音響特徴量規格化部または音響特徴量拡張部と、を有する。前記音響特徴量規格化部は、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成する。前記音響特徴量拡張部は、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する。
本発明によれば、例えば、少量の学習データであっても、十分な音響認識精度を得ることができる。
図1は、実施例1の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。 図2は、実施例1の音響特徴量変換処理フローを例示する図である。 図3は、実施例1の音響モデル学習処理フローを例示する図である。 図4は、実施例1の音響認識処理フローを例示する図である。 図5は、実施例2の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。 図6は、実施例2の音響特徴量変換処理フローを例示する図である。 図7は、実施例2の音響モデル学習処理フローを例示する図である。 図8は、実施例2の音響認識処理フローを例示する図である。 図9は、実施例3の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。 図10は、実施例3の音響特徴量変換処理フローを例示する図である。 図11は、実施例3の音響モデル学習処理フローを例示する図である。 図12は、実施例3の音響認識処理フローを例示する図である。 図13は、実施例4の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。 図14は、実施例4の音響特徴量変換処理フローを例示する図である。 図15は、実施例4の音響モデル学習処理フローを例示する図である。 図16は、実施例4の音響認識処理フローを例示する図である。 図17は、音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータを例示する図である。
以下、図面に基づき、本発明の実施例を詳述する。本明細書において、各図面の同一参照番号は、同一あるいは類似の構成または処理を示し、後出の実施例の説明では既出の実施例との差分のみを説明し、後出の説明が省略される場合がある。また、各実施例および各変形例は、本発明の技術思想の範囲内かつ整合する範囲内で一部または全部を組合せることができる。
以下の実施例では、認識対象タスクとなる機器の稼動パラメータと、観測される入力音響信号の間に相関関係があることを利用することで、稼動パラメータをもとに音響信号の特徴量データの規格化を行う。ここで、機器とは、例えば、モータやプレス機などである。また、稼動パラメータには、例えば、機器の稼動速度や、動作周期、圧力、流量などの物理量に限らず、機器の制御信号といった、機器に取り付けたセンサや制御装置などから得られるパラメータも含まれる。
そして、認識対象タスクにおける学習データが、十分な認識精度で音響モデルを学習するのに十分な量が得られない場合を想定しており、少量の学習データであっても識別精度を向上させ、データセットの収録に必要な時間および労力を削減し、必要なデータストレージ容量を削減し、機械学習のモデルを軽量化し、学習時間を削減する。以下の実施例では、概して、以下の(1)~(5)の流れで音響信号の特徴量データの規格化、音響モデルの学習、および音響認識を行う。
(1)認識対象タスクとなる機器から発せられる入力音響信号と、この機器の稼動パラメータとの間に相関があることを前提とし、入力音響信号と稼動パラメータとからそれぞれ抽出した音響特徴量を、機器の任意の稼動パラメータをもとに規格化した規格化後音響特徴量に変換する変換器を生成する。ここで、稼動パラメータは、例えば、機器の稼動速度や、流量、圧力、またはその他の物理量である。
(2)生成した変換器を用いて、学習データを規格化後音響特徴量に変換する。
(3)変換した規格化後音響特徴量を用いて、音響モデルを学習する。
(4)学習した音響モデルを用いて、音響認識器を生成する。
(5)生成した変換器を用いて、入力音響信号を規格化後音響特徴量に変換し、音響認識器を用いて、入力音響信号の音響認識を行う。
実施例1では、認識対象タスクとなる機器から観測される入力音響信号と、この機器の稼動パラメータの間に相関が存在するとき、その相関を利用して、入力音響信号と稼動パラメータから、入力音響信号を特定の稼動パラメータに規格化された規格化後音響特徴量に変換する。相関の一例は、機器の稼動速度に応じて音響信号のスペクトルピークが上昇するなどである。また、変換された規格化後音響特徴量からなる学習データをもとに音響モデルの学習を行い、音響特徴量変換装置によって変換された規格化後音響特徴量を音響モデルによって認識する。
<実施例1の音響特徴量変換装置、音響モデル学習装置、音響認識装置の構成>
図1は、実施例1の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。図1では、音響モデル学習装置2および音響認識装置3が、音響特徴量変換装置1を共有する構成を図示している。しかし、図1は、あくまで説明の便宜のために過ぎず、音響モデル学習装置2および音響認識装置3は、それぞれ別の音響特徴量変換装置1を含む別装置であってもよい。あるいは、図1に示すように、音響モデル学習装置2および音響認識装置3は、音響特徴量変換装置1を共有する別装置もしくは一体装置であってもよい。
実施例1の音響特徴量変換装置1は、図1に示すように、音源分離部12、音響特徴量抽出部13、および音響特徴量規格化部14を含む。図1に示す音響信号取得部10は、後述のように、認識対象タスクとなる機器が発する音を収集するマイクロホンなどの集音装置である。稼動パラメータ取得部11は、後述のように、認識対象タスクとなる機器の稼動パラメータを取得する。
図1では、音響特徴量変換装置1は、音源分離部12、音響特徴量抽出部13、および音響特徴量規格化部14のすべてを含む場合を例示するが、音源分離部12および音響特徴量抽出部13のいずれか、あるいは両方を含まない構成とすることもできる。また、図1では、音源分離部12の出力が音響特徴量抽出部13へと入力され、音響特徴量抽出部13の出力が音響特徴量規格化部14へと入力される構成を例示するが、音源分離部12の出力を音響特徴量規格化部14へと入力し、音響特徴量規格化部14の出力を音響特徴量抽出部13の入力とすることもできる。
また、実施例1の音響モデル学習装置2は、図1に示すように、音響特徴量変換装置1の各構成部に加えて、規格化後音響特徴量記憶部21、音響モデル学習部15、および音響モデル記憶部22を含む。なお、規格化後音響特徴量記憶部21および音響モデル記憶部22の少なくとも一方は、音響モデル学習装置2から独立した記憶部として構成されていてもよい。
また、実施例1の音響認識装置3は、図1に示すように、音響特徴量変換装置1の各構成部に加えて、音響認識部16を含む。
<実施例1の音響特徴量変換処理>
図2は、実施例1の音響特徴量変換処理フローを例示する図である。実施例1の音響特徴量変換処理は、音響特徴量変換装置1によって、音響特徴量変換の際に実行される。
図2において、先ず、ステップS10では、音響特徴量変換装置1は、音響信号取得部10を介して入力音響信号が入力され、稼動パラメータ取得部11を介して稼動パラメータ、例えば稼動速度などのデータが入力される。入力音響信号は、単一あるいは複数のマイクロホンなどの集音装置によって取得される。このとき、入力音響信号は、マイクロホンなどを用いてリアルタイムに取得されてもよいし、例えばコンピュータやボイスレコーダなどの録音機器を用いてハードディスクドライブなどの記憶装置に録音したデータをもってオフラインで取得されてもよい。
また、稼動パラメータについては、例えば、認識対象タスクとなる機器に備え付けられたセンサなどによって得られるものや、機器の制御装置が出力する制御信号から得られるものや、操作者によって入力されるものや、プログラムや装置などによって音響信号などの他の観測値から推定可能なものであってもよい。さらに、稼動パラメータについては、稼動速度のほか、例えば、圧力、流量、温度などの、機器の稼動状態を示す物理量に限らず、機器の稼動状態を目標に向けて制御する制御信号や、制御パラメータなどでもよい。
続いて、ステップS11では、音源分離部12は、例えば、雑音や残響および認識対象タスクの機器以外の音源からの音といった雑音が含まれた、ステップS10で入力された入力音響信号から、認識対象タスクの機器から発せられる音響信号のみを抽出および分離した分離後音響信号を算出する。
続いて、ステップS12では、音響特徴量抽出部13は、ステップS11で算出されたアナログの分離後音響信号から、ディジタルの音響特徴量を算出する。このとき算出される音響特徴量は、例えば、スペクトログラム、メル特徴量、メルケプストラム特徴量などである。
続いて、ステップS13では、音響特徴量規格化部14は、稼動パラメータをもとに音響特徴量規格化モデルの初期化を行う。具体的には、音響特徴量規格化部14は、機器の稼動時に発せられる音響信号と稼動パラメータの間に相関があることを利用し、音響特徴量と機器の稼動パラメータのデータとから、稼動パラメータで規格化された規格化特徴量を算出する。このとき利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって算出できる相関や、統計的な計算または機械学習によって求められる相関などが挙げられる。
ここで、稼動パラメータを稼動速度とする例で説明する。入力音響信号をs、入力稼動速度をx、規格化後音響信号をs´とすると、入力稼動速度xをもとに、入力音響信号sを、特定の稼動速度αのときの規格化後音響信号s´に規格化する音響特徴量規格化モデルFαは、例えば下記式(1)のように表される。
Figure 0007208846000001
このとき、規格化される際の特定の稼動速度は、例えば、操作者によって指定されるものや、学習データの稼動速度の分布から自動的に生成されるものなどである。また、この時の規格化は、速度についての無次元化などである。
<実施例1の音響モデル学習処理>
図3は、実施例1の音響モデル学習処理フローを例示する図である。実施例1の音響モデル学習処理は、音響モデル学習装置2によって、音響モデル学習の際に実行される。図3におけるステップS10~S12は、図2と同様である。
図3において、ステップS12に続いてステップS14では、音響モデル学習装置2は、音響特徴量変換装置1を使用して生成された音響特徴量規格化モデルを用いて、ステップS10で入力された入力音響信号の音響特徴量規格化を行う。ステップS14において、音響特徴量規格化モデルによって規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部21に記憶される。
続いて、ステップS15では、音響モデル学習部15は、規格化後音響特徴量記憶部21に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部15によって学習された音響モデルは、音響モデル記憶部22に記憶される。
<実施例1の音響認識処理>
図4は、実施例1の音響認識処理フローを例示する図である。実施例1の音響認識処理は、音響認識装置3によって、音響認識の際に実行される。図4におけるステップS10~S12は、図2および図3と同様である。
図4において、ステップS12に続いてステップS14では、音響認識装置3は、音響特徴量変換装置1を使用して生成された音響特徴量規格化モデルを用いて、図4のステップS10で入力された入力音響信号の音響特徴量規格化を行う。
ステップS14に続いてステップS16では、音響認識部16は、音響特徴量変換装置1によって規格化された規格化後音響特徴量と音響モデル記憶部22に記憶された音響モデルを用いて識別を行う。
なお、図2に示した実施例1の音響特徴量変換処理、図3に示した実施例1の音響モデル学習処理、図4に示した実施例1の音響認識処理の処理フローのそれぞれで、ステップS13またはステップS14と、ステップS12とは、その実行順番が入れ替わりうる。その際、例えば、音源分離部12から出力される分離後音響信号は、音響特徴量規格化部14に入力され、例えば稼動速度により規格化された規格化後音響信号などが出力される。この規格化後音響信号は、音響特徴量抽出部13へと入力され、規格化後音響特徴量が算出される。
このように、実施例1によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、稼動パラメータによりデータの規格化を行うことで、データ量を実効的に増加させ、精度良い学習モデルの学習を行うことができる。また、識別時にも、同様のデータ規格化を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
実施例2は、実施例1と比べて、音響特徴量変換装置の音源分離部および音響特徴量抽出部のそれぞれが、音響特徴量規格化部と同様に稼動パラメータを参照する点が異なる。
実施例1では、音響特徴量規格化部においてのみ稼動パラメータを参照していたが、音源分離部および音響特徴量抽出部でも稼動パラメータを参照して用いることで、さらに、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減することが可能になる。以下では、上述の実施例1との相違点を中心に述べる。
<実施例2の音響特徴量変換装置、音響モデル学習装置、音響認識装置の構成>
図5は、実施例2の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例2の音響特徴量変換装置1Bは、図5に示すように、音源分離部17、音響特徴量抽出部18、および音響特徴量規格化部14を含む。
また、実施例2の音響モデル学習装置2Bは、図5に示すように、音響特徴量変換装置1Bの各構成部に加えて、規格化後音響特徴量記憶部21、音響モデル学習部15、および音響モデル記憶部22を含む。
また、実施例2の音響認識装置3Bは、図5に示すように、音響特徴量変換装置1Bの各構成部に加えて、音響認識部16を含む。
実施例2では、音響特徴量変換装置1Bの音源分離部17および音響特徴量抽出部18において、稼動パラメータ取得部11から取得された稼動パラメータが参照される点が、実施例1と異なる点である。
ここで、実施例2において、音源分離部17、音響特徴量抽出部18、および音響特徴量規格化部14のすべてにおいて稼動パラメータが参照される必要はなく、音源分離部17、音響特徴量抽出部18、および音響特徴量規格化部14のうち少なくとも1つ以上の処理部で稼動パラメータが参照されていればよい。
音源分離部17、音響特徴量抽出部18、および音響特徴量規格化部14のそれぞれは、稼動パラメータを参照する場合には、後述するように、例えば機器を音源とする音響信号と機器の稼動パラメータとの相関関係に基づいて構成されたニューラルネットワークを用いたものであってもよい。
他方、音源分離部17は、稼動パラメータを参照しない場合には、実施例1の音源分離部12と同等の機能を含む処理部となる。また、音響特徴量抽出部18は、稼動パラメータを参照しない場合には、実施例1の音響特徴量抽出部13と同等の処理機能を含む処理部となる。
<実施例2の音響特徴量変換処理>
図6は、実施例2の音響特徴量変換処理フローを例示する図である。実施例2の音響特徴量変換処理は、音響特徴量変換装置1Bによって、音響特徴量変換の際に実行される。図6におけるステップS10は、図2と同様である。
図6において、ステップS10に続いてステップS17では、音源分離部17は、ステップS10で取得された稼動パラメータをもとに音源分離を行う。具体的には、例えば同じ機種の機器が並んで動作していて、音源方向による音源分離が不可能な場合を考える。このとき、それぞれの機器が別々の稼動速度で動作している場合、音源となるそれぞれの機器の稼動速度と、それぞれの機器か発しうる音響信号の組合せ問題を解くことで、音源分離を行うことができる。音源分離を行う方法は、例えば、考えられる組合せすべてを試行する単純な繰り返し演算であったり、機械学習であったりなど、周知の方法を用いることができる。
ステップS17に続いてステップS18では、音響特徴量抽出部18は、ステップS10で取得された稼動パラメータを参照して音響特徴量の抽出を行う。具体的には、例えば、(A)バンドパスフィルタを設定する、(B)フィルタバンクを形成する、(C)フーリエ変換のパラメータを変更するなどである。
(A)バンドパスフィルタの設定について説明する。稼動速度が分かっている場合、どの周波数帯域に有効な特徴量が含まれているのかをある程度推定することができることを利用し、バンドパスフィルタを設定することができる。この時の稼動パラメータに対する有効な周波数帯域の推定は、例えば、人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるもの、ニューラルネットワークを用いたものなどである。
(B)フィルタバンクの形成について説明する。バンドパスフィルタの設定と同様に、稼動速度がわかっている場合、どの周波数帯域に有効な特徴量が含まれているのかをある程度推定することができることを利用し、任意の周波数帯域に注目するようなフィルタバンクを形成することができる。この時のフィルタバンクの形成は、例えば、人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるものや、ニューラルネットワークを用いたものなどである。
(C)フーリエ変換のパラメータの変更について説明する。稼動パラメータに応じて有効な特徴量がどのように音響信号内に発生するか推定できることを利用し、例えば、窓サイズやシフト長などのフーリエ変換のパラメータを設定することができる。この時のパラメータは、例えば人間が手動で設定したパラメータを用いたものや、単純な算術モデルによるものや、ニューラルネットワークを用いたものなどである。
上記(A)~(C)によって、例えば、雑音に対して頑健な音響識別が可能となり、また、音響信号の圧縮効率が向上するなど、実施例1で得られた効果に加えて、さらに、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減することができる。
ステップS18に続いてステップS19において、音響特徴量規格化部14は、音響特徴量規格化モデルの初期化を行う。音響特徴量規格化部14は、認識対象タスクとなる機器の稼動時に発せられる音響信号と稼動パラメータの間に相関があることを利用し、音響特徴量と機器の稼動パラメータのデータとから、稼動パラメータで規格化された規格化特徴量を算出する。
このとき、利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって表現できる相関や、統計的な計算または機械学習によって求められる相関などが挙げられる。
例えば、入力音響信号をs、入力稼動パラメータをx、規格化後音響信号をs´とすると、入力稼動パラメータxをもとに、入力音響信号sを、特定の稼動パラメータαのときの規格化後音響信号s´に規格化する音響特徴量規格化モデルFαは、例えば下記式(2)のように表される。
Figure 0007208846000002
このとき、規格化される際の特定の稼動パラメータは、例えば、操作者によって指定されるものや、学習データの稼動パラメータの分布から自動的に生成されるものなどである。また、この時の規格化は、稼動パラメータについての無次元化などである。
<実施例2の音響モデル学習処理>
図7は、実施例2の音響モデル学習処理フローを例示する図である。実施例2の音響モデル学習処理は、音響モデル学習装置2Bによって、音響モデル学習の際に実行される。図7におけるステップS10、S17~S18は、図6と同様である。
図7において、ステップS18に続いてステップS20では、音響モデル学習装置2Bは、音響特徴量変換装置1Bを使用して生成された音響特徴量規格化モデルおよびステップS10で入力された稼動パラメータを用いて、ステップS10で入力された入力音響信号の規格化を行う。ステップS20において、音響特徴量規格化モデルによって規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部21に記憶される。
ステップS20に続いてステップS15では、音響モデル学習部15は、規格化後音響特徴量記憶部21に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部15によって学習された音響モデルは、音響モデル記憶部22に記憶される。
<実施例2の音響認識処理>
図8は、実施例2の音響認識処理フローを例示する図である。実施例2の音響認識処理は、音響認識装置3Bによって、音響認識の際に実行される。図8におけるステップS10、S17~S18は、図6および図7と同様である。
図8において、ステップS18に続いてステップS20では、音響認識装置3Bは、音響特徴量変換装置1Bを使用して生成された音響特徴量規格化モデルを用いて、ステップS10で入力された稼動パラメータをもとに入力音響信号の規格化を行う。
ステップS20に続いてステップS16では、音響認識部16は、音響特徴量変換装置1Bによって規格化された規格化後音響特徴量と、音響モデル記憶部22に記憶されている音響モデルを用いて識別を行う。
なお、図6に示した実施例2の音響特徴量規格化処理、図7に示した実施例2の音響モデル学習処理、図8に示した実施例2の音響認識処理の処理フローのそれぞれで、ステップS19またはステップS20と、ステップS18とは、実施例1と同様に、その実行順番が入れ替わりうる。その際、例えば、音源分離部17から出力される分離後音響信号は、音響特徴量規格化部14に入力され、稼動パラメータにより規格化された規格化後音響信号などが出力される。この規格化後音響信号は、音響特徴量抽出部18へと入力され、規格化後音響特徴量が出力される。
このように、実施例2によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、稼動パラメータによるデータの規格化に加えて、音源分離と音響特徴量抽出においても稼動パラメータを参照することで、より効果的に、識別精度を向上させ、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
実施例3は、実施例1~2と比較して、音響特徴量変換装置1Cにおいて、稼動パラメータを参照して、音響特徴量の規格化ではなく拡張を行う点が異なる。データ拡張を行うことで、データセットの網羅性を向上させ、学習した音響モデルの識別精度を向上させる。以下では、上述の実施例2との相違点を中心に述べる。
<実施例3の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の構成>
図9は、実施例3の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例3の音響特徴量変換装置1Cは、図9に示すように、音源分離部17、音響特徴量抽出部18、および音響特徴量拡張部19を含む。
また、実施例3の音響モデル学習装置2Cは、図9に示すように、音響特徴量変換装置1Cの各構成部に加えて、拡張後音響特徴量記憶部23、音響モデル学習部15、および音響モデル記憶部22を含む。
また、実施例3の音響認識装置3Cは、図9に示すように、音響特徴量変換装置1Cの各構成部に加えて、音響認識部16を含む。
実施例3では、音響特徴量変換装置1Cにおいて、音響特徴量拡張部19では、音響特徴量を規格化する代わりに、データ拡張している点が、実施例2と異なる点である。
ここで、実施例3において、音源分離部17、音響特徴量抽出部18、および音響特徴量拡張部19のすべてにおいて稼動パラメータが参照される必要はなく、音源分離部17、音響特徴量抽出部18、および音響特徴量拡張部19のうち少なくとも1つ以上の処理部で稼動パラメータが参照されていればよい。
音源分離部17、音響特徴量抽出部18、および音響特徴量拡張部19のそれぞれは、稼動パラメータを参照する場合には、後述するように、例えば機器を音源とする音響信号と機器の稼動パラメータとの相関関係に基づいて構成されたニューラルネットワークを用いたものであってもよい。
他方、音源分離部17は、稼動パラメータを参照しない場合には、実施例1の音源分離部12と同様の機能を含む処理部となる。また、音響特徴量抽出部18は、稼動パラメータを参照しない場合には、実施例1の音響特徴量抽出部13と同様の処理機能を含む処理部となる。また、音響特徴量拡張部19は、稼動パラメータを参照しない場合には、稼動パラメータを用いずにデータ拡張を行う処理部となる。
<実施例3の音響特徴量変換処理>
図10は、実施例3の音響特徴量変換処理フローを例示する図である。実施例3の音響特徴量変換処理は、音響特徴量変換装置1Cによって、音響特徴量変換の際に実行される。図10におけるステップS10、S17~S18は、図6と同様である。
図10において、ステップS18に続いてステップS21では、音響特徴量拡張部19は、音響特徴量抽出部18によって抽出された音響特徴量を用いて、音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張することで、拡張後音響特徴量群を生成する。音響特徴量拡張部19は、機器の稼動時に発せられる音響信号と稼動パラメータとの間には相関があることを利用する。
このとき利用する音響信号と稼動パラメータの相関は、例えば、比例、反比例、二乗に比例など、単純な算術計算によって表現できる相関や、統計的な計算または機械学習によって求められる相関などがあげられる。
ここで、特定の稼動パラメータxのときの音響信号または音響特徴量をsxとすると、音響特徴量拡張モデルF´xによって、任意の稼動パラメータαのときの音響信号または音響特徴量sαは、下記式(3)のように示される。
Figure 0007208846000003
上記式(3)を用いることで、音響特徴量変換装置1Cにおいて、音響特徴量拡張部19は、音響特徴量抽出部18から出力された入力音響特徴量を、複数の任意の稼動パラメータでの音響特徴量へと変換および拡張し、拡張後音響特徴量群を生成する。
<実施例3の音響モデル学習処理>
図11は、実施例3の音響モデル学習処理フローを例示する図である。実施例3の音響モデル学習処理は、音響モデル学習装置2Cによって、音響モデル学習の際に実行される。図11におけるステップS10、S17~S18は、図10と同様である。
図11において、ステップS18に続いてステップS21では、音響モデル学習装置2Cは、音響特徴量変換装置1Cを使用して音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張する。例えば、稼動パラメータが稼動速度である場合、音響特徴量拡張部19は、音響特徴量抽出部18によって抽出された音響特徴量から、音響特徴量を複数の稼動速度での音響特徴量へと変換および拡張することで、拡張後音響特徴量群を生成し、拡張後音響特徴量記憶部23に記憶される。
続いて、ステップS22では、音響モデル学習部15は、拡張後音響特徴量記憶部23に記憶された拡張後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法が用いられる。音響モデル学習部15によって学習された音響モデルは、音響モデル記憶部22に記憶される。
<実施例3の音響認識処理>
図12は、実施例3の音響認識処理フローを例示する図である。実施例3の音響認識処理は、音響認識装置3Cによって、音響認識の際に実行される。図12におけるステップS10、S17~S18は、図10および図11と同様である。
図12において、ステップS21では、音響認識装置3Cは、音響特徴量変換装置1Cを使用して音響特徴量を複数の稼動パラメータでの音響特徴量へと変換および拡張する。具体的には、音響特徴量拡張部19は、音響特徴量抽出部18によって抽出された音響特徴量から、例えば稼動パラメータを稼動速度とした場合、音響特徴量を複数の稼動速度での音響特徴量へと変換および拡張することで、拡張後音響特徴量群が生成される。
ステップS21に続いてステップS23では、音響認識部16は、音響特徴量変換装置1Cによって拡張された拡張後音響特徴量と、音響モデル記憶部22に記憶されている音響モデルとを用いて識別を行う。音響認識部16は、音響特徴量変換装置1によって拡張されたそれぞれの音響特徴量に対して識別を行い、その結果を統合することによって識別精度を向上させることが可能となる。
ここで、図10に示した実施例3の音響特徴量規格化処理、図11に示した実施例3の音響モデル学習処理、図12に示した実施例3の音響認識処理の処理フローのそれぞれで、ステップS18とステップS21とは、その実行順番が入れ替わりうる。その際、例えば、音源分離部17から出力される分離後音響信号は、音響特徴量拡張部19に入力され、稼動パラメータにより拡張された拡張後音響信号群が出力され、拡張後音響信号群が音響特徴量抽出部18に入力され、拡張後音響特徴量群が出力される。
また、図11で示した実施例3の音響モデル学習処理、図12で示した実施例3の音響認識処理のそれぞれについて、音響特徴量の拡張を行っているが、必ずしも音響モデル学習装置2C、音響認識装置3Cの両方で音響特徴量の拡張が行われる必要はなく、音響モデル学習装置2C、音響認識装置3Cのうちの少なくとも1つ以上の装置内で音響特徴量の拡張が行われていればよい。
このように、実施例3によれば、認識対象タスクに関する学習データを十分に用意できない場合に、稼動パラメータによりデータの拡張を行うことでデータ量を水増しし、また、識別時にも同様のデータ拡張を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減する。
実施例4は、実施例1と比べて、複数の稼動パラメータを参照する音響特徴量変換装置と、その音響特徴量変換装置を用いた、音響モデル学習装置および音響認識装置を開示する。以下では、実施例1との相違点を中心に述べる。
機器の稼動時に発せられる音響信号と稼動パラメータとの間には相関があるという前提のもと、実施例1では、単一の稼動パラメータを参照していたのに比べ、実施例4では、音響特徴量変換装置が複数の稼動パラメータを参照することで、例えばより高い圧縮効率のデータ規格化などが可能となる。これによって、実施例4によれば、必要なストレージ容量の削減や、機械学習のモデルの軽量化、学習にかかる時間的コストの削減をよりいっそう図ることができる。
<実施例4の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の構成>
図13は、実施例4の音響特徴量変換装置、音響モデル学習装置、および音響認識装置の機能構成図を例示する図である。実施例4の音響特徴量変換装置1Dは、図13に示すように、音源分離部12、音響特徴量抽出部13、音響特徴量規格化部112、音源データ記憶部24、音源モデル学習部113、および音源モデル記憶部25を含む。
また、実施例4の音響モデル学習装置2Dは、図13に示すように、音響特徴量変換装置1Dの各構成部に加えて、規格化後音響特徴量記憶部21、音響モデル学習部15、および音響モデル記憶部22を含む。
また、実施例4の音響認識装置3Dは、図13に示すように、音響特徴量変換装置1Dの各構成部に加えて、音響認識部16を含む。
実施例4では、稼動パラメータ取得部110および稼動パラメータ取得部111のそれぞれから取得された2種類の稼動パラメータが、参照される。しかし、取得および参照される稼動パラメータは、2種類に限らず、少なくとも2種類以上の稼動パラメータが参照されていればよい。
<実施例4の音響特徴量変換処理>
図14は、実施例4の音響特徴量変換処理フローを例示する図である。実施例4の音響特徴量変換処理は、音響特徴量変換装置1Dによって、音響特徴量規格化の際に実行される。図14におけるステップS10は、図2と概ね同様であり、稼動パラメータの取得元が複数である点が異なる。
図14において、ステップS10に続いてステップS24では、音源分離部12は、例えば、雑音や残響および認識対象タスクの機器以外の音源からの音といった、雑音の含まれた入力音響信号から、認識対象タスクの機器から発せられる音響信号のみを抽出および分離し、分離後音響信号を算出する。このとき、音源分離部12は、例えば、実施例2で示したように、稼動パラメータを参照して、音源の分離を行うものなどであってもよい。
続いてステップS25では、音響特徴量抽出部13は、アナログの分離後音響信号から、ディジタルの音響特徴量を算出する。このとき、算出される音響特徴量は、例えば、スペクトログラムや、メル特徴量や、メルケプストラム特徴量などであってもよい。また、このとき、音響特徴量抽出部13は、例えば、実施例2で示したように、稼動パラメータを参照して、音源の分離を行うものなどであってもよい。音響特徴量抽出部13によって抽出された音響特徴量と、稼動パラメータ取得部110で取得された稼動パラメータAと、稼動パラメータ取得部111で取得された稼動パラメータBとが紐付けられ、音源データ記憶部24に記憶される。
続いてステップS26では、音源モデル学習部113は、音源データ記憶部24に記憶された、音響特徴量抽出部13によって抽出された音響特徴量と、稼動パラメータ取得部110によって取得された稼動パラメータAと、稼動パラメータ取得部111によって取得された稼動パラメータBとを用いて、音源モデルの学習を行う。
具体的には、音源モデル学習部113は、機器の稼動時に発せられる音響信号と複数の稼動パラメータの間に相関があることを利用し、音響特徴量と機器の複数の稼動パラメータから、複数の稼動パラメータで音響特徴量を規格化するための音源モデルを生成する。このとき、利用する音響信号と稼動パラメータの相関は、例えば、統計的な計算や、機械学習によって求められる相関などが挙げられる。
ここで、例えば、入力音響信号をs、入力稼動パラメータAをxA、入力稼動パラメータBをxB、規格化後音響信号をs´とすると、入力稼動パラメータAと入力稼動パラメータBが、それぞれ特定の稼動パラメータαA、αBのとき、入力音響信号sを規格化後音響信号s´に規格化する音響特徴量規格化モデルFαA,αBは、下記式(4)のように表される。
Figure 0007208846000004
このとき、規格化される特定の稼動パラメータは、例えば、操作者によって指定されるものや、学習データの稼動パラメータの分布から自動的に生成されるものなどである。また、音響特徴量規格化モデルでは、2つの稼動パラメータが参照されているが、必ずしも2つではなく、少なくとも2つ以上の稼動パラメータが参照されていればよい。このようにして生成された音響特徴量規格化モデルは、音源モデル記憶部25に記憶される。
<実施例4の音響モデル学習処理>
図15は、実施例4の音響モデル学習処理フローを例示する図である。図15におけるステップS10、S24~S25は、図14と同様である。
ステップS25に続いてステップS27では、音響モデル学習装置2Dは、音響特徴量変換装置1Dを使用して音響特徴量の規格化を行う。音響特徴量変換装置1Dの音響特徴量規格化部112は、稼動パラメータ取得部110で取得された稼動パラメータAと、稼動パラメータ取得部111で取得された稼動パラメータBと、音源モデル記憶部25に記憶された音響特徴量規格化モデルとを用いて、音響特徴量の規格化を行う。音響特徴量規格化部112によって、例えば、任意の稼動速度、圧力、外気温のときの音響特徴量が、指定された稼動速度、圧力、外気温のときの音響特徴量へと規格化された規格化後音響特徴量は、規格化後音響特徴量記憶部21に記憶される。
ステップS27に続いてステップS15では、音響モデル学習部15は、規格化後音響特徴量記憶部21に記憶された規格化後音響特徴量を学習データとして、音響モデルの学習を行う。学習には、例えば、混合ガウスモデルや、サポートベクトルマシン、ニューラルネットワークなどの公知の手法を用いる。音響モデル学習部15によって学習された音響モデルは、音響モデル記憶部22に記憶される。
<実施例4の音響認識処理>
図16は、実施例4の音響認識処理フローを例示する図である。図16におけるステップS10、S24~S25は、図14および図15と同様である。
図16において、ステップS25に続いてステップS27では、音響認識装置3Dは、音響特徴量変換装置1Dを用いて音響特徴量の規格化を行う。音響特徴量変換装置1Dは、音響特徴量規格化部112において、稼動パラメータ取得部110で取得された稼動パラメータAと、稼動パラメータ取得部111で取得された稼動パラメータBと、音源モデル記憶部25に記憶された音響特徴量規格化モデルとを用いて、音響特徴量の規格化を行う。
ステップS27に続いてステップS16では、音響認識部16は、音響特徴量変換装置1Dによって規格化された規格化後音響特徴量と音響モデル記憶部22に記憶された音響モデルを用いて識別を行う。
ここで、図14に示した実施例4の音響特徴量規格化処理、図15に示した実施例4の音響モデル学習処理、図16に示した実施例4の音響認識処理の処理フローのそれぞれで、ステップS25と、ステップS26またはステップS27とは、その実行順番が入れ替わりうる。
その際、例えば、音源分離部12から出力される分離後音響信号は、音源データ記憶部24に記憶されるとともに、音響特徴量規格化部112に入力される。音源モデルの学習は、音響信号に対して行われ、稼動パラメータにより規格化された規格化後音響信号が音響特徴量規格化部112から出力される。規格化後音響信号は、音響特徴量抽出部13に入力され、規格化後音響特徴量が出力される。
このように、実施例4によれば、認識対象タスクに関する学習データを十分に用意できない場合であっても、複数の稼動パラメータによりデータの規格化を行うことで、実効的なデータ量を拡張し、また、識別時にも同様のデータ規格化を行うことで、識別精度を向上させる。また、データセットの収録に必要な時間的、金銭的コストを削減し、必要なストレージ容量を削減し、機械学習のモデルを軽量化し、学習にかかる時間的コストを削減する。
<音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータ>
図17は、音響特徴量変換装置、音響モデル学習装置、および音響認識装置を実現するコンピュータを例示する図である。実施例1~4の音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dは、例えば、中央演算装置(CPU:Central Processing Unit)5300、主記憶装置(RAM:Random Access Memory)5400などを有する汎用または専用のコンピュータ5000に、音響特徴量変換処理、音響モデル学習処理、音響認識処理の各プログラムが読み込まれて構成された装置である。
コンピュータ5000は、例えば、主記憶装置5400と協働する中央演算装置5300の制御のもとで各処理を実行する。
コンピュータ5000は、中央演算装置5300、主記憶装置5400、入力装置5600(例えばキーボード、マウス、タッチパネル等)、および出力装置5700(例えば外部ディスプレイモニタに接続されたビデオグラフィックカード)が、メモリコントローラ5500を通して相互接続される。コンピュータ5000において、音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dを実現するための各プログラムがI/O(Input/Output)コントローラ5200を介してSSDやHDD等の外部記憶装置5800から読み出されて、中央演算装置5300および主記憶装置5400の協働により実行されることにより、音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dのそれぞれが実現される。
あるいは、音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dを実現するための各プログラムは、ネットワークインターフェース5100を介した通信により外部のコンピュータから取得されてもよい。音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dを実現するための各プログラムは、頒布可能な記憶媒体に格納され、読み取り装置によってこの記憶媒体から読み出されて取得されてもよい。
また、音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dの各処理部への入力、出力および処理の途中で算出されるデータは、例えば、主記憶装置5400へと格納され、必要に応じて他の処理にも用いられる。また、音響特徴量変換装置1~1D、音響モデル学習装置2~2D、および音響認識装置3~3Dの各処理部の少なくとも一部が集積回路などのハードウェアによって構成されていてもよい。
また、音響モデル学習装置2~2Dが備える各記憶部は、RAMなどの主記憶装置5400や、ハードディスクや光ディスクやフラッシュメモリ(Flash Memory)のような補助記憶装置、またはデータベースのようなミドルウェアによって構成することができる。音響モデル学習装置2~2Dが備える各記憶部は、理論的な分割が行われていればよく、物理的にひとつの記憶装置に記憶されていてもよい。
本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や、削除、置換、統合、もしくは分散をすることが可能である。また実施例で示した各構成や各処理は、処理効率あるいは実装効率に基づいて適宜分散または統合してもよい。
1,1B,1C,1D:音響特徴量変換装置、2,2B,2C,3D:音響モデル学習装置、3,3B,3C,3D:音響認識装置、10:音響信号取得部、11,110,111:稼動パラメータ取得部、12,17:音源分離部、13,18:音響特徴量抽出部、14,112:音響特徴量規格化部、15:音響モデル学習部、16:音響認識部、19:音響特徴量拡張部、113:音源モデル学習部、21:規格化後音響特徴量記憶部、22:音響モデル記憶部、23:拡張後音響特徴量記憶部、24:音源データ記憶部、25:音源モデル記憶部、5000:コンピュータ

Claims (8)

  1. 音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離部と、
    前記音源分離部によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出部と、
    音響特徴量規格化部または音響特徴量拡張部と、を有し、
    前記音響特徴量規格化部は、
    前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成し、
    前記音響特徴量拡張部は、
    前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動ラメータをもとに、前記音響特徴量抽出部によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する
    ことを特徴とする音響特徴量変換装置。
  2. 前記音源分離部は、前記稼動パラメータをもとに、前記機器を音源とする音響信号を分離することを特徴とする請求項1に記載の音響特徴量変換装置。
  3. 前記音響特徴量抽出部は、前記稼動パラメータをもとに音響特徴量を抽出することを特徴とする請求項1に記載の音響特徴量変換装置。
  4. 前記稼動パラメータは、前記機器の稼動状態を示す物理量、または、前記機器の稼動状態を制御する制御信号であることを特徴とする請求項1に記載の音響特徴量変換装置。
  5. 前記機器の稼動パラメータは、前記稼動パラメータ取得部によって取得された前記機器の複数種類の稼動パラメータを含むことを特徴とする請求項1に記載の音響特徴量変換装置。
  6. 前記音源分離部、前記音響特徴量抽出部、前記音響特徴量規格化部、および前記音響特徴量拡張部のいずれか少なくとも1つは、前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づいて構成されたニューラルネットワークを用いることを特徴とする請求項1に記載の音響特徴量変換装置。
  7. 音響特徴量変換装置が実行する音響特徴量変換方法であって、
    音響信号取得部によって取得された音響信号から、対象の機器を音源とする音響信号を分離する音源分離工程と、
    前記音源分離工程によって分離された音響信号から音響特徴量を抽出する音響特徴量抽出工程と、
    音響特徴量規格化工程および音響特徴量拡張工程のいずれか一方と、を有し、
    前記音響特徴量規格化工程は、
    前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量規格化モデルを用いて、稼動パラメータ取得部によって取得された前記機器の稼動パラメータをもとに、前記音響特徴量抽出工程によって抽出された音響特徴量から、前記機器の特定の稼動パラメータのときの音響特徴量である規格化音響特徴量を生成し、
    前記音響特徴量拡張工程は、
    前記機器を音源とする音響信号と前記機器の稼動パラメータとの相関に基づく音響特徴量拡張モデルを用いて、稼動パラメータ取得部によって取得された前記機器の特定の稼動パラメータをもとに、前記音響特徴量抽出工程によって抽出された音響特徴量から、前記機器の任意の稼動パラメータのときの音響特徴量である拡張後音響特徴量を生成する
    ことを特徴とする音響特徴量変換方法。
  8. 請求項1~6のいずれか1項に記載の音響特徴量変換装置としてコンピュータを機能させるための音響特徴量変換プログラム。
JP2019061514A 2019-03-27 2019-03-27 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム Active JP7208846B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019061514A JP7208846B2 (ja) 2019-03-27 2019-03-27 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019061514A JP7208846B2 (ja) 2019-03-27 2019-03-27 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム

Publications (2)

Publication Number Publication Date
JP2020160344A JP2020160344A (ja) 2020-10-01
JP7208846B2 true JP7208846B2 (ja) 2023-01-19

Family

ID=72643199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019061514A Active JP7208846B2 (ja) 2019-03-27 2019-03-27 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム

Country Status (1)

Country Link
JP (1) JP7208846B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992714A (zh) 2015-05-22 2015-10-21 株洲联诚集团有限责任公司 一种电机异音的检测方法
JP2016136229A (ja) 2015-01-14 2016-07-28 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理システム
JP6452061B1 (ja) 2018-08-10 2019-01-16 クリスタルメソッド株式会社 学習データ生成方法、学習方法、及び評価装置
JP2019028515A (ja) 2017-07-25 2019-02-21 ファナック株式会社 情報処理装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016136229A (ja) 2015-01-14 2016-07-28 本田技研工業株式会社 音声処理装置、音声処理方法、及び音声処理システム
CN104992714A (zh) 2015-05-22 2015-10-21 株洲联诚集团有限责任公司 一种电机异音的检测方法
JP2019028515A (ja) 2017-07-25 2019-02-21 ファナック株式会社 情報処理装置
JP6452061B1 (ja) 2018-08-10 2019-01-16 クリスタルメソッド株式会社 学習データ生成方法、学習方法、及び評価装置

Also Published As

Publication number Publication date
JP2020160344A (ja) 2020-10-01

Similar Documents

Publication Publication Date Title
KR102235568B1 (ko) 합성곱 신경망 기반 환경음 인식 방법 및 시스템
CN113436643B (zh) 语音增强模型的训练及应用方法、装置、设备及存储介质
JP3949150B2 (ja) 信号分離方法、信号分離装置、信号分離プログラム及び記録媒体
JP3584458B2 (ja) パターン認識装置およびパターン認識方法
CN112927707A (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
US10262678B2 (en) Signal processing system, signal processing method and storage medium
CN111028833B (zh) 一种交互、车辆的交互方法、装置
CN113823301A (zh) 语音增强模型的训练方法和装置及语音增强方法和装置
US12087280B2 (en) System and method for robust wakeword detection in presence of noise in new unseen environments without additional data
JP6195548B2 (ja) 信号解析装置、方法、及びプログラム
Ismail et al. Mfcc-vq approach for qalqalahtajweed rule checking
CN111341319A (zh) 一种基于局部纹理特征的音频场景识别方法及系统
KR20200107707A (ko) 화자 인식을 위한 등록 방법 및 장치
KR20210102860A (ko) 불균형 데이터 처리 장치 및 방법
JP2017134321A (ja) 信号処理方法、信号処理装置及び信号処理プログラム
WO2005098820A1 (ja) 音声認識装置及び音声認識方法
JP3699912B2 (ja) 音声特徴量抽出方法と装置及びプログラム
JP7208846B2 (ja) 音響特徴量変換装置、音響特徴量変換方法、および音響特徴量変換プログラム
Al-Dulaimi et al. Speaker Identification System Employing Multi-resolution Analysis in Conjunction with CNN.
JP2021124887A (ja) 音響診断方法、音響診断システム、及び音響診断プログラム
KR102878799B1 (ko) 소음환경을 고려한 임베디드 음성 키워드 검출 시스템 및 방법
García et al. The Power Cepstrum Calculation with Convolutional Neural Networks
CN115064182A (zh) 自适应梅尔滤波器在强噪声环境下风机故障特征识别方法
CN120236607A (zh) 一种基于深度学习的电缆故障声纹监测方法及系统
CN119580749A (zh) 语音信号的重构方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220405

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220510

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220928

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230106

R150 Certificate of patent or registration of utility model

Ref document number: 7208846

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150