JP7687388B2 - DATA ANALYSIS APPARATUS, DATA ANALYSIS METHOD, AND PROGRAM - Google Patents
DATA ANALYSIS APPARATUS, DATA ANALYSIS METHOD, AND PROGRAM Download PDFInfo
- Publication number
- JP7687388B2 JP7687388B2 JP2023518568A JP2023518568A JP7687388B2 JP 7687388 B2 JP7687388 B2 JP 7687388B2 JP 2023518568 A JP2023518568 A JP 2023518568A JP 2023518568 A JP2023518568 A JP 2023518568A JP 7687388 B2 JP7687388 B2 JP 7687388B2
- Authority
- JP
- Japan
- Prior art keywords
- series data
- time series
- time
- analyzing
- period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
- G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the other groups of this subclass
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
Description
本発明は、データ分析装置、データ分析方法、および記録媒体に関し、特に、時系列データを分析するデータ分析装置、データ分析方法、および記録媒体に関する。 The present invention relates to a data analysis device, a data analysis method, and a recording medium, and in particular to a data analysis device, a data analysis method, and a recording medium for analyzing time series data.
鉄道車両、自動車のエンジンルーム、および工場などにおいて、機器や部品の動作状態を監視するための技術が研究されている。例えば、特許文献1に記載の関連する技術では、機械学習によって生成された学習モデルを用いて、センサが検知する物理量に基づいて、機械の動作状態をリアルタイムで診断する。Technologies for monitoring the operating status of equipment and parts in railroad cars, automobile engine rooms, factories, etc. are being researched. For example, the related technology described in Patent Document 1 uses a learning model generated by machine learning to diagnose the operating status of a machine in real time based on physical quantities detected by a sensor.
さらに、他の関連する技術の一例では、時系列データを分析するために、非負値行列因子分解(Non-negative Matrix Factorization: NMF)が用いられる。具体的には、関連する技術では、時系列データを振幅スペクトログラムに変換し、そのスペクトログラムを、基底行列およびアクティベーション行列に分解する。そして、アクティベーション行列を音響特徴量として用いることによって、時系列データに含まれる異音を識別する。 In one example of another related technique, non-negative matrix factorization (NMF) is used to analyze time-series data. Specifically, the related technique converts the time-series data into an amplitude spectrogram, and then decomposes the spectrogram into a basis matrix and an activation matrix. The activation matrix is then used as an acoustic feature to identify allophones contained in the time-series data.
特開2020-204937号公報 JP 2020-204937 A
NMFは、スペクトログラムの表現である非負値行列を、より低次元の非負値行列の積で近似するものである。そのため、時系列データにおけるピークの周期が安定しない場合、あるいは雑音環境下などでは、NMFを用いる関連する技術は、異音を識別する精度が低下する。 NMF approximates a non-negative matrix, which represents a spectrogram, by the product of lower-dimensional non-negative matrices. Therefore, when the period of peaks in time series data is unstable or in a noisy environment, the accuracy of identifying allophones in related techniques using NMF decreases.
本発明は、上記の課題に鑑みてなされたものであり、その目的は、さまざまな性質の時系列データから、異音を正確に識別することにある。The present invention has been made in consideration of the above problems, and its purpose is to accurately identify abnormal sounds from time series data of various characteristics.
本発明の一態様に係わるデータ分析装置は、時系列データの性質を判定する判定手段と、前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択する選択手段と、選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別する識別手段とを備えている。A data analysis device according to one aspect of the present invention includes a determination means for determining the characteristics of time series data, a selection means for selecting a method for analyzing the time series data based on the characteristics of the time series data, and an identification means for identifying abnormal sounds contained in the time series data by analyzing the time series data using the selected method.
本発明の一態様に係わるデータ分析方法では、時系列データの性質を判定し、前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択し、選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別する。 In one aspect of the present invention, a data analysis method determines the characteristics of time series data, selects a method for analyzing the time series data based on the characteristics of the time series data, and analyzes the time series data using the selected method to identify abnormal sounds contained in the time series data.
本発明の一態様に係わる記録媒体は、時系列データの性質を判定することと、前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択することと、選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別することとをコンピュータに実行させるためのプログラムを格納している。 A recording medium according to one aspect of the present invention stores a program for causing a computer to execute the following steps: determine the characteristics of time series data; select a method for analyzing the time series data based on the characteristics of the time series data; and identify abnormal sounds contained in the time series data by analyzing the time series data using the selected method.
本発明の一態様によれば、さまざまな性質の時系列データから、異音を正確に識別することができる。 According to one aspect of the present invention, abnormal sounds can be accurately identified from time series data of various characteristics.
本発明を実施するためのいくつかの形態について、以下で説明する。Several forms for implementing the present invention are described below.
〔実施形態1〕
図1~図2を参照して、実施形態1について説明する。
[Embodiment 1]
A first embodiment will be described with reference to FIGS.
(異音識別装置10)
図1は、本実施形態1に係わる異音識別装置10の構成を示すブロック図である。図1に示すように、異音識別装置10は、判定部11、選択部12、識別部13、および提供部14を備えている。
(Abnormal sound identification device 10)
Fig. 1 is a block diagram showing the configuration of an abnormal
判定部11は、時系列データの性質を判定する。判定部11は、判定手段の一例である。The
第1の例では、判定部11は、時系列データのピークを追跡する。ここでは、判定部11は、周知のピークトラッキング技術を用いることができる。判定部11は、時系列データの1つ目のピークから、次のピークまでの時間を計測する。続いて、判定部11は、2番目のピークから、3番目のピークまでの時間を計算する。繰り返して、判定部11は、時系列データの隣接するピーク間の時間幅(周期と呼ぶ)を計算する。その後、判定部11は、時系列データにおけるピークの周期の揺らぎを計算する。例えば、判定部11は、時系列データにおけるピークの周期の分散または標準偏差を、時系列データにおけるピークの周期の揺らぎの大きさを示す指標として計算する。そして、時系列データにおけるピークの周期の揺らぎの大きさが閾値以下である場合、時系列データは性質aであると、判定部11は判定する。一方、時系列データにおけるピークの周期の揺らぎの大きさが閾値を超える場合、時系列データは性質bであると、判定部11は判定する(実施形態1)。In the first example, the
第2の例では、判定部11は、時系列データをスペクトルにフーリエ変換する。判定部11は、スペクトルのピーク強度を計算する。そして、判定部11は、スペクトルの全てのピーク強度が閾値以上である場合、時系列データは性質aであると、判定部11は判定する。一方、時系列データの1つ以上のピーク強度が閾値を下回る場合、時系列データは性質bであると、判定部11は判定する(実施形態2)。なお、判定部11が時系列データの性質を判定する手法は、ここで説明した第1の例及び第2の例には限定されない。In the second example, the
判定部11は、時系列データの性質の判定結果を、選択部12へ出力する。また、判定部11は、時系列データを識別部13へ出力する。The
選択部12は、時系列データの性質に基づき、時系列データを分析するための手法を選択する。選択部12は、選択手段の一例である。The
一例では、選択部12は、判定部11から、時系列データの性質の判定結果を受信する。選択部12は、時系列データの性質の判定結果に基づいて、時系列データを分析するための手法を選択する。例えば、時系列データが性質aである場合、選択部12は、非負値行列因子分解(Nonnegative Matrix Factorization: NMF)を用いる第1の手法を選択する。非負値行列因子分解(以下、NMF)を用いる手法では、時系列データのスペクトルを時間順に並べたスペクトログラムを、基底行列およびアクティベーション行列に分解する。こうして得られたアクティベーション行列が、第1の手法での特徴量である。In one example, the
一方、時系列データが性質bである場合、選択部12は、メル周波数ケプストラム係数(Mel-Frequency Cepstrum Coefficients: MFCC)を用いる第2の手法を選択する。メル周波数ケプストラム係数(以下、MFCC)は、時系列データをケプストラム分析することによって得られる重みづけられたケプストラムの低次成分である。こうして得られたMFCCが第2の手法での特徴量である。選択部12は、時系列データを分析するための手法(第1の手法又は第2の手法)を、識別部13へ通知する。On the other hand, when the time series data has property b, the
識別部13は、選択した手法を用いて、時系列データを分析することによって、時系列データに含まれる異音を識別する。識別部13は、識別手段の一例である。The
一例では、識別部13は、判定部11から、時系列データを受信する。また、識別部13は、選択部12から、時系列データを分析するための手法(第1の手法および第2の手法のいずれか)を通知される。識別部13は、選択部12により選択された手法を用いて、時系列データを分析する。例えば、第1の手法が選択された場合、識別部13は、まず、時系列データをスペクトログラムに変換する。そして、識別部13は、NMFを用いて、スペクトログラムを分解することによって、アクティベーション行列を得る。識別部13は、アクティベーション行列を特徴量として用いて機械学習した識別器(以下、識別器Aと呼ぶ)に、得られたアクティベーション行列を特徴量として入力する。識別器Aは、入力されたアクティベーション行列の特徴量に基づいて、時系列データを識別し、その識別結果を出力する。In one example, the
一方、第2の手法が選択された場合、識別部13は、まず、時系列データをケプストラム分析することによって、MFCCを得る。識別部13は、MFCCを特徴量として用いて機械学習した識別器(以下、識別器Bと呼ぶ)に、ケプストラム分析によって得られたMFCCを特徴量として入力する。識別器Bは、入力されたMFCCの特徴量に基づいて、時系列データを識別し、その識別結果を出力する。このようにして、識別部13は、選択部12により選択された手法に応じて、識別器Aまたは識別器Bを用いて、時系列データを識別する。識別部13は、時系列データの識別結果を、後段の処理部(図示せず)へ出力してもよいし、記録媒体又は外部機器へ提供してもよい。On the other hand, when the second method is selected, the
(異音識別装置10の動作)
図2を参照して、本実施形態1に係わる異音識別装置10の動作を説明する。図2は、異音識別装置10の各部が実行する処理の流れを示すフローチャートである。
(Operation of the abnormal sound identification device 10)
The operation of the abnormal
まず、異音識別装置10へ時系列データが入力される。時系列データは、例えば、運行中の鉄道車両内、工場、自動車のエンジンルーム内などにおいて、機器又は部品が発する音をマイクロフォンにより集音することによって生成された音響信号である。異音識別装置10は、無線又は有線の任意のネットワークを介して、音響信号などの時系列データを受信する。その後、異音識別装置10は、以下の動作を開始する。First, time series data is input to the abnormal
図2に示すように、判定部11は、時系列データの性質を判定する(S1)。一例では、判定部11は、時系列データのピークから次のピークまでの時間幅(周期)を測定する。そして、周期の揺らぎの大きさが閾値以下である場合、判定部11は、時系列データが性質aを有すると判定する。一方、周期の揺らぎの大きさが閾値を超える場合、判定部11は、時系列データが性質bを有すると判定する。判定部11は、時系列データの性質の判定結果を、選択部12へ出力する。また、判定部11は、時系列データを識別部13へ出力する。
As shown in FIG. 2, the
次に、選択部12は、時系列データの性質に基づいて、時系列データを分析するための手法を選択する(S2)。例えば、時系列データが性質aを有する場合、選択部12は、NMFを用いる第1の手法を選択する。以降、時系列データが性質bを有する場合、選択部12は、MFCCを用いる第2の手法を選択する。選択部12は、時系列データを分析するための手法を、識別部13へ通知する。Next, the
識別部13は、選択部12により選択された手法を用いて、時系列データを分析することによって、時系列データに含まれる異音を識別する(S3)。The
以上で、本実施形態1に係わる異音識別装置10の動作は終了する。This completes the operation of the abnormal
(本実施形態の効果)
本実施形態の構成によれば、判定部11は、時系列データの性質を判定する。選択部12は、時系列データの性質に基づき、時系列データを分析するための手法を選択する。識別部13は、選択した手法を用いて、時系列データを分析することによって、時系列データに含まれる異音を識別する。時系列データにはさまざまな種類の音響(異音を含む)および雑音が含まれており、時系列データの性質もさまざまである。例えば、周期の揺らぎが大きい異音が時系列データに含まれている場合もあるし、雑音が大きい(目的音が小さい)場合もある。
(Effects of this embodiment)
According to the configuration of this embodiment, the
異音識別装置10は、まず時系列データの性質を判定し、その判定結果に基づき、時系列データを分析するための手法を選択する。これにより、さまざまな性質の時系列データから、異音を正確に識別することができる。The abnormal
〔実施形態2〕
図3~図5を参照して、実施形態2について説明する。本実施形態2では、時系列データの性質を判定する方法の一例を説明する。本実施形態2では、前記実施形態1で説明した構成に関して、前記実施形態1の説明を引用し、その説明を省略する。
[Embodiment 2]
A second embodiment will be described with reference to Figures 3 to 5. In this second embodiment, an example of a method for determining the properties of time-series data will be described. In this second embodiment, the description of the first embodiment will be cited with respect to the configuration described in the first embodiment, and the description thereof will be omitted.
(異音識別装置20)
図3は、本実施形態2に係わる異音識別装置20の構成を示すブロック図である。図3に示すように、異音識別装置20は、判定部21、選択部12、識別部13を備えている。また、異音識別装置20の判定部21は、ピーク検出部24を備えている。ピーク検出部24は、時系列データのピークを検出する。
(Abnormal sound identification device 20)
Fig. 3 is a block diagram showing the configuration of an abnormal
図4を参照して、時系列データの性質を判定する方法の一例を具体的に説明する。図4は、性質aを有する時系列データ、および性質bを有する時系列データをそれぞれ例示する。図4において、ピーク検出部24が検出するピークは、点(黒塗りの円)で示されている。An example of a method for determining the properties of time series data will be specifically described with reference to Figure 4. Figure 4 illustrates time series data having property a and time series data having property b. In Figure 4, the peaks detected by the
本実施形態2において、判定部21は、時系列データのピークが検出されてから、次のピークが検出されるまでの時間幅(周期と呼ぶ)に基づいて、時系列データの性質を判定する。In this embodiment 2, the
図4において、時系列データにおけるピークの周期は、時系列データのピークを示す点と点との間の距離(すなわち両矢印の長さ)で表されている。上側の時系列データでは、時系列データにおけるピークの周期がほぼ一定である。言い換えれば、上側の時系列データは、周期の差分(周期の揺らぎ)が小さい。一方、下側の時系列データでは、時系列データにおけるピークの周期にばらつきがある。言い換えれば、下側の時系列データは、周期の差分(周期の揺らぎ)が大きい。 In Figure 4, the period of peaks in the time series data is represented by the distance between the points indicating the peaks of the time series data (i.e., the length of the double-headed arrows). In the time series data on the top, the period of peaks in the time series data is almost constant. In other words, the time series data on the top has a small difference in period (periodic fluctuation). On the other hand, in the time series data on the bottom, there is variation in the period of peaks in the time series data. In other words, the time series data on the bottom has a large difference in period (periodic fluctuation).
判定部21は、時系列データにおけるピークの周期の差分(周期の揺らぎ)の大きさと、予め定めた閾値とを比較する。例えば、時系列データにおけるピークの周期の揺らぎの大きさを差分の偏差で表す場合、閾値Xは0.5である。本例では、時系列データにおけるピークの周期の揺らぎがX=0.5以下である場合、判定部21は、時系列データは性質aを有すると判定する。一方、時系列データにおけるピークの周期の揺らぎがX=0.5を超える場合、判定部21は、時系列データは性質bを有すると判定する。The
(異音識別装置20の動作:S1)
図5を参照して、本実施形態2に係わる異音識別装置20の動作を説明する。ここでは、判定部21が実行する処理の流れの詳細、すなわち図2に示すステップS1の内容のみを説明する。
(Operation of the abnormal sound identification device 20: S1)
The operation of the abnormal
前記実施形態1と同様に、異音識別装置20は、時系列データを受信する。その後、異音識別装置20の判定部21は、以下で説明するように、時系列データの性質を判定する。As in the first embodiment, the abnormal
図5に示すように、判定部21のピーク検出部24は、時系列データのピークを検出する(S21)。As shown in FIG. 5, the
判定部21は、時系列データのピーク間の時間幅に基づいて、時系列データにおけるピークの周期の揺らぎを計算する(S22)。The
判定部21は、時系列データにおけるピークの周期の揺らぎの大きさが閾値以下であるか否かを判定する(S23)。The
時系列データにおけるピークの周期の揺らぎの大きさが閾値以下である場合(S23でYes)、判定部21は、時系列データは性質aを有すると判定する(S24A)。一方、時系列データにおけるピークの周期の揺らぎの大きさが閾値を超える場合(S23でNo)、判定部21は、時系列データは性質bを有すると判定する(S24B)。If the magnitude of the fluctuation in the period of the peaks in the time series data is equal to or less than the threshold (Yes in S23), the
以上で、判定部21の処理は終了する。その後、前記実施形態1で説明した選択部12の処理(ステップS2)へ進む。本実施形態2では、選択部12の処理(ステップS2)以降についての説明を省略する。This ends the processing of the
(本実施形態の効果)
本実施形態の構成によれば、判定部21は、時系列データの性質を判定する。選択部12は、時系列データの性質に基づき、時系列データを分析するための手法を選択する。識別部13は、選択した手法を用いて、時系列データを分析することによって、時系列データに含まれる異音を識別する。時系列データにはさまざまな種類の音響(異音を含む)および雑音が含まれており、時系列データの性質もさまざまである。例えば、周期の揺らぎが大きい異音が時系列データに含まれている場合もあるし、雑音が大きい(目的音が小さい)場合もある。
(Effects of this embodiment)
According to the configuration of this embodiment, the
異音識別装置10は、まず時系列データの性質を判定し、その判定結果に基づき、時系列データを分析するための手法を選択する。これにより、さまざまな性質の時系列データから、異音を正確に識別することができる。The abnormal
さらに、本実施形態2の構成によれば、判定部21は、時系列データのピークを検出するピーク検出部24を備えている。判定部21は、時系列データのピークが検出されてから、次のピークが検出されるまでの時間幅に基づいて、時系列データの性質を判定する。時系列データのピークが検出されてから、次のピークが検出されるまでの時間幅より、時系列データにおけるピークの周期の揺らぎの大きさを計算できる。そして、時系列データにおけるピークの周期の揺らぎの大きさと閾値とを比較することによって、時系列データにおけるピークの周期の揺らぎが比較的小さい性質と、時系列データにおけるピークの周期の揺らぎが比較的大きい性質とを判定することができる。Furthermore, according to the configuration of the second embodiment, the
〔実施形態3〕
図6~図9を参照して、実施形態3について説明する。本実施形態3では、時系列データの性質を判定する方法の他の一例を説明する。本実施形態3では、前記実施形態1で説明した構成に関して、前記実施形態1の説明を引用し、その説明を省略する。
[Embodiment 3]
A third embodiment will be described with reference to Figures 6 to 9. In this third embodiment, another example of a method for determining the properties of time-series data will be described. In this third embodiment, the description of the first embodiment will be cited with respect to the configuration described in the first embodiment, and the description thereof will be omitted.
(異音識別装置30)
図6は、本実施形態3に係わる異音識別装置30の構成を示すブロック図である。図6に示すように、異音識別装置30は、判定部31、選択部12、識別部13を備えている。また、異音識別装置30の判定部31は、データ変換部34を備えている。データ変換部34は、時系列データや波形などの時間領域の信号を、スペクトルやスペクトログラムといった周波数領域の信号に変換する。以下では、時系列データをスペクトログラムに変換する例を説明する。
(Abnormal sound identification device 30)
Fig. 6 is a block diagram showing the configuration of an abnormal
図7は、時系列データから変換されたスペクトログラムの一例を示す。図7に示すスペクトログラムにおいて、周波数スペクトル強度が濃淡で表現されている。また、周波数スペクトルのピークが太線(バー)で示されている。図7に示す例では、周波数スペクトルのピークの一部が、縦軸および横軸に対して傾斜している。これは、ピーク周波数が時間とともに遷移していることを表している。言い換えれば、元の時系列データにおけるピークの周期(=1/ピーク周波数)が揺らいでいる。 Figure 7 shows an example of a spectrogram converted from time series data. In the spectrogram shown in Figure 7, the frequency spectrum intensity is represented by shading. Furthermore, the peaks of the frequency spectrum are shown by thick lines (bars). In the example shown in Figure 7, some of the peaks of the frequency spectrum are inclined with respect to the vertical and horizontal axes. This indicates that the peak frequency is shifting over time. In other words, the period of the peaks (= 1/peak frequency) in the original time series data is fluctuating.
図8は、時系列データから変換された周波数スペクトルの一例を示すグラフである。周波数スペクトルは、スペクトログラムにおける所定の時間幅に対応する。図8において、周波数スペクトルのピークは、グラフ上に点(黒塗りの円)で示されている。 Figure 8 is a graph showing an example of a frequency spectrum converted from time series data. The frequency spectrum corresponds to a given time width in the spectrogram. In Figure 8, the peaks of the frequency spectrum are shown as dots (black circles) on the graph.
周波数スペクトルのピークが鋭く高いことは、所定の時間幅において、元の時系列データにおけるピークの周期がほぼ一定である(すなわち周期の揺らぎが小さい)ことと対応する。一方、周波数スペクトルのピークが鈍く低いことは、所定の時間幅において、元の時系列データにおけるピークの周期にばらつきがある(すなわち周期の揺らぎが大きい)ことと対応する。A sharp, high peak in the frequency spectrum corresponds to a nearly constant period of peaks in the original time series data over a given time span (i.e., small periodic fluctuations). On the other hand, a dull, low peak in the frequency spectrum corresponds to a variance in the period of peaks in the original time series data over a given time span (i.e., large periodic fluctuations).
判定部31は、スペクトログラムから所定の時間幅ごとに切り出された周波数スペクトルのピーク強度に基づいて、時系列データの性質を判定する。例えば、判定部31は、周波数スペクトルにおけるピーク強度と、ピーク周波数を中心とする所定の帯域における強度の平均との差分を計算する。判定部31は、得られた差分と閾値Yとを比較する。本例では、周波数スペクトルにおけるピーク強度と、ピーク周波数を中心とする所定の帯域における強度の平均との差分が閾値Y以上である場合、判定部31は、時系列データは性質aを有すると判定する。一方、周波数スペクトルにおけるピーク強度と、所定の時間幅における強度の平均との差分が閾値Y未満である場合、判定部31は、時系列データは性質bを有すると判定する。The
なお、後段の識別部13による異音の識別結果の信頼度の情報を、判定部31へフィードバックすることによって、判定部31は、識別部13による異音の識別結果の信頼度が上昇するように、閾値Yを更新してもよい。In addition, by feeding back information on the reliability of the abnormal sound identification result by the
(異音識別装置30の動作:S1)
図9を参照して、本実施形態3に係わる異音識別装置30の動作を説明する。ここでは、判定部31が実行する処理の流れの詳細、すなわち図2に示すステップS1の内容のみを説明する。
(Operation of the abnormal sound identification device 30: S1)
The operation of the abnormal
前記実施形態1と同様に、異音識別装置30は、時系列データを受信する。その後、異音識別装置30の判定部31は、以下で説明するように、時系列データの性質を判定する。As in the first embodiment, the abnormal
図9に示すように、判定部31のデータ変換部34は、時系列データ(時間領域の信号)を、スペクトログラム(図7)(周波数領域の信号)に変換する(S31)。
As shown in Figure 9, the
判定部31は、スペクトログラムから、所定の時間幅のセグメントを切り出すことによってごとに、周波数スペクトルを生成する。判定部31は、周波数スペクトルにおけるピーク強度を計算する(S32)。The
判定部31は、周波数スペクトルにおけるピーク強度が閾値以上であるか否かを判定する(S33)。例えば、閾値は、ピーク周波数を中心とする所定の帯域における強度の平均である。The
周波数スペクトルにおけるピーク強度が閾値以上である場合(S33でYes)、判定部31は、時系列データは性質aを有すると判定する(S34A)。一方、周波数スペクトルにおけるピーク強度が閾値を下回る場合(S33でNo)、判定部31は、時系列データは性質bを有すると判定する(S34B)。If the peak intensity in the frequency spectrum is equal to or greater than the threshold (Yes in S33), the
以上で、判定部31の処理は終了する。その後、前記実施形態1で説明した選択部12の処理(ステップS2)へ進む。本実施形態3では、選択部12の処理(ステップS2)以降についての説明を省略する。This completes the processing of the
(閾値の決定方法)
ここでは、判定部31が、周波数スペクトルのピーク強度と閾値とを比較することによって、時系列データの性質を判定する構成を説明した。ここでは、周波数スペクトルのピーク強度の閾値を決定する方法の一例を説明する。
(Method of determining threshold value)
Here, a configuration has been described in which the
図10は、周波数スペクトルのピーク強度の閾値を決定するために用いられるスコアの分布を示すグラフの一例である。 Figure 10 is an example graph showing the distribution of scores used to determine the peak intensity threshold of a frequency spectrum.
判定部31は、性質aを有すると判定済の時系列データおよび性質bを有すると判定済の時系列データの両方を同数またはほぼ同数ずつ含む多数の学習データについてのスコアを計算する。ここでのスコアは、ピーク周波数を中心とする所定の帯域における強度の平均と、ピーク強度との差分である。スコアの算出結果から、図10に示すようなスコアの分布が得られる。そして、判定部31は、スコアの分布に基づいて、性質aを有する時系列データと、性質bを有する時系列データとを区別できるように、閾値を決定する。例えば、判定部31は、性質bを有する時系列データのスコアの最大値の2倍を閾値に決定する。ある時系列データのスコアが閾値以上である場合、その時系列データは性質aを有する蓋然性が高い一方、ある時系列データのスコアが閾値を下回る場合、その時系列データは性質bを有する蓋然性が高い。判定部31は、このようにして決定された閾値を用いることにより、時系列データの性質を上述のように判定することができる。The
(本実施形態の効果)
本実施形態の構成によれば、判定部31は、時系列データの性質を判定する。選択部12は、時系列データの性質に基づき、時系列データを分析するための手法を選択する。識別部13は、選択した手法を用いて、時系列データを分析することによって、時系列データに含まれる異音を識別する。時系列データにはさまざまな種類の音響(異音を含む)および雑音が含まれており、時系列データの性質もさまざまである。例えば、周期の揺らぎが大きい異音が時系列データに含まれている場合もあるし、雑音が大きい(目的音が小さい)場合もある。
(Effects of this embodiment)
According to the configuration of this embodiment, the
異音識別装置10は、まず時系列データの性質を判定し、その判定結果に基づき、時系列データを分析するための手法を選択する。これにより、さまざまな性質の時系列データから、異音を正確に識別することができる。The abnormal
さらに、本実施形態3の構成によれば、判定部31は、時系列データをスペクトログラムに変換するデータ変換部34を備えている。判定部31は、スペクトログラムから所定の時間幅ごとに切り出された周波数スペクトルのピーク強度に基づいて、時系列データの性質を判定する。周波数スペクトルのピークが鋭く強いことは、元の時系列データにおけるピークの周期の揺らぎが小さいことと対応する。そして、周波数スペクトルのピーク強度と閾値とを比較することによって、時系列データにおけるピークの周期の揺らぎが比較的小さい性質と、時系列データにおけるピークの周期の揺らぎが比較的大きい性質とを判定することができる。Furthermore, according to the configuration of the third embodiment, the
(変形例)
前記実施形態1~3のいずれかの一変形例では、識別部13は、3つ以上の識別器を用いて、時系列データに含まれる異音を識別する。
(Modification)
In a modification of any of the first to third embodiments, the
例えば、本変形例に係わる識別部13は、MFCCを特徴量として用いて機械学習した識別器Bとともに、DCTC(Discrete Cosine Transform Coefficients)を特徴量とする識別器(以下、識別器Cと呼ぶ)を併用する。識別部13は、2つの識別器のそれぞれによって、時系列データに含まれる異音を識別し、その識別結果の信頼度の大小を比較する。識別器Bによる識別結果の信頼度がより高い場合、識別部13は、識別器Bによる識別結果を出力する。一方、識別器Cによる識別結果の信頼度がより高い場合、識別部13は、識別器Cによる識別結果を出力する。For example, the
他の変形例では、識別部13は、時系列データの元となる音響信号が取得された場所に応じて、複数の識別器を使い分けてもよい。本変形例では、各識別器と、互いに異なる場所を示す情報とが、予め対応付けられている。本変形例に係わる識別部13は、判定部11から、時系列データとともに、時系列データに紐づけられた場所を示す情報も受信する。識別部13は、場所を示す情報に基づいて、複数の識別器の中から、対応する識別器を選択する。そして、識別部13は、選択した識別器を用いて、時系列データに含まれる異音を識別する。In another variation, the
本変形例の構成によれば、2つの識別器のうち、識別結果の信頼度がより高い一方を選択するので、識別部13が出力する識別結果の信頼性を向上させることができる。
According to the configuration of this modified example, one of the two classifiers is selected, which has a higher reliability of the classification result, thereby improving the reliability of the classification result output by the
〔ハードウェア構成〕
前記実施形態1~3で説明した異音識別装置10,20,30の各構成要素は、機能単位のブロックを示している。これらの構成要素の一部又は全部は、例えば図11に示すような情報処理装置900により実現される。図11は、情報処理装置900のハードウェア構成の一例を示すブロック図である。
[Hardware configuration]
Each of the components of the abnormal
図11に示すように、情報処理装置900は、一例として、以下のような構成を含む。As shown in FIG. 11, the
・CPU(Central Processing Unit)901
・ROM(Read Only Memory)902
・RAM(Random Access Memory)903
・RAM903にロードされるプログラム904
・プログラム904を格納する記憶装置905
・記録媒体906の読み書きを行うドライブ装置907
・通信ネットワーク909と接続する通信インタフェース908
・データの入出力を行う入出力インタフェース910
・各構成要素を接続するバス911
前記実施形態1~3で説明した異音識別装置10,20,30の各構成要素は、これらの機能を実現するプログラム904をCPU901が読み込んで実行することで実現される。各構成要素の機能を実現するプログラム904は、例えば、予め記憶装置905やROM902に格納されており、必要に応じてCPU901がRAM903にロードして実行される。なお、プログラム904は、通信ネットワーク909を介してCPU901に供給されてもよいし、予め記録媒体906に格納されており、ドライブ装置907が当該プログラムを読み出してCPU901に供給してもよい。
・CPU (Central Processing Unit) 901
・ROM (Read Only Memory) 902
・RAM (Random Access Memory) 903
A
A
A
An input/
A
Each of the components of the abnormal
上記の構成によれば、前記実施形態1~3において説明した異音識別装置10,20,30が、ハードウェアとして実現される。したがって、前記実施形態1~3において説明した効果と同様の効果を奏することができる。
According to the above configuration, the abnormal
〔付記〕
本発明の一態様は、以下の付記のようにも記載されるが、以下に限定されない。
[Additional Notes]
One embodiment of the present invention is described as follows, but is not limited to the following.
(付記1)
時系列データの性質を判定する判定手段と、
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択する選択手段と、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別する識別手段とを備えた
データ分析装置。
(Appendix 1)
A determination means for determining the nature of the time series data;
A selection means for selecting a technique for analyzing the time series data based on the characteristics of the time series data;
and an identification means for identifying an abnormal sound contained in the time-series data by analyzing the time-series data using the selected method.
(付記2)
前記判定手段は、前記時系列データのピークを検出するピーク検出手段を備え、
前記判定手段は、前記時系列データの前記ピークが検出されてから、次のピークが検出されるまでの時間幅に基づいて、前記時系列データの前記性質を判定する
ことを特徴とする付記1に記載のデータ分析装置。
(Appendix 2)
The determination means includes a peak detection means for detecting a peak in the time series data,
The data analysis device according to claim 1, wherein the determination means determines the property of the time series data based on a time width from when the peak of the time series data is detected to when the next peak is detected.
(付記3)
前記判定手段は、前記時系列データをスペクトログラムに変換するデータ変換手段を備え、
前記判定手段は、前記スペクトログラムから所定の時間幅ごとに切り出された周波数スペクトルのピーク強度に基づいて、前記時系列データの前記性質を判定する
ことを特徴とする付記1に記載のデータ分析装置。
(Appendix 3)
The determination means includes a data conversion means for converting the time series data into a spectrogram,
The data analysis device according to claim 1, wherein the determining means determines the property of the time series data based on peak intensities of frequency spectra extracted from the spectrogram for each predetermined time width.
(付記4)
前記判定手段は、前記時系列データが含む周期成分の周期のばらつきの大きさを判定し、
前記選択手段は、前記時系列データを分析するための複数の手法の中から、前記周期のばらつきの大きさに応じた手法を選択する
ことを特徴とする付記1から3のいずれか1項に記載のデータ分析装置。
(Appendix 4)
The determination means determines a magnitude of variation in a period of a periodic component contained in the time series data,
The data analysis apparatus according to any one of claims 1 to 3, wherein the selection means selects a method from a plurality of methods for analyzing the time series data according to a magnitude of variation in the period.
(付記5)
前記周期のばらつきの大きさが閾値を下回る場合、前記選択手段は、NMF(Nonnegative Matrix Factorization)を選択する
ことを特徴とする付記4に記載のデータ分析装置。
(Appendix 5)
The data analysis apparatus according to claim 4, wherein the selection means selects Nonnegative Matrix Factorization (NMF) when the magnitude of the variation in the period is below a threshold value.
(付記6)
時系列データの性質を判定し、
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択し、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別する
データ分析方法。
(Appendix 6)
Determine the nature of the time series data,
selecting a technique for analyzing the time series data based on the characteristics of the time series data;
A data analysis method for identifying abnormal sounds contained in time-series data by analyzing the time-series data using the selected technique.
(付記7)
時系列データの性質を判定することと、
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択することと、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別することと
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
(Appendix 7)
Determining a nature of the time series data;
selecting a technique for analyzing the time series data based on the characteristics of the time series data;
and identifying an abnormal sound contained in the time-series data by analyzing the time-series data using the selected technique.
本発明は、例えば、鉄道、自動車のエンジンルーム、工場、その他の機器又は部品が発する異音を識別する異音識別装置に利用することができる。 The present invention can be used, for example, in an abnormal sound identification device that identifies abnormal sounds emitted by equipment or parts in railways, automobile engine compartments, factories, and other places.
10 異音識別装置
11 判定部
12 選択部
13 識別部
20 異音識別装置
24 ピーク検出部
30 異音識別装置
34 データ変換部
REFERENCE SIGNS
Claims (6)
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択する選択手段と、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別する識別手段とを備え、
前記判定手段は、前記時系列データが含む周期成分の周期のばらつきの大きさを判定し、
前記選択手段は、前記時系列データを分析するための複数の手法の中から、前記周期のばらつきの大きさに応じた手法を選択する
データ分析装置。 A determination means for determining the nature of the time series data;
A selection means for selecting a technique for analyzing the time series data based on the characteristics of the time series data;
and an identification means for identifying an abnormal sound included in the time-series data by analyzing the time-series data using the selected technique ,
The determination means determines a magnitude of variation in a period of a periodic component contained in the time series data,
The selection means selects a method according to the magnitude of the variation in the period from among a plurality of methods for analyzing the time series data.
Data analysis equipment.
前記判定手段は、前記時系列データの前記ピークが検出されてから、次のピークが検出されるまでの時間幅に基づいて、前記時系列データの前記性質を判定する
ことを特徴とする請求項1に記載のデータ分析装置。 The determination means includes a peak detection means for detecting a peak in the time series data,
The data analysis apparatus according to claim 1 , wherein the determining means determines the property of the time series data based on a time width from when the peak of the time series data is detected to when the next peak is detected.
前記判定手段は、前記スペクトログラムから所定の時間幅ごとに切り出された周波数スペクトルのピーク強度に基づいて、前記時系列データの前記性質を判定する
ことを特徴とする請求項1に記載のデータ分析装置。 The determination means includes a data conversion means for converting the time series data into a spectrogram,
The data analysis apparatus according to claim 1 , wherein the determining means determines the property of the time series data based on peak intensities of frequency spectra extracted from the spectrogram for each predetermined time width.
ことを特徴とする請求項1から3のいずれか1項に記載のデータ分析装置。 4. The data analysis apparatus according to claim 1 , wherein the selection means selects NMF (Nonnegative Matrix Factorization) when the magnitude of the variation in the period is below a threshold value.
時系列データの性質を判定し、
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択し、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別するデータ分析方法であって、
前記コンピュータが、
前記時系列データが含む周期成分の周期のばらつきの大きさを判定し、
前記時系列データを分析するための複数の手法の中から、前記周期のばらつきの大きさに応じた手法を選択する
データ分析方法。 The computer
Determine the nature of the time series data,
selecting a technique for analyzing the time series data based on the characteristics of the time series data;
A data analysis method for identifying an abnormal sound included in time-series data by analyzing the time-series data using the selected technique,
The computer,
determining a magnitude of variation in a period of a periodic component contained in the time series data;
Selecting a method according to the magnitude of the variation in the period from among a plurality of methods for analyzing the time series data.
Data analysis methods.
前記時系列データの前記性質に基づき、前記時系列データを分析するための手法を選択することと、
選択した前記手法を用いて、前記時系列データを分析することによって、前記時系列データに含まれる異音を識別することと、
をコンピュータに実行させるためのプログラムであって、
前記時系列データが含む周期成分の周期のばらつきの大きさを判定することと、
前記時系列データを分析するための複数の手法の中から、前記周期のばらつきの大きさに応じた手法を選択することと、
を前記コンピュータに実行させるためのプログラム。 Determining a nature of the time series data;
selecting a technique for analyzing the time series data based on the characteristics of the time series data;
Analyzing the time-series data using the selected technique to identify abnormal sounds included in the time-series data ;
A program for causing a computer to execute the above,
determining a magnitude of variation in a period of a periodic component contained in the time series data;
selecting a method according to the magnitude of the variation in the period from among a plurality of methods for analyzing the time series data;
A program for causing the computer to execute the above .
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/017458 WO2022234635A1 (en) | 2021-05-07 | 2021-05-07 | Data analysis device, data analysis method, and recording medium |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JPWO2022234635A1 JPWO2022234635A1 (en) | 2022-11-10 |
| JPWO2022234635A5 JPWO2022234635A5 (en) | 2024-02-07 |
| JP7687388B2 true JP7687388B2 (en) | 2025-06-03 |
Family
ID=83932679
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023518568A Active JP7687388B2 (en) | 2021-05-07 | 2021-05-07 | DATA ANALYSIS APPARATUS, DATA ANALYSIS METHOD, AND PROGRAM |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7687388B2 (en) |
| WO (1) | WO2022234635A1 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020126021A (en) | 2019-02-06 | 2020-08-20 | 株式会社日立製作所 | Abnormal sound detector and abnormal sound detection method |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08221117A (en) * | 1995-02-09 | 1996-08-30 | Mitsubishi Electric Corp | Analysis device for abnormality diagnosis support |
| JPH0990991A (en) * | 1995-09-27 | 1997-04-04 | Fujitsu Ltd | Voice judgment device |
| US8015003B2 (en) * | 2007-11-19 | 2011-09-06 | Mitsubishi Electric Research Laboratories, Inc. | Denoising acoustic signals using constrained non-negative matrix factorization |
-
2021
- 2021-05-07 JP JP2023518568A patent/JP7687388B2/en active Active
- 2021-05-07 WO PCT/JP2021/017458 patent/WO2022234635A1/en not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020126021A (en) | 2019-02-06 | 2020-08-20 | 株式会社日立製作所 | Abnormal sound detector and abnormal sound detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022234635A1 (en) | 2022-11-10 |
| JPWO2022234635A1 (en) | 2022-11-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhao et al. | Automated bird acoustic event detection and robust species classification | |
| US8428945B2 (en) | Acoustic signal classification system | |
| US8036884B2 (en) | Identification of the presence of speech in digital audio data | |
| US20070129941A1 (en) | Preprocessing system and method for reducing FRR in speaking recognition | |
| US10311865B2 (en) | System and method for automated speech recognition | |
| KR20050090389A (en) | Sensor based speech recognizer selection, adaptation and combination | |
| US10297241B2 (en) | Sound signal processing method and sound signal processing apparatus | |
| US20220155258A1 (en) | Stamping quality inspection system and stamping quality inspection method | |
| JP7230545B2 (en) | Speech processing program, speech processing method and speech processing device | |
| JP2018180334A (en) | Emotional recognition device, method and program | |
| Azarloo et al. | Automatic musical instrument recognition using K-NN and MLP neural networks | |
| Alonso-Martin et al. | Multidomain voice activity detection during human-robot interaction | |
| Rahman et al. | Dynamic time warping assisted SVM classifier for Bangla speech recognition | |
| CN119517012A (en) | A speech recognition method and system for an intelligent speech robot | |
| Ntalampiras et al. | Exploiting temporal feature integration for generalized sound recognition | |
| JP4644250B2 (en) | Apparatus and method for determining the type of chords inherent in a test signal | |
| Chadha et al. | Optimal feature extraction and selection techniques for speech processing: A review | |
| JP7687388B2 (en) | DATA ANALYSIS APPARATUS, DATA ANALYSIS METHOD, AND PROGRAM | |
| JP2021124887A (en) | Acoustic diagnostic methods, acoustic diagnostic systems, and acoustic diagnostic programs | |
| KR20240081311A (en) | Voice recognition program and method for reducing occupied space | |
| Nesar et al. | Audio event recognition in noisy environments using power spectral density and dimensionality reduction | |
| Smita et al. | Audio signal separation and classification: A review paper | |
| JP4542395B2 (en) | Non-stationary time series data classification method, apparatus, program, and recording medium recording the program | |
| Marupaka et al. | Comparison of classification results obtained by using cyclostationary features, MFCC, proposed algorithm and development of an environmental sound classification system | |
| Singh et al. | Environmental Acoustic Noise Extraction and Classification using Deep Learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231101 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231101 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241217 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20250203 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250212 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250422 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250505 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7687388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |