Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6969993B2 - Information extraction device - Google Patents
[go: Go Back, main page]

JP6969993B2 - Information extraction device - Google Patents

Information extraction device Download PDF

Info

Publication number
JP6969993B2
JP6969993B2 JP2017231610A JP2017231610A JP6969993B2 JP 6969993 B2 JP6969993 B2 JP 6969993B2 JP 2017231610 A JP2017231610 A JP 2017231610A JP 2017231610 A JP2017231610 A JP 2017231610A JP 6969993 B2 JP6969993 B2 JP 6969993B2
Authority
JP
Japan
Prior art keywords
data
extraction device
information extraction
input data
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017231610A
Other languages
Japanese (ja)
Other versions
JP2019101728A (en
Inventor
一仁 竹中
秀明 三澤
忠大 谷口
海龍 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Ritsumeikan Trust
Original Assignee
Denso Corp
Ritsumeikan Trust
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp, Ritsumeikan Trust filed Critical Denso Corp
Priority to JP2017231610A priority Critical patent/JP6969993B2/en
Publication of JP2019101728A publication Critical patent/JP2019101728A/en
Application granted granted Critical
Publication of JP6969993B2 publication Critical patent/JP6969993B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本開示は、入力データから必要な情報を抽出する技術に関する。 The present disclosure relates to a technique for extracting necessary information from input data.

下記特許文献1には、車両に搭載された様々なセンサ信号の基準値をニューラルネット(以下、監視モデル)によって学習し、この監視モデルを用いて、基準値を外れる信号を検知する技術が提案されている。 In Patent Document 1 below, a technique is proposed in which reference values of various sensor signals mounted on a vehicle are learned by a neural net (hereinafter referred to as a monitoring model), and the monitoring model is used to detect signals that deviate from the reference values. Has been done.

具体的には、複数のセンサ信号をベクトル化した入力データと、監視モデルを用いて入力データを再構成した結果である再構成データとの誤差を、ベクトルの各要素について求め、この誤差が大きい要素に対応するセンサ信号に異常があると判断する。 Specifically, the error between the input data obtained by vectorizing a plurality of sensor signals and the reconstructed data which is the result of reconstructing the input data using the monitoring model is obtained for each element of the vector, and this error is large. It is determined that there is an error in the sensor signal corresponding to the element.

特開2016−45861号公報Japanese Unexamined Patent Publication No. 2016-45861

しかしながら、特許文献1に記載の従来技術では、データが欠損する等の異常を検知することはできるが、その異常が検知されたデータを回復する手段がなく、そのままデータ解析等の後段処理に用いると、処理の精度や信頼性を低下させてしまうという課題があった。 However, in the prior art described in Patent Document 1, although it is possible to detect an abnormality such as data loss, there is no means for recovering the data in which the abnormality is detected, and the data is used as it is for the subsequent processing such as data analysis. There is a problem that the accuracy and reliability of the processing are lowered.

また、例えば、入力データがセンサ信号である場合、センサ信号の異常には、部品故障等を原因とする回復不能なケース以外に、ノイズ等を原因とする一時的なデータの異常や欠損が生じるケースがある。特に、後者のケースは、使用環境によっては頻発するため、異常が検出されたデータを全て排除すると、後段処理を効果的に稼働させることができないという課題もあった。 Further, for example, when the input data is a sensor signal, the abnormality of the sensor signal causes a temporary abnormality or loss of data due to noise or the like, in addition to the unrecoverable case caused by a component failure or the like. There is a case. In particular, since the latter case occurs frequently depending on the usage environment, there is also a problem that the post-stage processing cannot be effectively operated if all the data in which the abnormality is detected is excluded.

本開示の1つの局面は、異常を含むデータを効率よく利用する技術を提供することにある。 One aspect of the present disclosure is to provide a technique for efficiently utilizing data including anomalies.

本開示の一態様による情報抽出装置(10)は、取得部(12)と、復元部(13)と、抽出部(14)と、を備える。
取得部は、各要素が相関関係を有する多次元ベクトルにて表現された入力データ及び入力データにおける各要素の異常状況を示す状況情報を取得する。復元部は、状況情報により異常ありと示された1又は複数の要素のそれぞれを対象要素として、入力データの要素間の正常な相関関係を学習させたニューラルネットワークである変換モデルを用いて、入力データ中の対象要素を正常値に復元した復元データを生成する。抽出部は、状況情報が異常なしを示す場合は入力データ、状況情報が異常ありを示す場合は復元データを対象データとして、対象データに関する1つ以上の潜在特徴を出力情報として抽出する。
The information extraction device (10) according to one aspect of the present disclosure includes an acquisition unit (12), a restoration unit (13), and an extraction unit (14).
The acquisition unit acquires the input data represented by the multidimensional vector in which each element has a correlation and the status information indicating the abnormal status of each element in the input data. The restoration unit inputs using a transformation model, which is a neural network in which normal correlations between the elements of the input data are learned, with each of one or more elements indicated by the situation information as an abnormality as the target element. Generate restored data by restoring the target element in the data to the normal value. The extraction unit extracts the input data when the status information indicates that there is no abnormality, the restored data as the target data when the status information indicates that there is an abnormality, and one or more latent features related to the target data as output information.

このような構成によれば、入力データが欠損等の部分的な異常を含む場合でも、その異常の影響が抑制された、後段処理での使用に耐えうる出力情報を抽出することができる。さらに、このような出力情報を用いることで、異常を含むデータの影響を受けないロバストなデータ解析等を実現することができる。 According to such a configuration, even if the input data contains a partial abnormality such as a defect, it is possible to extract output information that can withstand the use in the post-stage processing in which the influence of the abnormality is suppressed. Furthermore, by using such output information, it is possible to realize robust data analysis and the like that are not affected by data including abnormalities.

なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present disclosure is defined. It is not limited.

情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of an information processing system. 学習部が実行する学習処理のフローチャートである。It is a flowchart of the learning process executed by the learning unit. 入力データの生成方法に関する説明図である。It is explanatory drawing about the generation method of input data. 学習処理の概要を示す説明図である。It is explanatory drawing which shows the outline of a learning process. 取得部が実行する取得処理のフローチャートである。It is a flowchart of the acquisition process executed by the acquisition unit. 取得処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the acquisition process. 復元部が実行する復元処理のフローチャートである。It is a flowchart of the restoration process executed by the restoration part. 復元処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the restoration process. 抽出部が実行する抽出処理のフローチャートである。It is a flowchart of the extraction process executed by the extraction unit. 抽出処理の概要を示す説明図である。It is explanatory drawing which shows the outline of the extraction process.

以下、図面を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1に示す情報処理システム1は、センサ群3と、情報抽出装置10と、情報処理装置5と、モデル生成装置20とを備える。なお、センサ群3、情報抽出装置10、及び情報処理装置5は、車両に搭載される。また、モデル生成装置20は、センサ群3等を搭載する車両と無線通信を行う機能を有した基地局、または基地局が接続された通信ネットワーク上のサーバ等に設けられる。なお、情報抽出装置10及び情報処理装置5のうち少なくとも一方が、車両の外部に設けられていてもよい。
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
[1. composition]
The information processing system 1 shown in FIG. 1 includes a sensor group 3, an information extraction device 10, an information processing device 5, and a model generation device 20. The sensor group 3, the information extraction device 10, and the information processing device 5 are mounted on the vehicle. Further, the model generation device 20 is provided in a base station having a function of performing wireless communication with a vehicle equipped with a sensor group 3 or the like, or a server on a communication network to which the base station is connected. At least one of the information extraction device 10 and the information processing device 5 may be provided outside the vehicle.

[1−1.センサ群]
センサ群3は、車両に対する運転操作を表す操作データを出力するセンサ、及び運転操作の結果である車両の挙動を表す挙動データを出力するセンサのうち、少なくとも一方が含まれる。
[1-1. Sensor group]
The sensor group 3 includes at least one of a sensor that outputs operation data representing a driving operation on the vehicle and a sensor that outputs behavior data representing the behavior of the vehicle as a result of the driving operation.

具体的には、操作データとしては、アクセル、ブレーキ、及びステアリング等の操作量が挙げられる。挙動データとしては、速度、加速度及びヨーレート等が挙げられる。また、運転データには、運転状況の特定に有用な状況データが含まれてもよい。状況データとして、具体的には、車載カメラの映像データ、地図データ等から抽出される走行中の道路に関する道路属性データ、現在位置を表す位置データ、現在時刻を表す時刻データ等が挙げられる。 Specifically, the operation data includes the operation amount of the accelerator, the brake, the steering, and the like. Examples of the behavior data include speed, acceleration, yaw rate and the like. Further, the operation data may include situation data useful for specifying the operation situation. Specific examples of the situation data include video data of an in-vehicle camera, road attribute data related to a traveling road extracted from map data, position data representing the current position, time data representing the current time, and the like.

以下、センサ群3からの出力を順番に並べることで生成される多次元ベクトルを検出ベクトルという。つまり、検出ベクトルに属する各要素が、センサ群3を構成する個々のセンサの出力に該当する。 Hereinafter, the multidimensional vector generated by arranging the outputs from the sensor group 3 in order is referred to as a detection vector. That is, each element belonging to the detection vector corresponds to the output of each sensor constituting the sensor group 3.

[1−2.モデル生成装置]
モデル生成装置20は、情報蓄積部21と、学習部22と、モデル記憶部23と、配信部24とを備える。
[1-2. Model generator]
The model generation device 20 includes an information storage unit 21, a learning unit 22, a model storage unit 23, and a distribution unit 24.

情報蓄積部21は、複数の車両に搭載されたセンサ群3から出力される検出ベクトルの時系列を、何らかの方法で取得して大量に記憶する。但し、情報蓄積部21には、データの欠損等の異常を含まない検出ベクトル(即ち、非欠損データ)の時系列が記憶される。 The information storage unit 21 acquires the time series of the detection vectors output from the sensor group 3 mounted on the plurality of vehicles by some method and stores them in a large amount. However, the information storage unit 21 stores a time series of detection vectors (that is, non-missing data) that do not include abnormalities such as data loss.

学習部22は、情報蓄積部21に蓄積されたデータを用いて、ニューラルネットワークの学習を行うことで、監視モデルを生成する学習処理を実行する。学習処理の詳細については後述する。監視モデルには、入力されたデータを一つ以上の潜在特徴に変換後、元のデータを再構成する自己符号化器とよばれるニューラルネットワークが用いられる。特にここでは、複数の中間層を備える多層自己符号化器が用いられる。 The learning unit 22 executes a learning process for generating a monitoring model by learning a neural network using the data stored in the information storage unit 21. The details of the learning process will be described later. The monitoring model uses a neural network called a self-encoder that converts the input data into one or more latent features and then reconstructs the original data. In particular, here, a multilayer self-encoder having a plurality of intermediate layers is used.

モデル記憶部23は、学習部22にて生成された監視モデルを記憶する。
配信部24は、モデル記憶部23に記憶された監視モデルを、複数の車両のそれぞれに搭載された情報抽出装置10に配信する。
The model storage unit 23 stores the monitoring model generated by the learning unit 22.
The distribution unit 24 distributes the monitoring model stored in the model storage unit 23 to the information extraction device 10 mounted on each of the plurality of vehicles.

ここで、学習部22が実行する学習処理を、図2のフローチャートを用いて説明する。学習処理は、例えば、情報蓄積部21に所定量の情報が蓄積される毎、又は一定期間が経過する毎に実行される。また、学習処理は、外部からの指令を受けた場合に実行されてもよい。 Here, the learning process executed by the learning unit 22 will be described with reference to the flowchart of FIG. The learning process is executed, for example, every time a predetermined amount of information is accumulated in the information storage unit 21, or every time a certain period of time elapses. Further, the learning process may be executed when a command from the outside is received.

学習処理が開始されると、S110では、学習部22は、情報蓄積部21に蓄積された検出ベクトルXの時系列を取得する。なお、検出ベクトルXは、検出ベクトルXの次元数、即ち、センサ群3を構成するセンサの数をDとして、(1)式で表現される。 When the learning process is started, in S110, the learning unit 22 acquires the time series of the detection vector X stored in the information storage unit 21. The detection vector X is expressed by the equation (1), where D is the number of dimensions of the detection vector X, that is, the number of sensors constituting the sensor group 3.

Figure 0006969993
S120では、学習部22は、検出ベクトルXの時系列を、時間窓を用いて順次切り取り、切り取ったデータを多次元ベクトルで表現した多数の学習データを生成する。時間窓は、図3に示すように、Tを時間窓の幅とし、Sを時間窓のスライド間隔として、W>Sとなるように設定された、いわゆる滑走時間窓が用いられる。つまり、学習部22では、一部の時間領域が重複するように設定される時間窓を用いて、多数の学習データが生成される。なお、学習データの系列は、学習データの次元数をP(但し、P=D×T)として、(2)式で表現される。(3)及び(4)式は、個々の各学習データの詳細を表す。但し、T,Sは、検出ベクトル生成間隔(即ち、センサ信号のサンプリング間隔)の整数倍によって表現される。以後、(2)式で表現される時刻tでの次元数PのベクトルをYとも表現することにする。
Figure 0006969993
In S120, the learning unit 22 sequentially cuts the time series of the detection vector X using a time window, and generates a large number of learning data in which the cut data is represented by a multidimensional vector. As shown in FIG. 3, as the time window, a so-called gliding time window set so that W> S is used, where T is the width of the time window and S is the slide interval of the time window. That is, in the learning unit 22, a large number of learning data are generated by using the time window set so that some time domains overlap. The series of training data is expressed by the equation (2), where P (however, P = D × T) is the number of dimensions of the training data. Equations (3) and (4) represent the details of each individual learning data. However, T and S are expressed by an integral multiple of the detection vector generation interval (that is, the sampling interval of the sensor signal). Hereinafter, the vector of the number of dimensions P at the time t expressed by the equation (2) will also be expressed as Y t.

Figure 0006969993
S130では、学習部22は、先のS120で生成された個々の学習データを正規化する。ここでの正規化は、学習データに属する各要素の値が0〜1を値域とする値となるように変換することを意味する。
Figure 0006969993
In S130, the learning unit 22 normalizes the individual learning data generated in S120. The normalization here means that the value of each element belonging to the training data is converted so that the value has a range of 0 to 1.

S140では、学習部22は、先のS130で生成された正規化された学習データ(以下、単に学習データ)を用いてニューラルネットワークの学習を実行し、学習により生成
された監視モデルをモデル記憶部23に記憶させて、本処理を終了する。
In S140, the learning unit 22 executes the learning of the neural network using the normalized learning data (hereinafter, simply learning data) generated in the previous S130, and uses the monitoring model generated by the learning as the model storage unit. It is stored in 23, and this process is terminated.

この学習では、図4に示すように、学習データをニューラルネットワークの入力とし、ネットワークの出力(以下、再構成データ)の目標値として、入力に用いた学習データを用いる。そして、入力した学習データと再構成データとの差分である再構成誤差が最小となるように、監視モデル(即ち、ニューラルネットワーク)のパラメータを調整する。このような学習は、例えばバックプロパゲーション等、ニューラルネットワークにおける公知の学習方法を用いることができる。使用する監視モデル(即ち、ニューラルネットワーク)は、Stacked Denoising Auto-encoder又はStacked Sparse Auto-encoder等の自己符号化器、又はその亜種を用いることができる。 In this learning, as shown in FIG. 4, the training data is used as the input of the neural network, and the learning data used for the input is used as the target value of the output of the network (hereinafter referred to as reconstruction data). Then, the parameters of the monitoring model (that is, the neural network) are adjusted so that the reconstruction error, which is the difference between the input training data and the reconstruction data, is minimized. For such learning, a known learning method in a neural network such as backpropagation can be used. The monitoring model used (ie, neural network) can be a self-encoder such as Stacked Denoising Auto-encoder or Stacked Sparse Auto-encoder, or a variant thereof.

ここで、再構成誤差は、学習データと同じ次元数の多次元ベクトル(以下、再構成誤差ベクトル)で表現され、(5)式は、再構成誤差ベクトルにおいてpで特定される要素(以下、個別誤差)を表す。(5)式において、学習データを表す符号にハット記号を付加した符号で表されるデータが、再構成データである。学習では、(6)式に示すように、再構成誤差ベクトルに属する全ての要素の個別誤差を加算した結果を誤差評価値として、この誤差評価値の学習データ全体に対する和を目的関数とする。そして、この目的関数が最小となるように、ニューラルネットワークを構成する各ノードの重みが調整される。 Here, the reconstruction error is represented by a multidimensional vector having the same number of dimensions as the training data (hereinafter, reconstruction error vector), and the equation (5) is an element specified by p in the reconstruction error vector (hereinafter, “reconstruction error vector”). Individual error). In the equation (5), the data represented by the code in which the hat symbol is added to the code representing the learning data is the reconstruction data. In the training, as shown in the equation (6), the result of adding the individual errors of all the elements belonging to the reconstruction error vector is used as the error evaluation value, and the sum of the error evaluation values with respect to the entire training data is used as the objective function. Then, the weight of each node constituting the neural network is adjusted so that this objective function is minimized.

Figure 0006969993
[1−3.情報抽出装置]
図1に戻り、情報抽出装置10は、センサ群3からの出力である検出データの時系列から検出データの特徴を表す情報を抽出し、出力情報として情報処理装置5に出力する。情報抽出装置10は、取得部12と、復元部13と、抽出部14とを備える。情報抽出装置10は、モデル記憶部11と、受信部15を備えてもよい。
Figure 0006969993
[1-3. Information extraction device]
Returning to FIG. 1, the information extraction device 10 extracts information representing the characteristics of the detection data from the time series of the detection data output from the sensor group 3, and outputs the information to the information processing device 5 as output information. The information extraction device 10 includes an acquisition unit 12, a restoration unit 13, and an extraction unit 14. The information extraction device 10 may include a model storage unit 11 and a reception unit 15.

受信部15は、モデル生成装置20から配信される監視モデルを受信し、モデル記憶部11に記憶させる。受信部15は、省略されていてもよい。受信部15を省略した場合、モデル生成装置20で生成された監視モデルを、手動でモデル記憶部11に記憶させればよい。 The receiving unit 15 receives the monitoring model delivered from the model generation device 20 and stores it in the model storage unit 11. The receiving unit 15 may be omitted. When the receiving unit 15 is omitted, the monitoring model generated by the model generation device 20 may be manually stored in the model storage unit 11.

取得部12は、センサ群3から検出ベクトルの時系列を取得して入力データを生成すると共に、モデル記憶部11に記憶された監視モデルを用いて、入力データの異常、ひいてはセンサ群3に属する各センサの出力における欠損等の異常の有無を検出する。 The acquisition unit 12 acquires the time series of the detection vector from the sensor group 3 to generate input data, and also uses the monitoring model stored in the model storage unit 11 to cause an abnormality in the input data and thus belongs to the sensor group 3. Detects the presence or absence of abnormalities such as defects in the output of each sensor.

復元部13は、取得部12にて入力データの異常が検出された場合に、モデル記憶部11に記憶された監視モデルを用いて、入力データの異常が検出された部分を復元した復元データを生成する。 When the acquisition unit 12 detects an abnormality in the input data, the restoration unit 13 uses the monitoring model stored in the model storage unit 11 to restore the restored data in which the abnormality in the input data is detected. Generate.

抽出部14は、入力データの異常が検出され復元部13にて復元データが生成された場合は復元データ、入力データの異常が検出されなかった場合は、取得部12にて生成された入力データを対象データとし、この対象データ及び対象データを監視モデルに入力することで得られる対象データの潜在特徴を、出力情報として抽出して、情報処理装置5に出力する。対象データの潜在特徴は、例えば、監視モデルを表すニューラルネットワークの
中間層の出力、特に自己符号化器のエンコーダ部の出力を用いてもよい。
The extraction unit 14 is the restoration data when an abnormality in the input data is detected and the restoration data is generated by the restoration unit 13, and the input data generated by the acquisition unit 12 when an abnormality in the input data is not detected. Is used as the target data, and the target data and the latent features of the target data obtained by inputting the target data into the monitoring model are extracted as output information and output to the information processing apparatus 5. As the latent feature of the target data, for example, the output of the intermediate layer of the neural network representing the monitoring model, particularly the output of the encoder unit of the self-encoder may be used.

[1−3−1.取得処理]
ここで、取得部12が実行する取得処理を、図5のフローチャートを用いて説明する。取得処理は、繰り返し実行される。
[1-3-1. Acquisition process]
Here, the acquisition process executed by the acquisition unit 12 will be described with reference to the flowchart of FIG. The acquisition process is repeatedly executed.

取得処理が開始されると、S210では、取得部12は、センサ群3から、検出データを順次取得して記憶する。ここでは、検出データの時系列を、先に図3を用いて説明した、時間窓の時間幅T分だけ記憶する。なお、時間幅Tを超える分については、古い記憶内容から順に上書きしてもよい。 When the acquisition process is started, in S210, the acquisition unit 12 sequentially acquires and stores the detection data from the sensor group 3. Here, the time series of the detected data is stored by the time width T of the time window described above with reference to FIG. It should be noted that the portion exceeding the time width T may be overwritten in order from the oldest stored content.

S220では、取得部12は、処理タイミングであるか否かを判断する。処理タイミングであればS230に進み、処理タイミングでなければS210に戻る。処理タイミングは、前回の処理タイミングからシフト量Sに相当する時間が経過したか否かによって判断する。 In S220, the acquisition unit 12 determines whether or not it is the processing timing. If it is the processing timing, the process proceeds to S230, and if it is not the processing timing, the process returns to S210. The processing timing is determined based on whether or not a time corresponding to the shift amount S has elapsed from the previous processing timing.

S230では、取得部12は、S210にて記憶された検出データの時系列を多次元ベクトル化することで入力データを生成し、更に、生成された入力データを正規化する。正規化の具体的な処理は、先のS130での説明と同様である。 In S230, the acquisition unit 12 generates input data by multidimensional vectorizing the time series of the detection data stored in S210, and further normalizes the generated input data. The specific processing of normalization is the same as that described in S130 above.

S240では、取得部12は、S230で生成された正規化された入力データ(以下、単に入力データ)を、モデル記憶部11に記憶された監視モデルに適用することで、再構成データを生成する。 In S240, the acquisition unit 12 generates reconstruction data by applying the normalized input data (hereinafter, simply input data) generated in S230 to the monitoring model stored in the model storage unit 11. ..

S250では、取得部12は、入力データに対する再構成データの誤差である再構成誤差ベクトルを、上述の(5)式を用いて算出する。
S260では、取得部12は、S250にて算出した再構成誤差ベクトルの各要素である個別誤差のそれぞれについて、予め設定された誤差閾値より大きいか否かを判断し、誤差閾値より大きな個別誤差を有する要素(即ち、入力データのいずれかの次元)を対象要素として抽出する。
In S250, the acquisition unit 12 calculates a reconstruction error vector, which is an error of the reconstruction data with respect to the input data, using the above equation (5).
In S260, the acquisition unit 12 determines whether or not each of the individual errors, which are each element of the reconstruction error vector calculated in S250, is larger than the preset error threshold value, and determines whether or not the individual error is larger than the error threshold value. The element to have (that is, any dimension of the input data) is extracted as the target element.

S270では、取得部12は、S260にて対象要素が抽出されたか否かを判断する。対象要素が一つも抽出されなかった場合は、S280に移行し、対象要素が一つでも抽出された場合は、S290に移行する。 In S270, the acquisition unit 12 determines whether or not the target element has been extracted in S260. If no target element is extracted, the process proceeds to S280, and if any target element is extracted, the process proceeds to S290.

S280では、取得部12は、S230で生成された入力データを、抽出部14での処理対象となる対象データとして出力し、抽出部14を起動して、本処理を終了する。
S290では、取得部12は、S240で生成された再構成データを、S260で抽出された1又は複数の対象要素のそれぞれを、復元部13での復元対象として出力し、復元部13を起動して本処理を終了する。
In S280, the acquisition unit 12 outputs the input data generated in S230 as the target data to be processed by the extraction unit 14, activates the extraction unit 14, and ends this processing.
In S290, the acquisition unit 12 outputs the reconstruction data generated in S240 to each of the one or a plurality of target elements extracted in S260 as the restoration target in the restoration unit 13, and activates the restoration unit 13. This process ends.

つまり、取得部12は、図6に示すように、監視モデルに入力データを適用することで生成される再構成データを生成し、入力データと再構成データとの差分である再構成誤差ベクトルを要素毎に評価することで、データ欠損等の異常が発生しているセンサを推定する。 That is, as shown in FIG. 6, the acquisition unit 12 generates the reconstruction data generated by applying the input data to the monitoring model, and obtains the reconstruction error vector which is the difference between the input data and the reconstruction data. By evaluating each element, it is estimated that the sensor has an abnormality such as data loss.

[1−3−2.復元処理]
次に、復元部13が実行する復元処理を、図7のフローチャートを用いて説明する。復元処理は、先に説明したS290が実行されることにより起動される。
[1-3-2. Restoration process]
Next, the restoration process executed by the restoration unit 13 will be described with reference to the flowchart of FIG. 7. The restoration process is started by executing S290 described above.

復元処理が開始されると、S310では、復元部13は、先のS230にて生成された入力データを取得する。
S320では、復元部13は、入力データを監視モデルに適用して再構成データを生成する。
When the restoration process is started, in S310, the restoration unit 13 acquires the input data generated in S230.
In S320, the restoration unit 13 applies the input data to the monitoring model to generate reconstruction data.

S330では、復元部13は、入力データに対する再構成データの誤差である再構成誤差ベクトルを算出し、この再構成誤差ベクトルに基づいて(6)式に示す誤差評価値を算出する。
S340では、復元部13は、誤差逆伝播法を用いて、入力データの対象要素について、S330で算出した誤差評価値を減少させる勾配を算出する。具体的には、(7)式に示すように、対象要素に関する目的関数の偏微分を、勾配として算出する。但し、pは対象要素を特定する入力データの次元を表す。対象要素が複数存在する場合には、それぞれについて同様の処理を実行する。
In S330, the restoration unit 13 calculates a reconstruction error vector which is an error of the reconstruction data with respect to the input data, and calculates the error evaluation value shown in the equation (6) based on the reconstruction error vector.
In S340, the restoration unit 13 calculates a gradient for reducing the error evaluation value calculated in S330 for the target element of the input data by using the error back propagation method. Specifically, as shown in Eq. (7), the partial derivative of the objective function with respect to the target element is calculated as a gradient. However, p represents the dimension of the input data that specifies the target element. If there are multiple target elements, the same process is executed for each.

Figure 0006969993
なお、誤差逆伝播法は、例えば、Rumelhart,David E.,Hinton,Geoffrey E.,Williams,Ronald J.(8 October 1986).”Learning representations by back-propagating errors”.等に詳述された公知技術であるため、ここでの説明は省略する。
Figure 0006969993
The back-propagation method is known as described in detail in, for example, Rumelhart, David E., Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). "Learning representations by back-propagating errors". Since it is a technology, the description here is omitted.

S350では、復元部13は、S340で算出した勾配を用い、(8)式に従って入力データの対象要素を更新する。但し、ηは、パラメータ更新の学習率である。学習率ηは、例えば、10回更新毎に0.1→0.01→0.001に変化させる等、一定の更新回数毎に定数倍してもよいし、AdaGrad,RMSProp,Adam等、公知の設定手法を用いて設定してもよい。以下では、対象要素が更新された入力データを復元データという。 In S350, the restoration unit 13 updates the target element of the input data according to the equation (8) using the gradient calculated in S340. However, η is the learning rate of parameter update. The learning rate η may be multiplied by a constant every fixed number of updates, for example, changed from 0.1 to 0.01 to 0.001 every 10 updates, or is known as AdaGrad, RMSProp, Adam, etc. It may be set by using the setting method of. In the following, the input data whose target element has been updated is referred to as restored data.

Figure 0006969993
つまり、復元処理では、学習処理と同様の手法が用いられるが、学習処理では、学習データ全体の誤差評価値の和である目的関数の値を減少させるようにニューラルネットワークの各ノードの重みを更新するのに対して、復元処理では、入力データに対する誤差評価値を減少させるように入力データの対象要素を更新する点で異なる。
Figure 0006969993
In other words, the restoration process uses the same method as the training process, but in the training process, the weights of each node of the neural network are updated so as to reduce the value of the objective function, which is the sum of the error evaluation values of the entire training data. On the other hand, the restoration process differs in that the target element of the input data is updated so as to reduce the error evaluation value for the input data.

S360では、復元部13は、予め設定された終了条件が成立しているか否かを判断する。終了条件が成立していなけれれば、S350で生成された復元データを、S310で取得した入力データの代わりに用いて、S320〜S350の処理を繰り返す。終了条件が成立していれば、S370に移行する。終了条件として、例えば、誤差評価値の値が予め設定された終了閾値以下となること、及びS320〜S350の処理の繰り返し数が所定回数に達することのうち、少なくとも一方を用いることができる。 In S360, the restoration unit 13 determines whether or not the preset end condition is satisfied. If the end condition is not satisfied, the restored data generated in S350 is used in place of the input data acquired in S310, and the processes of S320 to S350 are repeated. If the end condition is satisfied, the process proceeds to S370. As the end condition, for example, at least one of the fact that the value of the error evaluation value is equal to or less than the preset end threshold value and the number of repetitions of the processes of S320 to S350 reaches a predetermined number of times can be used.

S370では、復元部13は、終了条件が成立した時点で算出されている復元データを、抽出部14での処理対象となる対象データとして出力し、抽出部14を起動して、本処理を終了する。 In S370, the restoration unit 13 outputs the restoration data calculated at the time when the end condition is satisfied as the target data to be processed by the extraction unit 14, activates the extraction unit 14, and ends this processing. do.

つまり、復元処理では、図8に示すように、再構成誤差を逆伝播させ、再構成誤差を減少させる方向に、入力データの対象要素の値を繰り返し更新することで、対象要素の値が復元された復元データを生成する。この復元処理により、欠損等の異常があるセンサ出力(対象要素)は、監視モデルに保持された正常時における各要素の相関関係を実現するように、即ち、自身のセンサ出力及び他のセンサ出力との整合が取れるように復元される。 That is, in the restoration process, as shown in FIG. 8, the value of the target element is restored by repeatedly updating the value of the target element of the input data in the direction of back-propagating the reconstruction error and reducing the reconstruction error. Generate the restored data. By this restoration process, the sensor output (target element) with an abnormality such as a defect realizes the correlation of each element in the normal state held in the monitoring model, that is, its own sensor output and other sensor outputs. It is restored to be consistent with.

[1−3−3.抽出処理]
次に、抽出部14が実行する抽出処理を、図9のフローチャートを用いて説明する。抽出処理は、先に説明したS270又はS370が実行されることで起動する。
[1-3-3. Extraction process]
Next, the extraction process executed by the extraction unit 14 will be described with reference to the flowchart of FIG. The extraction process is started by executing S270 or S370 described above.

抽出処理が開始されると、S410では、抽出部14は、対象データを取得する。つまり、入力データに異常があると判断され、復元部13によって復元データが生成された場合は、復元データが対象データとして用いられ、入力データに異常がないと判断された場合は、入力データがそのまま対象データとして用いられる。 When the extraction process is started, in S410, the extraction unit 14 acquires the target data. That is, if it is determined that there is an abnormality in the input data and the restoration data is generated by the restoration unit 13, the restoration data is used as the target data, and if it is determined that there is no abnormality in the input data, the input data is used. It is used as it is as target data.

S420では、抽出部14は、図10に示すように、監視モデルのうちエンコーダ部に対象データを適用し、エンコーダ部の出力に対応した中間層の出力を、対象データの潜在特徴を示す情報として抽出する。なお、抽出の対象となる情報は、エンコーダ部の出力に対応した中間層の出力に限定されるものではなく、他の中間層の出力を用いてもよい。また、後段の装置(例えば、情報処理装置5)が実行するアプリケーションに応じて抽出する情報を切り替えてもよい。例えば、後段の装置がセンサ群3の検知データを入力として用いるものであれば、抽出部14は対象データ(即ち、異常がない場合は入力データ、異常がある場合は復元データ)の部分データをそのまま出力しても良い。 In S420, as shown in FIG. 10, the extraction unit 14 applies the target data to the encoder unit of the monitoring model, and the output of the intermediate layer corresponding to the output of the encoder unit is used as information indicating the latent feature of the target data. Extract. The information to be extracted is not limited to the output of the intermediate layer corresponding to the output of the encoder unit, and the output of another intermediate layer may be used. Further, the information to be extracted may be switched according to the application executed by the subsequent device (for example, the information processing device 5). For example, if the device in the subsequent stage uses the detection data of the sensor group 3 as input, the extraction unit 14 uses partial data of the target data (that is, input data if there is no abnormality, restoration data if there is an abnormality). You may output it as it is.

S430では、抽出部14は、対象データ及びS420で抽出された中間層の出力を出力情報として、情報処理装置5に出力して、本処理を終了する。
[1−4.情報処理部]
情報処理装置5は、情報抽出装置10からの出力情報に基づいて、データ解析等の後段処理を実施する。具体的には、例えば、対象データの統計量を求めたり、対象データ又はその統計量を用いて、運転シーンの解析及びドライバ特性の解析等を行ったりしてもよい。なお、解析の対象となるドライバ特性は、例えば、平均アクセル開度、ステアリングのぶれ等が挙げられる。
In S430, the extraction unit 14 outputs the target data and the output of the intermediate layer extracted in S420 to the information processing apparatus 5 as output information, and ends this process.
[1-4. Information Processing Department]
The information processing apparatus 5 performs post-stage processing such as data analysis based on the output information from the information extraction apparatus 10. Specifically, for example, the statistic of the target data may be obtained, or the target data or the statistic may be used to analyze the driving scene, analyze the driver characteristics, and the like. The driver characteristics to be analyzed include, for example, the average accelerator opening degree, steering shake, and the like.

また、情報処理装置5は、出力情報に基づいて、特定のアプリケーションのための情報抽出を行ってもよい。具体的には、例えば、対象データをそのまま可視化したり、危険運転や漫然運転等の兆候を示す情報を抽出して、ドライバに対する注意喚起を行う処理に用いたりしてもよい。 Further, the information processing apparatus 5 may extract information for a specific application based on the output information. Specifically, for example, the target data may be visualized as it is, or information indicating signs such as dangerous driving or involuntary driving may be extracted and used for a process of calling attention to the driver.

ここで、情報抽出装置10、モデル生成装置20及び情報処理装置5は、いずれも、CPUと、例えば、RAM又はROM等の半導体メモリ(以下、メモリ)と、を有するマイクロコンピュータを備えてもよい。この場合、情報抽出装置10、モデル生成装置20及び情報処理装置5の各機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、情報抽出装置10、モデル生成装置20及び情報処理装置5はいずれも、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。 Here, the information extraction device 10, the model generation device 20, and the information processing device 5 may all include a microcomputer having a CPU and, for example, a semiconductor memory (hereinafter, memory) such as RAM or ROM. .. In this case, each function of the information extraction device 10, the model generation device 20, and the information processing device 5 is realized by the CPU executing a program stored in a non-transitional substantive recording medium. In this example, the memory corresponds to a non-transitional substantive recording medium in which a program is stored. In addition, when this program is executed, the method corresponding to the program is executed. The information extraction device 10, the model generation device 20, and the information processing device 5 may all include one microcomputer or a plurality of microcomputers.

情報抽出装置10、モデル生成装置20及び情報処理装置5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるい
は複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
The method for realizing the functions of each part included in the information extraction device 10, the model generation device 20, and the information processing device 5 is not limited to software, and some or all of the functions use one or more hardware. May be realized. For example, when the above function is realized by an electronic circuit which is hardware, the electronic circuit may be realized by a digital circuit, an analog circuit, or a combination thereof.

[2.効果]
以上詳述した実施形態によれば、以下の効果を奏する。
(1a)情報処理システム1では、入力データの各要素間の正常時の相関関係を学習した監視モデルを用い、入力データに異常がある場合は、異常のある要素を復元した復元データから出力情報を抽出している。従って、入力データに一時的な欠損等の異常が生じる可能性があっても、その異常による影響が抑制されたロバストな情報抽出を行うことができる。その結果、出力情報を利用する後段処理の精度及び信頼性を向上させることができる。
[2. effect]
According to the embodiment described in detail above, the following effects are obtained.
(1a) The information processing system 1 uses a monitoring model that learns the normal correlation between each element of the input data, and if there is an abnormality in the input data, the output information is output from the restored data obtained by restoring the abnormal element. Is being extracted. Therefore, even if there is a possibility that an abnormality such as a temporary loss may occur in the input data, it is possible to perform robust information extraction in which the influence of the abnormality is suppressed. As a result, the accuracy and reliability of the post-stage processing using the output information can be improved.

(1b)情報処理システム1では、監視モデルとして多層自己符号化器が用いられているため、監視モデルの中間層から、入力データの持つ冗長な情報が排除された潜在特徴を、出力情報として抽出することができる。 (1b) Since the information processing system 1 uses a multi-layer self-encoder as a monitoring model, latent features in which redundant information of input data is excluded are extracted as output information from the intermediate layer of the monitoring model. can do.

(1c)情報処理システム1では、監視モデルとして、非線形な特徴を学習することができる多層自己符号化器が用いられているため、要素間の複雑な相関関係を精度よく再現することができる。 (1c) Since the information processing system 1 uses a multi-layer self-encoder capable of learning non-linear features as a monitoring model, it is possible to accurately reproduce complex correlations between elements.

(1d)情報処理システム1では、入力データの対象要素(即ち、欠損データ)の復元に監視モデルを用いているため、監視モデルが保持する入力データの各要素間の正常な相関関係に従って、入力データ全体の整合が取れるように対象要素を復元することができる。即ち、検知データのうち特定のセンサの値が欠損等の異常を含む場合に、他のセンサの値を含めた検知データ全体の整合が取れるように対象要素を復元することができる。更に、入力データには検出データの時系列が含まれているため、間欠的に時間窓より狭い幅で欠損等の異常が生じるセンサの出力が対象要素となった場合、時間軸上で前後に位置する同一センサのデータとも整合するように、対象要素を復元することができる。 (1d) Since the information processing system 1 uses a monitoring model for restoring the target element (that is, missing data) of the input data, the input data is input according to the normal correlation between each element of the input data held by the monitoring model. The target element can be restored so that the entire data is consistent. That is, when the value of a specific sensor in the detection data includes an abnormality such as a defect, the target element can be restored so that the entire detection data including the value of another sensor can be matched. Furthermore, since the input data includes a time series of detection data, if the output of the sensor that intermittently causes an abnormality such as a defect in a width narrower than the time window becomes the target element, it will move back and forth on the time axis. The target element can be restored so that it matches the data of the same located sensor.

(1e)情報処理システム1では、データ欠損等による異常値を有した要素(即ち、対象要素)の検出と、対象要素の復元と、潜在特徴の抽出と、単一の監視モデルを用いて実現しているため、システム構成を簡略化することができる。 (1e) In the information processing system 1, it is realized by detecting an element having an abnormal value due to data loss or the like (that is, a target element), restoring the target element, extracting a latent feature, and using a single monitoring model. Therefore, the system configuration can be simplified.

(1g)情報処理システム1では、監視モデルを利用して再構成誤差を求め、個別誤差が誤差閾値より大きい要素を、復元する必要のある対象要素として検出している。従って、対象要素の検出に、誤差閾値以外の基準を事前に用意する必要がなく、設計の手間を削減することができる。 (1g) In the information processing system 1, the reconstruction error is obtained by using the monitoring model, and the element whose individual error is larger than the error threshold value is detected as the target element that needs to be restored. Therefore, it is not necessary to prepare a standard other than the error threshold value in advance for the detection of the target element, and the design effort can be reduced.

[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
[3. Other embodiments]
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and can be variously modified and implemented.

(3a)上記実施形態では、監視モデルを利用して対象要素の検出を行っているが、これに限定されるものではない。例えば、センサ群3を構成するセンサとして異常検知機能付きセンサを使用し、センサ自信が異常の有無を出力してもよい。また、センサとは別体に設けられた異常検出器によってセンサの異常を検知してもよい。なお、これら監視モデルを利用することなくセンサの異常を検知する構成が異常検知部に相当する。 (3a) In the above embodiment, the target element is detected by using the monitoring model, but the present invention is not limited to this. For example, a sensor with an abnormality detection function may be used as a sensor constituting the sensor group 3, and the sensor self-confidence may output the presence or absence of an abnormality. Further, the abnormality of the sensor may be detected by an abnormality detector provided separately from the sensor. The configuration for detecting an abnormality in the sensor without using these monitoring models corresponds to the abnormality detection unit.

(3b)上記実施形態では、センサ群3が車両に搭載された複数のセンサである場合に
ついて説明したが、これに限定されるものではなく、複数のセンサの出力が互いに相関関係を有していればよい。
(3b) In the above embodiment, the case where the sensor group 3 is a plurality of sensors mounted on the vehicle has been described, but the present invention is not limited to this, and the outputs of the plurality of sensors have a correlation with each other. Just do it.

(3c)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (3c) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.

(3d)上述した情報抽出装置10の他、当該情報抽出装置10を構成要素とするシステム、当該情報抽出装置10としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、情報抽出方法など、種々の形態で本開示を実現することもできる。 (3d) In addition to the above-mentioned information extraction device 10, a system having the information extraction device 10 as a component, a program for operating a computer as the information extraction device 10, a semiconductor memory in which this program is recorded, and the like are non-transitional. The present disclosure can also be realized in various forms such as an actual recording medium and an information extraction method.

1…情報処理システム、3…センサ群、5…情報処理装置、10…情報抽出装置、11,23…モデル記憶部、12…取得部、13…復元部、14…抽出部、15…受信部、20…モデル生成装置、21…情報蓄積部、22…学習部、24…配信部。 1 ... Information processing system, 3 ... Sensor group, 5 ... Information processing device, 10 ... Information extraction device, 11,23 ... Model storage unit, 12 ... Acquisition unit, 13 ... Restoration unit, 14 ... Extraction unit, 15 ... Reception unit , 20 ... model generator, 21 ... information storage unit, 22 ... learning unit, 24 ... distribution unit.

Claims (8)

各要素が相関関係を有する多次元ベクトルで表現された入力データ及び前記入力データにおける各要素の異常状況を示す状況情報を取得するように構成された取得部(12)と、
前記状況情報により異常ありと示された1又は複数の前記要素のそれぞれを対象要素として、前記入力データの要素間の正常な相関関係を学習させたニューラルネットワークである監視モデルを用いて、前記入力データ中の前記対象要素を正常値に復元した復元データを生成するように構成された復元部(13)と、
前記状況情報が異常なしを示す場合は前記入力データ、前記状況情報が異常ありを示す場合は前記復元データを対象データとして、前記対象データに関する1つ以上の潜在特徴を出力情報として抽出するように構成された抽出部(14)と、
を備える情報抽出装置。
An acquisition unit (12) configured to acquire input data represented by a multidimensional vector in which each element has a correlation and status information indicating an abnormal status of each element in the input data, and an acquisition unit (12).
Using a monitoring model, which is a neural network in which normal correlations between the elements of the input data are learned, using each of the one or a plurality of the elements indicated as abnormal by the situation information as the target element, the input is performed. A restoration unit (13) configured to generate restoration data obtained by restoring the target element in the data to a normal value, and
When the status information indicates that there is no abnormality, the input data is extracted, when the status information indicates that there is an abnormality, the restored data is used as the target data, and one or more latent features related to the target data are extracted as output information. The configured extraction unit (14) and
An information extraction device equipped with.
請求項1に記載の情報抽出装置であって、
前記監視モデルとして、複数の中間層を有する自己符号化器を用いるように構成された
情報抽出装置。
The information extraction device according to claim 1.
An information extraction device configured to use a self-encoder having a plurality of intermediate layers as the monitoring model.
請求項2に記載の情報抽出装置であって、
前記抽出部は、前記潜在特徴として、前記対象データを前記監視モデルに入力することで得られる前記監視モデルの中間層からの出力を用いるように構成された
情報抽出装置。
The information extraction device according to claim 2.
The extraction unit is an information extraction device configured to use the output from the intermediate layer of the monitoring model obtained by inputting the target data into the monitoring model as the latent feature.
請求項1から請求項3のいずれか1項に記載の情報抽出装置であって、
前記復元部は、前記監視モデルを用いて、前記監視モデルに入力された前記入力データを再構成した結果を再構成データとして、前記入力データに対する前記再構成データの誤差の大きさを表す誤差評価値、及び前記対象要素に対する前記誤差評価値の勾配を算出し、該勾配に従って前記誤差評価値が小さくなる方向に前記対象要素を更新し、前記対象要素が更新された前記入力データを用いて同様の処理を繰り返すことで、前記復元データを生成するように構成された
情報抽出装置。
The information extraction device according to any one of claims 1 to 3.
The restoration unit uses the monitoring model to reconstruct the input data input to the monitoring model as reconstruction data, and evaluates an error indicating the magnitude of the error of the reconstruction data with respect to the input data. The gradient of the value and the error evaluation value with respect to the target element is calculated, the target element is updated in the direction in which the error evaluation value becomes smaller according to the gradient, and the same is performed using the input data in which the target element is updated. An information extraction device configured to generate the restored data by repeating the process of.
請求項1から請求項4のいずれか1項に記載の情報抽出装置であって、
前記取得部は、車両に搭載された複数のセンサのそれぞれから出力される時系列データを一定時間毎に分割し一括してベクトル化することで、前記入力データを連続的に生成するように構成された、
情報抽出装置。
The information extraction device according to any one of claims 1 to 4.
The acquisition unit is configured to continuously generate the input data by dividing the time-series data output from each of the plurality of sensors mounted on the vehicle at regular time intervals and collectively vectorizing the time-series data. Was done,
Information extraction device.
請求項5に記載の情報抽出装置であって、
前記取得部は、滑走時間窓を用いて、前記時系列データを分割するように構成された
情報抽出装置。
The information extraction device according to claim 5.
The acquisition unit is an information extraction device configured to divide the time-series data by using a gliding time window.
請求項1から請求項6のいずれか1項に記載の情報抽出装置であって、
前記取得部は、前記監視モデルを用いて該監視モデルに入力された前記入力データを再構成した結果を再構成データとして、前記入力データと前記再構成データとの差分である再構成誤差を算出し、前記再構成誤差の各要素の値である個別誤差のうち、予め設定された誤差閾値より大きい前記個別誤差を有する前記要素を前記対象要素として、前記対象要素が存在する場合に、該対象要素に異常があることを示す前記状況情報を生成するように構成された、
情報抽出装置。
The information extraction device according to any one of claims 1 to 6.
The acquisition unit calculates a reconstruction error, which is the difference between the input data and the reconstruction data, using the result of reconstructing the input data input to the monitoring model as the reconstruction data using the monitoring model. Then, among the individual errors that are the values of each element of the reconstruction error, the element having the individual error larger than the preset error threshold is set as the target element, and the target element is present. Configured to generate the status information indicating that the element is abnormal,
Information extraction device.
請求項5又は請求項6に記載の情報抽出装置であって、
前記取得部は、前記複数のセンサのそれぞれに設けられた前記センサの出力の異常の有無を検知する異常検知部での検知結果を前記状況情報として取得するように構成された
情報抽出装置。
The information extraction device according to claim 5 or 6.
The acquisition unit is an information extraction device configured to acquire the detection result of the abnormality detection unit that detects the presence or absence of an abnormality in the output of the sensor provided in each of the plurality of sensors as the status information.
JP2017231610A 2017-12-01 2017-12-01 Information extraction device Active JP6969993B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017231610A JP6969993B2 (en) 2017-12-01 2017-12-01 Information extraction device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017231610A JP6969993B2 (en) 2017-12-01 2017-12-01 Information extraction device

Publications (2)

Publication Number Publication Date
JP2019101728A JP2019101728A (en) 2019-06-24
JP6969993B2 true JP6969993B2 (en) 2021-11-24

Family

ID=66973763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017231610A Active JP6969993B2 (en) 2017-12-01 2017-12-01 Information extraction device

Country Status (1)

Country Link
JP (1) JP6969993B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7279685B2 (en) * 2020-04-23 2023-05-23 トヨタ自動車株式会社 Information processing system
JP7594369B2 (en) * 2020-05-21 2024-12-04 東芝ライフスタイル株式会社 Information Processing System
JP7072611B2 (en) * 2020-07-20 2022-05-20 本田技研工業株式会社 Anomaly detection device and anomaly detection program
JP7778266B1 (en) * 2025-07-02 2025-12-01 三菱重工環境・化学エンジニアリング株式会社 Failure prediction system

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2487565A4 (en) * 2009-10-07 2014-07-09 Sharp Kk Touch panel
WO2016132468A1 (en) * 2015-02-18 2016-08-25 株式会社日立製作所 Data evaluation method and device, and breakdown diagnosis method and device

Also Published As

Publication number Publication date
JP2019101728A (en) 2019-06-24

Similar Documents

Publication Publication Date Title
CN112673381B (en) Method and related device for identifying confrontation sample
KR101967089B1 (en) Convergence Neural Network based complete reference image quality evaluation
JP6969993B2 (en) Information extraction device
CN111898581B (en) Animal detection method, apparatus, electronic device, and readable storage medium
CN111046027B (en) Missing value filling method and device for time series data
CN109740617A (en) A kind of image detecting method and device
CN117104377B (en) Intelligent management system and method for electric bicycles
JP7434829B2 (en) Model generation device, estimation device, model generation method, and model generation program
CN115620270B (en) Bucket wheel damage judging method and system based on image recognition
CN112802076A (en) Reflection image generation model and training method of reflection removal model
KR102443586B1 (en) Method and server for predicting missing data
KR102523458B1 (en) Method, computing device and computer program for detecting abnormal behavior of process equipment
CN117315387A (en) An industrial defect image generation method
CN112990428A (en) Repetitive human activity abnormal motion detection
CN112804522A (en) Method and device for detecting abnormal conditions of camera
CN117608959A (en) A flight control system status monitoring method based on domain adversarial migration network
CN112639830A (en) Apparatus and method for separating picture into foreground and background using deep learning
WO2021038812A1 (en) Classification device, learning device, classification method, learning method, classification program, and learning program
CN113989930A (en) Human Abnormal Behavior Detection System Based on Small Target and Action Recognition
CN113468905A (en) Graphic code identification method and device, computer equipment and storage medium
CN119337074B (en) Incomplete multi-mode perception data recovery method and system based on conditional diffusion
KR20240063363A (en) Method and apparatus for it system management using multi-scale temporal variational autoencoder
CN119027335B (en) A hyperspectral image restoration method and system based on unsupervised guided network
JP2020042664A (en) Learning device, parameter creation method, neural network, and information processor using the same
CN117115366B (en) Environmental model reconstruction method, system and equipment based on unmanned system three-dimensional perception

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211028

R150 Certificate of patent or registration of utility model

Ref document number: 6969993

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250