JP6969993B2 - Information extraction device - Google Patents
Information extraction device Download PDFInfo
- Publication number
- JP6969993B2 JP6969993B2 JP2017231610A JP2017231610A JP6969993B2 JP 6969993 B2 JP6969993 B2 JP 6969993B2 JP 2017231610 A JP2017231610 A JP 2017231610A JP 2017231610 A JP2017231610 A JP 2017231610A JP 6969993 B2 JP6969993 B2 JP 6969993B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- extraction device
- information extraction
- input data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing And Monitoring For Control Systems (AREA)
- Complex Calculations (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本開示は、入力データから必要な情報を抽出する技術に関する。 The present disclosure relates to a technique for extracting necessary information from input data.
下記特許文献1には、車両に搭載された様々なセンサ信号の基準値をニューラルネット(以下、監視モデル)によって学習し、この監視モデルを用いて、基準値を外れる信号を検知する技術が提案されている。
In
具体的には、複数のセンサ信号をベクトル化した入力データと、監視モデルを用いて入力データを再構成した結果である再構成データとの誤差を、ベクトルの各要素について求め、この誤差が大きい要素に対応するセンサ信号に異常があると判断する。 Specifically, the error between the input data obtained by vectorizing a plurality of sensor signals and the reconstructed data which is the result of reconstructing the input data using the monitoring model is obtained for each element of the vector, and this error is large. It is determined that there is an error in the sensor signal corresponding to the element.
しかしながら、特許文献1に記載の従来技術では、データが欠損する等の異常を検知することはできるが、その異常が検知されたデータを回復する手段がなく、そのままデータ解析等の後段処理に用いると、処理の精度や信頼性を低下させてしまうという課題があった。
However, in the prior art described in
また、例えば、入力データがセンサ信号である場合、センサ信号の異常には、部品故障等を原因とする回復不能なケース以外に、ノイズ等を原因とする一時的なデータの異常や欠損が生じるケースがある。特に、後者のケースは、使用環境によっては頻発するため、異常が検出されたデータを全て排除すると、後段処理を効果的に稼働させることができないという課題もあった。 Further, for example, when the input data is a sensor signal, the abnormality of the sensor signal causes a temporary abnormality or loss of data due to noise or the like, in addition to the unrecoverable case caused by a component failure or the like. There is a case. In particular, since the latter case occurs frequently depending on the usage environment, there is also a problem that the post-stage processing cannot be effectively operated if all the data in which the abnormality is detected is excluded.
本開示の1つの局面は、異常を含むデータを効率よく利用する技術を提供することにある。 One aspect of the present disclosure is to provide a technique for efficiently utilizing data including anomalies.
本開示の一態様による情報抽出装置(10)は、取得部(12)と、復元部(13)と、抽出部(14)と、を備える。
取得部は、各要素が相関関係を有する多次元ベクトルにて表現された入力データ及び入力データにおける各要素の異常状況を示す状況情報を取得する。復元部は、状況情報により異常ありと示された1又は複数の要素のそれぞれを対象要素として、入力データの要素間の正常な相関関係を学習させたニューラルネットワークである変換モデルを用いて、入力データ中の対象要素を正常値に復元した復元データを生成する。抽出部は、状況情報が異常なしを示す場合は入力データ、状況情報が異常ありを示す場合は復元データを対象データとして、対象データに関する1つ以上の潜在特徴を出力情報として抽出する。
The information extraction device (10) according to one aspect of the present disclosure includes an acquisition unit (12), a restoration unit (13), and an extraction unit (14).
The acquisition unit acquires the input data represented by the multidimensional vector in which each element has a correlation and the status information indicating the abnormal status of each element in the input data. The restoration unit inputs using a transformation model, which is a neural network in which normal correlations between the elements of the input data are learned, with each of one or more elements indicated by the situation information as an abnormality as the target element. Generate restored data by restoring the target element in the data to the normal value. The extraction unit extracts the input data when the status information indicates that there is no abnormality, the restored data as the target data when the status information indicates that there is an abnormality, and one or more latent features related to the target data as output information.
このような構成によれば、入力データが欠損等の部分的な異常を含む場合でも、その異常の影響が抑制された、後段処理での使用に耐えうる出力情報を抽出することができる。さらに、このような出力情報を用いることで、異常を含むデータの影響を受けないロバストなデータ解析等を実現することができる。 According to such a configuration, even if the input data contains a partial abnormality such as a defect, it is possible to extract output information that can withstand the use in the post-stage processing in which the influence of the abnormality is suppressed. Furthermore, by using such output information, it is possible to realize robust data analysis and the like that are not affected by data including abnormalities.
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。 In addition, the reference numerals in parentheses described in this column and the scope of claims indicate the correspondence with the specific means described in the embodiment described later as one embodiment, and the technical scope of the present disclosure is defined. It is not limited.
以下、図面を参照しながら、本開示の実施形態を説明する。
[1.構成]
図1に示す情報処理システム1は、センサ群3と、情報抽出装置10と、情報処理装置5と、モデル生成装置20とを備える。なお、センサ群3、情報抽出装置10、及び情報処理装置5は、車両に搭載される。また、モデル生成装置20は、センサ群3等を搭載する車両と無線通信を行う機能を有した基地局、または基地局が接続された通信ネットワーク上のサーバ等に設けられる。なお、情報抽出装置10及び情報処理装置5のうち少なくとも一方が、車両の外部に設けられていてもよい。
Hereinafter, embodiments of the present disclosure will be described with reference to the drawings.
[1. composition]
The
[1−1.センサ群]
センサ群3は、車両に対する運転操作を表す操作データを出力するセンサ、及び運転操作の結果である車両の挙動を表す挙動データを出力するセンサのうち、少なくとも一方が含まれる。
[1-1. Sensor group]
The sensor group 3 includes at least one of a sensor that outputs operation data representing a driving operation on the vehicle and a sensor that outputs behavior data representing the behavior of the vehicle as a result of the driving operation.
具体的には、操作データとしては、アクセル、ブレーキ、及びステアリング等の操作量が挙げられる。挙動データとしては、速度、加速度及びヨーレート等が挙げられる。また、運転データには、運転状況の特定に有用な状況データが含まれてもよい。状況データとして、具体的には、車載カメラの映像データ、地図データ等から抽出される走行中の道路に関する道路属性データ、現在位置を表す位置データ、現在時刻を表す時刻データ等が挙げられる。 Specifically, the operation data includes the operation amount of the accelerator, the brake, the steering, and the like. Examples of the behavior data include speed, acceleration, yaw rate and the like. Further, the operation data may include situation data useful for specifying the operation situation. Specific examples of the situation data include video data of an in-vehicle camera, road attribute data related to a traveling road extracted from map data, position data representing the current position, time data representing the current time, and the like.
以下、センサ群3からの出力を順番に並べることで生成される多次元ベクトルを検出ベクトルという。つまり、検出ベクトルに属する各要素が、センサ群3を構成する個々のセンサの出力に該当する。 Hereinafter, the multidimensional vector generated by arranging the outputs from the sensor group 3 in order is referred to as a detection vector. That is, each element belonging to the detection vector corresponds to the output of each sensor constituting the sensor group 3.
[1−2.モデル生成装置]
モデル生成装置20は、情報蓄積部21と、学習部22と、モデル記憶部23と、配信部24とを備える。
[1-2. Model generator]
The
情報蓄積部21は、複数の車両に搭載されたセンサ群3から出力される検出ベクトルの時系列を、何らかの方法で取得して大量に記憶する。但し、情報蓄積部21には、データの欠損等の異常を含まない検出ベクトル(即ち、非欠損データ)の時系列が記憶される。
The
学習部22は、情報蓄積部21に蓄積されたデータを用いて、ニューラルネットワークの学習を行うことで、監視モデルを生成する学習処理を実行する。学習処理の詳細については後述する。監視モデルには、入力されたデータを一つ以上の潜在特徴に変換後、元のデータを再構成する自己符号化器とよばれるニューラルネットワークが用いられる。特にここでは、複数の中間層を備える多層自己符号化器が用いられる。
The
モデル記憶部23は、学習部22にて生成された監視モデルを記憶する。
配信部24は、モデル記憶部23に記憶された監視モデルを、複数の車両のそれぞれに搭載された情報抽出装置10に配信する。
The
The
ここで、学習部22が実行する学習処理を、図2のフローチャートを用いて説明する。学習処理は、例えば、情報蓄積部21に所定量の情報が蓄積される毎、又は一定期間が経過する毎に実行される。また、学習処理は、外部からの指令を受けた場合に実行されてもよい。
Here, the learning process executed by the
学習処理が開始されると、S110では、学習部22は、情報蓄積部21に蓄積された検出ベクトルXの時系列を取得する。なお、検出ベクトルXは、検出ベクトルXの次元数、即ち、センサ群3を構成するセンサの数をDとして、(1)式で表現される。
When the learning process is started, in S110, the
S140では、学習部22は、先のS130で生成された正規化された学習データ(以下、単に学習データ)を用いてニューラルネットワークの学習を実行し、学習により生成
された監視モデルをモデル記憶部23に記憶させて、本処理を終了する。
In S140, the
この学習では、図4に示すように、学習データをニューラルネットワークの入力とし、ネットワークの出力(以下、再構成データ)の目標値として、入力に用いた学習データを用いる。そして、入力した学習データと再構成データとの差分である再構成誤差が最小となるように、監視モデル(即ち、ニューラルネットワーク)のパラメータを調整する。このような学習は、例えばバックプロパゲーション等、ニューラルネットワークにおける公知の学習方法を用いることができる。使用する監視モデル(即ち、ニューラルネットワーク)は、Stacked Denoising Auto-encoder又はStacked Sparse Auto-encoder等の自己符号化器、又はその亜種を用いることができる。 In this learning, as shown in FIG. 4, the training data is used as the input of the neural network, and the learning data used for the input is used as the target value of the output of the network (hereinafter referred to as reconstruction data). Then, the parameters of the monitoring model (that is, the neural network) are adjusted so that the reconstruction error, which is the difference between the input training data and the reconstruction data, is minimized. For such learning, a known learning method in a neural network such as backpropagation can be used. The monitoring model used (ie, neural network) can be a self-encoder such as Stacked Denoising Auto-encoder or Stacked Sparse Auto-encoder, or a variant thereof.
ここで、再構成誤差は、学習データと同じ次元数の多次元ベクトル(以下、再構成誤差ベクトル)で表現され、(5)式は、再構成誤差ベクトルにおいてpで特定される要素(以下、個別誤差)を表す。(5)式において、学習データを表す符号にハット記号を付加した符号で表されるデータが、再構成データである。学習では、(6)式に示すように、再構成誤差ベクトルに属する全ての要素の個別誤差を加算した結果を誤差評価値として、この誤差評価値の学習データ全体に対する和を目的関数とする。そして、この目的関数が最小となるように、ニューラルネットワークを構成する各ノードの重みが調整される。 Here, the reconstruction error is represented by a multidimensional vector having the same number of dimensions as the training data (hereinafter, reconstruction error vector), and the equation (5) is an element specified by p in the reconstruction error vector (hereinafter, “reconstruction error vector”). Individual error). In the equation (5), the data represented by the code in which the hat symbol is added to the code representing the learning data is the reconstruction data. In the training, as shown in the equation (6), the result of adding the individual errors of all the elements belonging to the reconstruction error vector is used as the error evaluation value, and the sum of the error evaluation values with respect to the entire training data is used as the objective function. Then, the weight of each node constituting the neural network is adjusted so that this objective function is minimized.
図1に戻り、情報抽出装置10は、センサ群3からの出力である検出データの時系列から検出データの特徴を表す情報を抽出し、出力情報として情報処理装置5に出力する。情報抽出装置10は、取得部12と、復元部13と、抽出部14とを備える。情報抽出装置10は、モデル記憶部11と、受信部15を備えてもよい。
Returning to FIG. 1, the
受信部15は、モデル生成装置20から配信される監視モデルを受信し、モデル記憶部11に記憶させる。受信部15は、省略されていてもよい。受信部15を省略した場合、モデル生成装置20で生成された監視モデルを、手動でモデル記憶部11に記憶させればよい。
The receiving
取得部12は、センサ群3から検出ベクトルの時系列を取得して入力データを生成すると共に、モデル記憶部11に記憶された監視モデルを用いて、入力データの異常、ひいてはセンサ群3に属する各センサの出力における欠損等の異常の有無を検出する。
The
復元部13は、取得部12にて入力データの異常が検出された場合に、モデル記憶部11に記憶された監視モデルを用いて、入力データの異常が検出された部分を復元した復元データを生成する。
When the
抽出部14は、入力データの異常が検出され復元部13にて復元データが生成された場合は復元データ、入力データの異常が検出されなかった場合は、取得部12にて生成された入力データを対象データとし、この対象データ及び対象データを監視モデルに入力することで得られる対象データの潜在特徴を、出力情報として抽出して、情報処理装置5に出力する。対象データの潜在特徴は、例えば、監視モデルを表すニューラルネットワークの
中間層の出力、特に自己符号化器のエンコーダ部の出力を用いてもよい。
The
[1−3−1.取得処理]
ここで、取得部12が実行する取得処理を、図5のフローチャートを用いて説明する。取得処理は、繰り返し実行される。
[1-3-1. Acquisition process]
Here, the acquisition process executed by the
取得処理が開始されると、S210では、取得部12は、センサ群3から、検出データを順次取得して記憶する。ここでは、検出データの時系列を、先に図3を用いて説明した、時間窓の時間幅T分だけ記憶する。なお、時間幅Tを超える分については、古い記憶内容から順に上書きしてもよい。
When the acquisition process is started, in S210, the
S220では、取得部12は、処理タイミングであるか否かを判断する。処理タイミングであればS230に進み、処理タイミングでなければS210に戻る。処理タイミングは、前回の処理タイミングからシフト量Sに相当する時間が経過したか否かによって判断する。
In S220, the
S230では、取得部12は、S210にて記憶された検出データの時系列を多次元ベクトル化することで入力データを生成し、更に、生成された入力データを正規化する。正規化の具体的な処理は、先のS130での説明と同様である。
In S230, the
S240では、取得部12は、S230で生成された正規化された入力データ(以下、単に入力データ)を、モデル記憶部11に記憶された監視モデルに適用することで、再構成データを生成する。
In S240, the
S250では、取得部12は、入力データに対する再構成データの誤差である再構成誤差ベクトルを、上述の(5)式を用いて算出する。
S260では、取得部12は、S250にて算出した再構成誤差ベクトルの各要素である個別誤差のそれぞれについて、予め設定された誤差閾値より大きいか否かを判断し、誤差閾値より大きな個別誤差を有する要素(即ち、入力データのいずれかの次元)を対象要素として抽出する。
In S250, the
In S260, the
S270では、取得部12は、S260にて対象要素が抽出されたか否かを判断する。対象要素が一つも抽出されなかった場合は、S280に移行し、対象要素が一つでも抽出された場合は、S290に移行する。
In S270, the
S280では、取得部12は、S230で生成された入力データを、抽出部14での処理対象となる対象データとして出力し、抽出部14を起動して、本処理を終了する。
S290では、取得部12は、S240で生成された再構成データを、S260で抽出された1又は複数の対象要素のそれぞれを、復元部13での復元対象として出力し、復元部13を起動して本処理を終了する。
In S280, the
In S290, the
つまり、取得部12は、図6に示すように、監視モデルに入力データを適用することで生成される再構成データを生成し、入力データと再構成データとの差分である再構成誤差ベクトルを要素毎に評価することで、データ欠損等の異常が発生しているセンサを推定する。
That is, as shown in FIG. 6, the
[1−3−2.復元処理]
次に、復元部13が実行する復元処理を、図7のフローチャートを用いて説明する。復元処理は、先に説明したS290が実行されることにより起動される。
[1-3-2. Restoration process]
Next, the restoration process executed by the
復元処理が開始されると、S310では、復元部13は、先のS230にて生成された入力データを取得する。
S320では、復元部13は、入力データを監視モデルに適用して再構成データを生成する。
When the restoration process is started, in S310, the
In S320, the
S330では、復元部13は、入力データに対する再構成データの誤差である再構成誤差ベクトルを算出し、この再構成誤差ベクトルに基づいて(6)式に示す誤差評価値を算出する。
S340では、復元部13は、誤差逆伝播法を用いて、入力データの対象要素について、S330で算出した誤差評価値を減少させる勾配を算出する。具体的には、(7)式に示すように、対象要素に関する目的関数の偏微分を、勾配として算出する。但し、pは対象要素を特定する入力データの次元を表す。対象要素が複数存在する場合には、それぞれについて同様の処理を実行する。
In S330, the
In S340, the
S350では、復元部13は、S340で算出した勾配を用い、(8)式に従って入力データの対象要素を更新する。但し、ηは、パラメータ更新の学習率である。学習率ηは、例えば、10回更新毎に0.1→0.01→0.001に変化させる等、一定の更新回数毎に定数倍してもよいし、AdaGrad,RMSProp,Adam等、公知の設定手法を用いて設定してもよい。以下では、対象要素が更新された入力データを復元データという。
In S350, the
S360では、復元部13は、予め設定された終了条件が成立しているか否かを判断する。終了条件が成立していなけれれば、S350で生成された復元データを、S310で取得した入力データの代わりに用いて、S320〜S350の処理を繰り返す。終了条件が成立していれば、S370に移行する。終了条件として、例えば、誤差評価値の値が予め設定された終了閾値以下となること、及びS320〜S350の処理の繰り返し数が所定回数に達することのうち、少なくとも一方を用いることができる。
In S360, the
S370では、復元部13は、終了条件が成立した時点で算出されている復元データを、抽出部14での処理対象となる対象データとして出力し、抽出部14を起動して、本処理を終了する。
In S370, the
つまり、復元処理では、図8に示すように、再構成誤差を逆伝播させ、再構成誤差を減少させる方向に、入力データの対象要素の値を繰り返し更新することで、対象要素の値が復元された復元データを生成する。この復元処理により、欠損等の異常があるセンサ出力(対象要素)は、監視モデルに保持された正常時における各要素の相関関係を実現するように、即ち、自身のセンサ出力及び他のセンサ出力との整合が取れるように復元される。 That is, in the restoration process, as shown in FIG. 8, the value of the target element is restored by repeatedly updating the value of the target element of the input data in the direction of back-propagating the reconstruction error and reducing the reconstruction error. Generate the restored data. By this restoration process, the sensor output (target element) with an abnormality such as a defect realizes the correlation of each element in the normal state held in the monitoring model, that is, its own sensor output and other sensor outputs. It is restored to be consistent with.
[1−3−3.抽出処理]
次に、抽出部14が実行する抽出処理を、図9のフローチャートを用いて説明する。抽出処理は、先に説明したS270又はS370が実行されることで起動する。
[1-3-3. Extraction process]
Next, the extraction process executed by the
抽出処理が開始されると、S410では、抽出部14は、対象データを取得する。つまり、入力データに異常があると判断され、復元部13によって復元データが生成された場合は、復元データが対象データとして用いられ、入力データに異常がないと判断された場合は、入力データがそのまま対象データとして用いられる。
When the extraction process is started, in S410, the
S420では、抽出部14は、図10に示すように、監視モデルのうちエンコーダ部に対象データを適用し、エンコーダ部の出力に対応した中間層の出力を、対象データの潜在特徴を示す情報として抽出する。なお、抽出の対象となる情報は、エンコーダ部の出力に対応した中間層の出力に限定されるものではなく、他の中間層の出力を用いてもよい。また、後段の装置(例えば、情報処理装置5)が実行するアプリケーションに応じて抽出する情報を切り替えてもよい。例えば、後段の装置がセンサ群3の検知データを入力として用いるものであれば、抽出部14は対象データ(即ち、異常がない場合は入力データ、異常がある場合は復元データ)の部分データをそのまま出力しても良い。
In S420, as shown in FIG. 10, the
S430では、抽出部14は、対象データ及びS420で抽出された中間層の出力を出力情報として、情報処理装置5に出力して、本処理を終了する。
[1−4.情報処理部]
情報処理装置5は、情報抽出装置10からの出力情報に基づいて、データ解析等の後段処理を実施する。具体的には、例えば、対象データの統計量を求めたり、対象データ又はその統計量を用いて、運転シーンの解析及びドライバ特性の解析等を行ったりしてもよい。なお、解析の対象となるドライバ特性は、例えば、平均アクセル開度、ステアリングのぶれ等が挙げられる。
In S430, the
[1-4. Information Processing Department]
The
また、情報処理装置5は、出力情報に基づいて、特定のアプリケーションのための情報抽出を行ってもよい。具体的には、例えば、対象データをそのまま可視化したり、危険運転や漫然運転等の兆候を示す情報を抽出して、ドライバに対する注意喚起を行う処理に用いたりしてもよい。
Further, the
ここで、情報抽出装置10、モデル生成装置20及び情報処理装置5は、いずれも、CPUと、例えば、RAM又はROM等の半導体メモリ(以下、メモリ)と、を有するマイクロコンピュータを備えてもよい。この場合、情報抽出装置10、モデル生成装置20及び情報処理装置5の各機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、情報抽出装置10、モデル生成装置20及び情報処理装置5はいずれも、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
Here, the
情報抽出装置10、モデル生成装置20及び情報処理装置5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるい
は複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
The method for realizing the functions of each part included in the
[2.効果]
以上詳述した実施形態によれば、以下の効果を奏する。
(1a)情報処理システム1では、入力データの各要素間の正常時の相関関係を学習した監視モデルを用い、入力データに異常がある場合は、異常のある要素を復元した復元データから出力情報を抽出している。従って、入力データに一時的な欠損等の異常が生じる可能性があっても、その異常による影響が抑制されたロバストな情報抽出を行うことができる。その結果、出力情報を利用する後段処理の精度及び信頼性を向上させることができる。
[2. effect]
According to the embodiment described in detail above, the following effects are obtained.
(1a) The
(1b)情報処理システム1では、監視モデルとして多層自己符号化器が用いられているため、監視モデルの中間層から、入力データの持つ冗長な情報が排除された潜在特徴を、出力情報として抽出することができる。
(1b) Since the
(1c)情報処理システム1では、監視モデルとして、非線形な特徴を学習することができる多層自己符号化器が用いられているため、要素間の複雑な相関関係を精度よく再現することができる。
(1c) Since the
(1d)情報処理システム1では、入力データの対象要素(即ち、欠損データ)の復元に監視モデルを用いているため、監視モデルが保持する入力データの各要素間の正常な相関関係に従って、入力データ全体の整合が取れるように対象要素を復元することができる。即ち、検知データのうち特定のセンサの値が欠損等の異常を含む場合に、他のセンサの値を含めた検知データ全体の整合が取れるように対象要素を復元することができる。更に、入力データには検出データの時系列が含まれているため、間欠的に時間窓より狭い幅で欠損等の異常が生じるセンサの出力が対象要素となった場合、時間軸上で前後に位置する同一センサのデータとも整合するように、対象要素を復元することができる。
(1d) Since the
(1e)情報処理システム1では、データ欠損等による異常値を有した要素(即ち、対象要素)の検出と、対象要素の復元と、潜在特徴の抽出と、単一の監視モデルを用いて実現しているため、システム構成を簡略化することができる。
(1e) In the
(1g)情報処理システム1では、監視モデルを利用して再構成誤差を求め、個別誤差が誤差閾値より大きい要素を、復元する必要のある対象要素として検出している。従って、対象要素の検出に、誤差閾値以外の基準を事前に用意する必要がなく、設計の手間を削減することができる。
(1g) In the
[3.他の実施形態]
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
[3. Other embodiments]
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and can be variously modified and implemented.
(3a)上記実施形態では、監視モデルを利用して対象要素の検出を行っているが、これに限定されるものではない。例えば、センサ群3を構成するセンサとして異常検知機能付きセンサを使用し、センサ自信が異常の有無を出力してもよい。また、センサとは別体に設けられた異常検出器によってセンサの異常を検知してもよい。なお、これら監視モデルを利用することなくセンサの異常を検知する構成が異常検知部に相当する。 (3a) In the above embodiment, the target element is detected by using the monitoring model, but the present invention is not limited to this. For example, a sensor with an abnormality detection function may be used as a sensor constituting the sensor group 3, and the sensor self-confidence may output the presence or absence of an abnormality. Further, the abnormality of the sensor may be detected by an abnormality detector provided separately from the sensor. The configuration for detecting an abnormality in the sensor without using these monitoring models corresponds to the abnormality detection unit.
(3b)上記実施形態では、センサ群3が車両に搭載された複数のセンサである場合に
ついて説明したが、これに限定されるものではなく、複数のセンサの出力が互いに相関関係を有していればよい。
(3b) In the above embodiment, the case where the sensor group 3 is a plurality of sensors mounted on the vehicle has been described, but the present invention is not limited to this, and the outputs of the plurality of sensors have a correlation with each other. Just do it.
(3c)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。 (3c) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or one function possessed by one component may be realized by a plurality of components. .. Further, a plurality of functions possessed by the plurality of components may be realized by one component, or one function realized by the plurality of components may be realized by one component. Further, a part of the configuration of the above embodiment may be omitted. Further, at least a part of the configuration of the above embodiment may be added or replaced with the configuration of the other above embodiment. It should be noted that all aspects included in the technical idea specified from the wording described in the claims are embodiments of the present disclosure.
(3d)上述した情報抽出装置10の他、当該情報抽出装置10を構成要素とするシステム、当該情報抽出装置10としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、情報抽出方法など、種々の形態で本開示を実現することもできる。
(3d) In addition to the above-mentioned
1…情報処理システム、3…センサ群、5…情報処理装置、10…情報抽出装置、11,23…モデル記憶部、12…取得部、13…復元部、14…抽出部、15…受信部、20…モデル生成装置、21…情報蓄積部、22…学習部、24…配信部。 1 ... Information processing system, 3 ... Sensor group, 5 ... Information processing device, 10 ... Information extraction device, 11,23 ... Model storage unit, 12 ... Acquisition unit, 13 ... Restoration unit, 14 ... Extraction unit, 15 ... Reception unit , 20 ... model generator, 21 ... information storage unit, 22 ... learning unit, 24 ... distribution unit.
Claims (8)
前記状況情報により異常ありと示された1又は複数の前記要素のそれぞれを対象要素として、前記入力データの要素間の正常な相関関係を学習させたニューラルネットワークである監視モデルを用いて、前記入力データ中の前記対象要素を正常値に復元した復元データを生成するように構成された復元部(13)と、
前記状況情報が異常なしを示す場合は前記入力データ、前記状況情報が異常ありを示す場合は前記復元データを対象データとして、前記対象データに関する1つ以上の潜在特徴を出力情報として抽出するように構成された抽出部(14)と、
を備える情報抽出装置。 An acquisition unit (12) configured to acquire input data represented by a multidimensional vector in which each element has a correlation and status information indicating an abnormal status of each element in the input data, and an acquisition unit (12).
Using a monitoring model, which is a neural network in which normal correlations between the elements of the input data are learned, using each of the one or a plurality of the elements indicated as abnormal by the situation information as the target element, the input is performed. A restoration unit (13) configured to generate restoration data obtained by restoring the target element in the data to a normal value, and
When the status information indicates that there is no abnormality, the input data is extracted, when the status information indicates that there is an abnormality, the restored data is used as the target data, and one or more latent features related to the target data are extracted as output information. The configured extraction unit (14) and
An information extraction device equipped with.
前記監視モデルとして、複数の中間層を有する自己符号化器を用いるように構成された
情報抽出装置。 The information extraction device according to claim 1.
An information extraction device configured to use a self-encoder having a plurality of intermediate layers as the monitoring model.
前記抽出部は、前記潜在特徴として、前記対象データを前記監視モデルに入力することで得られる前記監視モデルの中間層からの出力を用いるように構成された
情報抽出装置。 The information extraction device according to claim 2.
The extraction unit is an information extraction device configured to use the output from the intermediate layer of the monitoring model obtained by inputting the target data into the monitoring model as the latent feature.
前記復元部は、前記監視モデルを用いて、前記監視モデルに入力された前記入力データを再構成した結果を再構成データとして、前記入力データに対する前記再構成データの誤差の大きさを表す誤差評価値、及び前記対象要素に対する前記誤差評価値の勾配を算出し、該勾配に従って前記誤差評価値が小さくなる方向に前記対象要素を更新し、前記対象要素が更新された前記入力データを用いて同様の処理を繰り返すことで、前記復元データを生成するように構成された
情報抽出装置。 The information extraction device according to any one of claims 1 to 3.
The restoration unit uses the monitoring model to reconstruct the input data input to the monitoring model as reconstruction data, and evaluates an error indicating the magnitude of the error of the reconstruction data with respect to the input data. The gradient of the value and the error evaluation value with respect to the target element is calculated, the target element is updated in the direction in which the error evaluation value becomes smaller according to the gradient, and the same is performed using the input data in which the target element is updated. An information extraction device configured to generate the restored data by repeating the process of.
前記取得部は、車両に搭載された複数のセンサのそれぞれから出力される時系列データを一定時間毎に分割し一括してベクトル化することで、前記入力データを連続的に生成するように構成された、
情報抽出装置。 The information extraction device according to any one of claims 1 to 4.
The acquisition unit is configured to continuously generate the input data by dividing the time-series data output from each of the plurality of sensors mounted on the vehicle at regular time intervals and collectively vectorizing the time-series data. Was done,
Information extraction device.
前記取得部は、滑走時間窓を用いて、前記時系列データを分割するように構成された
情報抽出装置。 The information extraction device according to claim 5.
The acquisition unit is an information extraction device configured to divide the time-series data by using a gliding time window.
前記取得部は、前記監視モデルを用いて該監視モデルに入力された前記入力データを再構成した結果を再構成データとして、前記入力データと前記再構成データとの差分である再構成誤差を算出し、前記再構成誤差の各要素の値である個別誤差のうち、予め設定された誤差閾値より大きい前記個別誤差を有する前記要素を前記対象要素として、前記対象要素が存在する場合に、該対象要素に異常があることを示す前記状況情報を生成するように構成された、
情報抽出装置。 The information extraction device according to any one of claims 1 to 6.
The acquisition unit calculates a reconstruction error, which is the difference between the input data and the reconstruction data, using the result of reconstructing the input data input to the monitoring model as the reconstruction data using the monitoring model. Then, among the individual errors that are the values of each element of the reconstruction error, the element having the individual error larger than the preset error threshold is set as the target element, and the target element is present. Configured to generate the status information indicating that the element is abnormal,
Information extraction device.
前記取得部は、前記複数のセンサのそれぞれに設けられた前記センサの出力の異常の有無を検知する異常検知部での検知結果を前記状況情報として取得するように構成された
情報抽出装置。 The information extraction device according to claim 5 or 6.
The acquisition unit is an information extraction device configured to acquire the detection result of the abnormality detection unit that detects the presence or absence of an abnormality in the output of the sensor provided in each of the plurality of sensors as the status information.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017231610A JP6969993B2 (en) | 2017-12-01 | 2017-12-01 | Information extraction device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017231610A JP6969993B2 (en) | 2017-12-01 | 2017-12-01 | Information extraction device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019101728A JP2019101728A (en) | 2019-06-24 |
| JP6969993B2 true JP6969993B2 (en) | 2021-11-24 |
Family
ID=66973763
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017231610A Active JP6969993B2 (en) | 2017-12-01 | 2017-12-01 | Information extraction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6969993B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7279685B2 (en) * | 2020-04-23 | 2023-05-23 | トヨタ自動車株式会社 | Information processing system |
| JP7594369B2 (en) * | 2020-05-21 | 2024-12-04 | 東芝ライフスタイル株式会社 | Information Processing System |
| JP7072611B2 (en) * | 2020-07-20 | 2022-05-20 | 本田技研工業株式会社 | Anomaly detection device and anomaly detection program |
| JP7778266B1 (en) * | 2025-07-02 | 2025-12-01 | 三菱重工環境・化学エンジニアリング株式会社 | Failure prediction system |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2487565A4 (en) * | 2009-10-07 | 2014-07-09 | Sharp Kk | Touch panel |
| WO2016132468A1 (en) * | 2015-02-18 | 2016-08-25 | 株式会社日立製作所 | Data evaluation method and device, and breakdown diagnosis method and device |
-
2017
- 2017-12-01 JP JP2017231610A patent/JP6969993B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019101728A (en) | 2019-06-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112673381B (en) | Method and related device for identifying confrontation sample | |
| KR101967089B1 (en) | Convergence Neural Network based complete reference image quality evaluation | |
| JP6969993B2 (en) | Information extraction device | |
| CN111898581B (en) | Animal detection method, apparatus, electronic device, and readable storage medium | |
| CN111046027B (en) | Missing value filling method and device for time series data | |
| CN109740617A (en) | A kind of image detecting method and device | |
| CN117104377B (en) | Intelligent management system and method for electric bicycles | |
| JP7434829B2 (en) | Model generation device, estimation device, model generation method, and model generation program | |
| CN115620270B (en) | Bucket wheel damage judging method and system based on image recognition | |
| CN112802076A (en) | Reflection image generation model and training method of reflection removal model | |
| KR102443586B1 (en) | Method and server for predicting missing data | |
| KR102523458B1 (en) | Method, computing device and computer program for detecting abnormal behavior of process equipment | |
| CN117315387A (en) | An industrial defect image generation method | |
| CN112990428A (en) | Repetitive human activity abnormal motion detection | |
| CN112804522A (en) | Method and device for detecting abnormal conditions of camera | |
| CN117608959A (en) | A flight control system status monitoring method based on domain adversarial migration network | |
| CN112639830A (en) | Apparatus and method for separating picture into foreground and background using deep learning | |
| WO2021038812A1 (en) | Classification device, learning device, classification method, learning method, classification program, and learning program | |
| CN113989930A (en) | Human Abnormal Behavior Detection System Based on Small Target and Action Recognition | |
| CN113468905A (en) | Graphic code identification method and device, computer equipment and storage medium | |
| CN119337074B (en) | Incomplete multi-mode perception data recovery method and system based on conditional diffusion | |
| KR20240063363A (en) | Method and apparatus for it system management using multi-scale temporal variational autoencoder | |
| CN119027335B (en) | A hyperspectral image restoration method and system based on unsupervised guided network | |
| JP2020042664A (en) | Learning device, parameter creation method, neural network, and information processor using the same | |
| CN117115366B (en) | Environmental model reconstruction method, system and equipment based on unmanned system three-dimensional perception |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210930 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211028 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6969993 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |