JP7448010B2 - 学習方法、学習装置及びプログラム - Google Patents
学習方法、学習装置及びプログラム Download PDFInfo
- Publication number
- JP7448010B2 JP7448010B2 JP2022534504A JP2022534504A JP7448010B2 JP 7448010 B2 JP7448010 B2 JP 7448010B2 JP 2022534504 A JP2022534504 A JP 2022534504A JP 2022534504 A JP2022534504 A JP 2022534504A JP 7448010 B2 JP7448010 B2 JP 7448010B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- task
- learning
- neural network
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Debugging And Monitoring (AREA)
- Testing And Monitoring For Control Systems (AREA)
Description
まず、本実施形態に係る学習装置10の機能構成について、図1を参照しながら説明する。図1は、本実施形態に係る学習装置10の機能構成の一例を示す図である。
次に、本実施形態に係る学習装置10が実行する学習処理の流れについて、図2を参照しながら説明する。図2は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。なお、記憶部105に記憶されている学習対象のパラメータΘは、既知の手法で初期化(例えば、ランダムに初期化や或る分布に従うように初期化等)されているものとする。
次に、本実施形態に係る学習装置10によって学習された異常検知モデルの評価結果について説明する。本実施形態では、既知の異常検知データを用いて異常検知モデルを評価した。その評価結果としてテストAUCを以下の表1に示す。
最後に、本実施形態に係る学習装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本実施形態に係る学習装置10のハードウェア構成の一例を示す図である。
101 入力部
102 タスクベクトル生成部
103 スコア計算部
104 学習部
105 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス
Claims (7)
- タスク集合を{1,・・・,T}、タスクt∈{1,・・・,T}の事例の特徴を表す特徴量ベクトルが少なくとも含まれるデータで構成されるデータセットをDtとして、データセット集合D={D1,・・・,DT}を入力する入力手順と、
前記タスク集合{1,・・・,T}からタスクtをサンプリングし、前記タスクtのデータセットDtから第1の部分集合と、前記データセットDtのうち前記第1の部分集合を除く集合から第2の部分集合とをサンプリングするサンプリング手順と、
前記第1の部分集合に対応するタスクtの性質を表すタスクベクトルを第1のニューラルネットワークにより生成する生成手順と、
前記タスクベクトルを用いて、前記第2の部分集合を構成するデータに含まれる特徴量ベクトルを第2のニューラルネットワークにより非線形変換する変換手順と、
前記非線形変換された特徴量ベクトルと予め設定された中心ベクトルとを用いて、前記特徴量ベクトルの異常度を表すスコアを計算するスコア計算手順と、
前記スコアを用いて、異常検知の汎化性能を表す指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する学習手順と、
をコンピュータが実行することを特徴とする学習方法。 - 前記第1のニューラルネットワークには、第1のフィードフォワードニューラルネットワークと、第2のフィードフォワードニューラルネットワークとが含まれ
前記生成手順は、
前記第1の部分集合を構成する各データを前記第1のフィードフォワードニューラルネットワークにより集約したベクトルを生成した後、生成したベクトルを前記第2のフィードフォワードニューラルネットワークにより変換することで前記タスクベクトルを生成する、ことを特徴とする請求項1に記載の学習方法。 - 前記スコア計算手順は、
前記非線形変換された特徴量ベクトルを線形射影ベクトル^wで線形射影した値と、前記中心ベクトルを前記線形射影ベクトル^wで線形射影した値との距離を前記スコアとして計算する、ことを特徴とする請求項1又は2に記載の学習方法。 - 前記線形射影ベクトル^wは、前記第1の部分集合に含まれるデータのうちの異常データと前記中心ベクトルとの距離がなるべく遠くなり、かつ、前記第1の部分集合に含まれるデータのうちの正常データと前記中心ベクトルとの距離がなるべく近くなるように計算されたベクトルである、ことを特徴とする請求項3に記載の学習方法。
- 前記学習手順は、
前記指標値として、AUC、近似AUC、負のクロスエントロピー誤差、又は対数尤度のいずれかを用いて、前記指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する、ことを特徴とする請求項1乃至4の何れか一項に記載の学習方法。 - タスク集合を{1,・・・,T}、タスクt∈{1,・・・,T}の事例の特徴を表す特徴量ベクトルが少なくとも含まれるデータで構成されるデータセットをDtとして、データセット集合D={D1,・・・,DT}を入力する入力部と、
前記タスク集合{1,・・・,T}からタスクtをサンプリングし、前記タスクtのデータセットDtから第1の部分集合と、前記データセットDtのうち前記第1の部分集合を除く集合から第2の部分集合とをサンプリングするサンプリング部と、
前記第1の部分集合に対応するタスクtの性質を表すタスクベクトルを第1のニューラルネットワークにより生成する生成部と、
前記タスクベクトルを用いて、前記第2の部分集合を構成するデータに含まれる特徴量ベクトルを第2のニューラルネットワークにより非線形変換する変換部と、
前記非線形変換された特徴量ベクトルと予め設定された中心ベクトルとを用いて、前記特徴量ベクトルの異常度を表すスコアを計算するスコア計算部と、
前記スコアを用いて、異常検知の汎化性能を表す指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する学習部と、
を有することを特徴とする学習装置。 - コンピュータに、請求項1乃至5の何れか一項に記載の学習方法を実行させるプログラム。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2020/026435 WO2022009275A1 (ja) | 2020-07-06 | 2020-07-06 | 学習方法、学習装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2022009275A1 JPWO2022009275A1 (ja) | 2022-01-13 |
| JP7448010B2 true JP7448010B2 (ja) | 2024-03-12 |
Family
ID=79553082
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022534504A Active JP7448010B2 (ja) | 2020-07-06 | 2020-07-06 | 学習方法、学習装置及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230274133A1 (ja) |
| JP (1) | JP7448010B2 (ja) |
| WO (1) | WO2022009275A1 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024157481A1 (ja) * | 2023-01-27 | 2024-08-02 | 日本電信電話株式会社 | メタ学習方法、メタ学習装置及びプログラム |
| CN118333057A (zh) * | 2024-04-15 | 2024-07-12 | 中国人民解放军国防科技大学 | 基于知识元学习的多语言事件因果关系识别方法及系统 |
| EP4660852A1 (en) * | 2024-06-07 | 2025-12-10 | Helsing GmbH | Methods and systems for anomaly detection |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942091A (zh) | 2019-11-15 | 2020-03-31 | 武汉理工大学 | 寻找可靠的异常数据中心的半监督少样本图像分类方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9306966B2 (en) * | 2001-12-14 | 2016-04-05 | The Trustees Of Columbia University In The City Of New York | Methods of unsupervised anomaly detection using a geometric framework |
| EP3594860B1 (en) * | 2018-07-09 | 2024-05-08 | Tata Consultancy Services Limited | Sparse neural network based anomaly detection in multi-dimensional time series |
| KR102228196B1 (ko) * | 2018-11-15 | 2021-03-16 | 주식회사 에이아이트릭스 | 기초 메타학습장치에 대한 앙상블가중치를 결정하는 방법 및 장치 |
| US11157772B2 (en) * | 2019-10-28 | 2021-10-26 | Element Ai Inc. | System and method for generating adversarial examples |
-
2020
- 2020-07-06 JP JP2022534504A patent/JP7448010B2/ja active Active
- 2020-07-06 US US18/013,237 patent/US20230274133A1/en active Pending
- 2020-07-06 WO PCT/JP2020/026435 patent/WO2022009275A1/ja not_active Ceased
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110942091A (zh) | 2019-11-15 | 2020-03-31 | 武汉理工大学 | 寻找可靠的异常数据中心的半监督少样本图像分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20230274133A1 (en) | 2023-08-31 |
| JPWO2022009275A1 (ja) | 2022-01-13 |
| WO2022009275A1 (ja) | 2022-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Imani et al. | Bric: Locality-based encoding for energy-efficient brain-inspired hyperdimensional computing | |
| CN110738321B (zh) | 一种量子信号处理方法及装置 | |
| JP6928371B2 (ja) | 分類器、分類器の学習方法、分類器における分類方法 | |
| US20190340533A1 (en) | Systems and methods for preparing data for use by machine learning algorithms | |
| CN116679890B (zh) | 存储设备安全管理系统及其方法 | |
| JP7448010B2 (ja) | 学習方法、学習装置及びプログラム | |
| Hu et al. | Attractor memory for long-term time series forecasting: A chaos perspective | |
| Xiang et al. | Using extreme learning machine for intrusion detection in a big data environment | |
| Udayakumar et al. | Malware classification using machine learning algorithms | |
| CN113255842B (zh) | 车辆置换预测方法、装置、设备及存储介质 | |
| Cui et al. | Anomaly detection model based on hadoop platform and weka interface | |
| He et al. | Deep neural network and transfer learning for accurate hardware-based zero-day malware detection | |
| AU2020325094A1 (en) | Finite rank deep kernel learning with linear computational complexity | |
| Huang et al. | Deep prototypical networks for imbalanced time series classification under data scarcity | |
| JP7207540B2 (ja) | 学習支援装置、学習支援方法、及びプログラム | |
| JP2024170949A (ja) | 機械学習プログラム、機械学習方法および情報処理装置 | |
| CN113128544A (zh) | 训练人工智能模型的方法和装置 | |
| Rastunkov et al. | Boosting method for automated feature space discovery in supervised quantum machine learning models | |
| JP7505555B2 (ja) | 学習装置、学習方法及びプログラム | |
| Wang et al. | Robust proximal support vector regression based on maximum correntropy criterion | |
| JP2020030702A (ja) | 学習装置、学習方法及び学習プログラム | |
| JP7452648B2 (ja) | 学習方法、学習装置及びプログラム | |
| Zhao et al. | Rethink the role of deep learning towards large-scale quantum systems | |
| Barbieri et al. | PALLADIO: a parallel framework for robust variable selection in high-dimensional data | |
| Wang et al. | SaaS software performance issue diagnosis using independent component analysis and restricted boltzmann machine |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240130 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240212 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7448010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |