Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7448010B2 - 学習方法、学習装置及びプログラム - Google Patents
[go: Go Back, main page]

JP7448010B2 - 学習方法、学習装置及びプログラム - Google Patents

学習方法、学習装置及びプログラム Download PDF

Info

Publication number
JP7448010B2
JP7448010B2 JP2022534504A JP2022534504A JP7448010B2 JP 7448010 B2 JP7448010 B2 JP 7448010B2 JP 2022534504 A JP2022534504 A JP 2022534504A JP 2022534504 A JP2022534504 A JP 2022534504A JP 7448010 B2 JP7448010 B2 JP 7448010B2
Authority
JP
Japan
Prior art keywords
vector
task
learning
neural network
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022534504A
Other languages
English (en)
Other versions
JPWO2022009275A1 (ja
Inventor
具治 岩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
NTT Inc USA
Original Assignee
Nippon Telegraph and Telephone Corp
NTT Inc USA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp, NTT Inc USA filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2022009275A1 publication Critical patent/JPWO2022009275A1/ja
Application granted granted Critical
Publication of JP7448010B2 publication Critical patent/JP7448010B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0499Feedforward networks
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/09Supervised learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Debugging And Monitoring (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本発明は、学習方法、学習装置及びプログラムに関する。
異常検知手法は、通常、タスク固有の学習データセットを使ってモデルの学習を行う。高い性能を達成するためには大量の学習データセットが必要であるが、タスク毎に十分な量の学習データを用意するためには高いコストが掛かるという問題がある。
この問題を解決するために、異なるタスクの学習データを活用し、少数の学習データでも高い性能を達成するためのメタ学習法が提案されている(例えば、非特許文献1)。
Finn, Chelsea, Pieter Abbeel, and Sergey Levine. "Model-agnostic meta-learning for fast adaptation of deep networks." Proceedings of the 34th International Conference on Machine Learning, 2017.
しかしながら既存のメタ学習法は、十分な性能を達成できないという問題点がある。
本発明の一実施形態は、上記の点に鑑みてなされたもので、高性能な異常検知モデルを学習することを目的とする。
上記目的を達成するため、一実施形態に係る学習装置は、タスク集合を{1,・・・,T}、タスクt∈{1,・・・,T}の事例の特徴を表す特徴量ベクトルが少なくとも含まれるデータで構成されるデータセットをDとして、データセット集合D={D,・・・,D}を入力する入力手順と、前記タスク集合{1,・・・,T}からタスクtをサンプリングし、前記タスクtのデータセットDから第1の部分集合と、前記データセットDのうち前記第1の部分集合を除く集合から第2の部分集合とをサンプリングするサンプリング手順と、前記第1の部分集合に対応するタスクtの性質を表すタスクベクトルを第1のニューラルネットワークにより生成する生成手順と、前記タスクベクトルを用いて、前記第2の部分集合を構成するデータに含まれる特徴量ベクトルを第2のニューラルネットワークにより非線形変換する変換手順と、前記非線形変換された特徴量ベクトルと予め設定された中心ベクトルとを用いて、前記特徴量ベクトルの異常度を表すスコアを計算するスコア計算手順と、前記スコアを用いて、異常検知の汎化性能を表す指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する学習手順と、をコンピュータが実行することを特徴とする。
高性能な異常検知モデルを学習することができる。
本実施形態に係る学習装置の機能構成の一例を示す図である。 本実施形態に係る学習処理の流れの一例を示すフローチャートである。 本実施形態に係る学習装置のハードウェア構成の一例を示す図である。
以下、本発明の一実施形態について説明する。本実施形態では、複数の異常検知(つまり、複数の異常検知タスク)のためのデータセットの集合が学習データセットとして与えられたときに、目的のタスクにおいて少量のデータしか与えられない場合でも異常検知が可能なモデルを学習することができる学習装置10について説明する。
本実施形態に係る学習装置10には、学習時に、T個のデータセットDの集合
Figure 0007448010000001
が与えられるものとする。以降では、このT個のデータセットDの集合を「学習用データセット集合D」とも表す。すなわち、D={D,・・・,D}である。ここで、D=(xtn,ytn)はタスクtのデータセット、xtnはタスクtのn番目の事例の特徴量ベクトル、ytnはその事例が異常か否かを表すラベルで、異常であればytn=1、正常であればytn=0であるものとする。ただし、特徴量ベクトルxtnに対してラベルytnが与えられていなくてもよい。なお、事例とは異常検知の対象のことである。
テスト時(又は、異常検知モデルの運用時等)には、目的タスクにおける少量のデータの集合S={(x,y)}が与えられるものとする。以降では、このような目的タスクにおける少量のデータの集合Sを「サポート集合」ともいう。この目的タスクにおける異常ラベルが未知の特徴量ベクトルx(この特徴量ベクトルxは「クエリ」とも称される。)が与えられたときに、この特徴量ベクトルxが異常か否かを判定する異常検知モデルを学習することが学習装置10の目標である。言い換えれば、特徴量ベクトルxに対するラベル(又は、特徴量ベクトルxを説明変数とみなしたときの応答変数)yをより正確に予測するモデルを学習することが学習装置10の目標である。
なお、本実施形態では、データ(つまり、特徴量ベクトルxを表すデータ又は特徴量ベクトルxとそのラベルyのペアを表すデータ)は画像やグラフ等のベクトル形式で表されるものとするが、データがベクトル形式でない場合にはベクトル形式で表されるデータに変換することで、本実施形態を同様に適用することが可能である。また、本実施形態は、主に、異常検知を想定して説明するが、これに限られず、例えば、外れ値検知、2値分類問題等にも同様に適用することが可能である。
<機能構成>
まず、本実施形態に係る学習装置10の機能構成について、図1を参照しながら説明する。図1は、本実施形態に係る学習装置10の機能構成の一例を示す図である。
図1に示すように、本実施形態に係る学習装置10は、入力部101と、タスクベクトル生成部102と、スコア計算部103と、学習部104と、記憶部105とを有する。
記憶部105には、学習用データセット集合Dや学習対象となるパラメータ等が記憶されている。
入力部101は、学習時に、記憶部105に記憶されている学習用データセット集合Dを入力する。なお、テスト時には、入力部101は、目的タスクのサポート集合Sと異常検知対象の特徴量ベクトルxとを入力する。
ここで、学習時には、学習部104によってタスク集合{1,・・・,T}からタスクtがサンプリングされた上で、データセットDからサポート集合S及びクエリ集合Qがサンプリングされる。このサポート集合Sは学習時に用いられるサポート集合(つまり、サンプリングされたタスクtにおける少数のデータ(特徴量ベクトルとラベルのペア)で構成されるデータセット)であり、また、このクエリ集合Qは学習時に用いられるクエリの集合である。なお、クエリ集合Qに含まれる各特徴量ベクトルxにはそのラベルyが対応付けられている(つまり、クエリ集合Qはタスクtにおける特徴量ベクトルとそのラベルのペアの集合である。)。
タスクベクトル生成部102は、サポート集合を用いて、このサポート集合に対応するタスクの性質を表すタスクベクトルを生成する。
或るタスクのサポート集合(つまり、当該タスクの特徴量ベクトルとそのラベルのペアの集合)を
Figure 0007448010000002
とする。ここで、Nはサポート集合の大きさである。
このとき、タスクベクトル生成部102は、ニューラルネットワークにより、サポート集合Sに対応するタスクの特徴を表すタスクベクトルrを生成する。例えば、タスクベクトル生成部102は、以下の式(1)によりタスクベクトルrを生成することができる。
Figure 0007448010000003
ここで、f及びgはフィードフォワードネットワーク、[・,・]は要素の結合を表す。
なお、上記の式(1)ではf([x,y])の平均をgの入力としているが、これに限られず、例えば、f([x,y])の合計や最大値をgの入力としてもよいし、全てのf([x,y])を再帰的ニューラルネットワークやアテンション機構等に入力することで得られたベクトルをgの入力としてもよい。すなわち、f([x,y])の集合を入力として、1つのベクトルを出力する任意の関数の出力をgの入力とすることが可能である(このことは、当該関数により全てのf([x,y])を1つのベクトルに集約していることを意味する。)。
スコア計算部103は、タスクベクトルrとサポート集合Sと或る特徴量ベクトルxとを用いて、ニューラルネットワークによりその特徴量ベクトルxに対する異常スコアを計算する。なお、異常スコアは、特徴量ベクトルの異常度を表すスコアである。
まず、スコア計算部103は、タスクベクトルrとニューラルネットワークφを用いて、以下の式(2)により特徴量ベクトルxを非線形変換する。
Figure 0007448010000004
次に、スコア計算部103は、上記の式(2)により非線形変換された特徴量ベクトルφ([x,r])を線形射影したベクトルと、事前に設定された中心ベクトルcを線形射影したベクトルとの距離を異常スコアとして計算する。すなわち、スコア計算部103は、以下の式(3)により異常スコアa(x|S)を計算する。
Figure 0007448010000005
ここで、^w(正確には記号「^」はwの真上に表記されるが、明細書のテキスト中では記号「^」をwの前に付与して「^w」と表記する。)は線形射影ベクトルである。線形射影ベクトルは、サポート集合に含まれる異常データ(つまり、ラベルy=1のデータ)と中心とがなるべく遠くなり、かつ、当該サポート集合に含まれる正常データ(つまり、ラベルy=0のデータ)と中心とがなるべく近くなるように計算する。例えば、線形射影ベクトル^wは以下の式(4)により計算できる。
Figure 0007448010000006
ここで、S={x|y=1,(x,y)∈S}はサポート集合Sに含まれる異常データの集合(以下、「異常サポート集合」という。)、Nは異常サポート集合の大きさ、S={x|y=0,(x,y)∈S}はサポート集合Sに含まれる正常データの集合(以下、「正常サポート集合」という。)、Nは正常サポート集合の大きさ、ηはパラメータである。また、
Figure 0007448010000007
である。上記の式(4)に示す最適化問題は一般化固有値問題を解くことで計算できる。すなわち、
Figure 0007448010000008
を解くことで計算できる。ここで、λは最大固有値、^wはその固有ベクトルである。なお、異常データが1つ(この異常データをxとする。)である場合は、以下の最適化問題を解くことで^wを計算することもできる。
Figure 0007448010000009
一方で、異常を表すラベルが与えられない場合又は異常データが与えられない場合は、与えられたデータの異常スコアが小さくなるように線形射影ベクトル^wを学習する。例えば、
Figure 0007448010000010
により線形射影ベクトル^wを学習する。
また、ラベルありとラベルなしの両方のデータが与えられる場合は、ラベルなしデータに対して重みを付けて正常データとみなし、与えられたデータの重み付き異常スコアが小さくなるように線形射影ベクトル^wを学習する。例えば、
Figure 0007448010000011
により線形射影ベクトル^wを学習する。ここで、λは重みパラメータ、Sはサポート集合Sに含まれるデータのうちでラベルが付与されていないデータの集合(以下、「ラベルなしデータ集合」という。)、Nはラベルなしデータ集合の大きさである。
学習部104は、入力部101によって入力された学習用データセット集合Dを用いて、タスク集合{1,・・・,T}からタスクtをサンプリングした上で、データセットDからサポート集合S及びクエリ集合Qをサンプリングする。なお、サポート集合Sの大きさは予め設定される。同様に、クエリ集合Qの大きさも予め設定される。また、サンプリングする際、学習部104は、ランダムにサンプリングを行ってもよいし、予め設定された何等かの分布に従ってサンプリングを行ってもよい。
そして、学習部104は、当該サポート集合S及び当該クエリ集合Qを用いて、異常検知性能が高くなるように異常検知モデルのパラメータΘを更新(学習)する。すなわち、学習部104は、以下の式(5)に示す期待値(つまり、サポート集合Sが与えられたときのクエリ集合Qに対する異常検知の汎化性能期待値)が高くなるようにパラメータΘを学習する。
Figure 0007448010000012
ここで、Θは異常検知モデルのパラメータであり、ニューラルネットワークf、g、φのパラメータが含まれる。L(Q|S;Θ)はサポート集合Sが与えられたときのクエリ集合Qに対する異常検知の汎化性能を表す指標である。L(Q|S;Θ)としては、例えば、AUC(Area under an ROC curve)、近似AUC、負のクロスエントロピー誤差、対数尤度等、異常検知性能と相関のある任意の指標を用いることができる。近似AUCを用いた場合、L(Q|S;Θ)は、以下の式(6)で表される。
Figure 0007448010000013
ここで、σはシグモイド関数、Qはクエリ集合Qに含まれる異常データの集合、N はQの大きさ、Qはクエリ集合Qに含まれる異常データの集合、N はQの大きさである。
<学習処理の流れ>
次に、本実施形態に係る学習装置10が実行する学習処理の流れについて、図2を参照しながら説明する。図2は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。なお、記憶部105に記憶されている学習対象のパラメータΘは、既知の手法で初期化(例えば、ランダムに初期化や或る分布に従うように初期化等)されているものとする。
まず、入力部101は、記憶部105に記憶されている学習用データセット集合Dを入力する(ステップS101)。
以降のステップS102~ステップS108は所定の終了条件を満たすまで繰り返し実行される。所定の終了条件としては、例えば、学習対象のパラメータが収束したこと、当該繰り返しが所定の回数実行されたこと等が挙げられる。
学習部104は、タスク集合{1,・・・,T}からタスクtをサンプリングする(ステップS102)。
次に、学習部104は、上記のステップS102でサンプリングされたタスクtのデータセットDからサポート集合Sをサンプリングする(ステップS103)。
次に、学習部104は、当該データセットDからサポート集合Sを除いた集合(つまり、データセットDに含まれるデータのうちでサポート集合Sに含まれないデータの集合)から、クエリ集合Qをサンプリングする(ステップS104)。
続いて、タスクベクトル生成部102は、上記のステップS104でサンプリングされたサポート集合Sを用いて、このサポート集合Sに対応するタスクt(つまり、上記のステップS102でサンプリングされたタスクt)の性質を表すタスクベクトルrを生成する(ステップS105)。タスクベクトル生成部102は、例えば、上記の式(1)によりタスクベクトルrを生成すればよい。
次に、スコア計算部103は、上記のステップS103でサンプリングされたサポート集合Sと上記のステップS105で生成されたタスクベクトルrとを用いて、上記のステップS104でサンプリングされたサポート集合Sに含まれる各特徴量ベクトルの異常スコアa(x|S)をそれぞれ計算する(ステップS106)。すなわち、スコア計算部103は、例えば、当該クエリ集合Qに含まれる特徴量ベクトルx毎に、上記の式(2)により当該特徴量ベクトルxをφ([x,r])に非線形変換した後、上記の式(3)により異常スコアa(x|S)を計算する。これにより、当該クエリ集合Qに含まれる各特徴量ベクトルxに対する異常スコアa(x|S)がそれぞれ計算される。
次に、学習部104は、上記のステップS106で計算された異常スコアa(x|S)を用いて、異常性能指標L(Q|S;Θ)の値及びそのパラメータΘに関する勾配を計算する(ステップS107)。学習部104は、例えば、上記の式(6)により異常性能指標L(Q|S;Θ)の値を計算すればよい。また、そのパラメータΘに関する勾配は、例えば、誤差逆伝播法等の既知の手法により計算すればよい。
そして、学習部104は、上記のステップS107で計算した異常性能指標値及びその勾配を用いて学習対象のパラメータΘを更新する(ステップS108)。なお、学習部104は、既知の更新式等により学習対象のパラメータΘを更新すればよい。
異常により、本実施形態に係る学習装置10は、タスクベクトル生成部102及びスコア計算部103で実現される異常検知モデルのパラメータΘを学習することができる。なお、テスト時には、目的タスクのサポート集合及びクエリを入力部101により入力し、このサポート集合からタスクベクトルを生成した上で、このタスクベクトルと当該クエリから異常スコアを計算すればよい。この異常スコアが所定の閾値以上であれば、当該クエリは異常データ、そうでなければ正常データと判定される。テスト時における学習装置10は学習部104を有していなくてもよく、また、例えば、「異常検知装置」等と称されてもよい。
<評価結果>
次に、本実施形態に係る学習装置10によって学習された異常検知モデルの評価結果について説明する。本実施形態では、既知の異常検知データを用いて異常検知モデルを評価した。その評価結果としてテストAUCを以下の表1に示す。
Figure 0007448010000014
ここで、Oursは、本実施形態に係る学習装置10によって学習された異常検知モデルである。比較対象の既存手法としては、MAML(モデル不可知メタラーニング)、FT(ファインチューニング)、OSVM(1クラスサポートベクターマシン)、RF(ランダムフォレスト)を用いた。
上記の表1に示すように、本実施形態に係る学習装置10によって学習された異常検知モデルは、既存手法と比べて高い異常検知性能を達成している。
以上のように、本実施形態に係る学習装置10は、複数の異常検知タスクのデータセットの集合から目的タスクの異常検知モデルを学習することができ、この異常検知モデルにより、目的タスクで少量の学習データしか与えられていない場合であっても、高い異常検知性能を実現することができる。
<ハードウェア構成>
最後に、本実施形態に係る学習装置10のハードウェア構成について、図3を参照しながら説明する。図3は、本実施形態に係る学習装置10のハードウェア構成の一例を示す図である。
図3に示すように、本実施形態に係る学習装置10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置201と、表示装置202と、外部I/F203と、通信I/F204と、プロセッサ205と、メモリ装置206とを有する。これら各ハードウェアは、それぞれがバス207を介して通信可能に接続されている。
入力装置201は、例えば、キーボードやマウス、タッチパネル等である。表示装置202は、例えば、ディスプレイ等である。なお、学習装置10は、入力装置201及び表示装置202のうちの少なくとも一方を有していなくてもよい。
外部I/F203は、記録媒体203a等の外部装置とのインタフェースである。学習装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、例えば、学習装置10が有する各機能部(入力部101、タスクベクトル生成部102、スコア計算部103及び学習部104)を実現する1以上のプログラムが格納されていてもよい。なお、記録媒体203aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
通信I/F204は、学習装置10を通信ネットワークに接続するためのインタフェースである。なお、学習装置10が有する各機能部を実現する1以上のプログラムは、通信I/F204を介して、所定のサーバ装置等から取得(ダウンロード)されてもよい。
プロセッサ205は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の各種演算装置である。学習装置10が有する各機能部は、例えば、メモリ装置206に格納されている1以上のプログラムがプロセッサ205に実行させる処理により実現される。
メモリ装置206は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。学習装置10が有する記憶部105は、例えば、メモリ装置206により実現される。ただし、当該記憶部105は、例えば、学習装置10と通信ネットワークを介して接続される記憶装置(例えば、データベースサーバ等)により実現されていてもよい。
本実施形態に係る学習装置10は、図3に示すハードウェア構成を有することにより、上述した学習処理を実現することができる。なお、図3に示すハードウェア構成は一例であって、学習装置10は、他のハードウェア構成を有していてもよい。例えば、学習装置10は、複数のプロセッサ205を有していてもよいし、複数のメモリ装置206を有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
10 学習装置
101 入力部
102 タスクベクトル生成部
103 スコア計算部
104 学習部
105 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス

Claims (7)

  1. タスク集合を{1,・・・,T}、タスクt∈{1,・・・,T}の事例の特徴を表す特徴量ベクトルが少なくとも含まれるデータで構成されるデータセットをDとして、データセット集合D={D,・・・,D}を入力する入力手順と、
    前記タスク集合{1,・・・,T}からタスクtをサンプリングし、前記タスクtのデータセットDから第1の部分集合と、前記データセットDのうち前記第1の部分集合を除く集合から第2の部分集合とをサンプリングするサンプリング手順と、
    前記第1の部分集合に対応するタスクtの性質を表すタスクベクトルを第1のニューラルネットワークにより生成する生成手順と、
    前記タスクベクトルを用いて、前記第2の部分集合を構成するデータに含まれる特徴量ベクトルを第2のニューラルネットワークにより非線形変換する変換手順と、
    前記非線形変換された特徴量ベクトルと予め設定された中心ベクトルとを用いて、前記特徴量ベクトルの異常度を表すスコアを計算するスコア計算手順と、
    前記スコアを用いて、異常検知の汎化性能を表す指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する学習手順と、
    をコンピュータが実行することを特徴とする学習方法。
  2. 前記第1のニューラルネットワークには、第1のフィードフォワードニューラルネットワークと、第2のフィードフォワードニューラルネットワークとが含まれ
    前記生成手順は、
    前記第1の部分集合を構成する各データを前記第1のフィードフォワードニューラルネットワークにより集約したベクトルを生成した後、生成したベクトルを前記第2のフィードフォワードニューラルネットワークにより変換することで前記タスクベクトルを生成する、ことを特徴とする請求項1に記載の学習方法。
  3. 前記スコア計算手順は、
    前記非線形変換された特徴量ベクトルを線形射影ベクトル^wで線形射影した値と、前記中心ベクトルを前記線形射影ベクトル^wで線形射影した値との距離を前記スコアとして計算する、ことを特徴とする請求項1又は2に記載の学習方法。
  4. 前記線形射影ベクトル^wは、前記第1の部分集合に含まれるデータのうちの異常データと前記中心ベクトルとの距離がなるべく遠くなり、かつ、前記第1の部分集合に含まれるデータのうちの正常データと前記中心ベクトルとの距離がなるべく近くなるように計算されたベクトルである、ことを特徴とする請求項3に記載の学習方法。
  5. 前記学習手順は、
    前記指標値として、AUC、近似AUC、負のクロスエントロピー誤差、又は対数尤度のいずれかを用いて、前記指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する、ことを特徴とする請求項1乃至4の何れか一項に記載の学習方法。
  6. タスク集合を{1,・・・,T}、タスクt∈{1,・・・,T}の事例の特徴を表す特徴量ベクトルが少なくとも含まれるデータで構成されるデータセットをDとして、データセット集合D={D,・・・,D}を入力する入力部と、
    前記タスク集合{1,・・・,T}からタスクtをサンプリングし、前記タスクtのデータセットDから第1の部分集合と、前記データセットDのうち前記第1の部分集合を除く集合から第2の部分集合とをサンプリングするサンプリング部と、
    前記第1の部分集合に対応するタスクtの性質を表すタスクベクトルを第1のニューラルネットワークにより生成する生成部と、
    前記タスクベクトルを用いて、前記第2の部分集合を構成するデータに含まれる特徴量ベクトルを第2のニューラルネットワークにより非線形変換する変換部と、
    前記非線形変換された特徴量ベクトルと予め設定された中心ベクトルとを用いて、前記特徴量ベクトルの異常度を表すスコアを計算するスコア計算部と、
    前記スコアを用いて、異常検知の汎化性能を表す指標値が高くなるように前記第1のニューラルネットワークのパラメータと前記第2のニューラルネットワークのパラメータとを学習する学習部と、
    を有することを特徴とする学習装置。
  7. コンピュータに、請求項1乃至5の何れか一項に記載の学習方法を実行させるプログラム。
JP2022534504A 2020-07-06 2020-07-06 学習方法、学習装置及びプログラム Active JP7448010B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/026435 WO2022009275A1 (ja) 2020-07-06 2020-07-06 学習方法、学習装置及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2022009275A1 JPWO2022009275A1 (ja) 2022-01-13
JP7448010B2 true JP7448010B2 (ja) 2024-03-12

Family

ID=79553082

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022534504A Active JP7448010B2 (ja) 2020-07-06 2020-07-06 学習方法、学習装置及びプログラム

Country Status (3)

Country Link
US (1) US20230274133A1 (ja)
JP (1) JP7448010B2 (ja)
WO (1) WO2022009275A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024157481A1 (ja) * 2023-01-27 2024-08-02 日本電信電話株式会社 メタ学習方法、メタ学習装置及びプログラム
CN118333057A (zh) * 2024-04-15 2024-07-12 中国人民解放军国防科技大学 基于知识元学习的多语言事件因果关系识别方法及系统
EP4660852A1 (en) * 2024-06-07 2025-12-10 Helsing GmbH Methods and systems for anomaly detection

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942091A (zh) 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9306966B2 (en) * 2001-12-14 2016-04-05 The Trustees Of Columbia University In The City Of New York Methods of unsupervised anomaly detection using a geometric framework
EP3594860B1 (en) * 2018-07-09 2024-05-08 Tata Consultancy Services Limited Sparse neural network based anomaly detection in multi-dimensional time series
KR102228196B1 (ko) * 2018-11-15 2021-03-16 주식회사 에이아이트릭스 기초 메타학습장치에 대한 앙상블가중치를 결정하는 방법 및 장치
US11157772B2 (en) * 2019-10-28 2021-10-26 Element Ai Inc. System and method for generating adversarial examples

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942091A (zh) 2019-11-15 2020-03-31 武汉理工大学 寻找可靠的异常数据中心的半监督少样本图像分类方法

Also Published As

Publication number Publication date
US20230274133A1 (en) 2023-08-31
JPWO2022009275A1 (ja) 2022-01-13
WO2022009275A1 (ja) 2022-01-13

Similar Documents

Publication Publication Date Title
Imani et al. Bric: Locality-based encoding for energy-efficient brain-inspired hyperdimensional computing
CN110738321B (zh) 一种量子信号处理方法及装置
JP6928371B2 (ja) 分類器、分類器の学習方法、分類器における分類方法
US20190340533A1 (en) Systems and methods for preparing data for use by machine learning algorithms
CN116679890B (zh) 存储设备安全管理系统及其方法
JP7448010B2 (ja) 学習方法、学習装置及びプログラム
Hu et al. Attractor memory for long-term time series forecasting: A chaos perspective
Xiang et al. Using extreme learning machine for intrusion detection in a big data environment
Udayakumar et al. Malware classification using machine learning algorithms
CN113255842B (zh) 车辆置换预测方法、装置、设备及存储介质
Cui et al. Anomaly detection model based on hadoop platform and weka interface
He et al. Deep neural network and transfer learning for accurate hardware-based zero-day malware detection
AU2020325094A1 (en) Finite rank deep kernel learning with linear computational complexity
Huang et al. Deep prototypical networks for imbalanced time series classification under data scarcity
JP7207540B2 (ja) 学習支援装置、学習支援方法、及びプログラム
JP2024170949A (ja) 機械学習プログラム、機械学習方法および情報処理装置
CN113128544A (zh) 训练人工智能模型的方法和装置
Rastunkov et al. Boosting method for automated feature space discovery in supervised quantum machine learning models
JP7505555B2 (ja) 学習装置、学習方法及びプログラム
Wang et al. Robust proximal support vector regression based on maximum correntropy criterion
JP2020030702A (ja) 学習装置、学習方法及び学習プログラム
JP7452648B2 (ja) 学習方法、学習装置及びプログラム
Zhao et al. Rethink the role of deep learning towards large-scale quantum systems
Barbieri et al. PALLADIO: a parallel framework for robust variable selection in high-dimensional data
Wang et al. SaaS software performance issue diagnosis using independent component analysis and restricted boltzmann machine

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240130

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240212

R150 Certificate of patent or registration of utility model

Ref document number: 7448010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350