JP7630464B2 - 評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム - Google Patents
評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム Download PDFInfo
- Publication number
- JP7630464B2 JP7630464B2 JP2022097113A JP2022097113A JP7630464B2 JP 7630464 B2 JP7630464 B2 JP 7630464B2 JP 2022097113 A JP2022097113 A JP 2022097113A JP 2022097113 A JP2022097113 A JP 2022097113A JP 7630464 B2 JP7630464 B2 JP 7630464B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- poison
- class
- data group
- source
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、機械学習システムのバックドア攻撃に対する安全性評価手法に関する。
近年、非特許文献１において、バックドア攻撃と呼ばれる、画像分類等の機械学習システムに対する攻撃手法が示されている。バックドア攻撃では、ｓｏｕｒｃｅクラスに属するデータに対して、トリガーと呼ばれるデータ（画像）を貼り付け、ラベルをｔａｒｇｅｔクラスに変更することで毒データが生成される。これは、毒データを含む訓練データをモデルが学習することで、機械学習システムに、トリガーが付与されたｓｏｕｒｃｅクラスの画像のみをｔａｒｇｅｔクラスに誤分類させることを目的とする攻撃である。
その後、非特許文献２において、クリーンラベルバックドア攻撃と呼ばれる、毒データのラベルを操作することなくバックドア攻撃を行う、より高度な手法が示された。
さらに、非特許文献３では、クリーンラベル方式であり、かつ、ｓｏｕｒｃｅデータに付与されるトリガーが不可視（識別困難）となるバックドア攻撃が示された。この方式は、訓練データに追加される毒データのトリガーが不可視となるため、毒データの検知が非常に困難である。
さらに、非特許文献３では、クリーンラベル方式であり、かつ、ｓｏｕｒｃｅデータに付与されるトリガーが不可視（識別困難）となるバックドア攻撃が示された。この方式は、訓練データに追加される毒データのトリガーが不可視となるため、毒データの検知が非常に困難である。
Tianyu Gu, Brendan Dolan-Gavitt, and Siddharth Garg. Badnets: Identifying vulnerabilities in the machine learning model supply chain. arXiv preprint arXiv:1708.06733, 2017.
Alexander Turner, Dimitris Tsipras, and Aleksander Madry. Label-consistent backdoor attacks. arXiv preprint arXiv:1912.02771, 2019.
Aniruddha Saha, Akshayvarun Subramanya, and Hamed Pirsiavash. Hidden trigger backdoor attacks. In Proceedings of the AAAI conference on artificial intelligence, Vol. 34, pp. 11957-11965, 2020.
機械学習システムの安全性評価を行うにあたって、より強力な攻撃手法を考慮することは、最悪のシナリオを想定し、より厳密な安全性評価を実施するために重要である。
しかしながら、非特許文献３のバックドア攻撃は、訓練データに混入させるｔａｒｇｅｔラベルの毒データを勾配最適化法によって生成することで不可視としていたが、訓練済みモデルのテスト（評価）時においては、ｓｏｕｒｃｅラベルの画像に可視のトリガー（パッチ画像）を付与したものを毒データとしていた。このため、テスト時にアノマリ検知等の対策を行うことで、毒データを容易に検知することが可能であった。
このように、訓練データ及びテストデータの双方でトリガーが不可視となるバックドア攻撃は、これまで考慮されていなかった。
しかしながら、非特許文献３のバックドア攻撃は、訓練データに混入させるｔａｒｇｅｔラベルの毒データを勾配最適化法によって生成することで不可視としていたが、訓練済みモデルのテスト（評価）時においては、ｓｏｕｒｃｅラベルの画像に可視のトリガー（パッチ画像）を付与したものを毒データとしていた。このため、テスト時にアノマリ検知等の対策を行うことで、毒データを容易に検知することが可能であった。
このように、訓練データ及びテストデータの双方でトリガーが不可視となるバックドア攻撃は、これまで考慮されていなかった。
本発明は、従来よりも強力な攻撃手法に基づいて、機械学習システムの安全性をより厳密に評価するための評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラムを提供することを目的とする。
本発明に係る評価用データ生成装置は、第１のクラスのデータ群に対して識別困難な変動量のトリガーを付与することで、第２のクラスのデータ群との特徴量空間における距離に関する損失を最小化するよう更新した前記第１のクラスの毒データ群を生成する毒データ生成部と、バックドア攻撃におけるソースクラスのデータ群を前記第１のクラスのデータ群として、ターゲットクラスのデータ群を前記第２のクラスのデータ群として前記毒データ生成部に入力し、生成された毒ソースデータ群を、評価対象である分類システムのテストデータとして出力するテストデータ出力部と、前記ターゲットクラスのデータ群を前記第１のクラスのデータ群として、前記毒ソースデータ群を前記第２のクラスのデータ群として前記毒データ生成部に入力し、生成された毒ターゲットデータ群を、前記分類システムの訓練データとして出力する訓練データ出力部と、を備える。
前記テストデータ出力部は、複数のソースクラスそれぞれのデータ群と、単一のターゲットクラスのデータ群とを入力として生成された、各ソースクラスの毒データ群を均等に出力し、前記訓練データ出力部は、前記単一のターゲットクラスのデータ群と、前記複数のソースクラスそれぞれの毒データ群とを入力として生成された、各ソースクラスに対応する毒データ群を均等に出力してもよい。
前記損失は、クラス間で前記特徴量空間における距離を最小化するペア毎の、当該距離を総和した値として定義されてもよい。
前記分類システムは、機械学習モデルにより画像を複数のクラスに分類するシステムであってもよい。
本発明に係る安全性評価装置は、前記毒データ生成部、前記テストデータ出力部及び前記訓練データ出力部と、前記毒ターゲットデータ群を前記分類システムの訓練データに混入させ、汚染モデルを生成するモデル生成部と、前記毒ソースデータ群をテストデータとして、前記汚染モデルによる誤分類率を測定し、当該誤分類率に基づいて攻撃に対する安全性の評価値を出力する評価部と、を備える。
本発明に係る評価用データ生成方法は、第１のクラスのデータ群に対して識別困難な変動量のトリガーを付与することで、第２のクラスのデータ群との特徴量空間における距離に関する損失を最小化するよう更新した前記第１のクラスの毒データ群を生成する毒データ生成アルゴリズムを用い、バックドア攻撃におけるソースクラスのデータ群を前記第１のクラスのデータ群として、ターゲットクラスのデータ群を前記第２のクラスのデータ群として前記毒データ生成アルゴリズムに入力し、生成された毒ソースデータ群を、評価対象である分類システムのテストデータとして出力するテストデータ出力ステップと、前記ターゲットクラスのデータ群を前記第１のクラスのデータ群として、前記毒ソースデータ群を前記第２のクラスのデータ群として前記毒データ生成アルゴリズムに入力し、生成された毒ターゲットデータ群を、前記分類システムの訓練データとして出力する訓練データ出力ステップと、をコンピュータが実行する。
本発明に係る評価用データ生成プログラムは、前記評価用データ生成装置としてコンピュータを機能させるためのものである。
本発明によれば、訓練データ及びテストデータの双方でトリガーが不可視となるバックドア攻撃に基づいて、機械学習システムの安全性をより厳密に評価することができる。
以下、本発明の実施形態の一例について説明する。
本実施形態では、機械学習モデルを用いた分類システムに対するバックドア攻撃を想定し、訓練時のみならずテスト時においてもトリガーが識別困難となるクリーンラベルバックドア攻撃に対しての安全性評価を可能とする。
ここでは、評価対象の分類システムとして、機械学習モデルにより画像を複数のクラスに分類するシステムを例に、トリガーが識別困難、すなわち不可視となる攻撃アルゴリズムを提示する。
本実施形態では、機械学習モデルを用いた分類システムに対するバックドア攻撃を想定し、訓練時のみならずテスト時においてもトリガーが識別困難となるクリーンラベルバックドア攻撃に対しての安全性評価を可能とする。
ここでは、評価対象の分類システムとして、機械学習モデルにより画像を複数のクラスに分類するシステムを例に、トリガーが識別困難、すなわち不可視となる攻撃アルゴリズムを提示する。
図１は、本実施形態における安全性評価装置１の機能構成を示す図である。
安全性評価装置１は、制御部１０及び記憶部２０の他、各種の入出力インタフェース等を備えた情報処理装置（コンピュータ）である。
なお、安全性評価装置１は、分類システムのバックドア攻撃に対する安全性の評価結果を出力するものとして構成するが、評価用データ（訓練データ及びテストデータ）を出力し、実際の評価ステップである機械学習モデルの訓練及びテストについては、他の処理装置が担ってもよい。
安全性評価装置１は、制御部１０及び記憶部２０の他、各種の入出力インタフェース等を備えた情報処理装置（コンピュータ）である。
なお、安全性評価装置１は、分類システムのバックドア攻撃に対する安全性の評価結果を出力するものとして構成するが、評価用データ（訓練データ及びテストデータ）を出力し、実際の評価ステップである機械学習モデルの訓練及びテストについては、他の処理装置が担ってもよい。
制御部１０は、安全性評価装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。
具体的には、制御部１０は、毒データ生成部１１と、テストデータ出力部１２と、訓練データ出力部１３と、モデル生成部１４と、評価部１５とを備える。
具体的には、制御部１０は、毒データ生成部１１と、テストデータ出力部１２と、訓練データ出力部１３と、モデル生成部１４と、評価部１５とを備える。
記憶部２０は、ハードウェア群を安全性評価装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。
具体的には、記憶部２０は、評価用データ生成プログラム及び安全性評価プログラムの他、評価対象である機械学習モデルのパラメータ、各クラスのサンプルデータ、生成された訓練データ及びテストデータ等を記憶する。
具体的には、記憶部２０は、評価用データ生成プログラム及び安全性評価プログラムの他、評価対象である機械学習モデルのパラメータ、各クラスのサンプルデータ、生成された訓練データ及びテストデータ等を記憶する。
毒データ生成部１１は、第１のクラスのデータ（例えば、画像）群に対して識別困難な変動量のトリガー（例えば、不可視なパッチ画像）を付与することで、第２のクラスのデータ群との特徴量空間、すなわち機械学習モデルの内部の層における特徴量の距離に関する損失を最小化するよう更新した第１のクラスの毒データ群を生成する。
ここで、損失は、クラス間で特徴量空間における距離を最小化するペア毎の、距離を総和した値として定義される。距離は、例えばＬ２距離、又はその二乗距離であってよい。
また、損失を最少化する手法としては、例えば、勾配最適化法が利用され、後述のアルゴリズムにより、毒データ生成部１１は、第１のクラスのデータから所定以内の変動量で特徴量空間における距離を第２のクラスに近づけた毒データ群を生成する。
また、損失を最少化する手法としては、例えば、勾配最適化法が利用され、後述のアルゴリズムにより、毒データ生成部１１は、第１のクラスのデータから所定以内の変動量で特徴量空間における距離を第２のクラスに近づけた毒データ群を生成する。
テストデータ出力部１２は、バックドア攻撃におけるｓｏｕｒｃｅクラスのデータ群を第１のクラスのデータ群として、ｔａｒｇｅｔクラスのデータ群を第２のクラスのデータ群として毒データ生成部１１に入力し、生成された毒ｓｏｕｒｃｅデータ群を、評価対象である分類システムのテストデータとして出力する。
訓練データ出力部１３は、ｔａｒｇｅｔクラスのデータ群を第１のクラスのデータ群として、テストデータ出力部１２により出力された毒ｓｏｕｒｃｅデータ群を第２のクラスのデータ群として毒データ生成部１１に入力し、生成された毒ｔａｒｇｅｔデータ群を、分類システムの訓練データとして出力する。
なお、分類システムは、多クラス分類を行うものであってよく、バックドア攻撃におけるｓｏｕｒｃｅクラスが複数設定されてもよい。この場合も、ｔａｒｇｅｔクラスは単一であり、トリガーが付与された複数のｓｏｕｒｃｅクラスのデータ（画像）をｔａｒｇｅｔクラスに誤分類させる攻撃を想定する。
この場合、テストデータ出力部１２は、複数のｓｏｕｒｃｅクラスそれぞれのデータ群と、単一のｔａｒｇｅｔクラスのデータ群とを入力として生成された、各ｓｏｕｒｃｅクラスの毒データ群を均等に出力する。
また、訓練データ出力部１３は、単一のｔａｒｇｅｔクラスのデータ群と、複数のｓｏｕｒｃｅクラスそれぞれの毒データ群とを入力として生成された、各ｓｏｕｒｃｅクラスに対応する毒データ群を均等に出力する。
また、訓練データ出力部１３は、単一のｔａｒｇｅｔクラスのデータ群と、複数のｓｏｕｒｃｅクラスそれぞれの毒データ群とを入力として生成された、各ｓｏｕｒｃｅクラスに対応する毒データ群を均等に出力する。
モデル生成部１４は、訓練データ出力部１３により出力された毒ｔａｒｇｅｔデータ群を分類システムの訓練データに混入させ、汚染モデルを生成する。
評価部１５は、テストデータ出力部１２により出力された毒ｓｏｕｒｃｅデータをテストデータとして、汚染モデルによる誤分類率を測定し、この誤分類率に基づいて攻撃に対する安全性の評価値を出力する。
図２は、本実施形態との対比のため、従来の安全性評価方法のうち、安全性評価のための訓練データ及びテストデータの生成手順を示す図である。
ここでは、画像の分類システムに対するクリーンラベルバックドア攻撃を対象としている。
ここでは、画像の分類システムに対するクリーンラベルバックドア攻撃を対象としている。
まず、ｓｏｕｒｃｅ画像に対して、トリガーである可視のパッチ画像を付加することで、テストデータとしている。
次に、このテストデータとｔａｒｇｅｔ画像との関係性を最適化することにより、トリガーが不可視の毒ｔａｒｇｅｔ画像が生成され、これが訓練データとして利用される。
次に、このテストデータとｔａｒｇｅｔ画像との関係性を最適化することにより、トリガーが不可視の毒ｔａｒｇｅｔ画像が生成され、これが訓練データとして利用される。
図３は、本実施形態における安全性評価方法のうち、安全性評価のための訓練データ及びテストデータの生成手順を示す図である。
従来と比較して、テストデータとなるｓｏｕｒｃｅ側の毒データについても、トリガーが不可視となる。
従来と比較して、テストデータとなるｓｏｕｒｃｅ側の毒データについても、トリガーが不可視となる。
手順１において、テストデータ出力部１２は、不可視となるｓｏｕｒｃｅ側の毒データを、勾配最適化アルゴリズムを用いて作成し、テストデータとする。本アルゴリズムは、ランダムに抽出されたＫ１個のｓｏｕｒｃｅ画像とＫ１個のｔａｒｇｅｔ画像とを入力とし、Ｋ１個のトリガーが不可視となる毒ｓｏｕｒｃｅ画像を出力するものである。
手順２において、訓練データ出力部１３は、手順１と同様の勾配最適化アルゴリズムを用いて、Ｋ２個のトリガーが不可視となる毒ｔａｒｇｅｔ画像を生成し、訓練データとする。ここでは、ランダムに抽出されたＫ２個のｔａｒｇｅｔ画像と、手順１で生成されたＫ１個の毒ｓｏｕｒｃｅ画像とを勾配最適化アルゴリズムに入力することで、Ｋ２個のトリガーが不可視となる毒ｔａｒｇｅｔ画像が出力される。
このようにして評価用データが生成されると、手順２で生成されたＫ２個の毒ｔａｒｇｅｔ画像を訓練データに混入させることで汚染モデルが生成される。汚染モデルに対して、手順１で生成された毒ｓｏｕｒｃｅ画像を入力したときにｔａｒｇｅｔクラスに誤分類された割合（攻撃成功率）を測定することで、評価対象である分類モデルの不可視クリーンラベルバックドア攻撃アルゴリズムに対する脆弱性を測定することができる。
図４は、本実施形態における毒データ生成部１１が実行するアルゴリズムを例示する図である。
前述の手順１及び手順２は、このＧｅｎｅｒａｔｅ－Ｉｎｖｉｓｉｂｌｅ－Ｐｏｉｓｏｎ関数（Ａｌｇｏｒｉｔｈｍ １）を用いて実装される。
この関数は、ａクラスのデータｘａ、及びｂクラスのデータｘｂを入力とし、勾配最適化法により、ａクラスの毒データ＾ｘａを出力するものである。
前述の手順１及び手順２は、このＧｅｎｅｒａｔｅ－Ｉｎｖｉｓｉｂｌｅ－Ｐｏｉｓｏｎ関数（Ａｌｇｏｒｉｔｈｍ １）を用いて実装される。
この関数は、ａクラスのデータｘａ、及びｂクラスのデータｘｂを入力とし、勾配最適化法により、ａクラスの毒データ＾ｘａを出力するものである。
１行目：毒データ生成部１１は、Ｋ個の毒データ＾ｘａ
（ｉ）を、クラスａのＫ個のデータｘａ
（ｉ）（１≦ｉ≦Ｋ）で初期化する。
２行目：毒データ生成部１１は、予め設定された所定の回数（ｎ回）だけ３～６行目を繰り返す。
３行目：毒データ生成部１１は、後述のＦｉｎｄ－Ｃｌｏｓｅｓｔ－Ｐａｉｒ関数を用いて、＾ｘａとｘｂとの１対１の写像ｍ［ｉ］を計算する。
２行目：毒データ生成部１１は、予め設定された所定の回数（ｎ回）だけ３～６行目を繰り返す。
３行目：毒データ生成部１１は、後述のＦｉｎｄ－Ｃｌｏｓｅｓｔ－Ｐａｉｒ関数を用いて、＾ｘａとｘｂとの１対１の写像ｍ［ｉ］を計算する。
ここで、ｍ［ｉ］は、各ペア（＾ｘａ
（ｉ），ｘｂ
（ｍ［ｉ］））に対する、モデルの特徴量空間ｆ（）におけるＬ２距離∥ｆ（＾ｘａ
（ｉ））－ｆ（ｘｂ
（ｍ［ｉ］））∥２が最小化するように選択される。こうすることで、モデルの特徴量空間において類似するクラスａとクラスｂのデータのペアが得られる。
４行目：毒データ生成部１１は、３行目で得られたＫ個のペアに対して、特徴量空間における損失（二乗距離）の和Ｌを計算する。
５行目：毒データ生成部１１は、Ｌの＾ｘａ （ｉ）方向の勾配∇＾ｘａ （ｉ）Ｌを計算し、損失Ｌが小さくなるように毒データの値＾ｘａ （ｉ）を更新する。ここで、ηは学習率である。
６行目：毒データの不可視性を担保するためのステップであり、毒データ生成部１１は、毒データ＾ｘａ （ｉ）と、ラベルａの元のデータｘａ （ｉ）との各要素間の距離がεより大きくなった場合、丁度εとなるように修正する。
７行目：毒データ生成部１１は、トリガーが不可視であるクラスａのＫ個の毒データ＾ｘａを出力する。
５行目：毒データ生成部１１は、Ｌの＾ｘａ （ｉ）方向の勾配∇＾ｘａ （ｉ）Ｌを計算し、損失Ｌが小さくなるように毒データの値＾ｘａ （ｉ）を更新する。ここで、ηは学習率である。
６行目：毒データの不可視性を担保するためのステップであり、毒データ生成部１１は、毒データ＾ｘａ （ｉ）と、ラベルａの元のデータｘａ （ｉ）との各要素間の距離がεより大きくなった場合、丁度εとなるように修正する。
７行目：毒データ生成部１１は、トリガーが不可視であるクラスａのＫ個の毒データ＾ｘａを出力する。
図５は、本実施形態における毒データ生成部１１が実行するＦｉｎｄ－Ｃｌｏｓｅｓｔ－Ｐａｉｒ関数（Ａｌｇｏｒｉｔｈｍ ２）を例示する図である。
この関数は、前述のように、モデルの特徴量空間において類似するクラスａとクラスｂのデータのペアを求めるものであり、具体的な処理手順は、次の通りである。
この関数は、前述のように、モデルの特徴量空間において類似するクラスａとクラスｂのデータのペアを求めるものであり、具体的な処理手順は、次の通りである。
１行目：毒データ生成部１１は、［１，…，Ｋ］のＫ個の集合Ｊを定義する。
２行目：毒データ生成部１１は、１からＫまで、３～１１行目を繰り返す。
３行目：毒データ生成部１１は、二乗距離の最小値ｄｉｓｔｍｉｎを∞に初期化する。
４行目：毒データ生成部１１は、ｊｍｉｎを∞に初期化する。
２行目：毒データ生成部１１は、１からＫまで、３～１１行目を繰り返す。
３行目：毒データ生成部１１は、二乗距離の最小値ｄｉｓｔｍｉｎを∞に初期化する。
４行目：毒データ生成部１１は、ｊｍｉｎを∞に初期化する。
５行目：毒データ生成部１１は、Ｊに含まれる要素ｊについて、６～９行目を繰り返す。
６行目：毒データ生成部１１は、ｉ番目のクラスａの毒データ＾ｘａ （ｉ）に対して、ｊ番目のクラスｂのデータｘｂ （ｊ）とのＬ２距離∥ｆ（＾ｘａ （ｉ））－ｆ（ｘｂ （ｍ［ｉ］））∥２の二乗を算出する。
７行目：毒データ生成部１１は、算出された二乗距離ｄｉｓｔがｄｉｓｔｍｉｎより小さい場合、８～９行目を実行する。
８行目：毒データ生成部１１は、ｄｉｓｔｍｉｎをｄｉｓｔに更新する。
９行目：毒データ生成部１１は、ｊｍｉｎに、現時点で二乗距離を最小とするｊを保存する。
６行目：毒データ生成部１１は、ｉ番目のクラスａの毒データ＾ｘａ （ｉ）に対して、ｊ番目のクラスｂのデータｘｂ （ｊ）とのＬ２距離∥ｆ（＾ｘａ （ｉ））－ｆ（ｘｂ （ｍ［ｉ］））∥２の二乗を算出する。
７行目：毒データ生成部１１は、算出された二乗距離ｄｉｓｔがｄｉｓｔｍｉｎより小さい場合、８～９行目を実行する。
８行目：毒データ生成部１１は、ｄｉｓｔｍｉｎをｄｉｓｔに更新する。
９行目：毒データ生成部１１は、ｊｍｉｎに、現時点で二乗距離を最小とするｊを保存する。
１０行目：毒データ生成部１１は、写像ｍ［ｉ］にｊｍｉｎを格納する。
１１行目：毒データ生成部１１は、集合Ｊからｊｍｉｎを削除する。
１２行目：毒データ生成部１１は、写像ｍを出力する。
１１行目：毒データ生成部１１は、集合Ｊからｊｍｉｎを削除する。
１２行目：毒データ生成部１１は、写像ｍを出力する。
次に、Ｇｅｎｅｒａｔｅ－Ｉｎｖｉｓｉｂｌｅ－Ｐｏｉｓｏｎ関数（Ａｌｇｏｒｉｔｈｍ １）を用いて、前述の手順１及び手順２を実装する方法を説明する。
まず、テストデータ出力部１２は、パラメータのａをｓｏｕｒｃｅクラス、ｂをｔａｒｇｅｔクラスとしてＡｌｇｏｒｉｔｈｍ １（毒データ生成部１１）を呼び出す。こうすることで、Ａｌｇｏｒｉｔｈｍ １は、トリガーが不可視である毒ｓｏｕｒｃｅ画像をＫ１個出力する。
まず、テストデータ出力部１２は、パラメータのａをｓｏｕｒｃｅクラス、ｂをｔａｒｇｅｔクラスとしてＡｌｇｏｒｉｔｈｍ １（毒データ生成部１１）を呼び出す。こうすることで、Ａｌｇｏｒｉｔｈｍ １は、トリガーが不可視である毒ｓｏｕｒｃｅ画像をＫ１個出力する。
続いて、訓練データ出力部１３は、パラメータのｘａをＫ２個のｔａｒｇｅｔ画像、ｘｂをテストデータ出力部１２が作成したＫ１個の毒ｓｏｕｒｃｅ画像としてＡｌｇｏｒｉｔｈｍ １（毒データ生成部１１）を呼び出す。こうすることで、Ａｌｇｏｒｉｔｈｍ １は、トリガーが不可視である毒ｔａｒｇｅｔ画像をＫ２個出力する。
なお、Ｋ１＜Ｋ２の場合は、毒ｓｏｕｒｃｅ画像をＫ２－Ｋ１個だけ複製することで、両クラスの画像枚数を一致させる。Ｋ１＞Ｋ２の場合も同様に画像を複製することで両クラスの画像枚数を一致させる。このようにして、モデルの訓練に使用するｔａｒｇｅｔ毒画像、及びモデルのテスト（評価）に使用するｓｏｕｒｃｅ毒画像の両方を生成することができる。
また、多クラス分類システムに対して、マルチソースの攻撃、すなわち複数のｓｏｕｒｃｅクラスから単一のｔａｒｇｅｔクラスへ誤分類させる攻撃を想定した場合の評価方法は、次のように構成できる。
ｓｏｕｒｃｅクラス数をｎ（それぞれｓ１，ｓ２，…，ｓｎと書く）とし、ｔａｒｇｅｔクラスは１つ（ｔと書く）とする。このとき、テストデータ出力部１２は、ａをｓｉ（１≦ｉ≦ｎ）クラス、ｂをｔクラスとしてＡｌｇｏｒｉｔｈｍ １（毒データ生成部１１）をｎ回呼び出す。こうすることで、各ｓｏｕｒｃｅクラスｓｉに対して、トリガーが不可視である毒ｓｏｕｒｃｅ画像がそれぞれＫ１個（合計ｎＫ１個）得られる。
続いて、訓練データ出力部１３は、各ｓｏｕｒｃｅクラスｓｉのＫ１個の毒ｓｏｕｒｃｅ画像と、ｔａｒｇｅｔクラスｔのＫ２個の画像とを入力としてＡｌｇｏｒｉｔｈｍ １（毒データ生成部１１）を呼び出す。こうすることで、各ｓｏｕｒｃｅクラスｓｉに対して、トリガーが不可視である毒ｔａｒｇｅｔ画像がそれぞれＫ２個（合計ｎＫ２個）得られる。
訓練データに毒ｔａｒｇｅｔ画像を混入させる際には、各ｓｏｕｒｃｅクラスｓｉに結びついた毒ｔａｒｇｅｔ画像を均等に混入させるのが好ましい。よって、訓練データに混入させる毒データ数をｐとしたとき、モデル生成部１４は、各ｓｏｕｒｃｅクラスからｐ／ｎ個ずつ毒ｔａｒｇｅｔ画像を混入させてよい。各ｓｏｕｒｃｅクラスのＫ２個の毒ｔａｒｇｅｔ画像からｐ／ｎ個を選択する方法としては、例えば、ランダムに選択する方法や、Ｆｉｎｄ－Ｃｌｏｓｅｓｔ－Ｐａｉｒ関数で選ばれた上位ｐ／ｎ個を選択する方法等がある。
また、攻撃に対する安全性を評価する際には、評価部１５は、汚染されたモデルに対して、各ｓｏｕｒｃｅクラスｓｉから均等に毒ｓｏｕｒｃｅ画像を入力し、ｔａｒｇｅｔクラスへの誤分類率を測定する。
また、攻撃に対する安全性を評価する際には、評価部１５は、汚染されたモデルに対して、各ｓｏｕｒｃｅクラスｓｉから均等に毒ｓｏｕｒｃｅ画像を入力し、ｔａｒｇｅｔクラスへの誤分類率を測定する。
本実施形態によれば、安全性評価装置１は、バックドア攻撃におけるｓｏｕｒｃｅクラスのデータ群、及びｔａｒｇｅｔクラスのデータ群を入力として、特徴量空間における距離に関する損失を最小化するように毒ｓｏｕｒｃｅデータ群を生成し、評価対象である分類システムのテストデータとして出力する。また、安全性評価装置１は、ｔａｒｇｅｔクラスのデータ群、及び毒ソースデータ群を入力として、特徴量空間における距離に関する損失を最小化するように毒ｔａｒｇｅｔデータ群を生成し、分類システムの訓練データとして出力する。
したがって、安全性評価装置１は、訓練データ及びテストデータの双方でトリガーが不可視となるクリーンラベル型のバックドア攻撃を想定した評価用データを出力できる。これにより、機械学習システムの安全性をより厳密に評価することができる。
したがって、安全性評価装置１は、訓練データ及びテストデータの双方でトリガーが不可視となるクリーンラベル型のバックドア攻撃を想定した評価用データを出力できる。これにより、機械学習システムの安全性をより厳密に評価することができる。
また、安全性評価装置１は、テストデータとして、複数のｓｏｕｒｃｅクラスそれぞれのデータ群と、単一のｔａｒｇｅｔクラスのデータ群とを入力として生成された、各ｓｏｕｒｃｅクラスの毒データ群を均等に出力し、訓練データとして、単一のｔａｒｇｅｔクラスのデータ群と、複数のｓｏｕｒｃｅクラスそれぞれの毒データ群とを入力として生成された、各ｓｏｕｒｃｅクラスに対応する毒ｔａｒｇｅｔデータ群を均等に出力することもできる。
これにより、安全性評価装置１は、２値分類の場合に限らず、多クラス・マルチソースのバックドア攻撃を想定した評価用データを出力し、より強力な攻撃に対する機械学習システムの安全性評価を可能とする。
これにより、安全性評価装置１は、２値分類の場合に限らず、多クラス・マルチソースのバックドア攻撃を想定した評価用データを出力し、より強力な攻撃に対する機械学習システムの安全性評価を可能とする。
安全性評価装置１は、毒データ生成するために勾配最適化法を利用するにあたり、クラス間での特徴量空間における距離を最小化するペア毎の、距離を総和した値として損失を定義する。これにより、安全性評価装置１は、トリガーが不可視の毒データを適切に生成できる。
本実施形態では、分類システムとして、機械学習モデルにより画像を複数のクラスに分類するシステムを例示したが、これには限られず、識別困難（例えば不可視）なトリガーによるクリーンラベル型のバックドア攻撃が想定される様々な分類システムに適用可能である。
なお、これにより、例えば、より厳密な評価に基づいて安全な分類システムを構築できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進すると共に、イノベーションの拡大を図る」に貢献することが可能となる。
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。
安全性評価装置１による安全性評価方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。
１ 安全性評価装置
１０ 制御部
１１ 毒データ生成部
１２ テストデータ出力部
１３ 訓練データ出力部
１４ モデル生成部
１５ 評価部
２０ 記憶部
１０ 制御部
１１ 毒データ生成部
１２ テストデータ出力部
１３ 訓練データ出力部
１４ モデル生成部
１５ 評価部
２０ 記憶部
Claims (7)
- 第１のクラスのデータ群に対して識別困難な変動量のトリガーを付与することで、第２のクラスのデータ群との特徴量空間における距離に関する損失を最小化するよう更新した前記第１のクラスの毒データ群を生成する毒データ生成部と、
バックドア攻撃におけるソースクラスのデータ群を前記第１のクラスのデータ群として、ターゲットクラスのデータ群を前記第２のクラスのデータ群として前記毒データ生成部に入力し、生成された毒ソースデータ群を、評価対象である分類システムのテストデータとして出力するテストデータ出力部と、
前記ターゲットクラスのデータ群を前記第１のクラスのデータ群として、前記毒ソースデータ群を前記第２のクラスのデータ群として前記毒データ生成部に入力し、生成された毒ターゲットデータ群を、前記分類システムの訓練データとして出力する訓練データ出力部と、を備える評価用データ生成装置。 - 前記テストデータ出力部は、複数のソースクラスそれぞれのデータ群と、単一のターゲットクラスのデータ群とを入力として生成された、各ソースクラスの毒データ群を均等に出力し、
前記訓練データ出力部は、前記単一のターゲットクラスのデータ群と、前記複数のソースクラスそれぞれの毒データ群とを入力として生成された、各ソースクラスに対応する毒データ群を均等に出力する請求項１に記載の評価用データ生成装置。 - 前記損失は、クラス間で前記特徴量空間における距離を最小化するペア毎の、当該距離を総和した値として定義される請求項１又は請求項２に記載の評価用データ生成装置。
- 前記分類システムは、機械学習モデルにより画像を複数のクラスに分類するシステムである請求項１又は請求項２に記載の評価用データ生成装置。
- 請求項１又は請求項２に記載の毒データ生成部、テストデータ出力部及び訓練データ出力部と、
前記毒ターゲットデータ群を前記分類システムの訓練データに混入させ、汚染モデルを生成するモデル生成部と、
前記毒ソースデータ群をテストデータとして、前記汚染モデルによる誤分類率を測定し、当該誤分類率に基づいて攻撃に対する安全性の評価値を出力する評価部と、を備える安全性評価装置。 - 第１のクラスのデータ群に対して識別困難な変動量のトリガーを付与することで、第２のクラスのデータ群との特徴量空間における距離に関する損失を最小化するよう更新した前記第１のクラスの毒データ群を生成する毒データ生成アルゴリズムを用い、
バックドア攻撃におけるソースクラスのデータ群を前記第１のクラスのデータ群として、ターゲットクラスのデータ群を前記第２のクラスのデータ群として前記毒データ生成アルゴリズムに入力し、生成された毒ソースデータ群を、評価対象である分類システムのテストデータとして出力するテストデータ出力ステップと、
前記ターゲットクラスのデータ群を前記第１のクラスのデータ群として、前記毒ソースデータ群を前記第２のクラスのデータ群として前記毒データ生成アルゴリズムに入力し、生成された毒ターゲットデータ群を、前記分類システムの訓練データとして出力する訓練データ出力ステップと、をコンピュータが実行する評価用データ生成方法。 - 請求項１又は請求項２に記載の評価用データ生成装置としてコンピュータを機能させるための評価用データ生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022097113A JP7630464B2 (ja) | 2022-06-16 | 2022-06-16 | 評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022097113A JP7630464B2 (ja) | 2022-06-16 | 2022-06-16 | 評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023183543A JP2023183543A (ja) | 2023-12-28 |
| JP7630464B2 true JP7630464B2 (ja) | 2025-02-17 |
Family
ID=89333360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022097113A Active JP7630464B2 (ja) | 2022-06-16 | 2022-06-16 | 評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7630464B2 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220027462A1 (en) | 2020-01-23 | 2022-01-27 | Fudan University | System and Method for Video Backdoor Attack |
-
2022
- 2022-06-16 JP JP2022097113A patent/JP7630464B2/ja active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220027462A1 (en) | 2020-01-23 | 2022-01-27 | Fudan University | System and Method for Video Backdoor Attack |
Non-Patent Citations (1)
| Title |
|---|
| SAHA Aniruddha et al.，Hidden Trigger Backdoor Attacks，Proceedings of the AAAI Conference on Artificial Intelligence (AAAI-20)，2020年04月03日，Vol.34 No.07，pp.11957-11965 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023183543A (ja) | 2023-12-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Anthi et al. | Hardening machine learning denial of service (DoS) defences against adversarial attacks in IoT smart home networks | |
| Chen et al. | Deepinspect: A black-box trojan detection and mitigation framework for deep neural networks. | |
| Zhang et al. | Semantics-preserving reinforcement learning attack against graph neural networks for malware detection | |
| Barbalau et al. | Black-box ripper: Copying black-box models using generative evolutionary algorithms | |
| Hans et al. | Be like a goldfish, don't memorize! mitigating memorization in generative llms | |
| Wang et al. | Multi-target label backdoor attacks on graph neural networks | |
| Goodfellow | A research agenda: Dynamic models to defend against correlated attacks | |
| Fiza et al. | Improved chimp optimization algorithm (ICOA) feature selection and deep neural network framework for internet of things (IOT) based android malware detection | |
| Girgis et al. | Automatic data flow test paths generation using the genetical swarm optimization technique | |
| Cai et al. | Ensemble-in-one: Ensemble learning within random gated networks for enhanced adversarial robustness | |
| Krishna et al. | Adapting to evasive tactics through resilient adversarial machine learning for malware detection | |
| Cao et al. | Data free backdoor attacks | |
| JP7630464B2 (ja) | 評価用データ生成装置、安全性評価装置、評価用データ生成方法及び評価用データ生成プログラム | |
| Zhou et al. | Malpurifier: Enhancing android malware detection with adversarial purification against evasion attacks | |
| Amrith et al. | An early malware threat detection model using Conditional Tabular Generative Adversarial Network | |
| CN113011601A (zh) | 一种机器学习即服务平台上的成员推理攻击方法 | |
| Li et al. | Not just change the labels, learn the features: Watermarking deep neural networks with multi-view data | |
| Khaled | Artificial immune clonal selection classification algorithms for classifying malware and benign processes using API call sequences | |
| Boro et al. | Anomaly based intrusion detection using meta ensemble classifier | |
| Nguyen et al. | Attack On Prompt: Backdoor Attack in Prompt-Based Continual Learning | |
| JP2022090432A (ja) | 安全性評価装置、安全性評価方法及び安全性評価プログラム | |
| Yang et al. | Naturalfinger: Generating natural fingerprint with generative adversarial networks | |
| Li et al. | A4FL: federated adversarial defense via adversarial training and pruning against backdoor attack | |
| Sun et al. | EntropyMark: Towards more harmless backdoor watermark via entropy-based constraint for open-source dataset copyright protection | |
| Patil et al. | Comparative Analysis of Weighted Ensemble and Majority Voting Algorithms for Intrusion Detection in OpenStack Cloud Environments. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250107 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7630464 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |