JP7688610B2 - 評価用データ出力装置、評価用データ出力方法及び評価用データ出力プログラム - Google Patents

Description

本発明は、強化学習を用いた推薦システムにおけるポイズニング攻撃に対する安全性を評価するための装置、方法及びプログラムに関する。

従来、商品又は動画等の推薦システムにおける推薦アルゴリズムとして、強化学習を利用する手法が提案されており、実サービスとしても利用されている。強化学習を利用することで、個々のユーザの嗜好に合わせて動的に、商品又は動画等のアイテムを提案することが可能となる。

強化学習を用いたシステムでは、目的とする処理に応じた状態、行動、報酬が設定され、これらをもとに最適化アルゴリズムを用いて一連の行動軌跡が学習される。これにより、現在の状態から始めたときに累積の報酬が最大となるような行動軌跡を出力するモデルが構築される。
例えば、強化学習を用いた推薦システムにおいては、状態としてユーザの属性と過去の一定期間にわたって選択した項目とを含む情報を、行動として推薦する項目の情報を、報酬として推薦した項目が実際に利用者に適合していたことを示す閲覧数等の情報が割り当てられる。

近年、機械学習を用いた推薦システムにおいて、悪意を持った利用者（攻撃者）が推薦システムに提示する項目を意図的に選択することで、特定の項目が推薦されやすくなるようにするポイズニング攻撃が指摘されている。例えば、非特許文献１では、多数の項目から効率的に攻撃目的を達成するため、完全二分木を用いたサンプリング手法が示されている。

J. Song et al., "PoisonRec: An adaptive data poisoning framework for attacking black-box recommender systems," IEEE International Conference on Data Engineering (ICDE), 2020.

しかしながら、従来手法による攻撃で用いられる二分木は、その構築の方法によっては非効率的な構造となり得る。また、ランダムな初期値をもとに構築された二分木からサンプリングにより提示する項目を選択するため、最適な項目が選択されるとは限らないという問題があった。

本発明は、より効率的な攻撃を想定することで、強化学習を用いた推薦システムの安全性を適切に評価するためのデータを出力できる評価用データ出力装置、評価用データ出力方法及び評価用データ出力プログラムを提供することを目的とする。

本発明に係る評価用データ出力装置は、強化学習を用いた推薦システムの学習モデルに対応した代理モデルを、同一ドメインのアイテムからなるデータセットを用いて構成する代理モデル構成部と、前記データセットに含まれる全てのアイテムの特徴ベクトルを、所定のクラスタリングアルゴリズムを用いて複数のクラスタに分類し、各クラスタに対して、要素の特徴ベクトルを代表する代表ベクトルを算出するクラスタリング部と、前記代理モデルにおいて、少なくとも直近の所定数の選択アイテムの特徴ベクトルを含んだ現在の状態ベクトルを入力したときの、当該状態ベクトルに対する累積報酬の期待値の勾配を算出する勾配算出部と、前記勾配を用いて、前記累積報酬の期待値を低下させるような状態ベクトルを求め、当該状態ベクトルから、直近の選択アイテムに相当する評価用ベクトルを抽出する特徴ベクトル算出部と、前記複数のクラスタのうち、前記評価用ベクトルと前記代表ベクトルとの距離が最小となるクラスタを選択するクラスタ選択部と、前記クラスタ選択部により選択されたクラスタに含まれる要素のうち、前記評価用ベクトルとの距離が最小となる特徴ベクトルに対応したアイテムを選択するアイテム選択部と、前記アイテム選択部により選択されたアイテムに相当する前記推薦システムにおけるアイテムを提示する出力部と、を備える。

前記代表ベクトルは、前記要素の特徴ベクトルの重心であってもよい。

前記クラスタ選択部及び前記アイテム選択部は、ベクトル間の距離としてＬ２ノルムを用いてもよい。

本発明に係る評価用データ出力方法は、強化学習を用いた推薦システムの学習モデルに対応した代理モデルを、同一ドメインのアイテムからなるデータセットを用いて構成する代理モデル構成ステップと、前記データセットに含まれる全てのアイテムの特徴ベクトルを、所定のクラスタリングアルゴリズムを用いて複数のクラスタに分類し、各クラスタに対して、要素の特徴ベクトルを代表する代表ベクトルを算出するクラスタリングステップと、前記代理モデルにおいて、少なくとも直近の所定数の選択アイテムの特徴ベクトルを含んだ現在の状態ベクトルを入力したときの、当該状態ベクトルに対する累積報酬の期待値の勾配を算出する勾配算出ステップと、前記勾配を用いて、前記累積報酬の期待値を低下させるような状態ベクトルを求め、当該状態ベクトルから、直近の選択アイテムに相当する評価用ベクトルを抽出する特徴ベクトル算出ステップと、前記複数のクラスタのうち、前記評価用ベクトルと前記代表ベクトルとの距離が最小となるクラスタを選択するクラスタ選択ステップと、前記クラスタ選択ステップにおいて選択されたクラスタに含まれる要素のうち、前記評価用ベクトルとの距離が最小となる特徴ベクトルに対応したアイテムを選択するアイテム選択ステップと、前記アイテム選択ステップにおいて選択されたアイテムに相当する前記推薦システムにおけるアイテムを提示する出力ステップと、をコンピュータが実行する。

本発明に係る評価用データ出力プログラムは、前記評価用データ出力装置としてコンピュータを機能させるためのものである。

本発明によれば、より効率的な攻撃を想定した評価用データを出力することで、強化学習を用いた推薦システムの安全性を適切に評価できる。

実施形態における評価用データ出力装置の機能構成を示すブロック図である。 実施形態におけるポイズニング攻撃を想定した評価用データを出力する手順を示すフローチャートである。 実施形態における評価用データ出力方法を説明する図である。

以下、本発明の実施形態の一例について説明する。
本実施形態では、強化学習を用いた推薦システムに対するポイズニング攻撃を想定した安全性評価のために、この推薦システムの性能を低下させるようなユーザの行動とみなせる評価用データの出力を、勾配計算と、クラスタリングアルゴリズムを用いたアイテムの選択により実現する。
これにより、攻撃を想定した評価用データである選択アイテムに対して、推薦システムの耐性を検証、評価することを可能とする。
本実施形態では、次のような推薦システムを想定する。

［強化学習］
強化学習は、ある環境におかれたエージェントが環境の状態を観測し、得られる報酬の合計を最大化するような方策を求めるアルゴリズムである。
マルコフ決定過程（Ｓ，Ａ，Ｔ，ｒ）でモデル化すると、Ｓは状態空間、Ａは行動空間、Ｔは状態遷移確率関数（Ｔ：Ｓ×Ａ×Ｓ→［０，１］、ｒは報酬（ｒ：Ｓ×Ａ→Ｒ（実数））である。
また、ある状態ｓ∈Ｓにおいて、エージェントが出力する行動の確率分布π（・｜ｓ）を方策と呼ぶ。方策は、例えば多層のニューラルネットワーク等を用いて実装される。ニューラルネットワークのパラメータをθとすると、パラメータθが設定された方策はπ_θと表される。

ここで、時刻ｔにおける状態及び行動をそれぞれｓ_ｔ、ａ_ｔとおく。強化学習アルゴリズムでは、累積報酬の期待値Ｅ_π［Σ_ｔ＝０ ^∞ｒ（ｓ_ｔ，ａ_ｔ）］（以下、Ｅ）を最大化することで、最適な方策πが求められる。なお、ある行動を実行することをステップと数え、終端状態に到達するまでの一連のステップをエピソードと呼ぶ。

［強化学習を用いた推薦システム］
強化学習を用いた推薦システムは、ｉ番目のユーザの特徴ベクトルｕ_ｉ、ｊ番目の推薦対象のアイテムの特徴ベクトルｘ_ｊを用いてモデル化できる。本実施形態では、強化学習アルゴリズムにおける状態、行動、報酬を、次のように設定する。

・状態：ユーザの特徴を示すベクトルであり、例えば、ユーザの属性を示す特徴ベクトルｕ_ｉと、過去τ回前までにユーザが選択したアイテムａ_τ，ａ_τ－１，…ａ_１の特徴ベクトルとを結合したものであり、具体的には、

である。
・行動：次に推薦するアイテムａである。
・報酬：状態ｓ及び行動ａを引数にとる報酬関数ｒ（ｓ，ａ）により定められる値である。例えば、状態ｓのとき行動ａとして推薦されたアイテムをユーザが選択した場合に１、選択しなかった場合に０を返す関数であってよい。

本実施形態の評価用データ出力装置は、このような強化学習を用いた推薦システムに対する入力として、従来よりも効率的で強力なポイズニング攻撃を想定した選択アイテムである評価用データを出力し、推薦システムの安全性評価のために提供する。
具体的には、本実施形態で想定するポイズニング攻撃は、推薦システムの性能を低下させるために、累積報酬の期待値Ｅを最小化する。

図１は、本実施形態における評価用データ出力装置１の機能構成を示すブロック図である。
評価用データ出力装置１は、制御部１０及び記憶部２０の他、各種の入出力デバイス及び通信デバイス等を備えた情報処理装置（コンピュータ）である。

制御部１０は、評価用データ出力装置１の全体を制御する部分であり、記憶部２０に記憶された各種プログラムを適宜読み出して実行することにより、本実施形態における各機能を実現する。制御部１０は、ＣＰＵであってよい。

記憶部２０は、ハードウェア群を評価用データ出力装置１として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。

制御部１０は、代理モデル構成部１１と、クラスタリング部１２と、勾配算出部１３と、特徴ベクトル算出部１４と、クラスタ選択部１５と、アイテム選択部１６と、出力部１７とを備える。

代理モデル構成部１１は、強化学習を用いた推薦システムの学習モデルに対応した代理モデルを、同一ドメインのアイテムからなるデータセットを用いて構成する。
ここで、同一ドメインのアイテムとは、対象の推薦システムが扱っているアイテムと同種のアイテム、例えば動画の推薦システムなら動画データである。
なお、対象の推薦システムにおける学習モデルのパラメータ及びアイテムデータを取得できる場合、代理モデル構成部１１は、これらをコピーして代理モデルを構成してもよい。

クラスタリング部１２は、データセットに含まれる全てのアイテムの特徴ベクトルを、所定のクラスタリングアルゴリズムを用いて複数のクラスタに分類し、各クラスタに対して、要素の特徴ベクトルを代表する代表ベクトルを算出する。
代表ベクトルは、例えば、特徴ベクトルの重心であってもよい。

勾配算出部１３は、代理モデルにおいて、少なくとも直近の所定数の選択アイテムの特徴ベクトルを含んだ現在の状態ベクトルを入力したときの、この状態ベクトルに対する累積報酬の期待値の勾配を算出する。

特徴ベクトル算出部１４は、算出された勾配を用いて、累積報酬の期待値を低下させるような状態ベクトルを求め、この状態ベクトルから、直近の選択アイテムに相当する評価用ベクトルを抽出する。

クラスタ選択部１５は、複数のクラスタのうち、評価用ベクトルと代表ベクトルとの距離が最小となるクラスタを選択する。
ベクトル間の距離は、Ｌｐノルムが用いられてよく、ノルムの次元ｐは、例えば２であってよいが、これには限られず適宜選択されてよい。

アイテム選択部１６は、クラスタ選択部１５により選択されたクラスタに含まれる要素のうち、評価用ベクトルとの距離が最小となる特徴ベクトルに対応したアイテムを選択する。
ベクトル間の距離は、クラスタ選択時と同様に、Ｌｐノルムが用いられてよく、ノルムの次元ｐは、例えば２であってよいが、これには限られず適宜選択されてよい。

出力部１７は、アイテム選択部１６により選択されたアイテムに相当する推薦システムにおけるアイテムを提示する。

図２は、本実施形態におけるポイズニング攻撃を想定した評価用データを出力する手順を示すフローチャートである。
ここでは、まず、評価対象の推薦システムの代理となる同等の代理モデル及び代理データ（アイテム）が準備され、この代理モデルを用いて、攻撃を想定した評価用データ（アイテム）が選択される。

ステップＳ１において、代理モデル構成部１１は、攻撃を想定する対象の推薦システムが用いるデータセットＤに対して、同じドメインのデータセットをＤ_ｓとして取得する。これを用いて、対象の推薦システムが使用しているモデルＭの代理として構成する代理モデルＭ_ｓを学習する。

ステップＳ２において、クラスタリング部１２は、Ｄ_ｓの全てのアイテムを、所定のクラスタリングアルゴリズムを用いることで複数（ｎ個）のクラスタに分類する。このとき、クラスタリング部１２は、各クラスタ内の要素の特徴ベクトルに対する代表的な値（例えば、重心ベクトル）として、ｃ_ｋ∈Ｃ（ｋ∈［ｎ］）を算出する。

ステップＳ３において、勾配算出部１３は、代理モデルＭ_ｓに対して現在の状態ベクトルｓを入力した場合の、状態ｓに対する累積報酬の期待値Ｅの勾配∇Ｅ（ｓに関する偏微分）を計算する。

ステップＳ４において、特徴ベクトル算出部１４は、定数εを用いて、期待値Ｅを低下させるような状態ベクトルｓ’＝ｓ－ε∇Ｅを得る。ただし、εは、十分に小さい正の実数である。

ステップＳ５において、特徴ベクトル算出部１４は、ステップＳ４で得られたｓ’から、直近に選択したアイテムに相当する値のみを取り出し、評価用の特徴ベクトルｘ’とする。
具体的には、特徴ベクトル算出部１４は、例えば、状態ｓのうち、直前に選択したアイテムの特徴ベクトルに対応する要素だけが１、他が０であるマスクベクトルｍを用いて、ｓ’とｍとの要素積をとり、ｍの要素のうち値が１である要素に対応するｓ’の値だけを取り出し、ｘ’とする。

ステップＳ６において、クラスタ選択部１５は、クラスタの代表値ｃ_ｋ∈Ｃのうち、差分ｃ_ｋ－ｘ’のＬｐノルムが最小となるｋを選択する。

ステップＳ７において、アイテム選択部１６は、ステップＳ６で選択されたｋ番目のクラスタ内のアイテムａ_ｋ，ｉ∈Ａ_ｋ（ｉ∈［｜Ａ_ｋ｜］）に関して、ｘ’との差分のＬｐノルムが最小となる特徴ベクトルをもつアイテムａ~を選択する。

ステップＳ８において、出力部１７は、評価対象の推薦システムにおいてａ~と同様のアイテムを選択し、このアイテムを推薦システムに伝える。

評価用データ出力装置１は、ステップＳ２～Ｓ８を、指定された回数繰り返すことにより、推薦システムに対するポイズニング攻撃を想定した一連の評価用データを出力する。

図３は、本実施形態における評価用データ出力方法を説明する図である。
代理システムへの入力となる状態ベクトルｓは、ユーザの特徴ベクトルｕと、ユーザがｉ（１≦ｉ≦τ）個前に選択した複数のアイテムの特徴ベクトルｘ_ａとを連結したものとする。
この状態ベクトルｓに対して、累積報酬の期待値を低下させるための状態ベクトルｓ’＝ｓ－ε∇Ｅが勾配計算により算出される。

ここで、状態ベクトルｓと対応づけて、直前に選択したアイテムａ_１の特徴ベクトルｘ_ａ１に対応する要素だけが１、他が０であるマスクベクトルｍを用意すると、ｓ’との要素積をとることにより、特徴ベクトルｘ’が得られる。
評価用データ出力装置１は、この特徴ベクトルｘ’に相当するアイテムを選択するが、データセット内には、同一の特徴ベクトルが存在するとは限らず、最も近い実際に存在するアイテムを選択する。

このとき、評価用データ出力装置１は、まず、複数のクラスタのうち、最も距離の近いｋ番目のクラスタを選択した後、このクラスタ内で最も距離の近い特徴ベクトルｘ_ａ~を探索する。
これにより、評価用データとしてのアイテムａ~が選択される。

本実施形態によれば、評価用データ出力装置１は、強化学習を用いた推薦システムに対してポイズニング攻撃を想定した選択アイテムを評価用データとして出力する。具体的には、評価用データ出力装置１は、まず、代理モデルを用いて累積報酬の期待値の勾配を求め、これを用いて、期待値を最小化するような方策を示す特徴ベクトルを得る。続いて、評価用データ出力装置１は、この特徴ベクトルに相当するアイテムを選択する際に、予めアイテムを複数のクラスタに分割しておくことで、アイテムの候補を絞り込み、最適なアイテムを選択する時間を短縮できる。
したがって、評価用データ出力装置１により効率的な攻撃を想定した評価用データを出力することで、強化学習を用いた推薦システムの安全性を適切に評価できる。

なお、これにより、例えば推薦システムの安全性を適切に評価でき、攻撃耐性の向上が期待できることから、国連が主導する持続可能な開発目標（ＳＤＧｓ）の目標９「レジリエントなインフラを整備し、持続可能な産業化を推進すると共に、イノベーションの拡大を図る」に貢献することが可能となる。

以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。

評価用データ出力装置１による評価用データ出力装置方法は、ソフトウェアにより実現される。ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置（コンピュータ）にインストールされる。また、これらのプログラムは、ＣＤ－ＲＯＭのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したＷｅｂサービスとしてユーザのコンピュータに提供されてもよい。

１ 評価用データ出力装置
１０ 制御部
１１ 代理モデル構成部
１２ クラスタリング部
１３ 勾配算出部
１４ 特徴ベクトル算出部
１５ クラスタ選択部
１６ アイテム選択部
１７ 出力部
２０ 記憶部

Claims (5)

1. 強化学習を用いた推薦システムの学習モデルに対応した代理モデルを、同一ドメインのアイテムからなるデータセットを用いて構成する代理モデル構成部と、
   前記データセットに含まれる全てのアイテムの特徴ベクトルを、所定のクラスタリングアルゴリズムを用いて複数のクラスタに分類し、各クラスタに対して、要素の特徴ベクトルを代表する代表ベクトルを算出するクラスタリング部と、
   前記代理モデルにおいて、少なくとも直近の所定数の選択アイテムの特徴ベクトルを含んだ現在の状態ベクトルを入力したときの、当該状態ベクトルに対する累積報酬の期待値の勾配を算出する勾配算出部と、
   前記勾配を用いて、前記累積報酬の期待値を低下させるような状態ベクトルを求め、当該状態ベクトルから、直近の選択アイテムに相当する評価用ベクトルを抽出する特徴ベクトル算出部と、
   前記複数のクラスタのうち、前記評価用ベクトルと前記代表ベクトルとの距離が最小となるクラスタを選択するクラスタ選択部と、
   前記クラスタ選択部により選択されたクラスタに含まれる要素のうち、前記評価用ベクトルとの距離が最小となる特徴ベクトルに対応したアイテムを選択するアイテム選択部と、
   前記アイテム選択部により選択されたアイテムに相当する前記推薦システムにおけるアイテムを提示する出力部と、を備える評価用データ出力装置。
2. 前記代表ベクトルは、前記要素の特徴ベクトルの重心である請求項１に記載の評価用データ出力装置。
3. 前記クラスタ選択部及び前記アイテム選択部は、ベクトル間の距離としてＬ２ノルムを用いる請求項１に記載の評価用データ出力装置。
4. 強化学習を用いた推薦システムの学習モデルに対応した代理モデルを、同一ドメインのアイテムからなるデータセットを用いて構成する代理モデル構成ステップと、
   前記データセットに含まれる全てのアイテムの特徴ベクトルを、所定のクラスタリングアルゴリズムを用いて複数のクラスタに分類し、各クラスタに対して、要素の特徴ベクトルを代表する代表ベクトルを算出するクラスタリングステップと、
   前記代理モデルにおいて、少なくとも直近の所定数の選択アイテムの特徴ベクトルを含んだ現在の状態ベクトルを入力したときの、当該状態ベクトルに対する累積報酬の期待値の勾配を算出する勾配算出ステップと、
   前記勾配を用いて、前記累積報酬の期待値を低下させるような状態ベクトルを求め、当該状態ベクトルから、直近の選択アイテムに相当する評価用ベクトルを抽出する特徴ベクトル算出ステップと、
   前記複数のクラスタのうち、前記評価用ベクトルと前記代表ベクトルとの距離が最小となるクラスタを選択するクラスタ選択ステップと、
   前記クラスタ選択ステップにおいて選択されたクラスタに含まれる要素のうち、前記評価用ベクトルとの距離が最小となる特徴ベクトルに対応したアイテムを選択するアイテム選択ステップと、
   前記アイテム選択ステップにおいて選択されたアイテムに相当する前記推薦システムにおけるアイテムを提示する出力ステップと、をコンピュータが実行する評価用データ出力方法。
5. 請求項１から請求項３のいずれかに記載の評価用データ出力装置としてコンピュータを機能させるための評価用データ出力プログラム。

Images