JP7611867B2 - USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM - Google Patents
USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM Download PDFInfo
- Publication number
- JP7611867B2 JP7611867B2 JP2022054367A JP2022054367A JP7611867B2 JP 7611867 B2 JP7611867 B2 JP 7611867B2 JP 2022054367 A JP2022054367 A JP 2022054367A JP 2022054367 A JP2022054367 A JP 2022054367A JP 7611867 B2 JP7611867 B2 JP 7611867B2
- Authority
- JP
- Japan
- Prior art keywords
- behavior
- predictor
- expression
- user
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、ユーザ行動予測装置、ユーザ行動予測方法及びユーザ行動予測プログラムに関わり、特に、元ドメインの行動履歴データを用いて対象ドメイン(目標ドメインともいう)でのユーザの行動予測を行う、ユーザ行動予測装置、ユーザ行動予測方法及びユーザ行動予測プログラムに関する。 The present invention relates to a user behavior prediction device, a user behavior prediction method, and a user behavior prediction program, and in particular to a user behavior prediction device, a user behavior prediction method, and a user behavior prediction program that predicts user behavior in a target domain (also called a goal domain) using behavior history data from a source domain.
元ドメインの行動履歴データを用いて対象ドメインでのユーザの行動予測を行う技術があった(非特許文献1)。ここで、ドメインとは、例えば、ユーザ行動に関わるサービス、例えば、Eコマース(電子商取引)を指す。 There is a technology that predicts user behavior in a target domain using behavior history data from the original domain (Non-Patent Document 1). Here, a domain refers to, for example, a service related to user behavior, such as e-commerce.
しかしながら、非特許文献1では、元ドメインで学習された行動予測器から対象ドメインに有用なものを選択できないという課題があった。 However, in Non-Patent Document 1, there was a problem in that it was not possible to select a behavior predictor that was useful for the target domain from those trained in the original domain.
本発明は、元ドメインで学習された行動予測器から対象ドメインに有用な一部を選択して、対象ドメインにおけるユーザの行動予測を実現することを目的とする。 The present invention aims to realize user behavior prediction in a target domain by selecting a part of a behavior predictor trained in the original domain that is useful for the target domain.
本発明に係るユーザ行動装置は、第1の行動履歴データを構成する第1のユーザの第1のアイテムに対する行動から未観測の行動を予測するための、第1の表現学習器と第1の予測器とを有する第1の行動予測器を学習する第1の行動予測器学習部と、
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力する表現抽出部と、
前記第1の行動予測器の前記第1の予測器を予測器として抽出する予測器抽出部と、
第2の行動履歴データを構成する第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、前記予測器抽出部によって抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習する第2の行動予測器学習部と、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価する表現抽出比較部と、
前記表現抽出比較部によって、前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する行動予測部と、
を備えたユーザ行動予測装置である。
The user behavior device according to the present invention includes a first behavior predictor learning unit that learns a first behavior predictor having a first expression learning unit and a first predictor for predicting an unobserved behavior of a first user from a behavior of a first user with respect to a first item that constitutes first behavior history data;
an expression extraction unit that extracts a first vector expression from the first expression learning device of the first behavior predictor and outputs a statistical value of the first vector expression as a first expression profile;
a predictor extraction unit that extracts the first predictor of the first behavior predictor as a predictor;
a second behavior predictor learning unit that learns a second behavior predictor having a second expression learner and a second predictor for predicting an unobserved behavior from a behavior of a second user with respect to a second item constituting second behavior history data, and in this learning, freezes parameters of the predictor extracted by the predictor extraction unit and uses them as the second predictor of the second behavior predictor, and additionally learns the second expression learner;
an expression extraction and comparison unit that extracts a second vector expression from the second expression learning device of the second behavior predictor, sets a statistical value of the second vector expression as a second expression profile, compares the second expression profile with the first expression profile, and evaluates the usefulness of the second behavior predictor based on a similarity between the first and second expression profiles;
a behavior prediction unit that outputs a prediction result based on the second behavior predictor when the second behavior predictor is evaluated to be highly useful by the expression extraction comparison unit;
The user behavior prediction device includes:
前記第1の行動予測器学習部、前記表現抽出部及び前記予測器抽出部は、複数の異なるドメインにおいてそれぞれ動作を実行し、
前記行動予測部は、前記有用性が高いと評価された第2の行動予測器に基づいた予測結果をアンサンブルして予測結果として出力してもよい。
the first behavior predictor learning unit, the expression extraction unit, and the predictor extraction unit each perform operations in a plurality of different domains;
The behavior prediction unit may ensemble prediction results based on the second behavior predictors evaluated as having high usefulness and output the ensembled prediction results as prediction results.
前記行動予測部は、アンサンブルの方法を多数決としてもよい。 The behavior prediction unit may use majority voting as the ensemble method.
前記ユーザ行動予測装置は、前記第1の表現プロファイルを蓄積する表現プロファイル蓄積部と、前記抽出された予測器を蓄積する予測器蓄積部と、をさらに備えてもよい。 The user behavior prediction device may further include an expression profile storage unit that stores the first expression profile, and a predictor storage unit that stores the extracted predictor.
前記第1の表現プロファイル及び前記第2の表現プロファイルは、統計値として一部のサンプルに対応する前記第1のベクトル表現及び前記第2のベクトル表現から抽出することで生成されてもよい。 The first expression profile and the second expression profile may be generated by extracting statistical values from the first vector representation and the second vector representation corresponding to a portion of the samples.
前記第1の表現プロファイル及び前記第2の表現プロファイルは、統計値として前記第1のベクトル表現及び前記第2のベクトル表現をクラスタリングし、その代表点とクラスタに所属するサンプル件数を求めることで生成されてもよい。 The first expression profile and the second expression profile may be generated by clustering the first vector representation and the second vector representation as statistical values and determining the representative points and the number of samples belonging to the cluster.
前記サンプル件数は、所定数以上としてもよい。 The number of samples may be a predetermined number or more.
前記表現抽出比較部は、前記第1の表現プロファイルと前記第2の表現プロファイルの間の分布間非類似度を評価してもよい。 The expression extraction and comparison unit may evaluate the inter-distribution dissimilarity between the first expression profile and the second expression profile.
前記表現抽出比較部は、前記分布間非類似度として、前記第1の表現プロファイルと前記第2の表現プロファイルとの間の輸送距離を用いてもよい。 The expression extraction and comparison unit may use the transport distance between the first expression profile and the second expression profile as the inter-distribution dissimilarity.
本発明に係るユーザ行動予測方法は、第1のユーザの第1の行動履歴データを用いて、第2のユーザの第2の行動履歴データに基づく該第2のユーザの行動予測を行うユーザ行動予測装置のユーザ行動予測方法において、
前記第1の行動履歴データを構成する前記第1のユーザの第1のアイテムに対する行動から未観測の行動を予測するための、第1の表現学習器と第1の予測器とを有する第1の行動予測器を学習し、
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力し、
前記第1の行動予測器の前記第1の予測器を予測器として抽出し、
前記第2の行動履歴データを構成する前記第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習し、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価し、
前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する、ユーザ行動予測方法である。
A user behavior prediction method according to the present invention is a user behavior prediction method for a user behavior prediction device that uses first behavior history data of a first user to predict a behavior of a second user based on second behavior history data of the second user, the method comprising:
training a first behavior predictor having a first representation learner and a first predictor for predicting an unobserved behavior of the first user from the behavior of the first user with respect to a first item constituting the first behavior history data;
extracting a first vector representation from the first representation learner of the first behavior predictor and outputting statistics of the first vector representation as a first representation profile;
Extracting the first predictor of the first behavior predictors as a predictor;
A second behavior predictor having a second representation learner and a second predictor is trained to predict an unobserved behavior from the behavior of the second user with respect to a second item constituting the second behavior history data, and in this training, parameters of the predictor extracted are frozen and used as the second predictor of the second behavior predictor, and the second representation learner is additionally trained;
extracting a second vector representation from the second representation learner of the second behavior predictor, defining a statistical value of the second vector representation as a second representation profile, comparing the second representation profile with the first representation profile, and evaluating the usefulness of the second behavior predictor based on a similarity between the first and second representation profiles;
The user behavior prediction method outputs a prediction result based on the second behavior predictor when the usefulness of the second behavior predictor is evaluated to be high.
本発明に係るユーザ行動予測プログラムは、
コンピュータに、
第1の行動履歴データを構成する第1のユーザの第1のアイテムに対する行動から未観測の行動を予測するための、第1の表現学習器と第1の予測器とを有する第1の行動予測器を学習する処理と、
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力する処理と、
前記第1の行動予測器の前記第1の予測器を予測器として抽出する処理と、
第2の行動履歴データを構成する第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習する処理と、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価する処理と、
前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する処理と、
を実行させるための、ユーザ行動予測プログラムである。
The user behavior prediction program according to the present invention is
On the computer,
A process of learning a first behavior predictor having a first representation learner and a first predictor for predicting an unobserved behavior of a first user from a behavior of the first user with respect to a first item constituting the first behavior history data;
extracting a first vector representation from the first representation learner of the first behavior predictor and outputting statistics of the first vector representation as a first representation profile;
extracting the first predictor from the first behavior predictor as a predictor;
a process of training a second behavior predictor having a second expression learner and a second predictor for predicting an unobserved behavior from a behavior of a second user with respect to a second item constituting second behavior history data, freezing parameters of the predictor extracted in the training and using the parameters as the second predictor of the second behavior predictor, and additionally training the second expression learner;
a process of extracting a second vector representation from the second representation learner of the second behavior predictor, setting a statistical value of the second vector representation as a second representation profile, comparing the second representation profile with the first representation profile, and evaluating the usefulness of the second behavior predictor based on a similarity between the first and second representation profiles;
outputting a prediction result based on the second behavior predictor when the usefulness of the second behavior predictor is evaluated to be high;
This is a user behavior prediction program for executing the above.
本発明によれば、元ドメインで学習された行動予測器から対象ドメインに有用な一部を選択して、対象ドメインにおけるユーザの行動予測を実現することができる。 According to the present invention, it is possible to select a part of the behavior predictor trained in the original domain that is useful for the target domain, and to realize prediction of the user's behavior in the target domain.
以下、本発明の一実施形態について図面を用いて説明する。
図1は、本発明に係るユーザ行動予測装置の一実施形態の機能構成を示す図である。図2は、第1の行動予測器学習部によって学習される第1の行動予測器のモデルを示す図である。図3は、第2の行動予測器学習部によって学習される第2の行動予測器のモデルを示す図である。
図1に示すように、ユーザ行動予測装置10は、第1の行動予測器学習部101、表現抽出部102、予測器抽出部103、表現プロファイル蓄積部104、予測器蓄積部105、第2の行動予測器学習部106、表現抽出比較部107、及び行動予測部108を備えている。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
Fig. 1 is a diagram showing a functional configuration of an embodiment of a user behavior prediction device according to the present invention. Fig. 2 is a diagram showing a model of a first behavior predictor trained by a first behavior predictor learning unit. Fig. 3 is a diagram showing a model of a second behavior predictor trained by a second behavior predictor learning unit.
As shown in FIG. 1, the user
第1の行動予測器学習部101は、元ドメインの第1の行動履歴データを構成する、第1のユーザの第1のアイテムに対する行動から、図2に示すモデルにより未観測の行動を予測するための第1の行動予測器を学習する。第1の行動予測器は、図2に示すように、第1の表現学習器と第1の予測器とを備えている。第1の表現学習器及び第1の予測器の形態は特に限定されないが、例えば、任意の線形変換又はニューラルネットワークで構成することができる。第1の行動予測器学習部101に入力される第1の行動履歴データは、ユーザIDと、アイテムIDと、行動(種別)とから構成される。行動(種別)は、当該元ドメインに対応して一意に定まる場合は省略してもよい。また、行動(種別)は、ユーザIDのアイテムIDに対する5段階などの明示的評価でもよい。表1は第1の行動履歴データの一例を示している。
第1の表現学習器は、入力されたユーザID、アイテムIDに基づいて各ユーザのベクトル表現と各アイテムのベクトル表現とを出力する。表4は各ユーザのベクトル表現を示し、表5は各アイテムのベクトル表現を示す。要素(次元とも呼ばれる)1及び要素2は、それぞれユーザの特徴を示す数値であり、要素3及び要素4は、それぞれアイテムの特徴を示す数値である。なお、ここでは、各ユーザ及び各アイテムのベクトル表現として、それぞれ2つの要素を示しているが、3つ以上の要素としてもよい。
表現抽出部102は、図2に示す第1の行動予測器のモデルの第1の表現学習器から出力される、ユーザのベクトル表現とアイテムのベクトル表現とが結びつけられた、表6に示す第1のベクトル表現を抽出する。第1の表現学習器のユーザのベクトル表現とアイテムのベクトル表現とが結びつけられた第1のベクトル表現は、第1の予測器に出力される。
表現抽出部102は、以上のように要素1、2と要素3、4とを単純に結合して第1のベクトル表現を抽出してもよく、また、要素を平均する、例えば、要素1と要素3、要素2と要素4をそれぞれ平均することにより第1のベクトル表現を抽出してもよい。このように、第1のベクトル表現を、要素1と要素3、要素2と要素4をそれぞれ平均して抽出する場合は、後述する第2のベクトル表現も、要素1と要素3、要素2と要素4をそれぞれ平均して抽出する。
表現抽出部102は、抽出した第1のベクトル表現の統計値を第1の表現プロファイルとして、表現プロファイル蓄積部104に蓄積する。
The
The
The
統計値は、例えば、以下のいずれかの方法によって算出することができる。
(1)一部のサンプルに対応する、第1のベクトル表現を抽出する。
(2)第1のベクトル表現をクラスタリングし、その代表点とクラスタに所属するサンプル件数を出力する。クラスタリングとは、ベクトル表現間の類似度にもとづいて、ベクトル表現をグループ分けすることをいい、クラスタリングによってできた、似たもの同士が集まったグループのことをクラスタと呼ぶ。
表7は第1の表現プロファイルの一例を示している。表7では、第1の表現プロファイルは上記(2)の方法で算出され、代表点は要素ごとに平均値(件数が1件の場合は要素の数値)が示され、クラスタを構成するドメイン(元ドメイン)“1”に所属する件数(サンプル件数)が示されている。サンプル件数は、匿名化の観点では、所定数以上になるように制限してもよく、例えば、2件以上、好ましくは5件以上とする。
(1) Extract a first vector representation, which corresponds to a portion of the samples.
(2) Clustering the first vector representation, and outputting the representative points and the number of samples belonging to each cluster. Clustering refers to grouping vector representations based on the similarity between the vector representations, and a group of similar objects created by clustering is called a cluster.
Table 7 shows an example of the first expression profile. In Table 7, the first expression profile is calculated by the method (2) above, and the representative point is the average value for each element (the element's numerical value when there is only one), and the number of items (number of samples) belonging to the domain (original domain) "1" that constitutes the cluster is shown. From the viewpoint of anonymization, the number of samples may be limited to a predetermined number or more, for example, 2 or more, preferably 5 or more.
予測器抽出部103は、図2に示すように、第1の行動予測器の第1の予測器を予測器として抽出して、予測器蓄積部105に蓄積する。
表現プロファイル蓄積部104は、表現抽出部102から出力される第1の表現プロファイルを蓄積する。
予測器蓄積部105は、予測器抽出部103から出力される予測器を蓄積する。
As shown in FIG. 2 , the
The expression
The
第2の行動予測器学習部106は、対象ドメインの第2の行動履歴データを構成する、第2のユーザの第2のアイテムに対する行動から、図3に示すモデルにより未観測の行動を予測するための第2の行動予測器を学習する。第2の行動予測器は、図3に示すように、第2の表現学習器と第2の予測器とを備えている。
第2の行動予測器学習部106は、第2の行動予測器の学習において、予測器蓄積部105から予測器(第1の予測器に対応する)を取り出し、予測器のパラメータを凍結して、第2の行動予測器の第2の予測器として用い、第2の表現学習器の一点鎖線で囲んだ部分を追加学習(ファインチューニング)する。
The second behavior
In learning the second behavior predictor, the second behavior
第2の行動予測器学習部106に入力される第2の行動履歴データは、ユーザIDと、アイテムIDと、行動(種別)とから構成される。行動(種別)は、当該ドメインに対応して一意に定まる場合は省略してもよい。また、行動(種別)は、ユーザIDのアイテムIDに対する5段階などの明示的評価でもよい。表8は第2の行動履歴データの一例を示している。
第2の表現学習器は、第1の表現学習器と同様に、入力されたユーザID、アイテムIDに基づいて各ユーザのベクトル表現と各アイテムのベクトル表現とを出力する。
そして、表現抽出比較部107は、図3に示す第2の行動予測器のモデルの第2の表現学習器から出力される、ユーザのベクトル表現とアイテムのベクトル表現とが結びつけられた、表9に示す第2のベクトル表現を抽出する。第2の表現学習器のユーザのベクトル表現とアイテムのベクトル表現とが結びつけられた第2のベクトル表現は、第2の予測器に出力される。
The second expression learner, like the first expression learner, outputs a vector representation of each user and a vector representation of each item based on the input user ID and item ID.
Then, the expression extraction and
表現抽出比較部107は、抽出した第2のベクトル表現の統計値を第2の表現プロファイルとして求め、この第2の表現プロファイルと、表現プロファイル蓄積部104から取り出した第1の表現プロファイルとを比較し、第1及び第2の表現プロファイルの類似度にもとづいて、第2の行動予測器の有用性を評価する。
表現抽出比較部107によって求められる統計値は、表現抽出部102と同様な方法で算出される。具体的には、表現抽出比較部107は、第2のベクトル表現をクラスタリングし、その代表点とクラスタに所属するサンプル件数を統計値として、第2の表現プロファイルを求める。
表10は第2の表現プロファイルの一例を示している。表10では、第2の表現プロファイルの代表点は要素ごとに平均値(件数が1件の場合は要素の数値)が示され、クラスタはクラスタを構成するドメイン(対象ドメイン)“2”に所属する件数(サンプル件数)が示されている。サンプル件数は第1の表現プロファイルのサンプル件数と同じであり、匿名化の観点では、所定数以上になるように制限してもよく、例えば、2件以上、好ましくは5件以上とする。
The statistical values obtained by the expression extraction and
Table 10 shows an example of the second expression profile. In Table 10, the representative point of the second expression profile is shown as the average value for each element (the numerical value of the element when the number of cases is 1), and the number of cases (number of samples) belonging to the domain (target domain) "2" constituting the cluster is shown for the cluster. The number of samples is the same as the number of samples in the first expression profile, and from the viewpoint of anonymization, it may be limited to a predetermined number or more, for example, 2 or more, preferably 5 or more.
表現抽出比較部107は、第1及び第2の表現プロファイルの類似度を評価する場合、例えば、第1の表現プロファイルの分布と第2の表現プロファイルの分布の分布間非類似度を用いることができる(分布間非類似度が小さいほど類似度が高い)。分布間非類似度による類似度の評価は、例えば、輸送距離の小ささによって類似度(輸送距離が小さいほど類似度が高い)を評価することができる。第1の表現プロファイルの分布と第2の表現プロファイルの分布が表9と表10のように点群として表現できる場合、点群間の輸送距離はシンクホーンアルゴリズムにより評価することができる。
輸送距離を求める方法は既に知られており、例えば、https://www.slideshare.net/joisino/ss-249394573に記載されている。
When evaluating the similarity between the first and second expression profiles, the expression
A method for calculating the transport distance is already known and is described, for example, in https://www.slideshare.net/joisino/ss-249394573.
行動予測部108は、表現抽出比較部107によって、第2の行動予測器の有用性が高いと評価された場合に、第2の行動予測器に基づいて所定のユーザに対して予測確率の高いアイテムを予測結果として出力する。
表現抽出比較部107によって、有用性が高くないと評価された場合に、第2の行動予測器学習部106は、第2予測器も第2の行動履歴データで追加学習(ファインチューニング)する。
When the expression extraction and
If the expression extraction and
以上説明したように、本実施形態では、元ドメインで学習された第1の行動予測器を第1の表現学習器と第1の予測器とに分解し、対象ドメインに関する第2の行動予測器では第1の予測器のみを転移し、第2の表現学習器を追加学習(ファインチューニング)する。元ドメインに関する第1の表現プロファイルと、対象ドメインに関する第2の表現プロファイルとを比較し、両表現プロファイルが類似した元ドメインと対象ドメインは、ユーザ、アイテムの特徴が類似していると判断し、元ドメインで学習された第1の予測器を対象ドメインでの行動予測に利用する。 As described above, in this embodiment, the first behavior predictor trained in the original domain is decomposed into the first expression learner and the first predictor, and only the first predictor is transferred to the second behavior predictor for the target domain, and the second expression learner is additionally trained (fine-tuned). The first expression profile for the original domain is compared with the second expression profile for the target domain, and it is determined that the original domain and the target domain in which the two expression profiles are similar have similar user and item characteristics, and the first predictor trained in the original domain is used to predict behavior in the target domain.
本実施形態において、第1の行動予測器学習部101、表現抽出部102及び予測器抽出部103は、複数の異なる元ドメインにおいて実行されてもよい。その場合、表現プロファイル蓄積部104及び予測器蓄積部105は、各元ドメインで抽出された第1の表現プロファイルと予測器(第1の予測器)とをそれぞれ、各元ドメインとの対応関係に関する情報とあわせて蓄積する。
第2の行動予測器学習部106は、予測器(第1の予測器)を用いて対象ドメインに対して学習して第2の表現ベクトルを生成し、表現抽出比較部107は、各元ドメインの第1の表現プロファイルと第2の表現プロファイルとの類似度によって第2の行動予測器の有用性を評価する。行動予測部108は表現抽出比較部107において有用性が高いと評価された第2の行動予測器に基づいた予測結果をアンサンブルして予測結果として出力することができる。
アンサンブルとは、複数のモデルによる予想結果を組み合わせてより高い精度の予想結果を得ることをいい、アンサンブルの方法の代表例としては、複数の第2の行動予測器のモデルによる予測確率の平均を計算し、平均された予測確率に基づく予測結果を出力することが挙げられる。
また、アンサンブルの方法としては、例えば、多数決とし、第2の行動予測器のモデルごとの予測結果として所定のユーザに対して所定値より高い予測確率を持つアイテム群を出力し、その多数決の結果(所定値より高い予測確率を持つアイテム群のうち数の最も多いアイテムの予想結果)を最終的な予測結果として出力することが挙げられる。また、アンサンブルの方法としては、候補となるアイテムごとに所定のユーザに対する複数の第2の行動予測器のモデルによる予測確率の平均を計算し、平均された予測確率の高いアイテムの予想結果を出力することが挙げられる。さらに、平均の代わりに、スタッキングと呼ばれる方法を用い、複数の第2の行動予測器のモデルによる予測確率を入力とし総合的な予測確率を計算するための新たなモデルを作り、計算された総合的な予測確率の高いアイテムの予想結果を出力してもよい。
アンサンブルして予測結果として出力する場合、出力される予想結果は複数であってもよい。例えば、ユーザに対し1以上のアイテム群をランキングして出力する場合、予想結果は複数出力される。また、所定値より高い予測確率を持つアイテム群のうち数の最も多いアイテムについて同数1位のアイテムが複数ある場合があり、この場合、予想結果として、ランダムに1つを選択して出力してもよいし、複数すべてを出力してもよい。
In this embodiment, the first behavior
The second behavior
Ensemble refers to combining prediction results from multiple models to obtain more accurate prediction results. A typical example of an ensemble method is to calculate the average prediction probability from multiple second behavior predictor models and output a prediction result based on the average prediction probability.
As an ensemble method, for example, a majority vote is used, and a group of items having a higher prediction probability than a predetermined value for a specific user is output as a prediction result for each model of the second behavior predictor, and the result of the majority vote (the prediction result of the largest number of items among the group of items having a prediction probability higher than a predetermined value) is output as a final prediction result. As an ensemble method, an average of the prediction probabilities by the models of multiple second behavior predictors for a specific user is calculated for each candidate item, and the prediction result of the item with the averaged high prediction probability is output. Furthermore, instead of the average, a method called stacking may be used to create a new model for calculating the overall prediction probability by inputting the prediction probabilities by the models of multiple second behavior predictors, and the prediction result of the item with the calculated high overall prediction probability may be output.
When ensembling and outputting as a prediction result, multiple prediction results may be output. For example, when one or more item groups are ranked and output for a user, multiple prediction results are output. Also, there may be multiple items tied for first place for the most numerous item among the item groups having a prediction probability higher than a predetermined value. In this case, one may be randomly selected and output as a prediction result, or all of the multiple items may be output.
以下、ユーザ行動予測方法について図4のフローチャートを用いて、具体的に説明する。以下の説明では、ユーザ行動予測装置10によりユーザ行動予測方法を実行する場合について説明するが、特にユーザ行動予測装置10の構成に限定されない。
図4は、本実施形態におけるユーザ行動予測方法を示すフローチャートである。
The user behavior prediction method will be specifically described below with reference to the flowchart in Fig. 4. In the following description, a case where the user behavior prediction method is executed by the user
FIG. 4 is a flowchart showing a user behavior prediction method according to this embodiment.
ステップS11において、第1の行動予測器学習部101は、元ドメインの第1の行動履歴データを構成する、第1のユーザの第1のアイテムに対する行動から、図2に示すモデルにより未観測の行動を予測するための第1の行動予測器を学習する。
In step S11, the first behavior
ステップS12において、予測器抽出部103は、第1の行動予測器の第1の予測器を予測器として抽出する。そして、予測器抽出部103は、抽出した予測器(第1の予測器)を予測器蓄積部105に蓄積する。
In step S12, the
ステップS13において、第2の行動予測器学習部106は、予測器蓄積部105から予測器を取り出し、予測器(第1の予測器)のパラメータを凍結して、第2の行動予測器の第2の予測器として用い、第2の表現学習器の一部(図3の一点鎖線で囲んだ部分)を追加学習(ファインチューニング)することで、学習を行う。
In step S13, the second behavior
ステップS14において、表現抽出部102は第1の行動予測器から第1のベクトル表現を抽出し、抽出した第1のベクトル表現の統計値を第1の表現プロファイルとして生成し、表現プロファイル蓄積部104に蓄積する。ステップS14は、ステップS12の前若しくはステップS12と同時、ステップS12とステップS13との間、又はステップS13と同時に行われてもよい。
In step S14, the
ステップS15において、表現抽出比較部107は、第2の行動予測器から第2のベクトル表現を抽出し、抽出した第2のベクトル表現の統計値を第2の表現プロファイルとして求め、この第2の表現プロファイルと第1の表現プロファイルとを比較する。
In step S15, the expression extraction and
ステップS16において、表現抽出比較部107は、第1及び第2の表現プロファイルの類似度にもとづいて、第2の行動予測器の有用性を評価する。
表現抽出比較部107が、第2の行動予測器の有用性が高いと評価した場合にはステップS17に移り、第2の行動予測器の有用性が高くないと評価した場合にはステップS18に移る。
In step S16, the expression
If the expression
ステップS17において、行動予測部108は、第2の行動予測器に基づいて所定のユーザに対して予測確率の高いアイテムを予測結果として出力する。
ステップS18において、第2の行動予測器学習部106は、第2予測器を第2の行動履歴データで追加学習(ファインチューニング)する。
In step S17, the
In step S18, the second behavior
本実施形態によれば、元数ドメインで学習された行動予測器から対象ドメインに有用な一部を選択できることで、クロスドメイン推薦の対象ドメインと元ドメインのマッチングが容易となる。 According to this embodiment, it is possible to select a part of the behavior predictor trained in the original domain that is useful for the target domain, making it easier to match the target domain and the original domain for cross-domain recommendations.
以上、本発明の実施形態について説明したが、本発明は前述した実施形態に限るものではない。また、前述した実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、実施形態に記載されたものに限定されるものではない。 Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described embodiments. Furthermore, the effects described in the above-described embodiments are merely a list of the most favorable effects resulting from the present invention, and the effects of the present invention are not limited to those described in the embodiments.
ユーザ行動予測装置10の機能はハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記のユーザ行動予測方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
ユーザ行動予測装置10の機能又はユーザ行動予測方法が、ソフトウェアによって実現される場合には、このソフトウェアを構成するプログラムが、情報処理装置(コンピュータ)にインストールされる。また、これらのプログラムは、CD-ROMのようなリムーバブルメディアに記録されてユーザに配布されてもよいし、ネットワークを介してユーザのコンピュータにダウンロードされることにより配布されてもよい。さらに、これらのプログラムは、ダウンロードされることなくネットワークを介したWebサービスとしてユーザのコンピュータに提供されてもよい。
The functions of the user
When the functions of the user
10 ユーザ行動予測装置
101 第1の行動予測器学習部
102 表現抽出部
103 予測器抽出部
104 表現プロファイル蓄積部
105 予測器蓄積部
106 第2の行動予測器学習部
107 表現抽出比較部
108 行動予測部
REFERENCE SIGNS
Claims (11)
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力する表現抽出部と、
前記第1の行動予測器の前記第1の予測器を予測器として抽出する予測器抽出部と、
第2の行動履歴データを構成する第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、前記予測器抽出部によって抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習する第2の行動予測器学習部と、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価する表現抽出比較部と、
前記表現抽出比較部によって、前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する行動予測部と、
を備えたユーザ行動予測装置。 a first behavior predictor learning unit configured to learn a first behavior predictor having a first expression learning device and a first predictor for predicting an unobserved behavior of a first user from a behavior of the first user with respect to a first item constituting the first behavior history data;
an expression extraction unit that extracts a first vector expression from the first expression learning device of the first behavior predictor and outputs a statistical value of the first vector expression as a first expression profile;
a predictor extraction unit that extracts the first predictor of the first behavior predictor as a predictor;
a second behavior predictor learning unit that learns a second behavior predictor having a second expression learner and a second predictor for predicting an unobserved behavior from a behavior of a second user with respect to a second item constituting second behavior history data, and in this learning, freezes parameters of the predictor extracted by the predictor extraction unit and uses them as the second predictor of the second behavior predictor, and additionally learns the second expression learner;
an expression extraction and comparison unit that extracts a second vector expression from the second expression learning device of the second behavior predictor, sets a statistical value of the second vector expression as a second expression profile, compares the second expression profile with the first expression profile, and evaluates the usefulness of the second behavior predictor based on a similarity between the first and second expression profiles;
a behavior prediction unit that outputs a prediction result based on the second behavior predictor when the second behavior predictor is evaluated to be highly useful by the expression extraction comparison unit;
A user behavior prediction device comprising:
前記行動予測部は、前記有用性が高いと評価された第2の行動予測器に基づいた予測結果をアンサンブルして予測結果として出力する、請求項1に記載のユーザ行動予測装置。 the first behavior predictor learning unit, the expression extraction unit, and the predictor extraction unit each perform operations in a plurality of different domains;
The user behavior prediction device according to claim 1 , wherein the behavior prediction unit ensembles prediction results based on the second behavior predictors evaluated as having high usefulness, and outputs the ensembled prediction results as prediction results.
前記第1の行動履歴データを構成する前記第1のユーザの第1のアイテムに対する行動から未観測の行動を予測するための、第1の表現学習器と第1の予測器とを有する第1の行動予測器を学習し、
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力し、
前記第1の行動予測器の前記第1の予測器を予測器として抽出し、
前記第2の行動履歴データを構成する前記第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習し、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価し、
前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する、ユーザ行動予測方法。 A user behavior prediction method for a user behavior prediction device that uses first behavior history data of a first user to predict a behavior of a second user based on second behavior history data of the second user, comprising:
training a first behavior predictor having a first representation learner and a first predictor for predicting an unobserved behavior of the first user from the behavior of the first user with respect to a first item constituting the first behavior history data;
extracting a first vector representation from the first representation learner of the first behavior predictor and outputting statistics of the first vector representation as a first representation profile;
Extracting the first predictor of the first behavior predictors as a predictor;
A second behavior predictor having a second representation learner and a second predictor is trained to predict an unobserved behavior from the behavior of the second user with respect to a second item constituting the second behavior history data, and in this training, parameters of the predictor extracted are frozen and used as the second predictor of the second behavior predictor, and the second representation learner is additionally trained;
extracting a second vector representation from the second representation learner of the second behavior predictor, defining a statistical value of the second vector representation as a second representation profile, comparing the second representation profile with the first representation profile, and evaluating the usefulness of the second behavior predictor based on a similarity between the first and second representation profiles;
A user behavior prediction method comprising: when the usefulness of the second behavior predictor is evaluated to be high, outputting a prediction result based on the second behavior predictor.
第1の行動履歴データを構成する第1のユーザの第1のアイテムに対する行動から未観測の行動を予測するための、第1の表現学習器と第1の予測器とを有する第1の行動予測器を学習する処理と、
前記第1の行動予測器の前記第1の表現学習器から第1のベクトル表現を抽出し、該第1のベクトル表現の統計値を第1の表現プロファイルとして出力する処理と、
前記第1の行動予測器の前記第1の予測器を予測器として抽出する処理と、
第2の行動履歴データを構成する第2のユーザの第2のアイテムに対する行動から未観測の行動を予測するための、第2の表現学習器と第2の予測器とを有する第2の行動予測器を学習し、この学習において、抽出された前記予測器のパラメータを凍結して、前記第2の行動予測器の前記第2の予測器として用い、前記第2の表現学習器を追加学習する処理と、
前記第2の行動予測器の前記第2の表現学習器から第2のベクトル表現を抽出し、該第2のベクトル表現の統計値を第2の表現プロファイルとし、該第2の表現プロファイルと、前記第1の表現プロファイルとを比較し、前記第1及び第2の表現プロファイルの類似度にもとづいて前記第2の行動予測器の有用性を評価する処理と、
前記第2の行動予測器の有用性が高いと評価された場合に、前記第2の行動予測器に基づいて予測結果を出力する処理と、
を実行させるための、ユーザ行動予測プログラム。 On the computer,
A process of learning a first behavior predictor having a first representation learner and a first predictor for predicting an unobserved behavior of a first user from a behavior of the first user with respect to a first item constituting the first behavior history data;
extracting a first vector representation from the first representation learner of the first behavior predictor and outputting statistics of the first vector representation as a first representation profile;
extracting the first predictor from the first behavior predictor as a predictor;
a process of training a second behavior predictor having a second expression learner and a second predictor for predicting an unobserved behavior from a behavior of a second user with respect to a second item constituting second behavior history data, freezing parameters of the predictor extracted in the training and using the parameters as the second predictor of the second behavior predictor, and additionally training the second expression learner;
a process of extracting a second vector representation from the second representation learner of the second behavior predictor, setting a statistical value of the second vector representation as a second representation profile, comparing the second representation profile with the first representation profile, and evaluating the usefulness of the second behavior predictor based on a similarity between the first and second representation profiles;
outputting a prediction result based on the second behavior predictor when the usefulness of the second behavior predictor is evaluated to be high;
A user behavior prediction program for executing the above.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022054367A JP7611867B2 (en) | 2022-03-29 | 2022-03-29 | USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022054367A JP7611867B2 (en) | 2022-03-29 | 2022-03-29 | USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023146924A JP2023146924A (en) | 2023-10-12 |
| JP7611867B2 true JP7611867B2 (en) | 2025-01-10 |
Family
ID=88286651
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022054367A Active JP7611867B2 (en) | 2022-03-29 | 2022-03-29 | USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7611867B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002139332A (en) | 2000-11-01 | 2002-05-17 | Matsushita Electric Ind Co Ltd | Navigation method and device |
| JP2015114987A (en) | 2013-12-13 | 2015-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Processing device, processing method, and program |
| JP2015197741A (en) | 2014-03-31 | 2015-11-09 | Kddi株式会社 | Apparatus, program, and method for estimating life pattern based on power consumption |
| JP2021012734A (en) | 2016-10-21 | 2021-02-04 | データロボット, インコーポレイテッド | System for analyzing prediction data, and method and device related thereto |
| JP2021051391A (en) | 2019-09-20 | 2021-04-01 | ヤフー株式会社 | Learning device, learning method, and learning program |
| JP2021096694A (en) | 2019-12-18 | 2021-06-24 | Kddi株式会社 | Prediction program, learning device, prediction device, and prediction method |
-
2022
- 2022-03-29 JP JP2022054367A patent/JP7611867B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002139332A (en) | 2000-11-01 | 2002-05-17 | Matsushita Electric Ind Co Ltd | Navigation method and device |
| JP2015114987A (en) | 2013-12-13 | 2015-06-22 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | Processing device, processing method, and program |
| JP2015197741A (en) | 2014-03-31 | 2015-11-09 | Kddi株式会社 | Apparatus, program, and method for estimating life pattern based on power consumption |
| JP2021012734A (en) | 2016-10-21 | 2021-02-04 | データロボット, インコーポレイテッド | System for analyzing prediction data, and method and device related thereto |
| JP2021051391A (en) | 2019-09-20 | 2021-04-01 | ヤフー株式会社 | Learning device, learning method, and learning program |
| JP2021096694A (en) | 2019-12-18 | 2021-06-24 | Kddi株式会社 | Prediction program, learning device, prediction device, and prediction method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023146924A (en) | 2023-10-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113536097B (en) | Recommendation method and device based on automatic feature grouping | |
| CN114117240B (en) | Internet content pushing method based on big data demand analysis and AI system | |
| CN114090663B (en) | User demand prediction method applying artificial intelligence and big data optimization system | |
| Wang et al. | The monkeytyping solution to the youtube-8m video understanding challenge | |
| CN111639230A (en) | Similar video screening method, device, equipment and storage medium | |
| CN118655989A (en) | Prompt word generation method and text processing method | |
| Sulistiani et al. | Implementation of dynamic mutual information and support vector machine for customer loyalty classification | |
| CN113032676A (en) | Recommendation method and system based on micro-feedback | |
| CN112559868A (en) | Information recall method and device, storage medium and electronic equipment | |
| Du et al. | Structure tuning method on deep convolutional generative adversarial network with nondominated sorting genetic algorithm II | |
| JP2010073195A (en) | Collaborative filtering processing method and collaborative filtering processing program | |
| CN117708348A (en) | Knowledge graph-based operation and maintenance scene recommendation case acquisition method, device and equipment | |
| JP7611867B2 (en) | USER BEHAVIOR PREDICTION DEVICE, USER BEHAVIOR PREDICTION METHOD, AND USER BEHAVIOR PREDICTION PROGRAM | |
| Rajabi et al. | Click-through rate prediction using graph neural networks and online learning | |
| Jun | A forecasting model for technological trend using unsupervised learning | |
| Bibi et al. | Selecting the appropriate machine learning techniques for the prediction of software development costs | |
| CN115114462A (en) | Model training method and device, multimedia recommendation method and device and storage medium | |
| Krishna et al. | Cultivating customer purchase intent: Leveraging machine learning for precise predictions | |
| CN120046709A (en) | BERT-based neighborhood relation learning knowledge graph completion method and device | |
| Abbas et al. | A three-way classification with game-theoretic N-soft sets for handling missing ratings in context-aware recommender systems | |
| Kachroo | Customer segmentation and profiling for e-commerce using dbscan and fuzzy c-means | |
| Arai et al. | Fuzzy genetic algorithm for prioritization determination with technique for order preference by similarity to ideal solution | |
| CN110968794B (en) | A multi-view attention recommendation method based on binary information network | |
| IES20020061A2 (en) | Feature selection for neural networks | |
| Matias et al. | A Comparative Study of Classification Algorithms for a Recommendation System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240209 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20241129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241210 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241224 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7611867 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |