JP6968033B2 - Information processing equipment, content distribution equipment, information processing methods, and programs - Google Patents
Information processing equipment, content distribution equipment, information processing methods, and programs Download PDFInfo
- Publication number
- JP6968033B2 JP6968033B2 JP2018113259A JP2018113259A JP6968033B2 JP 6968033 B2 JP6968033 B2 JP 6968033B2 JP 2018113259 A JP2018113259 A JP 2018113259A JP 2018113259 A JP2018113259 A JP 2018113259A JP 6968033 B2 JP6968033 B2 JP 6968033B2
- Authority
- JP
- Japan
- Prior art keywords
- content
- prediction index
- rank
- correction coefficient
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムに関する。 The present invention relates to an information processing device, a content distribution device, an information processing method, and a program.
従来、コンテンツのクリック率を予測するモデルを生成する装置の発明が開示されている(特許文献1参照)。 Conventionally, an invention of an apparatus for generating a model for predicting a click rate of contents has been disclosed (see Patent Document 1).
コンテンツの配信では、例えば、コンテンツに関する何らかの指標が高い順に所定数のコンテンツが配信される。コンテンツの指標としては、例えば、クリック数やクリック確率などが挙げられる。それらの指標は、ユーザーがコンテンツをクリックするといった確率的な事象に依存する場合もあり、多くは期待値と分散を有する何らかの確率分布に従っている。すなわち、コンテンツの配信は、コンテンツの過去の配信実績にもとづき、これから配信したときのコンテンツの指標(クリック確率など)を予測し、ランキングするといった形で行われる。ここで考慮されるべきは、あるコンテンツの指標の予測値(以下、予測指標)が偶然に過大評価される程(予測を間違える程)、そのコンテンツはランキングで上位になりがちになるという、正のバイアスが生じる点である。このバイアスを選択バイアス(selection bias)と称する。この選択バイアスが生じることによって、例えばコンテンツの一例である広告を配信する際に、真に収益が高い広告を配信できなくなる場合がある。すなわち、好適なコンテンツを選択することができない場合が生じ得る。 In content distribution, for example, a predetermined number of contents are distributed in descending order of some index related to the contents. Examples of the content index include the number of clicks and the click probability. These indicators may depend on probabilistic events such as the user clicking on the content, often following some probability distribution with expected value and variance. That is, the content is distributed in the form of predicting and ranking the index (click probability, etc.) of the content when it is distributed from now on, based on the past distribution record of the content. What should be taken into consideration here is that the more the predicted value of an index of a certain content (hereinafter referred to as the predicted index) is accidentally overestimated (the more the prediction is mistaken), the more the content tends to be ranked high in the ranking. This is the point where the bias occurs. This bias is called a selection bias. Due to this selection bias, for example, when delivering an advertisement which is an example of content, it may not be possible to deliver a truly profitable advertisement. That is, it may not be possible to select suitable content.
本発明は、このような事情を考慮してなされたものであり、より好適なコンテンツを選択させることができる情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムを提供することを目的の一つとする。 The present invention has been made in consideration of such circumstances, and an object of the present invention is to provide an information processing device, a content distribution device, an information processing method, and a program capable of selecting more suitable contents. I will do it.
本発明の一態様は、端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出する予測指標導出部と、前記予測指標導出部により導出された予測指標に基づいて、前記複数のコンテンツ候補のランキングを行うランキング処理部と、前記ランキング処理部によるランキングの結果に基づいて、前記予測指標を補正する補正処理部と、を備える情報処理装置である。 One aspect of the present invention comprises a predictive index derivation unit for deriving a predictive index that predicts an index related to the content and a predictive index derivation unit for each of a plurality of content candidates that are candidates for the content provided to the terminal device. Information processing including a ranking processing unit that ranks the plurality of content candidates based on the derived prediction index, and a correction processing unit that corrects the prediction index based on the ranking result by the ranking processing unit. It is a device.
本発明の一態様によれば、より好適なコンテンツを選択させることができる。 According to one aspect of the present invention, more suitable content can be selected.
以下、図面を参照し、本発明の情報処理装置、コンテンツ配信装置、情報処理方法、およびプログラムの実施形態について説明する。 Hereinafter, the information processing apparatus, the content distribution apparatus, the information processing method, and the embodiment of the program of the present invention will be described with reference to the drawings.
情報処理装置は、一以上のプロセッサにより実現される。情報処理装置は、利用者の端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、コンテンツに関する指標を予測した予測指標を導出し、端末装置に提供されるコンテンツを選択するための情報として出力する装置である。情報を出力する先は、自装置の他モジュールであってもよいし、他装置であってもよい。 The information processing device is realized by one or more processors. The information processing device derives a predictive index that predicts an index related to the content for each of a plurality of content candidates that are candidates for the content provided to the user's terminal device, and selects the content to be provided to the terminal device. It is a device that outputs as information of. The destination to output the information may be another module of the own device or another device.
コンテンツは、広告コンテンツやニュース記事、ショッピングサイトにおける商品販売画面などのコンテンツである。以下の説明では、コンテンツは広告コンテンツであるものとする。広告コンテンツは、例えば、あるサービスが提供する主コンテンツの中に設定された広告枠に埋め込まれる形で端末装置に提供される。広告コンテンツは、例えば、ハイパーリンクが付与された、サンプル画像と紹介文(テキスト)の組み合わせである。これに限らず、広告コンテンツは、テキストのみ、画像のみ、或いは動画などのコンテンツであってもよい。この広告コンテンツがクリックまたはタップされる(選択される)ことで、広告コンテンツに付与されたハイパーリンクの指し示すコンテンツ(例えばランディングページ)が端末装置にダウンロードされ、端末装置において再生される。クリックとタップその他の選択態様について、以下の説明ではクリックに表現を統一して説明する。 The content is content such as advertising content, news articles, and product sales screens on shopping sites. In the following description, the content is assumed to be advertising content. The advertising content is provided to the terminal device, for example, in a form of being embedded in an advertising space set in the main content provided by a certain service. The advertising content is, for example, a combination of a sample image and an introductory text (text) to which a hyperlink is attached. Not limited to this, the advertising content may be content such as text only, image only, or moving image. When the advertisement content is clicked or tapped (selected), the content indicated by the hyperlink attached to the advertisement content (for example, the landing page) is downloaded to the terminal device and played on the terminal device. In the following description, clicks, taps, and other selection modes are described in a unified manner for clicks.
広告コンテンツに関する指標とは、例えば、利用者が広告コンテンツを選択する確率、頻度、回数、或いはそれらの組み合わせに基づく指標である。この一例として、CTR(Click Through Ratio)やクリック数がある。また、指標は、CPM(Cost Per Mille)やeCPM(effective CPM)などの広告効率を示す指標であってもよい。以下の説明では指標はCTRであり、情報処理装置は、予測指標としてCTRを予測した予測CTRを導出するものとする。 The index related to the advertising content is, for example, an index based on the probability, frequency, number of times, or a combination thereof that the user selects the advertising content. Examples of this include CTR (Click Through Ratio) and the number of clicks. Further, the index may be an index indicating advertising efficiency such as CPM (Cost Per Mille) or eCPM (effective CPM). In the following description, the index is a CTR, and the information processing apparatus derives a predicted CTR that predicts the CTR as a predictive index.
そして、情報処理装置は、予測指標のランクに基づいて予測指標を補正し、補正した予測指標に基づいて、複数の広告コンテンツの候補の中から端末装置に提供される広告コンテンツを選択する。これによって、情報処理装置は、より好適な広告コンテンツを選択することができる。 Then, the information processing apparatus corrects the prediction index based on the rank of the prediction index, and selects the advertisement content provided to the terminal device from the plurality of advertisement content candidates based on the corrected prediction index. This allows the information processing device to select more suitable advertising content.
<第1実施形態>
図1は、第1実施形態の情報処理装置を利用したコンテンツ配信装置(広告配信装置)100の構成および使用環境の一例を示す図である。
<First Embodiment>
FIG. 1 is a diagram showing an example of a configuration and a usage environment of a content distribution device (advertisement distribution device) 100 using the information processing device of the first embodiment.
コンテンツ配信装置100は、ネットワークNWを介して利用者の端末装置10およびサービスサーバ20と通信する。ネットワークNWは、例えば、インターネット、WAN(Wide Area Network)、LAN(Local Area Network)、プロバイダ端末、無線通信網、無線基地局、専用回線などを含む。
The
端末装置10は、例えば、スマートフォンなどの携帯電話、タブレット端末、各種パーソナルコンピュータなどの、入力装置、表示装置、通信装置、記憶装置、および演算装置を備える端末装置である。通信装置は、NIC(Network Interface Card)などのネットワークカード、無線通信モジュールなどを含む。端末装置10では、ブラウザやアプリケーションプログラムなどのUA(User Agent)が起動し、利用者の入力する内容に応じたリクエストをサービスサーバ20に送信する。また、UAは、サービスサーバ20から取得した情報に基づいて、各種画像を表示する。
The
サービスサーバ20は、ブラウザからのリクエストに応じてウェブページを端末装置10に提供するウェブサーバ、またはアプリケーションプログラムからのリクエストに応じて画像や音声を端末装置10に提供するアプリサーバとして機能する。サービスサーバ20は、主コンテンツの中に、コンテンツ配信装置100から提供される広告コンテンツを埋め込んで端末装置10に提供する。図2は、主コンテンツMCの中に複数の広告コンテンツCAが埋め込まれた様子を示す図である。図2に示す主コンテンツMCは、検索サービスを提供したり、各種ニュースを配信したりするポータルサイトである。主コンテンツMCには、複数の広告枠が設定されており、それぞれの広告枠に広告コンテンツCA(図ではCA(1)〜CA(3))が表示される。
The
広告コンテンツCAは、例えば、サンプル画像とテキストの組み合わせであり、サンプル画像とテキストのいずれをクリックしても広告コンテンツにより広告される商品またはサービスの紹介コンテンツに画面が遷移する。サービスサーバ20は、例えば、利用者の識別情報(利用者ID)に対応付けた主コンテンツまたは広告コンテンツの閲覧履歴をログ情報22として記憶装置に保持しており、要求に応じてコンテンツ配信装置100にログ情報22を提供する。
The advertising content CA is, for example, a combination of a sample image and text, and clicking on either the sample image or the text causes the screen to transition to the introduction content of the product or service advertised by the advertising content. The
コンテンツ配信装置100は、例えば、予測指標導出部110と、ランキング処理部120と、補正処理部130と、補正係数学習部140と、コンテンツ提供部150とを備える。予測指標導出部110と、ランキング処理部120と、補正処理部130と、補正係数学習部140とを合わせたものが、情報処理装置の一例である。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
The
予測指標導出部110は、例えば、端末装置10に提供される(以下、配信される)広告コンテンツの候補となる複数の広告コンテンツ候補のそれぞれについて、広告コンテンツのCTRを予測した予測CTRを導出する。予測指標導出部110は、例えば、主コンテンツごと、当該主コンテンツにおける広告枠ごとに、予測CTRを導出する。なお、以下の説明では適宜、その時点では端末装置10に提供されるかどうか不明であることを表す「候補」なる表現を省略する。
The prediction
予測指標導出部110は、例えば、当該広告コンテンツが過去に配信された際の実績CTR、ログ情報22から得られる利用者の属性(趣味嗜好等)と広告コンテンツの内容との類似度などを素性とし、線形あるいは非線形ロジスティック回帰モデルを利用して予測CTRを導出する。また、CTRの時間変化を考慮する場合は時系列モデルを用いて予測CTRを導出してもよい。
For example, the prediction
ランキング処理部120は、予測CTRが高い順に、広告コンテンツに対してランクを付与する。以下、この処理をランキングと称称する。ランクが高いということは、予測CTRが高かったということである。
The
先にコンテンツ提供部150について説明する。コンテンツ提供部150は、サービスサーバ20からの広告リクエストに応じて、ランキング処理部120によって付与されたランクの高い順に、広告枠に広告コンテンツを割り当てる。例えば、広告枠にも優先順位が付与されており、コンテンツ提供部150は、優先順位の高い広告枠にランクの高い広告コンテンツを割り当てる。コンテンツ提供部150は、サービスサーバ20に割り当て結果と共に広告コンテンツを提供する。なお、コンテンツ提供部150は、一定割合で、ランダムに抽出した広告コンテンツを広告枠に割り当ててよい。
First, the
補正処理部130は、ランクに応じた予測CTRの補正処理を行う。補正処理部130は、ランクに応じた補正係数(0〜1の間)を予測CTRに乗算することで、予測CTRの補正処理を行う。補正係数は、例えば、補正係数学習部140によって学習された値であるが、これに限らず、補正処理部130は、外部から与えられた、或いはデフォルトで設定されている補正係数を用いて予測CTRの補正処理を行ってもよい。
The
以下、補正処理部130による補正処理が必要な理由について説明する。予測CTRは、将来の事象を予測したものであるため、所定の確率分布に従って導出されるものである。このため、ランクが高い広告コンテンツには、確率分布の中で、偶然に高い値が出たに過ぎないものが含まれることになる。図3は、予測指標の順位(ランク)ごとに確率分布が偏在する様子を示す図である。本図は、全ての広告コンテンツのCTRは0.10として、広告をn回インプレッションしたときのクリック数はn×0.10を期待値とする二項分布に従っていることを前提としている。すなわち、広告の予測CTRをクリック数÷インプレッション数とする場合、予測CTRは期待値0.10のベルヌーイ分布に従っていることを示している。図中、Dallは、ランキングされる前の各広告コンテンツの予測CTRの確率分布を示し、D1はランクが1(最も高い)となった広告コンテンツの予測CTRの条件付き確率分布を示し、D2はランクが2(1の次に高い)となった広告コンテンツの予測CTRの条件付き確率分布を示し、D3はランクが3(2の次に高い)となった広告コンテンツの予測CTRの条件付き確率分布を示している。図示するように、ランキングされた後の予測CTRの条件付き確率分布は、ランクが高くなるほど、ランキングされる前の確率分布から正方向にバイアスしている。これは、予測CTRが高い順にランク付けを考える場合、予測CTRが偶然に過大評価されたものほど高ランクに選ばれやすいという選択バイアスが生じていることを示している。
Hereinafter, the reason why the correction processing by the
図4は、選択バイアスによって生じる問題について説明するための図である。図示するようにランキング対象の広告数が増加すればする程、1つ以上の広告の予測指標が偶然に過大評価される確率が増加し、精度(例えば収益性の最も高い広告コンテンツのランクを1に設定できる確率)が低下することがシミュレーションによって分かっている。 FIG. 4 is a diagram for explaining the problem caused by the selection bias. As the number of ads targeted for ranking increases, as shown in the figure, the probability that one or more ad predictive indicators will be overestimated by chance increases, and the accuracy (for example, the rank of the most profitable ad content is 1). It is known by simulation that the probability that it can be set to is reduced.
このような問題に対し、補正処理部130は、ランクが付与された広告コンテンツについて、予測CTRを補正することで、コンテンツ提供部150が適切な広告コンテンツを選択できるようにする。
In response to such a problem, the
補正係数学習部140は、予測指標導出部110により導出された予測CTRと、予測CTRのランクと、端末装置10に提供された結果として広告コンテンツが利用者によって選択された確率(CTRの実績値)とに基づいて、予測CTRのランクごとの補正係数α(rank)を学習する。より具体的に、補正係数学習部140は、予測CTRのランクごとに、予測指標導出部110により導出された予測CTRと、CTRの実績値とを比較することで、ランクごとの補正係数α(rank)を学習する。
The correction
補正係数学習部140は、例えば、式(1)に基づいて、ランクごとの補正係数α(rank)を学習する。式中、iは観測期間中にランクが付与された広告コンテンツの識別情報である。式(1)は、観測期間中においてランクが付与された各広告コンテンツについてのCTRの実績値を合計した値を、同じ各広告コンテンツについての予測CTRを合計した値で除算して補正係数α(rank)を求めるものである。なお分子と分母においてiが同じであるため、式(1)は、CTRの実績値の平均値と、予測CTRの平均値で除算するものと考えることもできる。観測期間は、例えば、1日、1週間といった期間である。
The correction
また、補正係数学習部140は、主コンテンツの広告枠ごとに、補正係数αを求めてもよい。この場合、補正係数学習部140は、例えば、式(2)に基づいて、主コンテンツの広告枠ごと、ランクごとの補正係数α(src,domain,rank)を学習する。式中、srcは主コンテンツの識別情報であり、domainは広告枠の識別情報である。式(2)は、ある主コンテンツの広告枠に着目し、観測期間中においてランクが付与された各広告コンテンツについてのCTRの実績値を合計した値を、同じ各広告コンテンツについての予測CTを合計した値で除算して補正係数α(src,domain,rank)を求めるものである。
Further, the correction
このように学習された補正係数α(ここでは、α(rank)とする)を用いて補正処理部130が、ランクが付与された各広告コンテンツの予測CTRを補正すると、ランキング処理部120は、補正された予測CTRを用いて再度ランキングを行う。なお、補正処理部130は、広告の配信位置に依存した予測CTRのバイアス(ポジションバイアス:特開2013−182594号公報参照)を補正するための補正係数βを、更に予測CTRに乗算して予測CTRを補正してもよい。
When the
補正処理部130が補正処理を行い、ランキング処理部120が再度ランキングを行うという一連の処理はN回(N=1以上の自然数)行われる。ここで、N>1である場合、上記の補正係数αは、何回目の処理に用いられるかに応じて、異なる値として学習されてもよい。例えば、N=3であるとして、補正係数学習部140は、補正係数α(rank(j))(j=1,2,3)をそれぞれ学習する。jは、何回目の補正に用いるかを示す引数である。これに代えて、jに応じた補正係数α(rank(j))は、例えば、jが大きくなるほど所定の規則で減衰するように求められてもよい。例えば、α(rank(j))=γ(j−1)・α(rank(1))のように求められてもよい。γは、1未満の正の値である。そして予測CTR(i,rank)、補正処理部130は、何回目の補正であるかに応じて、補正係数α(rank(j))を使い分けて補正を行う。例えば、2回目の補正であれば補正係数α(rank(2))を使用する。これによって、過度に補正を行うことで予測CTRが適切な値に収束しないといった事態が生じるのを防止することができる。
A series of processes in which the
そして、一連の処理がN回行われた結果の最終的なランキング結果が、コンテンツ提供部150に提供され、コンテンツ提供部150は、ランクに基づいて広告コンテンツを広告枠に割り当てる。係る一連の処理によって、過大評価となっている分の予測CTRを適正な値に修正し、より好適な広告コンテンツを選択することができる。
Then, the final ranking result as a result of performing the series of processes N times is provided to the
図5は、第1実施形態の情報処理装置により実行される処理の流れの一例を示すフローチャートである。本フローチャートの処理は、例えば、1時間に1回といった頻度で繰り返し実行される。なお、補正係数学習部140による処理は、図5のフローチャートの処理とは非同期に実行されてよい。
FIG. 5 is a flowchart showing an example of the flow of processing executed by the information processing apparatus of the first embodiment. The processing of this flowchart is repeatedly executed, for example, once an hour. The processing by the correction
まず、情報処理装置は、配信候補の広告コンテンツを抽出する(S200)。次に、予測指標導出部110が、各広告コンテンツの候補について、予測CTRを導出する(S202)。次に、ランキング処理部120が、予測CTRに基づいて広告コンテンツのランキングを行う(S204)。
First, the information processing device extracts the advertisement content of the distribution candidate (S200). Next, the prediction
次に、補正処理部130が、少なくともランクごとに学習されている補正係数αを用いて、S204における処理結果であるランクに応じて予測CTRを補正する(S206)。次に、ランキング処理部120が、S206における補正結果を加味して(補正前の予測CTRから補正された予測CTRに置き換えて)再度ランキングを行う(S208)。
Next, the
そして、情報処理装置は、S206およびS208の処理をN回実行したか否かを判定する(S210)。N回実行していないと判定された場合はS206に処理が戻され、N回実行したと判定された場合はS212に処理が進められる。なお、前述したようにN=1でもよく、その場合、S210の処理自体が省略される。 Then, the information processing apparatus determines whether or not the processes of S206 and S208 have been executed N times (S210). If it is determined that the process has not been executed N times, the process is returned to S206, and if it is determined that the process has been executed N times, the process proceeds to S212. As described above, N = 1 may be used, in which case the processing itself of S210 is omitted.
S210においてN回実行されたと判定された場合、或いはN=1でありS208の処理が完了した場合、情報処理装置は、最後に行ったランキングの結果をコンテンツ提供部150に出力する。これによって、本フローチャートの1ルーチンの処理が終了する。
When it is determined in S210 that the execution has been performed N times, or when N = 1 and the processing of S208 is completed, the information processing apparatus outputs the result of the last ranking to the
S212の処理において、「最後に行ったランキングの結果をコンテンツ提供部150に出力する」のに代えて、「最後に補正した結果を反映した予測CTRをコンテンツ提供部150に出力」してもよい。こうすれば、コンテンツ提供部150は、広告のビッドを反映させてeCPM、CPM、CPCなどの指標を計算し、計算結果に基づいて端末装置10に提供する広告コンテンツを選択することができる。
In the process of S212, instead of "outputting the result of the last ranking performed to the
以上説明した第1実施形態の情報処理装置によれば、端末装置10に提供されるコンテンツ(例えば広告コンテンツ)の候補となる複数のコンテンツ候補のそれぞれについて、コンテンツに関する指標(例えばCTR)を予測した予測指標(例えば予測CTR)を導出する予測指標導出部110と、予測指標導出部110により導出された予測指標に基づいて、複数のコンテンツ候補のランキングを行うランキング処理部120と、ランキング処理部120によるランキングの結果に基づいて、予測指標を補正する補正処理部130と、を備えることにより、コンテンツ提供部150に、より好適なコンテンツを選択させることができる。
According to the information processing apparatus of the first embodiment described above, an index (for example, CTR) related to the content is predicted for each of the plurality of content candidates that are candidates for the content (for example, advertising content) provided to the
<第2実施形態>
以下、第2実施形態について説明する。第1実施形態において、補正処理部130は、ランクが付与された広告コンテンツの予測CTRを補正するものとした。第2実施形態に係る補正処理部(以下、補正処理部130Aとする)は、更に、ランク外の広告コンテンツの候補の少なくとも一部について、ランクごとの補正係数αの分布に基づいて拡張補正係数α+を設定し、ランクごとに設定された補正係数αまたは拡張補正係数α+を予測CTRに乗算することで、予測CTRを補正する。
<Second Embodiment>
Hereinafter, the second embodiment will be described. In the first embodiment, the
図6は、補正処理部130Aによる処理の内容の一例を示す図である。ランクは、予測CTRが高い順に所定数Xの広告コンテンツに対して付与される。図6の例では、所定数X=5である。ここで、ランクが最も低い広告コンテンツ(図ではランク5)の予測CTRは、ランク5となった広告コンテンツの次に予測CTRが高い広告コンテンツ(図ではランク外1)の予測CTRと大きく相違しない可能性がある。従って、補正によってランク5の広告コンテンツの予測CTRが引き下げられると、ランク5とランク外1の広告コンテンツの予測CTRが逆転し、好ましくない結果を生じさせる可能性がある(当然ながら逆転が好ましい場合もある)。そこで、補正処理部130Aは、例えば、ランクごとの補正係数αの分布を直線または曲線に近似したモデルMLにフィッティングし、モデルMLをランク外領域まで延伸させた直線または曲線上の座標に基づいて、拡張補正係数α+を設定する。また、補正処理部130Aは、例えば、ランクごとの補正係数αの分布に対してスプライン補間などの処理を行って、拡張補正係数α+を求めてもよい。
FIG. 6 is a diagram showing an example of the content of processing by the correction processing unit 130A. The rank is given to the advertisement content of a predetermined number X in descending order of the predicted CTR. In the example of FIG. 6, the predetermined number X = 5. Here, the predicted CTR of the advertising content with the lowest rank (
そして、補正処理部130Aは、ランクが付与された広告コンテンツの予測CTRにはランクごとの補正係数α(rank)を乗算し、ランクが付与されていない広告コンテンツのうち一部(予測CTRが高いものから順に所定数Y)には拡張補正係数α+(rank#)を乗算して、予測CTRを補正する。rank#とは、ランク外の広告コンテンツを予測CTRの順序で並べた場合の順序に応じた引数である。これによって、不適切な予測CTRの逆転現象が生じるのを抑制することができる。なお、補正処理部130Aは、、補正・ランキングの繰り返し回数であるN≧2である場合において、上記の補正により逆転現象が生じた場合、逆転した順序を新たなランクとみなして補正処理を行う。 Then, the correction processing unit 130A multiplies the predicted CTR of the advertisement content to which the rank is given by the correction coefficient α (rank) for each rank, and a part of the advertisement contents not given the rank (the predicted CTR is high). The predicted CTR is corrected by multiplying the predetermined number Y) in order from the one by the extended correction coefficient α + (rank #). Rank # is an argument according to the order when the advertisement contents out of rank are arranged in the order of the predicted CTR. As a result, it is possible to suppress the occurrence of an inappropriate predictive CTR reversal phenomenon. In addition, in the case where N ≧ 2 which is the number of repetitions of correction / ranking, the correction processing unit 130A performs the correction processing by regarding the reverse order as a new rank when the reversal phenomenon occurs due to the above correction. ..
以上説明した第2実施形態によれば、第1実施形態と同様の効果を奏するのに加えて、不適切な予測CTRの逆転現象が生じるのを抑制することができる。 According to the second embodiment described above, in addition to achieving the same effect as that of the first embodiment, it is possible to suppress the occurrence of an inappropriate predictive CTR reversal phenomenon.
なお、上記説明した補正処理部130Aによる拡張補正係数α+の設定機能は、補正係数学習部140の機能であってもよい。この場合、情報処理装置では、補正係数学習部140が、補正係数αを学習した後、拡張補正係数α+を設定する処理を行う。
The function of setting the extended correction coefficient α + by the correction processing unit 130A described above may be a function of the correction
<第3実施形態>
以下、第3実施形態について説明する。第3実施形態に係る補正処理部(以下、補正処理部130Bとする)は、更に、広告コンテンツが埋め込まれる主コンテンツの実績インプレッション数に基づいて、予測CTRを補正する。
<Third Embodiment>
Hereinafter, the third embodiment will be described. The correction processing unit (hereinafter referred to as the correction processing unit 130B) according to the third embodiment further corrects the predicted CTR based on the actual number of impressions of the main content in which the advertisement content is embedded.
第3実施形態の補正係数学習部(以下、補正係数学習部140Bとする)は、例えば、実績インプレッション数をBIN化、すなわち所定の刻み幅で区切られた実績インプレッション数の領域(BIN)のいずれかに該当させ、実績インプレッション数のBINごとに補正係数α(或いは、補正係数αおよび拡張補正係数α+)を学習する。実績インプレッション数は、所定期間(1日、1週間、1月など)におけるインプレッション数をカウントした値である。 The correction coefficient learning unit (hereinafter referred to as the correction coefficient learning unit 140B) of the third embodiment is, for example, any of the regions (BIN) of the actual impressions divided by a predetermined step size, that is, the actual impressions are converted into BIN. The correction coefficient α (or the correction coefficient α and the extended correction coefficient α +) is learned for each BIN of the actual impressions. The actual number of impressions is a value obtained by counting the number of impressions in a predetermined period (1 day, 1 week, January, etc.).
図7は、補正処理部130Bおよび補正係数学習部140Bの処理について説明するための図である。図示するように、補正係数学習部140Bは、例えば、実績インプレッション数を10000刻みでBIN化し、それぞれのBINに該当する主コンテンツを母集団として、第1または第2実施形態と同様に補正係数αを学習する。そして、補正処理部130Bは、処理対象となる主コンテンツの実績インプレッション数を取得し、取得した実績インプレッション数が属するBINに対応する補正係数αを用いて、予測CTRを補正する。これによって、仮にインプレッション数が選択バイアスの大きさに影響を与えるとした場合に、より適切に予測CTRを補正することができる。 FIG. 7 is a diagram for explaining the processing of the correction processing unit 130B and the correction coefficient learning unit 140B. As shown in the figure, for example, the correction coefficient learning unit 140B converts the number of actual impressions into BINs in increments of 10,000, and the main content corresponding to each BIN is used as a population, and the correction coefficient α is the same as in the first or second embodiment. To learn. Then, the correction processing unit 130B acquires the actual impression number of the main content to be processed, and corrects the predicted CTR by using the correction coefficient α corresponding to the BIN to which the acquired actual impression number belongs. As a result, if the number of impressions affects the magnitude of the selection bias, the predicted CTR can be corrected more appropriately.
以上説明した第3実施形態によれば、第1または第2実施形態と同様の効果を奏するのに加えて、より適切に予測CTRを補正することができる。 According to the third embodiment described above, in addition to achieving the same effect as that of the first or second embodiment, the predicted CTR can be corrected more appropriately.
<シミュレーション>
本出願の発明者は、広告コンテンツの数、利用者の数、ランクが付与される広告コンテンツの数、1日の広告リクエスト数に所定値を設定し、収益が高い広告を探索するためにε−Greedyアルゴリズムを用いてε[%]のリクエストに対してはランダムに広告コンテンツを配信し、それ以外のリクエストに対しては広告収益(入札額×予測CTR)が高い広告を配信するという条件でシミュレーションを行った。
<Simulation>
The inventor of the present application sets a predetermined value for the number of advertisement contents, the number of users, the number of advertisement contents to be ranked, and the number of advertisement requests per day, and ε in order to search for a highly profitable advertisement. -On the condition that the advertisement content is randomly delivered to the request of ε [%] using the Greedy algorithm, and the advertisement with high advertising revenue (bid amount x predicted CTR) is delivered to other requests. A simulation was performed.
上記シミュレーションの結果、CTRの実績値を日ごとに求めた結果、数[%]から数十[%]の上昇が観測された。このことは、予測CTRがより正確に求められた結果、利用者が広告コンテンツをクリックする機会が増えたことを意味している。 As a result of the above simulation, as a result of obtaining the actual value of CTR every day, an increase of several [%] to several tens [%] was observed. This means that as a result of the more accurate prediction CTR being sought, users have more opportunities to click on the advertising content.
また、広告のビッドを広告コンテンツごとに一様乱数で決定し、上記シミュレーションに反映させた結果、想定される広告収益も改善することが観測された。図8は、シミュレーションの結果として得られた収益の改善傾向を示す図である。図示するように、選択バイアスによる予測CTRの上振れが比較例に比して抑制される結果、累積予測収益は抑制される一方、実際に得られるであろう収益(期待収益)は比較例に比して改善されることが観測された。比較例とは、選択バイアスに対する補正を行わないものである。 In addition, as a result of determining the bid of the advertisement with a uniform random number for each advertisement content and reflecting it in the above simulation, it was observed that the expected advertising revenue was also improved. FIG. 8 is a diagram showing an improvement tendency of the profit obtained as a result of the simulation. As shown in the figure, as a result of suppressing the upside of the predicted CTR due to selection bias compared to the comparative example, the cumulative forecasted return is suppressed, while the profit (expected return) that will actually be obtained is in the comparative example. It was observed to be improved in comparison. The comparative example is one in which the correction for the selection bias is not performed.
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。 Although the embodiments for carrying out the present invention have been described above using the embodiments, the present invention is not limited to these embodiments, and various modifications and substitutions are made without departing from the gist of the present invention. Can be added.
10 端末装置
20 サービスサーバ
22 ログ情報
100 コンテンツ配信装置(広告配信装置、情報処理装置)
110 予測指標導出部
120 ランキング処理部
130 補正処理部
140 補正係数学習部
150 コンテンツ提供部
10
110 Prediction
Claims (10)
前記予測指標導出部により導出された予測指標に基づいて、前記複数のコンテンツ候補のランキングを行うランキング処理部と、
前記ランキング処理部によるランキングの結果に基づいて、前記予測指標を補正する補正処理部と、
を備え、
前記補正処理部は、
前記予測指標のランクごとに設定された補正係数のうち、前記コンテンツ候補のランクに応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正し、
ランク外のコンテンツ候補の少なくとも一部について、前記ランクごとの補正係数の分布に基づいて拡張補正係数を設定し、前記予測指標のランクごとに設定された補正係数または前記拡張補正係数を前記予測指標に乗算することで、前記予測指標を補正する、
情報処理装置。 For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a predictive index derivation unit that derives a predictive index that predicts the index related to the content, and a predictive index derivation unit.
A ranking processing unit that ranks a plurality of content candidates based on the prediction index derived by the prediction index derivation unit, and a ranking processing unit.
A correction processing unit that corrects the prediction index based on the ranking result by the ranking processing unit, and a correction processing unit.
Equipped with
The correction processing unit
Of the correction coefficients set for each rank of the prediction index, the prediction index is corrected by multiplying the prediction index by the correction coefficient corresponding to the rank of the content candidate.
For at least a part of the content candidates outside the rank, the extended correction coefficient is set based on the distribution of the correction coefficient for each rank, and the correction coefficient set for each rank of the prediction index or the extended correction coefficient is used as the prediction index. Corrects the prediction index by multiplying by
Information processing device.
前記予測指標導出部により導出された予測指標に基づいて、前記複数のコンテンツ候補のランキングを行うランキング処理部と、
前記コンテンツが埋め込まれる主コンテンツの実績インプレッション数に応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正する補正処理部と、
を備える情報処理装置。 For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a predictive index derivation unit that derives a predictive index that predicts the index related to the content, and a predictive index derivation unit.
A ranking processing unit that ranks a plurality of content candidates based on the prediction index derived by the prediction index derivation unit, and a ranking processing unit.
A correction processing unit that corrects the prediction index by multiplying the prediction index by a correction coefficient according to the actual number of impressions of the main content in which the content is embedded.
Information processing device equipped with.
請求項1記載の情報処理装置。 Correction coefficient for each rank based on the prediction index derived by the prediction index derivation unit, the rank of the prediction index, and the event that the content is selected by the user as a result of being provided to the terminal device. Further equipped with a correction coefficient learning unit for learning
The information processing apparatus according to claim 1.
請求項3記載の情報処理装置。 The correction coefficient learning unit compares the prediction index derived by the prediction index derivation unit with the event in which the content is selected by the user as a result of being provided to the terminal device for each rank. , Learn the correction coefficient for each rank of the prediction index,
The information processing apparatus according to claim 3.
前記補正係数学習部は、ランク外のコンテンツ候補の少なくとも一部について、前記ランクごとの補正係数の分布に基づいて拡張補正係数を学習し、
前記補正処理部は、前記予測指標のランクごとに設定された補正係数または前記拡張補正係数を前記コンテンツ候補の予測指標に乗算することで、前記予測指標を補正する、
請求項3または4記載の情報処理装置。 The correction processing unit corrects the prediction index by multiplying the prediction index by the correction coefficient corresponding to the rank of the content candidate among the correction coefficients set for each rank of the prediction index.
The correction coefficient learning unit learns the extended correction coefficient based on the distribution of the correction coefficient for each rank for at least a part of the content candidates outside the rank.
The correction processing unit corrects the prediction index by multiplying the prediction index of the content candidate by the correction coefficient set for each rank of the prediction index or the extended correction coefficient.
The information processing apparatus according to claim 3 or 4.
前記情報処理装置の出力する予測指標に基づいて、コンテンツを前記端末装置に提供する提供部と、
を備えるコンテンツ配信装置。 The information processing apparatus according to any one of claims 1 to 5.
A providing unit that provides content to the terminal device based on a prediction index output by the information processing device.
Content distribution device equipped with.
端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出し、
前記導出した予測指標に基づいて、前記複数のコンテンツ候補のランキングを行い、
前記ランキングの結果に基づいて、前記予測指標を補正し、
前記補正する際に、
前記予測指標のランクごとに設定された補正係数のうち、前記コンテンツ候補のランクに応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正し、
ランク外のコンテンツ候補の少なくとも一部について、前記ランクごとの補正係数の分布に基づいて拡張補正係数を設定し、前記予測指標のランクごとに設定された補正係数または前記拡張補正係数を前記予測指標に乗算することで、前記予測指標を補正する、
情報処理方法。 The computer
For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a prediction index that predicts the index related to the content is derived.
Based on the derived prediction index, the plurality of content candidates are ranked, and the content candidates are ranked.
Based on the result of the ranking, the prediction index is corrected .
At the time of the above correction
Of the correction coefficients set for each rank of the prediction index, the prediction index is corrected by multiplying the prediction index by the correction coefficient corresponding to the rank of the content candidate.
For at least a part of the content candidates outside the rank, the extended correction coefficient is set based on the distribution of the correction coefficient for each rank, and the correction coefficient set for each rank of the prediction index or the extended correction coefficient is used as the prediction index. Corrects the prediction index by multiplying by
Information processing method.
端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出し、
前記導出した予測指標に基づいて、前記複数のコンテンツ候補のランキングを行い、
前記コンテンツが埋め込まれる主コンテンツの実績インプレッション数に応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正する、
情報処理方法。 The computer
For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a prediction index that predicts the index related to the content is derived.
Based on the derived prediction index, the plurality of content candidates are ranked, and the content candidates are ranked.
The prediction index is corrected by multiplying the prediction index by a correction coefficient according to the actual number of impressions of the main content in which the content is embedded.
Information processing method.
端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出させ、
前記導出させた予測指標に基づいて、前記複数のコンテンツ候補のランキングを行わせ、
前記ランキングの結果に基づいて、前記予測指標を補正させ、
前記補正させる際に、前記コンピュータに、
前記予測指標のランクごとに設定された補正係数のうち、前記コンテンツ候補のランクに応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正させ、
ランク外のコンテンツ候補の少なくとも一部について、前記ランクごとの補正係数の分布に基づいて拡張補正係数を設定させ、前記予測指標のランクごとに設定された補正係数または前記拡張補正係数を前記予測指標に乗算することで、前記予測指標を補正させる、
プログラム。 On the computer
For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a prediction index that predicts the index related to the content is derived.
Based on the derived prediction index, the plurality of content candidates are ranked.
Based on the result of the ranking, the prediction index is corrected.
When making the correction, the computer
Of the correction coefficients set for each rank of the prediction index, the prediction index is corrected by multiplying the prediction index by the correction coefficient corresponding to the rank of the content candidate.
For at least a part of the content candidates outside the rank, the extended correction coefficient is set based on the distribution of the correction coefficient for each rank, and the correction coefficient set for each rank of the prediction index or the extended correction coefficient is used as the prediction index. By multiplying by, the prediction index is corrected.
program.
端末装置に提供されるコンテンツの候補となる複数のコンテンツ候補のそれぞれについて、前記コンテンツに関する指標を予測した予測指標を導出させ、
前記導出させた予測指標に基づいて、前記複数のコンテンツ候補のランキングを行わせ、
前記コンテンツが埋め込まれる主コンテンツの実績インプレッション数に応じた補正係数を前記予測指標に乗算することで、前記予測指標を補正させる、
プログラム。 On the computer
For each of the plurality of content candidates that are candidates for the content provided to the terminal device, a prediction index that predicts the index related to the content is derived.
Based on the derived prediction index, the plurality of content candidates are ranked.
The prediction index is corrected by multiplying the prediction index by a correction coefficient according to the actual number of impressions of the main content in which the content is embedded.
program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018113259A JP6968033B2 (en) | 2018-06-14 | 2018-06-14 | Information processing equipment, content distribution equipment, information processing methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018113259A JP6968033B2 (en) | 2018-06-14 | 2018-06-14 | Information processing equipment, content distribution equipment, information processing methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019215767A JP2019215767A (en) | 2019-12-19 |
| JP6968033B2 true JP6968033B2 (en) | 2021-11-17 |
Family
ID=68918760
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018113259A Active JP6968033B2 (en) | 2018-06-14 | 2018-06-14 | Information processing equipment, content distribution equipment, information processing methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6968033B2 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210357955A1 (en) * | 2020-05-12 | 2021-11-18 | Mercari, Inc. | User search category predictor |
| JPWO2022113302A1 (en) * | 2020-11-27 | 2022-06-02 | ||
| JP7275216B2 (en) * | 2021-09-03 | 2023-05-17 | 株式会社サイバーエージェント | ADVERTISING PRODUCTION SUPPORT PROGRAM, ADVERTISING PRODUCTION SUPPORT DEVICE, AND ADVERTISING PRODUCTION SUPPORT METHOD |
| WO2025186858A1 (en) * | 2024-03-04 | 2025-09-12 | 株式会社Nttドコモ | Information processing device |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100970326B1 (en) * | 2008-05-16 | 2010-07-15 | 엔에이치엔비즈니스플랫폼 주식회사 | Method and system for providing advertising content in digital broadcasting service, and method and system for advertising content exposure |
| JP6780931B2 (en) * | 2015-12-08 | 2020-11-04 | ヤフー株式会社 | Ad extraction device, ad extraction method and ad extraction program |
-
2018
- 2018-06-14 JP JP2018113259A patent/JP6968033B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019215767A (en) | 2019-12-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI521453B (en) | An estimation method and a device for estimating an estimated value of a keyword | |
| US20150007064A1 (en) | Automatic generation of a webpage layout with high empirical performance | |
| US20160062950A1 (en) | Systems and methods for anomaly detection and guided analysis using structural time-series models | |
| JP6968033B2 (en) | Information processing equipment, content distribution equipment, information processing methods, and programs | |
| US20100250335A1 (en) | System and method using text features for click prediction of sponsored search advertisements | |
| US8775945B2 (en) | Synchronization of advertisment display updates with user revisitation rates | |
| US20140207564A1 (en) | System and method for serving electronic content | |
| US20160210656A1 (en) | System for marketing touchpoint attribution bias correction | |
| KR101252285B1 (en) | Method and apparatus for providing advertisement | |
| US20090112691A1 (en) | System and method for scheduling online keyword auctions over multiple time periods subject to budget and query volume constraints | |
| US20160328738A1 (en) | System and method for providing off-viewport third party content | |
| JP6956564B2 (en) | Information processing equipment, information processing methods, and programs | |
| CN110766513A (en) | Information sorting method, device, electronic device and readable storage medium | |
| JP7012679B2 (en) | Information processing equipment, content distribution equipment, information processing methods, and programs | |
| JP6810184B2 (en) | Calculation device, calculation method and calculation program | |
| US10182123B2 (en) | System and method for providing context-based third-party content | |
| JP5373003B2 (en) | Advertisement processing apparatus and method | |
| JP7244449B2 (en) | Information processing device, information processing method and information processing program | |
| JP6727031B2 (en) | Advertising device, warning output method, and warning output program | |
| US20110270671A1 (en) | Predicting number of selections of advertisement using hierarchical Bayesian model | |
| JP5699233B1 (en) | Generating device, generating method, and generating program | |
| KR20120139217A (en) | System of advertisement and method for managing advertisement | |
| US9786014B2 (en) | Earnings alerts | |
| KR101394309B1 (en) | Method and apparatus for providing advertisement | |
| CN115330426B (en) | Predicted conversion rate calibration methods, apparatus, computing devices, and storage media |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20191101 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20191108 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200313 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210122 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210216 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210416 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210928 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211026 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6968033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |