JP6355582B2

JP6355582B2 - 評価値算出方法、評価値算出プログラム、及び評価値算出装置

Info

Publication number: JP6355582B2
Application number: JP2015058229A
Authority: JP
Inventors: 征良中村
Original assignee: Yahoo Japan Corp
Current assignee: Yahoo Japan Corp
Priority date: 2015-03-20
Filing date: 2015-03-20
Publication date: 2018-07-11
Anticipated expiration: 2035-03-20
Also published as: JP2016177628A

Description

本発明は、オンライン広告等のインターネット上に掲載されるコンテンツの評価値算出技術に関する。

ウェブに掲載される広告やハイパーリンク（他のファイルへのリンク情報）等のコンテンツを評価する指標として、クリック率（CTR: Click Through Rate）やコンバージョン率が用いられる。クリック率は、クリック回数をインプレッション数で除算した値で表される。インプレッション数はその広告やハイパーリンクが表示された回数である。表示回数が多いと、広告等のコンテンツがインターネットユーザの目に入る機会が多くなるが、ユーザが実際にクリックする回数（クリック数）はコンテンツにより変わるため、表示された回数に対する実際のクリック数が、そのコンテンツがユーザの関心を引いたか否かを示すひとつの指標となる。コンバージョン率は、ユーザが実際に商品やコンテンツを購入したか否かを示す指標であり、コンバージョン（成約）数をクリック数で除算した値で表される。クリック率やコンバージョン率に基づいて収益が決まる後課金タイプのコンテンツの場合、クリック率やコンバージョン率を正しく算出する必要がある。

クリック率はインプレッション数が少ないと信頼性に欠ける。インプレッション数が大きいほど評価結果の信頼性は高くなるが、十分な数のインプレッション数が集まるのを待っていると、広告期間を逃してしまうおそれがある。このような状態に鑑みて、少ないインプレッション数でオンライン広告等のコンテンツの有効性を評価する方法が提案されている（たとえば、特許文献２参照）。

特開２００９−２７１６６１号公報

しかし、従来技術の方法は複雑であり、より簡便で精度の高い手法が望まれる。そこでインプレッション数等の基準値が不足する場合でも、適正に評価値を算出することのできる評価値算出の手法と構成を提供することを課題とする。

オンライン広告を例にとると、「広告」と「広告主（アカウント）」という分類の間に、いくつかの階層的な段階がある。たとえば、広告＜広告グループ＜キャンペーン＜広告主という段階をおって、くくりが大きくなっていく。本発明は、この階層的な構造を評価値の算出に利用する。細分化された階層でインプレッション数等の基準値が不足する場合には、粒度（すなわち細分化の程度）の粗い階層のインプレッション数を利用することで、より細かい粒度で評価値を算出する。

具体的には、本発明の一態様における評価値算出方法は、プロセッサにて、
階層的に体系付けられるコンテンツの評価に用いる基準値を含むデータを収集し、
前記データのうち第１層のデータから前記コンテンツの第１の基準値を取得し、
前記第１の基準値が所定の条件を満たすか否かを判断し、
前記第１の基準値が前記所定の条件を満たさない場合に、前記第１層よりも粒度の粗い第２層のデータに含まれる前記コンテンツの第２の基準値、または前記コンテンツと同じグループに含まれる他のコンテンツの前記第１層での基準値を用いて前記コンテンツの評価値を計算する。

上記の方法により、コンテンツの評価値算出に必要な基準値が不足する場合でも、適正に評価値を算出することができる。

階層的分類の一例を示す図である。実施例１の評価値算出方法のフローチャートである。実施例２の評価値算出方法のフローチャートである。実施例３の評価値算出方法のフローチャートである。評価値算出装置の構成例を示す図である。図５の装置を実現する汎用コンピュータのハードウエア構成を示す図である。

図１は、オンライン広告等のコンテンツを掲載する際の階層構造の一例を示す。表の左側のカラムは階層を示し、中央のカラムはクリック数を、右側のカラムはインプレッション数を示す。この階層構造では、広告（アド）、広告グループ、キャンペーン、広告主の順で枠組みが大きくなっていき、階層が高くなる。「広告主」は「ＩＯ(Insertion Order:広告掲載申込み)」のアカウントで表される。企業によっては、事業部門ごとに異なるアカウントを設定する場合もあるが、ここでは説明の便宜上、広告主とアカウントは１対１対応である場合を想定する。

「キャンペーン」は、ある期間にわたって行われる一連の広告宣伝活動であり、年齢・性別・配信時間帯等のターゲティングや、配信先デバイス（スマートフォン等の無線端末かケーブル接続された端末か）、配信方式、ウェブページ上での配置等が設定される。たとえば化粧品メーカーが広告主の場合、インタレストマッチで配信するスキンケア（基礎）化粧品、中高年の女性をターゲットとする美容サプリメント、トップページに掲載する新商品の美容液等でキャンペーンを分けることができる。同じ商品が複数のキャンペーンに分類される場合もある。

「広告グループ」は、キャンペーン内で同一または共通するテーマやコンセプトでまとめられた広告のグループである。たとえば、ユーザの関心度に基づくマッチングにより配信されるスキンケア化粧品のキャンペーンに、「保湿×洗顔」のグループ、「無添加×化粧水」のグループ、「美白×化粧水」のグループ等を含めることができる。ひとつの広告グループには１以上の広告が含まれ、各広告はタイトルと説明文で構成される。

一般に、広告掲載直後はインプレッション数が少ない。図１の例では、あるソースにおいて着目する広告のインプレッション数は５０、クリック数は１である。広告グループの階層に移ると、インプレッション数は５５００、クリック数は３０である。キャンペーンの階層では、インプレッション数は１８０００、クリック数は３５である。広告主（アカウント）の階層になると、インプレッション数が４００００、クリック数が６５である。

着目する広告を、「保湿×洗顔」の観点で作られた「洗顔後の保湿効果抜群！」というタイトルの広告であるとする。この広告の価値を評価するにはインプレッション数が不足して、正しいクリック率を算出することができない。たまたま広告掲載直後に一人のユーザがクリックした場合に、非常に高いクリック率が出てしまうからである。図１の例でも、クリック率が０．０２（２％）という高い数字となる。

そこで、実施形態では段階的に細分化されるコンテンツについて、細かい粒度の階層でインプレッション数が不足する場合は、上の階層のインプレッション数を利用して評価の信頼性を改善する。たとえば、広告を評価する場合、着目する広告自体のインプレッション数が不足する場合は、上の階層である広告グループのインプレッション数を利用する。同じ広告グループでは、同一又は共通するテーマでの商品・サービスの広告が含まれる場合が多く、着目する広告自体の評価がよく反映されていると考えられるからである。これにより目的とするコンテンツのインプレッション数が評価に必要な数に達していない場合でも、評価の信頼性を確保することができる。

図２は、実施例１の評価値算出方法のフローチャートである。実施例１では、最も細かい粒度である「src.ad」の階層で十分な実績がある場合はそれを利用し、実績が足りない場合は、「src.ad」の階層に替えて、より粒度の粗い階層、たとえば「src.ad」より上の「sec.adg」の階層の実績を利用する。この評価値の算出方法は、式（１）で表される。

広告レベルのインプレッション数Imp_src.adが不足する場合は、広告グループレベルでのインプレッション数とクリック数を用いて、クリック率（ＣＴＲ）をClk_src.adg／Imp_src.adgとして計算する。広告グループレベルでのインプレッション数が広告グループレベルでの評価に必要な数に足りない場合は、さらに上のキャンペーンレベルでのインプレッション数とクリック数を用いてClk_src.camp／Imp_src.campを計算する。

着目する階層によってその階層での評価に適した閾値が異なるため、あらかじめ複数の閾値を設定しておく。閾値は、広告主の規模、扱う商品またはサービスの種類等によっても変わり得る。

図２のフローを参照すると、まず、最も粒度の細かい階層１のコンテンツのインプレッション数Ａ₁とクリック数Ｂ₁を取得し（Ｓ１１）、Ａ₁が閾値１に達するか否かを判断する（Ｓ１２）。インプレッション数Ａ₁が閾値１に達していれば（Ｓ１２でＹＥＳ）、そのコンテンツの評価値をＢ₁／Ａ₁として計算する（Ｓ１３）。インプレッション数Ａ₁が閾値１に満たない場合は（Ｓ１２でＮＯ）、そのコンテンツが含まれる階層２の項目のインプレッション数Ａ₂とクリック数Ｂ₂を取得する（Ｓ１４）。階層２でのインプレッション数Ａ₂が閾値２に達するか否かを判断し（Ｓ１５）、Ａ₂が閾値２に達しているときは（Ｓ１５でＹＥＳ）、評価値をＢ₂／Ａ₂として計算する（Ｓ１６）。インプレッション数Ａ₂が閾値２に満たないときは（Ｓ１５でＮＯ）、そのコンテンツが含まれる階層３の項目のインプレッション数Ａ₃とクリック数Ｂ₃を取得する（Ｓ１７）。階層３でのインプレッション数Ａ₃が閾値３に達するか否かを判断し（Ｓ１８）、Ａ₃が閾値３に達しているときは（Ｓ１８でＹＥＳ）評価値をＢ₃／Ａ₃として計算する（Ｓ１９）。インプレッション数Ａ₃が閾値３に満たない場合は（Ｓ１８でＮＯ）、デフォルトとして、そのソースのインプレッション数とクリック数を用いた評価値Clk_src／Imp_srcを計算する（Ｓ２０）。階層３のインプレッション数の判断（Ｓ１８）とデフォルト値算出の間に、さらに追加の階層の判断を挿入してもよい。

たとえば、式（２）のように、あるソースでの広告主レベルでのインプレッション数も対応する閾値に満たない場合は、特定のソースに限定しないでその広告のインプレッション数Imp_adとクリック数Clk_adを用いて評価値を計算してもよい。

さらに、特定のソースに限定しない広告グループ、キャンペーン、広告主、と順次階層を上げていってもよい。

この方式では、着目する広告自体のインプレッション数が少ない場合でも、評価に必要なインプレッション数を満たす近い階層の評価値を用いることで、広告の価値を適正に評価することができる。

実施例１では、着目する広告のインプレッション数が不足する場合に、その広告のクリック率に替えて、その広告が含まれる広告グループのクリック率を用いた。この場合、階層ごとに評価に適した別々の閾値を用いるので、閾値の設定が煩雑になる場合もある。

そこで、実施例２では、一つの閾値を用い、上の階層から不足する分のインプレッション数だけを借用して評価値を計算する。この方法は、式（３）で表される。

式３の意味は、あるソースで着目する広告のインプレッション数が閾値に達する場合は（Imp_src.ad≧Threshold）、その広告のインプレッション数とクリック数を用いてクリック率をClk_src.ad／Imp_src.adで計算する。広告のインプレッション数が閾値に満たない場合でも広告のインプレッション数と広告グループのインプレッション数の合計が閾値に達する場合は、不足分だけを上の階層の広告グループのインプレッション数から補う。このときの評価値は、
［Clk_src.ad＋(Threshold−Imp_src.ad)・CTR_src.adg］／Threshold
となる。

広告レベルと広告グループレベルでのインプレッション数の合計が閾値に満たない場合であっても、広告、広告グループ、及びキャンペーンのインプレッション数の合計が閾値に達するならば、不足分を上の階層のインプレッション数から順次補う。このときの評価値は、
［Clk_src.ad＋Clk_src.adg＋(Threshold−Imp_src.ad−CImp_src.adg)・CTR_src.camp］／Threshold
となる。

図１の例を参照して、着目する広告の評価に必要なインプレッション数を２００００とする。広告のインプレッション数が不足するので、広告グループのインプレッション数５５００と、キャンペーンのインプレッション数１４４５０を用いて評価値を計算する。このときのクリック率は、０．００２４５（０．２４５％）である。広告のみのクリック数とインプレッション数を用いると過大な評価となってしまうが、上の階層から不足分を補って評価に適したインプレッション数とすることで、広告の価値を適正に評価する。また、不足分をすべて広告主のインプレッション数で補うと、広告自体の評価が十分に反映されずに過少評価となりやすいが、この問題も回避できる。

図３は、実施例２の評価値算出方法のフローチャートである。まず、階層１のコンテンツのインプレッション数Ａ₁とクリック数Ｂ₁を取得し（Ｓ２１）、Ａ₁が閾値Thに達するか否かを判断する（Ｓ２２）。そのコンテンツのインプレッション数Ａ₁が閾値Thに達していれば（Ｓ２２でＹＥＳ）、評価値をＢ₁／Ａ₁として計算する（Ｓ２３）。インプレッション数Ａ₁が閾値Thに満たない場合は（Ｓ２２でＮＯ）、そのコンテンツが含まれる階層２の項目のインプレッション数Ａ₂とクリック数Ｂ₂を取得し（Ｓ２４）、Ａ₁とＡ₂の合計が閾値Thに達するか否かを判断する（Ｓ２５）。Ａ₁とＡ₂の合計が閾値Thに達していれば（Ｓ２５でＹＥＳ）、評価値を［Ｂ₁+(Th-Ａ₁)Ｂ₂/Ａ₂］/Thとして計算する（Ｓ２６）。この評価値におけるＢ₂/Ａ₂は階層２の項目のクリック率であるから、式（３）のように、評価値を［Ｂ₁+(Th-Ａ₁)*CTR₂］/Thと表すことができる。

Ａ₁とＡ₂の合計が閾値Thに満たない場合は（Ｓ２５でＮＯ）、着目するコンテンツが含まれる階層３の項目のインプレッション数Ａ₃とクリック数Ｂ₃を取得し（Ｓ２７）、Ａ₁とＡ₂とＡ₃の合計が閾値Thに達するか否かを判断する（Ｓ２８）。Ａ₁とＡ₂とＡ₃の合計が閾値Thに達していれば（Ｓ２８でＹＥＳ）、評価値を［Ｂ₁+Ｂ₂+(Th-Ａ₁-Ａ₂)Ｂ₃/Ａ₃］/Thとして計算する（Ｓ２９）。この評価値におけるＢ₃/Ａ₃は階層３の項目のクリック率であるから、式（３）のように、評価値を［Ｂ₁+Ｂ₂+ (Th-Ａ₁-Ａ₂)*CTR₃］/Thと表すことができる。インプレッション数の合計Ａ₁+Ａ₂+Ａ₃が閾値Thに満たない場合は（Ｓ２８でＮＯ）、デフォルトとして、そのソースでのインプレッション数とクリック数を用いた評価値Clk_src／Imp_srcを計算する（Ｓ３０）。階層３のインプレッション数を含めた閾値判断（Ｓ２８）とデフォルト値算出の間に、さらに追加の階層の判断、たとえば、特定のソースに限定しない広告のインプレッション数から不足分を補ってもよい。

実施例２の方法は、着目する広告を主体として不足分のみをより粒度の粗い階層（たとえば直上の階層）から順に補っていく。評価したい広告自体のクリック率が適切に反映され、インプレッション数が少ない場合でも評価の信頼性を維持することができる。また、一つの広告評価について用いる閾値はひとつなので、閾値設定の煩雑さを低減することができる。

実施例２では、あるソースでの広告のインプレッション数が不足する場合に、不足分をより粒度の粗い階層のインプレッション数から補っていた。実施例３では、あるソースでの広告のインプレッション数が不足する場合に、同じ広告グループ内の他の広告のインプレッション数から補充する。同じ広告グループ内には同一または共通するテーマやコンセプトで作成される広告が含まれることが多く、同程度または類似する広告効果を達成することが期待される。着目する広告のインプレッション数を主体として、不足分を同じ広告グループ内の別の広告のインプレッション数で補うことで、インプレッション数が少ない場合でも評価の信頼性を維持する。

図４は、実施例３の評価値算出方法のフローチャートである。まず、最も粒度の細かい階層１のコンテンツのインプレッション数Ａ_1aとクリック数Ｂ_1aを取得し（Ｓ３１）、インプレッション数Ａ_1aが閾値Thに達しているか否かを判断する（Ｓ３２）。着目するコンテンツのインプレッション数Ａ_1aが閾値Thに達している場合は（Ｓ３２でＹＥＳ）、そのコンテンツの評価値をＢ_1a／Ａ_1aとして計算する（Ｓ３３）。インプレッション数Ａ_1aが閾値Thに満たない場合は（Ｓ３２でＮＯ）、着目するコンテンツと同じグループ内の他のコンテンツがあるか否かを判断する（Ｓ３４）。同じグループ内に他のコンテンツがある場合は他のコンテンツのインプレッション数Ａ_1bとクリック数Ｂ_1bを取得し（Ｓ３５）、Ａ_1aとＡ_1bの合計が閾値Thに達するか否かを判断する（Ｓ３６）。Ａ_1aとＡ_1bの合計が閾値Thに達していれば（Ｓ３６でＹＥＳ）、評価値を［Ｂ_1a+(Th-Ａ_1a)Ｂ_1b/Ａ_1b］/Thとして計算する（Ｓ２７）。この評価値におけるＢ_1b/Ａ_1bは、階層１で着目するコンテンツと同じグループに含まれる別のコンテンツのクリック率であるから、評価値を［Ｂ₁+(Th-Ａ₁)*CTR_1b］/Thと表すことができる。

Ａ_1aとＡ_1bの合計が閾値Thに達しない場合は（Ｓ３６でＮＯ）、ステップＳ３４に戻り、閾値Thに達するまでＳ３４〜Ｓ３６を繰り返す。この場合、Ｓ３６の不等式の左辺には、同じグループ内の別のコンテンツのインプレッション数が順次加算されていく。Ｓ３７の評価値の(Th-Ａ_1a)*CTR_1bの項も、(Th-Ａ_1a-Ａ_1b)*CTR_1cのように更新される。

同じグループ内にあるコンテンツについてＳ３４〜Ｓ３６を繰り返しても閾値Thに達しない場合は（Ｓ３６及びＳ３４でＮＯ）、着目するコンテンツが含まれる階層２の項目のインプレッション数Ａ₂とクリック数Ｂ₂を取得する（Ｓ３８）。階層１で取得したトータルのインプレッション数Ａ_1totalと階層２のインプレッション数Ａ₂の合計が閾値Thに達するかを判断する（Ｓ３９）。インプレッション数Ａ_1totalとＡ₂の合計が閾値Thに達していれば（Ｓ３９でＹＥＳ）、評価値を［Ｂ_1total+(Th-Ａ_1total)Ｂ₂/Ａ₂］/Thとして計算する（Ｓ４０）。この評価値におけるＢ₂/Ａ₂は階層２のクリック率であるから、評価値を［Ｂ_1total+(Th-Ａ_1total)*CTR₂］/Thと表すことができる。インプレッション数の合計Ａ_1total+Ａ₂が閾値Thに満たない場合は（Ｓ３９でＮＯ）、デフォルトとして、そのソースでのインプレッション数とクリック数を用いた評価値Clk_src／Imp_srcを計算する（Ｓ４１）。階層２のインプレッション数を含めた閾値判断（Ｓ３９）とデフォルト値算出の間に、さらに追加の階層の判断、たとえば、特定のソースに限定しない広告のインプレッション数から不足分を補ってもよい。

実施例３の変形例として、同じグループ内の広告同士の類似度をあらかじめ決定しておき、着目する広告のインプレッション数が足りない場合に、不足分を類似度の高い広告のインプレッション数から順に補っていくことが考えられる。この方法によると、着目する広告の価値をより高い信頼性をもって評価することができる。また、類似度があるレベル以下の広告はインプレッション数の補充に利用せずに、上の階層のインプレッション数の利用に移行する構成にしてもよい。

上述した実施例では、評価値としてクリック率を用いたが、広告のコンバージョン率を評価値とする場合も実施例１〜３の手法を用いることができる。この場合は、分母となるクリック数に閾値を設定し、クリック数が閾値に満たない場合に、上の階層のクリック数を利用する。実施例３の変形例のように、上の階層のクリック数を利用する前に、同じグループ内の一部または全部の広告のクリック数を利用してもよい。
＜評価値算出装置＞
図５は、実施形態の評価値算出装置５０の概略図である。上述したコンテンツの評価値の算出は、評価値算出装置５０により自動的に行なわれる。評価値算出装置５０は、データ入力部５７と、処理部５１と、閾値データベース（ＤＢ）５８と、評価値出力部５９を有する。処理部５１は、統計処理部５２、階層別データ取得部５３、閾値設定部５４、及び評価値計算部５５を含む。

データ入力部５７は、インターネット上に掲載される広告等のコンテンツのインプレッションとクリックのカウンタ値を入力する。データ入力部５７自体がカウンタ機能を有していてもよいし、外部のカウンタからの入力値を用いてもよい。インプレッションは、広告等がエンドユーザに配信されたときにカウントされる。エンドユーザがあるソースにアクセスした時点でユーザの識別情報が読み取られ、そのソースに掲載される広告が決定されている。広告を含むページがユーザに送信されるとインプレッションが１回カウントされる。クリック数は、リダイレクトページを用いてカウントしてもよいし、広告主側によるカウンタ値を入力してもよい。また、エンドユーザが最終的に商品やサービスを購入したときのコンバージョン数を収集する。

統計処理部５２は、データ入力部５７で収集された情報を、広告主（アカウント）単位で階層別に分類し、順次更新する。たとえば広告Ｘのカウント情報が入力されたときは、広告自体のカウンタ値の他、その広告が含まれる広告グループ、キャンペーン、広告主のカウンタ値を更新する。

階層別データ取得部５３は、統計処理部５２から評価値算出に必要な情報を取得する。たとえば、広告Ｘの価値を評価するときは、広告Ｘの各階層でのインプレッション数、クリック数、コンバージョン数等を取得する。

閾値設定部５４は、閾値データベース５８を参照して評価値算出に用いる閾値を設定する。閾値データベース５８は、処理部５１が用いる閾値を格納する。実施例１の場合は、ひとつの広告について、それぞれの階層で用いる複数の閾値が対応付けられて格納されている。実施例２及び３の場合は、ひとつの広告の評価にひとつの閾値が用いられるので、広告と単一の閾値とが対応付けられて格納されている。

評価値計算部５５は、階層別データ取得部５３で取得されたデータ値と、閾値設定部５４で設定された閾値を用いて、広告等のコンテンツの評価値を計算する。また、評価値算出の基準となる数（クリック率におけるインプレッション数、コンバージョン率におけるクリック数等）が適切な数であるか否かを閾値を用いて判断する。評価値出力部５９は、算出された評価値を出力する。

図５の評価値算出装置５０は、評価値算出プログラムを用いて、図６の汎用コンピュータで実現されてもよい。図６は、汎用コンピュータ６０のハードウエア構成を示す。汎用コンピュータ６０では、ＣＰＵ（Central Processing Unit：中央演算装置）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３、及び入出力インターフェース６５がバス６４により相互接続されている。入出力インターフェース６５には、入力部６６、出力部６７、記憶部６８、ドライブ７１が接続される。ドライブ７１を介してリムーバブルメディア８１が接続されてもよい。

ＣＰＵ６１は、ＲＯＭ６２またはハードディスクドライブ等の記憶部６８に記録されたプログラムに従って、一連の処理手順を実行する。ＲＡＭ８３は、ＣＰＵ６１が実行する処理過程や処理結果のデータを適宜記憶する。処理に用いるプログラムやデータは通信部６９を介して外部から取得してもよい。ドライブ７１は、各種の記録媒体（光ディスク等）を含むリムーバブルメディア８１が挿入されたときにそれらを駆動する。入力部６６はキーボード、マウス、タッチパネル画面等を含む。出力部６７は、ディスプレイ、スピーカ等を含む。

ＲＯＭ６２または記憶部６８に記録されたコンピュータは、ＣＰＵ６１にたとえば以下の手順を実行させる。

階層的に体系付けられるコンテンツ（オンライン広告等）の評価に用いる基準値（インプレッション数など）を含むデータを収集する手順と、
収集されたデータのうち第１層（たとえば「広告」レベル）のデータから当該コンテンツの第１の基準値を取得する手順と、
前記第１の基準値が閾値を満たすか否かを判断する手順と、
前記第１の基準値が閾値を満たさない場合に、前記第１層よりも粒度の粗い第２層（たとえば「広告グループ」レベル）のデータに含まれる当該コンテンツの第２の基準値、または当該コンテンツと同じグループに含まれる他のコンテンツの第１層での基準値を用いて評価対象のコンテンツの評価値を計算する手順。

これにより、評価対象のコンテンツにつき十分な基準値を得られない場合でも、より粒度の粗い上の階層のデータを用いてコンテンツの価値を適切に評価することができる。

実施例では、評価対象のコンテンツとしてオンライン広告を例にとったが、本発明は階層的に分類される任意のコンテンツの評価に用いることができる。たとえば、オンラインニュースの記事やオンラインショッピングの商品の評価に用いることができる。記事の場合、新聞社ごとに記事のカテゴリー（スポーツ、経済、社会、芸術）を分類する。カテゴリーごとにさらに複数のグループ（スポーツの場合はサッカー、野球、テニス等のグループ、芸術の場合は絵画、映画、書籍等のグループ）に分け、それぞれのグループ内の記事タイトルへのクリック率を評価値とすることができる。あるソースでの記事タイトルのインプレッション数（表示回数）が閾値に満たない場合は、その記事が属する上層のグループのインプレッション数から順に利用する。この方法は、特に評価値によって課金額が決まる後課金タイプのコンテンツの評価に有用である。

また、実施形態では評価値としてクリック率、コンバージョン率等の広告評価値を用いたが、あるコンテンツに対するユーザの滞在時間や直帰率をそのコンテンツの評価値としてもよい。滞在時間は、あるコンテンツに対してユーザが一回表示あたりどの程度の時間滞在していたかを示し、複数のユーザの滞在時間の平均で表される。直帰率は、最初に見たページ（ランディングページ）から他のページを訪れずにそのサイトから離れる割合である。たとえばあるページに１０人のユーザが最初にアクセスし、８人が他のページを見ないでそのサイトから離れ、２人がそのページから他の関連ページに移行した場合、直帰率は８０％である。滞在時間や直帰率はそのコンテンツがどれだけユーザの関心を惹いたかを表わすの指標となる。これらの例ではユーザ数が基準値になり、ユーザ数が多いほど評価の信頼性は高くなる。ユーザ数が不足する場合は、そのページまたはコンテンツが属する上の階層（より粒度の粗い階層）からユーザ数を補うことで、評価の信頼性を高めることができる。なお、基準値としてはインプレッション数、クリック数、ユーザ数以外に広告配信にともなう任意のログの数を用いてもよい。

５０評価値算出装置
５１処理部
５２統計処理部
５３階層別データ取得部
５４閾値設定部
５５評価値計算部
５７データ入力部
５８閾値データベース
５９評価値出力部

Claims

プロセッサにて、
階層的に体系付けられるコンテンツの評価に用いる基準値を含むデータを収集し、
前記データのうち第１層のデータから前記コンテンツの第１の基準値を取得し、
前記第１の基準値が所定の条件を満たすか否かを判断し、
前記第１の基準値が前記所定の条件を満たさない場合に、前記第１層よりも粒度の粗い第２層のデータに含まれる前記コンテンツの第２の基準値、または前記コンテンツと同じグループに含まれる他のコンテンツの前記第１層での基準値を用いて前記コンテンツの評価値を計算し、
前記所定の条件は、所定の閾値に達することであり、前記閾値は、前記閾値と前記コンテンツの階層が対応付けられた、または前記閾値と前記コンテンツとが対応付けられた閾値データベースを参照して設定され、
前記第１の基準値が前記閾値に満たない場合に、前記閾値に対する不足分を前記第２の基準値または前記他のコンテンツの基準値から補充することを特徴とする評価値算出方法。
前記第１の基準値が前記所定の条件を満たさない場合に、前記第１の基準値に替えて前記第２の基準値を用いて前記コンテンツの評価値を計算することを特徴とする請求項１に記載の評価値算出方法。
前記第１の基準値が前記所定の条件を満たさない場合に、前記第１の基準値と前記第２の基準値とを用いて前記コンテンツの評価値を計算することを特徴とする請求項１に記載の評価値算出方法。
前記第１の基準値が前記所定の条件を満たさない場合に、前記他のコンテンツの基準値を取得し、
前記第１の基準値と前記他のコンテンツの基準値の合計が前記所定の条件を満たす場合に、前記第１の基準値と前記他のコンテンツの基準値とを用いて前記コンテンツの評価値を計算することを特徴とする請求項１に記載の評価値算出方法。
前記第１の基準値と前記他のコンテンツの基準値の合計が前記閾値に達しない場合に、前記閾値に対する不足分を前記第２の基準値から補充することを特徴とする請求項４に記載の評価値算出方法。
前記評価値は広告評価値であり、前記基準値は広告配信にともなうログであることを特長とする請求項１〜５のいずれかに記載の評価値算出方法。
前記評価値は、クリック率、コンバージョン率、滞在時間、直帰率の少なくとも一つを含み、前記基準値は前記クリック率の算出のためのインプレッション数、前記コンバージョン率の算出のためのクリック数、前記コンテンツにアクセスしたユーザ数の少なくとも一つを含むことを特徴とする請求項６に記載の評価値算出方法。
コンピュータに以下の手順を実行させるプログラムであって、
階層的に体系付けられるコンテンツの評価に用いる基準値を含むデータを収集する手順と、
前記データのうち第１層のデータから前記コンテンツの第１の基準値を取得する手順と、
前記第１の基準値が所定の条件を満たすか否かを判断する手順と、
前記第１の基準値が前記所定の条件を満たさない場合に、前記第１層よりも粒度の粗い第２層のデータに含まれる前記コンテンツの第２の基準値、または前記コンテンツと同じグループに含まれる他のコンテンツの前記第１層での基準値を用いて前記コンテンツの評価値を計算する手順と、
を実行させ、
前記所定の条件は、所定の閾値に達することであり、前記閾値は、前記閾値と前記コンテンツの階層が対応付けられた、または前記閾値と前記コンテンツとが対応付けられた閾値データベースを参照して設定され、
前記第１の基準値が前記閾値に満たない場合に、前記閾値に対する不足分を前記第２の基準値または前記他のコンテンツの基準値から補充することを特徴とする評価値算出プログラム。
階層的に体系付けられるコンテンツの評価に用いる基準値を含むデータを入力する入力部と、
前記データのうち第１層のデータから前記コンテンツの第１の基準値を取得する取得部と、
前記第１の基準値が所定の条件を満たすか否かを判断し、前記第１の基準値が前記所定の条件を満たさない場合に、前記第１層よりも粒度の粗い第２層のデータに含まれる前記コンテンツの第２の基準値、または前記コンテンツと同じグループに含まれる他のコンテンツの前記第１層での基準値を用いて前記コンテンツの評価値を計算する計算部と、
所定の閾値を前記コンテンツまたは前記コンテンツの階層と対応付けて保存する閾値データベースと
を有し、
前記所定の条件は、前記閾値データベースを参照して設定される前記所定の閾値に達することであり、
前記計算部は、前記第１の基準値が前記閾値に満たない場合に、前記閾値に対する不足分を前記第２の基準値または前記他のコンテンツの基準値から補充することを特徴とする評価値算出装置。