JP7717049B2 - 表示コンテンツの有効性評価のためにデータを収集するシステム及び方法 - Google Patents

Description

本発明は、ネットワーク環境内で、例えば、異なるソースまたはソフトウェアからリアルタイムで様々なデータを収集する技術に関する。そのデータを使用して、ネットワークを介しても利用可能であってよい表示コンテンツの性能を評価する。特に、本発明は、表示コンテンツに対するユーザの注意の測定を可能にするデータを大規模に収集する技術に関する。本明細書において、表示コンテンツは、ネットワーク対応デバイスを使用してユーザが消費できる任意の情報であってよい。例えば、コンテンツは、メディアコンテンツ（例えば、ビデオ、音楽、画像）、広告コンテンツ、及びウェブページ情報のうちの任意のものであってよい。

広告、ミュージックビデオ、映画などの特定の種類のメディアコンテンツは、例えば、ユーザの注意を引く、または、他の形でユーザの注意力を高める等、消費者の感情状態の変化を誘発することを目的としている。広告の場合、この感情状態の変化を売上高の伸びなどの業績に変換することが望ましい場合がある。例えば、テレビコマーシャルは、関連する製品の売り上げを伸ばすことを目指している場合がある。公開前にメディアコンテンツの性能を評価できるツールが求められている。

自己申告フィードバックとも呼ばれるアクティブフィードバックは、ビデオコマーシャルなどのメディアコンテンツの性能を判断または予測する試みに使用されることがある。アクティブユーザフィードバックの場合、ユーザはメディアコンテンツを消費した後、口頭または書面でフィードバックを提供する。例えば、ユーザは、手動で、または音声認識ツールを使用して自動化された方法などで、質問票に記入したり、分析のために記録できる音声フィードバックを提供したりする場合がある。フィードバックは、メディアコンテンツの消費中に経験した感情状態を示すものを含んでよい。ただし、ユーザのアクティブフィードバックは、実際に経験した（受動的な）感情状態ではなく、合理化された意識的な思考プロセスから得られる。ユーザの好みは意識的な認識の外にあり、受動的な感情状態に強く影響されることが分かっている。したがって、メディアコンテンツの性能は、感情状態のアクティブフィードバックを使用して正確に予測することはできない。

感情状態データは、例えば、ユーザがメディアを消費している間など、ユーザの行動特性または生理学的特性を示すデータを収集することによって、受動的にも測定できることが知られている。一例では、顔の反応は、経験した感情状態の受動的指標として使用することができる。ウェブカメラによるビデオ取得は、メディアコンテンツがユーザによって消費されるときに画像フレームをキャプチャすることにより、顔の反応を監視するために使用することができる。したがって、ビデオ画像を処理することにより、ウェブカメラを使用して感情状態をキャプチャすることができる。

生理学的パラメータも、経験した感情状態の良い指標になり得る。多くの生理学的パラメータは意識的に制御できない、すなわち、消費者は生理学的パラメータに影響を与えない。したがって、生理学的パラメータを使用して、メディアコンテンツを消費しているユーザの真の感情状態を判断することができ、これは、原則として、メディアコンテンツの性能の正確な予測に使用することができる。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

ユーザが上記のタイプの生理学的パラメータを記録できるウェアラブルまたはポータブルデバイスを所有することがますます一般的になっている。これにより、このような生理学的測定値を大きなサンプルサイズに拡張し得る可能性が広がり、統計的変動（ノイズ）を除去して、メディアコンテンツ性能との相関関係が分かるようになる。

このように測定された感情状態情報は、メディアコンテンツ性能、特に売上高の伸びと相関することが分かっている。クライアントデバイスでのウェブカメラの急増は、このタイプのデータのキャプチャを大きなサンプルサイズに拡張できることを意味する。

ユーザの行動特性は、様々な形で現れ得る。本明細書における「行動データ」または「行動情報」とは、ユーザの応答の視覚的側面を指してよい。例えば、行動情報には、顔の反応、頭部と体のジェスチャもしくは姿勢、及び視線追跡が含まれてよい。実際には、感情状態情報を取得するために、行動データ、生理学的データ、及び自己申告データを含む生データ入力の組み合わせを使用することが望ましい場合がある。上記のソースの２つまたは３つからの生データの組み合わせは、「誤った」指標を特定するのに役立つ場合がある。例えば、３つのソース全てから導出された感情状態データが重複または一致している場合、取得された信号の信頼性が高まる。信号に不一致がある場合、誤った読み取りを示している可能性がある。

現在表示されているメディアコンテンツ以外の何かに反応しているユーザについて行動特性が記録されている場合、誤った表示が発生することがある。例えば、メディアコンテンツが表示されている間に、ユーザが他の人に気を取られる場合がある。そのような状況では、ユーザの行動特性は主に他の人との会話によって影響を受ける場合があり、したがってメディアコンテンツに対するユーザの応答を正確に反映していない。したがって、メディアコンテンツに対するユーザの注意力または関与は、収集されたユーザの行動特性の関連性を判断する際の重要な要因である。

ウェブ対応の消費者向けデバイスの急増は、マーケターが消費者の注意を引くことがますます困難になっていることを意味する。消費者が広告メッセージの影響を受けるためには、消費者が注意を払うことが不可欠である。消費者の注意をそらせることが容易であることは、視聴者の注意力を正確に追跡することがますます望まれることを意味する。インプレッション数、ビュー数、クリックスルー数などを含み得る現在の測定基準では、この情報は提供されない。特に、現在の測定基準は、視聴者の注意がそれた原因についての理解を助けるための情報を提供していない。

最も一般的には、本発明は、注意力を迅速かつスケーラブルに追跡するためのシステム及び方法を提案する。このシステムは、消費者（ユーザ）がコンテンツを視聴している間に複数のクライアントデバイスから関連するデータストリームを収集する手段と、実際の注意を示す１つまたは複数の注意力測定基準を出力するＡＩ駆動モジュールを用いて、収集されたデータを分析する手段と、収集されたデータを注意力測定基準と同期する手段とを備える。

システムは、データを集約して、コンテンツの有効性に関する有意義なレポートを生成できるように構成することができる。特に、注意力測定基準を他のデータストリームと同期させる能力により、注意を促進する理由にアクセスできるようになる。この情報を使用して、コンテンツの配信を、その有効性を最適化する場所に向けることができる推奨事項を生成することが可能になる。データは、複数の消費者（例えば、共通の人口統計学的属性または関心を持つユーザの集まり）について、または、複数のコンテンツ（例えば、共通のテーマを持つ、または同じ広告主からの異なるビデオ広告）について、または特定の市場キャンペーン（例えば、共通の広告キャンペーンにリンクされている様々な広告からのデータ）について、またはブランド（例えば、ブランドに言及している、または他の形でブランドにリンクされている全てのコンテンツからのデータ）について、集約されてよい。

本発明のシステム及び方法は、広告キャンペーンの最適化を容易にするのに使用できる可能性がある。収集されたデータにより、所与の広告キャンペーンの注意シェア、または実際にいくつかのキャンペーン内に表示されているブランドの注意シェアを効果的にリアルタイムで監視可能にした。本発明のシステム及び方法は、注意を促進する理由について報告する能力を提供してよく、これは、次に、キャンペーン目標を達成するために広告配信戦略を最適化するために取るべきステップを決定するのに役立ち得る。キャンペーン目標は、システムで測定可能なパラメータに対して設定されてよい。例えば、広告キャンペーンは、所与の予算に対して合計注意時間を最大化するという目標を有する場合がある。別の例では、キャンペーン目標は、例えば特定の人口統計学的グループから、または特定の地理的領域内で、特定のタイプの注意、または特定の肯定的な感情のコンテキストでの注意を最大化することであってよい。別の例では、キャンペーン目標は、最低のコストで一定レベルの注意に到達することであってよい。以下でより詳細に説明するように、システムはデータを使用してキャンペーン目標に対する性能を報告できるだけでなく、特定の追加アクションがその性能にどのように影響するかを予測することもできる。そのため、システムは、キャンペーン目標に対する性能への予測される効果によってサポートされる推奨アクションを提供することによって、広告キャンペーンを最適化するツールを提供する。

追加的または代替的に、本発明のシステム及び方法は、注意に関連する感情状態について報告することができる。これにより、広告またはブランドが肯定的に認識されているか否定的に認識されているかについてのフィードバックを提供し得る。

本発明によれば、コンテンツの表示に払われた注意を判断するためにデータを収集するコンピュータ実装方法が提供される。この方法は、クライアントデバイスにコンテンツを表示することと、コンテンツ表示中のユーザとクライアントデバイスの相互作用を示すコンテキスト属性データを、クライアントデバイスからネットワークを介して分析サーバに送信することと、コンテンツ表示中のユーザの行動データをクライアントデバイスで収集することと、ユーザの注意データを生成するべく、行動データを分類アルゴリズムに適用することであって、分類アルゴリズムは、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、注意データは、コンテンツ表示中の経時的な注意力パラメータの変動を示す、適用することと、注意力パラメータの経時的な進展をコンテンツ表示中に取得された対応するコンテキスト属性データとリンクさせる有効性データセットを生成するべく、分析サーバで、注意データをコンテキスト属性データと同期することと、有効性データセットをデータストアに記憶することと、を含む。

一例では、表示されるコンテンツは、メディアコンテンツを含み得る。したがって、この方法は、クライアントデバイス上で実行されているメディアプレーヤアプリケーションを使用して、メディアコンテンツを再生することをさらに含んでよく、コンテキスト属性データは、メディアコンテンツ再生中のユーザとメディアプレーヤアプリケーションとの相互作用をさらに示す。メディアプレーヤアプリケーションは、ネットワークを介して分析サーバに、メディアプレーヤアプリケーションの制御分析データを送信するように構成されたアダプタモジュールを備えてよく、この方法は、表示されるメディアコンテンツを受信すると、アダプタモジュールを実行することを含む。

表示されるコンテンツは、クライアントデバイス上でローカルに（例えば、その上で実行されているソフトウェアによって）生成されてよい。例えば、表示されるコンテンツは、ローカルで実行されるゲームまたはアプリに関連してよい。追加的または代替的に、表示されるコンテンツは、例えばダウンロード、ストリーミングなどによってウェブから取得されてよい。したがって、コンテンツを表示するステップは、クライアントデバイスによってネットワークを介して、コンテンツサーバによってホストされるウェブドメイン上のウェブページにアクセスすることと、クライアントデバイスによってネットワークを介して、ウェブページによって表示されるコンテンツを受信することとを含み得る。

したがって、この方法は、クライアントデバイスから次のタイプのデータのうちの２つ以上を収集するように動作することができる（ｉ）ウェブページからのコンテキスト属性データ、（ｉｉ）メディアプレーヤアプリケーション（使用される場合）からのコンテキスト属性データ、及び（ｉｉｉ）行動データ。注意データが、収集されたデータから抽出され、全てのデータが同期されて、注意の原因または推進要因を調査できるようになる。

クライアントデバイスから収集されたデータに加えて、分析サーバは、他のソースからユーザに関する追加情報を取得してよい。追加情報は、人口統計学的属性、ユーザの好み、ユーザの関心などを示すデータを含み得る。追加データは、例えば、注意データを人口統計学的属性、ユーザの好みまたは関心などによってフィルタリングまたはソート可能にするラベルとして、有効性データセットに組み込まれてよい。

追加データは、様々な方法で取得されてよい。例えば、分析サーバは、プログラマティック広告を実行するためのデマンドサイドプラットフォーム（ＤＳＰ）などの広告システムと（直接またはネットワークを介して）通信してよい。追加情報は、ＤＳＰが保持するユーザプロファイルから取得されてよい、または、クイズからのフィードバックとして、もしくはソーシャルネットワークの相互作用を通してユーザから直接取得することもできる。追加情報は、クライアントデバイス上のウェブカメラによってキャプチャされた画像を分析することによって取得されてもよい。

メディアコンテンツは、ビデオ広告などのビデオであってよい。注意データとコンテキスト属性データの同期は、ビデオがメディアプレーヤアプリケーションで再生されたタイムラインに関連してよい。行動データ及びコンテキスト属性データは、様々なデータ間の時間的関係を確立することを可能にするようにタイムスタンプを付けられてよい。

ウェブページでのメディアコンテンツの表示は、ウェブページにアクセスすることによって、またはウェブページ上で何らかの所定のアクションを行うことによってトリガされてよい。メディアコンテンツは、ウェブドメインでホストされてよい、例えば、ウェブページのコンテンツに直接埋め込まれてよい。あるいは、メディアコンテンツは別のエンティティから取得されてよい。例えば、コンテンツサーバは、広告主にウェブページのスペースを提供する発行者であってよい。メディアコンテンツは、ウェブページのスペースを埋めるために広告サーバから（例えば、広告入札プロセスの結果として）送信される広告であってよい。

したがって、メディアコンテンツは、コンテンツサーバの制御外にあってよい。同様に、メディアコンテンツが再生されるメディアプレーヤアプリケーションは、クライアントデバイスに常駐するソフトウェアでなくてもよい。したがって、ウェブページに関連するコンテキスト属性データは、メディアプレーヤアプリケーションに関連するコンテキスト属性データとは独立して取得することが必要な場合がある。

分類アルゴリズムは、分析サーバに配置されてよい。中心となる場所があると、アルゴリズムの更新プロセスを容易にし得る。しかしながら、分類アルゴリズムがクライアントデバイスにあることも可能であり、その場合、行動データを分析サーバに送信する代わりに、クライアントデバイスが注意及び感情データを送信するように構成される。ローカルデバイスに分類アルゴリズムを備えることの利点は、ユーザの行動データをユーザのコンピュータから送信する必要がないため、ユーザのプライバシが向上することである。分類アルゴリズムをローカルで実行すると、分析サーバに必要な処理能力がはるかに少なくなることも意味し、コストを節約することができる。

ウェブページにアクセスすることは、クライアントデバイスで実行するためのコンテキストデータ開始スクリプトを取得することを含み得る。コンテキストデータ開始スクリプトは、機械可読コードであってよく、例えば、ウェブページのヘッダ内のタグに配置されてよい。

あるいは、コンテキストデータ開始スクリプトは、通信フレームワーク内で提供されてもよく、通信フレームワークを通してコンテンツがクライアントデバイスに供給される。例えば、コンテンツがビデオ広告である場合、通信フレームワークには通常、クライアントデバイスからの広告要求と、広告サーバからクライアントデバイスに送信されるビデオ広告応答が含まれる。コンテキストデータ開始スクリプトは、ビデオ広告応答に含まれてよい。ビデオ広告応答は、動画広告掲出テンプレート（ＶＡＳＴ）規格（例えば、ＶＡＳＴ３．０またはＶＡＳＴ４．０）に沿ってフォーマットされてよい、または、例えば、動画プレーヤ広告インタフェース定義（ＶＰＡＩＤ）、モバイルリッチメディア広告インタフェース定義（ＭＲＡＩＤ）などの任意の他の広告応答規格に準拠してよい。

さらなる代替案では、コンテキストデータ開始スクリプトは、発行者（すなわち、ウェブページの発信者）とユーザ（すなわち、クライアントデバイス）との間の仲介者でウェブページソースコードに注入されてよい。仲介者は、プロキシサーバの場合もあれば、クライアントに関連付けられたネットワークルータ内のコードインジェクションコンポーネントの場合もある。これらの例では、発行者は、コンテキストデータ開始スクリプトをそのバージョンのウェブページに組み込む必要はない。これは、あらゆるウェブページのヒットに応答してコンテキストデータ開始スクリプトを送信する必要がないことを意味する。さらに、この技術により、行動データの収集を許可したユーザに関連付けられているクライアントデバイスからの要求にのみスクリプトを含めることを可能にし得る。いくつかの例では、そのようなユーザは、より広いオーディエンスにリリースされる前に、ウェブコンテンツの有効性を評価するためのパネルを形成し得る。

この方法は、コンテンツが表示される前に、クライアントデバイスでコンテキストデータ開始スクリプトを実行して、１つまたは複数の予備動作を実行することをさらに含み得る。予備動作は、コンテキスト属性データ及び動作データを分析サーバに送信することへの同意を判断すること、行動データを収集するためのデバイスの利用可能性を判断すること、及び、ユーザが行動データ収集のために選択されているかどうかを確認することのうちのいずれかを含む。この方法は、コンテキストデータ開始スクリプトを使用するクライアントデバイスによって、（ｉ）行動データの送信への同意が保留されていること、または（ｉｉ）行動データを収集するためのデバイスが利用できないこと、または（ｉｉｉ）行動データ収集のためのユーザが選択されていないことを判断すると、行動データ収集手順を終了することを含み得る。これらの基準のいずれか１つを判断すると、行動データ収集手順を終了させてよい。この場合、クライアントデバイスはコンテキスト属性データのみを分析サーバに送信してよい。以下で説明するように、コンテキスト属性データを使用して注意データを予測することができる。

行動データの収集は、カメラ、例えばウェブカメラまたは同様のデバイスを使用してユーザの画像をキャプチャすることを含み得る。キャプチャされた画像は、個別の画像またはビデオであってよい。画像は、好ましくは、ユーザの顔及び上半身をキャプチャし、すなわち、姿勢、頭部姿勢などの変化が観察可能であるようにする。コンテキストデータ開始スクリプトは、カメラをアクティブ化するように構成されてよい。

画像またはビデオデータは、任意の適切なリアルタイム通信プロトコル、例えば、ＷｅｂＲＴＣなどを使用して、クライアントデバイスから、例えば、ストリーミングまたは他の送信によって、送信されてよい。この方法は、コンテキストデータ開始スクリプトを使用するクライアントデバイスによって、（ｉ）行動データの送信への同意が与えられていること、及び（ｉｉ）行動データを収集するためのデバイスが利用可能であること、及び、（ｉｉｉ）行動データ収集のためのユーザが選択されていることを判断すると、リアルタイム通信プロトコルを有効にするためのコードをロードすることを含み得る。ウェブページへの初期アクセスが遅くなるのを防ぐために、リアルタイム通信プロトコルを有効にするためのコードは、上記の全ての条件が判断されるまでロードされなくてよい。

コンテキスト属性データは、ウェブページのウェブ分析データと、メディアプレーヤアプリケーションの制御分析データとを含み得る。分析データは、任意の要素の視認性、クリックストリームデータ、マウスの動き（例えば、スクロール、カーソル位置）、キーストロークなど、ウェブページ及びメディアプレーヤアプリケーションについて従来から収集及び通信される情報を含み得る。

コンテキストデータ開始スクリプトの実行は、ウェブ分析データの収集をトリガまたは初期化するように構成されてよい。メディアプレーヤアプリケーションからの分析データは、メディアプレーヤアプリケーションソフトウェアの一部を形成するプラグインであってよいアダプタモジュール、またはメディアプレーヤアプリケーションソフトウェアと通信する別個のロード可能なソフトウェアアダプタを使用して取得されてよい。アダプタモジュールは、ネットワークを介して分析サーバに、メディアプレーヤアプリケーションの制御分析データを送信するように構成されてよく、この方法は、表示されるメディアコンテンツを受信すると、アダプタモジュールを実行することを含む。アダプタモジュールは、コンテキストデータ開始スクリプトの実行を通してアクティブ化またはプラグインでロードされてよい。

コンテキストデータ開始スクリプトは、ウェブページの実行の一部として、またはコンテンツを視聴するためのモバイルアプリの実行の一部として、またはメディアプレーヤアプリケーションの実行の一部として実行されてよい。制御分析データ及びウェブ分析データは、コンテキストデータ開始スクリプトが実行されているエンティティから分析サーバに送信されてよい。

行動データが経時的なユーザの反応を示す複数の画像を含む場合、分類アルゴリズムは、コンテンツ表示中にキャプチャされたユーザの複数の画像における各画像の注意力パラメータを評価するように動作し得る。

注意データに加えて、行動データを使用して、ユーザの感情状態情報を取得してよい。したがって、この方法は、行動データを感情状態分類アルゴリズムに適用して、ユーザの感情状態データを生成することであって、感情状態分類アルゴリズムは、行動データを感情状態データにマッピングするように訓練された機械学習アルゴリズムであり、感情状態データは、コンテンツ表示中にユーザが所与の感情状態を有する確率の経時的な変動を示す、ユーザの感情状態データを生成することと、感情状態データを注意データと同期させることとをさらに含み、有効性データセットは、感情状態データをさらに含む。

クライアントデバイスは、検出された感情状態及び／または注意力パラメータデータにローカルに応答するように構成されてよい。例えば、コンテンツは、クライアントデバイス上で実行されているアプリによって取得及び表示されてよく、アプリは、クライアントデバイスで生成された感情状態データ及び注意力パラメータデータに基づいてアクションを決定するように構成される。

本明細書に記載される機能は、上記の注意力パラメータまたは有効性データを利用できるアプリまたは他のプログラムを作成する際に使用するためのソフトウェア開発キット（ＳＤＫ）として実装されてよい。ソフトウェア開発キットは、分類アルゴリズムを提供するように構成されてよい。

本明細書で説明される方法は、複数のクライアントデバイス、複数のコンテンツサーバ、及び複数の異なる部分またはタイプのコンテンツを含むネットワーク化されたコンピューティング環境に対してスケーラブルである。したがって、この方法は、分析サーバによって、複数のクライアントデバイスからコンテキスト属性データ及び行動データを受信することを含み得る。分析サーバは、例えば上記のプロセスに従って、複数のクライアントデバイスから受信したコンテキスト属性データ及び行動データから取得された複数の有効性データセットを集約するように動作してよい。複数の有効データセットは、例えば、所与のメディアコンテンツに関して、または関連するメディアコンテンツのグループ（例えば、広告キャンペーンに関する）に関して、またはウェブドメインによって、ウェブサイトアイデンティティによって、時刻によって、コンテンツのタイプまたは任意の他の適切なパラメータによって、複数のクライアントデバイスから受信したコンテキスト属性データ及び行動データによって共有される１つまたは複数の共通の次元に関して集約されてよい。

上記の方法を実行した結果が、ユーザの注意を他の観察可能な要因とリンクさせるリッチな有効データセットを備えたデータストアである。有効データセットは、データベースなどのデータ構造に記憶されてよく、そこからクエリされて、注意データと他のデータとの間の関係を観察できるレポートを作成することができる。したがって、この方法は、報告デバイスによってネットワークを介して、有効性データセットからの情報のクエリを受信することと、報告デバイスによって、データストアからクエリに応答する応答データを抽出することと、報告デバイスによって、ネットワークを介して応答データを送信することとをさらに含み得る。クエリは、ブランド所有者または発行者からのものであってよい。

集約されたデータを使用して、クライアントデバイスの機能を更新してよい。例えば、コンテンツがクライアントデバイス上で実行されているアプリによって取得及び表示される場合、この方法は、集約された有効性データセットを使用してアプリのソフトウェア更新を判断することと、クライアントデバイスでソフトウェア更新を受信することと、ソフトウェア更新を実行することによってアプリの機能を調整することとさらに含み得る。

上記のように、この方法は、行動データが利用できない場合でも注意データの取得を可能にし得る。これは、コンテキスト属性データを使用して注意データを予測することで実行できる。したがって、この方法は、クライアントデバイスから利用可能な行動データがないと判断すると、ユーザの予測注意データを生成するべく、コンテキスト属性データを予測アルゴリズムに適用することであって、予測注意データは、コンテンツ表示中の経時的な注意力パラメータの変動を示す、適用することと、注意力パラメータの経時的な進展を、コンテンツ表示中に取得された対応するコンテキスト属性データとリンクさせる予測有効性データセットを生成するべく、予測注意データをコンテキスト属性データと同期させることとを含み得る。

予測アルゴリズムは、それ自体、コンテキスト属性データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであってよい。代替的または追加的に、予測アルゴリズムはルールベースであってよい。

別の態様では、本発明は、ウェブベースのコンテンツに払われる注意を判断するためのデータを収集するシステムを提供することができる。このシステムは、コンテンツサーバ及び分析サーバとネットワークを介して通信可能な複数のクライアントデバイスを含み、各クライアントデバイスは、コンテンツサーバによってホストされるウェブドメインのウェブページにアクセスし、ウェブページよって表示されるコンテンツを受信し、コンテンツ表示中のクライアントデバイスのユーザとウェブページとの相互作用を示すコンテキスト属性データを分析サーバに送信し、且つ、コンテンツ表示中のユーザの行動データを収集するように構成され、システムは、受信した行動データを分類アルゴリズムに適用して、ユーザの注意データを生成するようにさらに構成され、分類アルゴリズムは、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、注意データは、コンテンツ表示中の経時的な注意力パラメータの変動を示し、分析サーバは、注意データをコンテキスト属性データと同期して、注意力パラメータの経時的な進展をコンテンツ表示中に取得した対応するコンテキスト属性データとリンクさせる有効性データセットを生成し、且つ、有効性データセットをデータストアに記憶するように構成される。前述の方法の特徴は、システムにも同様に適用し得る。

上記のように、システムによって生成された有効性データを使用して、特定の追加アクションが所与のコンテンツまたは所与の広告キャンペーンの性能にどのように影響するかを予測することができる。本発明の別の態様では、広告キャンペーンを最適化するための方法が提供される。この方法では、キャンペーン目標に対する性能への予測される効果によってサポートされる推奨アクションを使用して、プログラマティック広告戦略を調整する。

この態様によれば、デジタル広告キャンペーンを最適化するためのコンピュータ実装方法が提供されてよい。この方法は、デジタル広告キャンペーンに属する広告コンテンツを複数のユーザに再生する間、注意力パラメータの経時的な進展を表す有効性データセットにアクセスすることであって、注意力パラメータは、広告コンテンツの再生中に各ユーザから収集された行動データを、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムに適用することによって取得される、有効性データセットにアクセスすることと、デジタル広告キャンペーンに関連付けられたターゲットオーディエンス戦略に対する候補調整を生成することと、注意力パラメータを候補調整に適用することに対する効果を予測することと、デジタル広告キャンペーンのキャンペーン目標に対する予測効果を評価することと、予測効果が閾値を超えて注意力パラメータを向上させる場合、候補調整を用いてターゲットオーディエンス戦略を更新することと、を含む。更新は自動的に、つまり人間の介入なしに行われてよい。そのため、ターゲットオーディエンス戦略は自動的に最適化されてよい。

有効性データセットは、上記の方法を使用して取得されてよく、したがって、本明細書に記載する特徴のいずれかを有してよい。例えば、有効性データセットは、ユーザの人口統計学的属性及び関心を示すユーザプロファイル情報をさらに含み得る。そのような例では、ターゲットオーディエンス戦略への候補調整は、ターゲットオーディエンスの人口統計学的属性または関心情報を変更する場合がある。

実際には、この方法は、複数の候補調整を生成及び評価してよい。この方法は、閾値を超える向上につながる全ての調整を自動的に実施し得る。代替的または追加的に、この方法は、閾値を超える向上につながる調整の全てまたはサブセットを提示する（例えば、表示する）ステップを含み得る。この方法は、ターゲットオーディエンス戦略を更新するために使用される調整の１つまたは複数を、例えば手動または自動で選択するステップを含み得る。

ターゲットオーディエンス戦略を自動で更新するステップは、改訂されたターゲットオーディエンス戦略をデマンドサイドプラットフォーム（ＤＳＰ）に伝達することを含み得る。したがって、この態様による方法は、ネットワーク環境で行われてよく、例えば、ＤＳＰ、上記の分析サーバ、及びキャンペーン管理サーバを含む。ＤＳＰは、キャンペーン管理サーバからの命令に基づいて、従来の方法で動作してよい。分析サーバは、有効性データセットにアクセスできてよく、キャンペーン管理サーバからの情報に基づいてキャンペーン目標の最適化を実行するエンティティであってよい。あるいは、キャンペーン目標最適化は、キャンペーン管理サーバで実行してよく、キャンペーン管理サーバは、例えば、ターゲットオーディエンス戦略に対する候補調整の予測効果を取得及び／または評価するために、分析サーバにクエリを送信するように構成されてよい。

添付の図面を参照しながら以下に本発明の実施形態を詳細に説明する。

本発明の実施形態であるデータ収集及び分析システムの概略図である。 本発明の実施形態であるデータを収集及び分析する方法のフロー図である。 本発明での使用に適した注意力分類器を生成するためのデータ収集及び分析システムの概略図である。 図２の方法の実行から得られたデータを提示するレポートダッシュボードのスクリーンショットである。 図２の方法の実行から得られたデータを提示する広告キャンペーンレポートのスクリーンショットである。 本発明の別の態様による広告キャンペーン最適化方法のフロー図である。

本発明の実施形態は、ユーザがウェブベースコンテンツを消費している間に、ユーザから行動データを収集及び利用するシステム及び方法に関する。以下の例では、表示コンテンツはメディアコンテンツ、例えばビデオまたはオーディオである。しかしながら、本発明は、ウェブサイトが提示できるあらゆるタイプのコンテンツに適用可能であることを理解されたい。

図１は、本発明の実施形態であるデータ収集及び分析システム１００の概略図である。以下の説明では、システムは、例えば、ブランド所有者１０２によって作成され得るビデオ広告の形式のメディアコンテンツ１０４を評価するというコンテキストで記載されている。しかしながら、本発明のシステム及び方法は、消費者の注意を監視することが望ましいあらゆるタイプのメディアコンテンツに適用可能であることを理解することができる。例えば、メディアコンテンツは、訓練ビデオ、安全ビデオ、オンライン学習資料、映画、ミュージックビデオなどであってよい。

システム１００は、ネットワーク化されたコンピューティング環境で提供され、いくつかの処理エンティティが、１つまたは複数のネットワークを介して通信可能に接続されている。この例では、システム１００は、例えば、スピーカもしくはヘッドホン、及びディスプレイ１０８上のソフトウェアベースのビデオプレーヤ１０７を介してメディアコンテンツを再生するように構成された１つまたは複数のクライアントデバイス１０６を含む。クライアントデバイス１０６はまた、ウェブカメラ１１０、マイクロフォンなどの行動データキャプチャ装置も備えてよい、またはそれらに接続されてよい。例示的なクライアントデバイス１０６は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含む。

クライアントデバイス１０６は、ネットワーク１１２を介して通信可能に接続され、その結果、例えば、１つまたは複数のチャネルまたはプラットフォームでコンテンツを配信するために発行者の制御下で動作し得るコンテンツサーバ１１４（例えば、ウェブホスト）から、消費のために提供されるコンテンツ１１５を受信し得る。発行者は、広告入札プロセスを介して、または広告をコンテンツに埋め込むことにより、自分たちのチャネル上で、ブランド所有者がビデオ広告を表示するための「スペース」を販売してよい。

したがって、提供されるコンテンツ１１５は、例えば、広告入札プロセスの結果として、コンテンツサーバ１１４によって直接提供されるか、または広告サーバ１１６によって提供されるコンテンツと一緒にまたは別個に送信されるメディアコンテンツ１０４を含み得る。ブランド所有者１０２は、任意の従来の方法で、メディアコンテンツ１０４をコンテンツサーバ１１４及び／または広告サーバ１１６に供給してよい。ネットワーク１１２は、任意のタイプのネットワークであってよい。

この例では、提供されるコンテンツは、ネットワーク１１２を介してクライアントデバイス１０６から分析サーバ１３０へのコンテキスト属性データ１２４の送信をトリガするためのコードを含む。コードは、コンテンツサーバ１１４によってホストされるドメインからロードされたメインページのヘッダ内のタグ１２０の形式であることが好ましい。タグ１２０は、クライアントデバイス１０６からのコンテキスト属性データ１２４を含む情報の配信を可能にするためのいくつかの機能を実行するブートストラップスクリプトをロードするように動作する。これらの機能は、以下でさらに詳細に説明する。しかしながら、本発明の場合、タグ１２０の主な機能は、コンテキスト属性データ１２４と、必要に応じて、クライアントデバイス１０６上のカメラ１１０からのビデオまたは画像データを含むウェブカメラ記録などの行動データストリーム１２２との分析サーバ１３０への配信をトリガすることである。

コンテキスト属性データ１２４は、メインページがロードされた後に発生するイベントに関連する分析データであることが好ましい。分析データは、任意の要素の視認性、クリック、スクロールなど、メインページで従来から収集及び伝達された情報を含み得る。この分析データは、関連するメディアがコンテンツ１０４を表示または再生しているとき、「増加する」感情または注意の影響に対する制御ベースラインを提供し得る。

上記のように、本明細書における「行動データ」または「行動情報」とは、ユーザの応答の視覚的側面を指してよい。例えば、行動情報は、顔の反応、頭部と体のジェスチャもしくは姿勢、及び視線追跡を含み得る。この例では、分析サーバ１３０に送信される行動データストリーム１２２は、例えば、メディアコンテンツ１０４を消費している間にキャプチャされたユーザのビデオまたは画像のセットの形式で、ユーザの顔の反応を含み得る。

行動データ１２２及びコンテキスト属性データ１２４に加えて、分析サーバ１３０は、メディアコンテンツ１０４自体、及びメディアコンテンツが表示されるビデオプレーヤからの分析データを含む補足的なコンテキスト属性データストリーム１２６を受信するように構成される。メディアコンテンツ１０４は、ブランド所有者１０２から直接、またはコンテンツサーバ１１４もしくはクライアントデバイス１０６から分析サーバ１３０に供給されてよい。補足的なコンテキスト属性データストリーム１２６は、メディアコンテンツ１０４が表示されるビデオプレーヤ１０７用のアダプタをロードすることによって取得されてよい。あるいは、ビデオプレーヤ１０７は、ビデオプレーヤ１０７のネイティブ環境において同じ機能を提供するためのプラグインを有し得る。

補足的なコンテキスト属性データストリーム１２６は、行動データ１２２をメディアコンテンツ内の再生位置に同期させる目的で取得され、したがって、ブランド測定及びクリエイティブレベル分析を提供する。補足的なコンテキスト属性データストリーム１２６は、ビデオプレーヤに関連する視認性、再生イベント、クリック、及びスクロールデータを含み得る。

特にメディアコンテンツ１０４のレンダリングがサードパーティの広告サーバ１１６を介して行われる場合、ビデオプレーヤ１０７はｉフレーム内に配置され得るので、補足的なコンテキスト属性データストリーム１２６を生成するための別個の機構が提供される。このような場合、アダプタはｉフレーム内に配置する必要があり、ここで、アダプタはメインタグ１２０の機能と連携して、データを記録して分析サーバ１３０に送信することができる。

例えば、補足的なコンテキスト属性データストリーム１２６は、一時停止／開始、停止、音量制御などのユーザ命令に関連する情報を含み得る。追加的または代替的に、補足的なコンテキスト属性データストリーム１２６は、例えば、バッファリングなどによる、再生の遅延または中断に関する他の情報を含み得る。

コンテキスト属性データストリーム１２４及び補足的なコンテキスト属性データストリーム１２６は、組み合わせられて、分析サーバ１３０に、行動データストリーム１２２から取得可能なメディアコンテンツに対するユーザの応答に関連し得る（実際に同期され得る）リッチな背景コンテキストを提供する。

行動データストリーム１２２は、メディアコンテンツ１０４を視聴する全てのユーザに対して取得されるというわけではない。これは、ユーザが情報の共有に同意していないか、行動データを記録するための適切なカメラを持っていないことが理由の場合がある。情報を共有する許可が与えられているが、行動データが取得されていない場合でも、メインタグ１２０は、コンテキスト属性情報１２４、１２６を分析サーバ１３０に送信し得る。注意力情報は、以下で説明する方法でこの情報から予測されてよい。

ブートストラップスクリプトは、行動データストリーム１２２が所与のクライアントから取得されるべきかどうかを決定するように動作してよい。これには、例えばランダムサンプリング手法に基づいて、及び／または発行者の制限に基づいて（例えば、特定のクラスのオーディエンスからのフィードバックのみが必要なため）、ユーザが参加するように選択されているかどうかのチェックが含まれる場合がある。

ブートストラップスクリプトは、最初に動作して、コンテキスト属性データ１２４及び補足的なコンテキスト属性データ１２６を分析サーバ１３０に共有するための許可を判断または取得してよい。例えば、問題のドメインに同意管理プラットフォーム（ＣＭＰ）が存在する場合、スクリプトはＣＭＰからの同意をチェックするように動作する。また、分析サーバまたは特定のドメインに関連付けられているグローバルオプトアウトクッキーをチェックするように動作してよい。

次に、ブートストラップスクリプトは、行動データストリーム１２２が取得されるべきかどうかをチェックするように動作してよい。取得されるべき場合（例えば、ユーザがサンプルの一部として選択されていたため）、ブートストラップスクリプトは、カメラフィードを記録及び送信するためのカメラ１１０の許可ＡＰＩをチェックしてよい。行動データストリーム１２２は、プライマリドメインページからのコンテキスト属性データと共に送信されるため、ブートストラップスクリプトを実行するためのタグが、関連付けられたｉフレームではなく、プライマリドメインページのヘッダにあることが重要である。

一例では、行動データストリーム１２２は、ＷｅｂＲＴＣなどの適切なリアルタイム通信プロトコルを介して分析サーバ１３０に送信されるカメラ１１０からの完全なビデオ記録である。ページのロード速度を最適化するために、関連する許可が確認されるまで、ＷｅｂＲＴＣ記録とデバイス上の追跡のコードはブートストラップスクリプトによってロードされない。別のアプローチでは、カメラフィードは、検出された注意、感情、及びその他の信号のみが送信され、画像またはビデオがクライアントデバイスを出ないように、クライアントデバイスによってローカルに処理されてよい。このアプローチでは、以下で説明する分析サーバ１３０の一部の機能がクライアントデバイス１１０に分散される。

一般に、分析サーバ１３０の機能は、クライアントデバイス１０６から取得された基本的に自由形式の表示データを、メディアコンテンツの有効性を判断するために使用できるリッチなデータセットに変換することである。最初のステップとして、分析サーバ１３０は、各ユーザの注意データを判断するように動作する。注意データは、注意分類器１３２を使用することによって行動データストリーム１２２から取得することができ、これは、所与のウェブカメラフレーム上の顔が画面上のコンテンツに注意を示している確率を返すＡＩベースのモデルである。

したがって、注意分類器１３２は、メディアコンテンツ１０４を消費している間のユーザの注意の進展を示す時変信号を出力することができる。これは、メディアコンテンツ１０４自体と同期されて、検出された注意深い状態及び注意散漫な状態を、メディアコンテンツを消費するときにユーザが経験したものと一致させるのを可能にすることができる。例えば、メディアコンテンツがビデオ広告である場合、ブランドがビデオ内の特定の時点または期間に現れることがある。本発明は、これらの時点または期間を注意力情報でマークまたはラベル付けすることを可能にする。

同様に、ビデオのクリエイティブコンテンツは、ビデオ内の様々な時点または期間に関連付けられたキーワードのストリームとして表現することができる。キーワードストリームを注意力信号と同期させることで、キーワードと注意または注意散漫との相関関係を認識可能にできる。

注意力信号はまた、同様の方法でコンテキスト属性信号と同期されてよく、それにより、ユーザの注意の進展と同期されたコンテキストデータのリッチなデータセットを提供する。メディアコンテンツを消費する各ユーザから取得できるこれらのデータセットは、集約されてデータストア１３６に記憶され、そこからクエリされ、さらに分析されて、レポートを生成し、相関関係を識別し、推奨を行うことができる。これについては、以下で説明する。

コンテキスト属性データ１２４はまた、例えば、画面上に見えるもののクロスチェックを可能にすることによって、注意分類器１３２からの出力が関連するコンテンツに適用されるという確信または信頼を与えるために使用されてよい。

行動データストリーム１２２はまた、感情状態分類器１３５に入力されてよく、感情状態分類器１３５は、メディアコンテンツを消費するときのユーザの感情を示す時変信号を生成するように動作する。したがって、この感情状態信号も、注意力信号と同期されてよく、これにより、注意（または注意散漫）に関連する感情も評価及び報告することができる。

クライアントデバイス１０６から分析サーバ１３０で受信されたデータが行動データストリーム１２２を含まない場合でも、注意力信号は、注意力予測器１３４を使用することによって取得することができる。注意力予測器１３４は、コンテキスト属性データ１２４及び補足的なコンテキスト属性データ１２６から注意力を生成または推測するように構成される。注意力予測器１３４は、ルールベースのモデルであってよく、注意力データが知られているコンテキスト属性データの統計的モデリングに基づいて予測を生成する。例えば、コンテキスト属性データが、ビデオ広告を示すフレームが画面上に見えないことを示している場合（例えば、他のフレームの背後に隠れているため）、ルールベースのモデルは、ビデオ広告に注意が払われていないと判断することができる。

追加的または代替的に、注意力予測器は、コンテキスト属性データ１２４及び補足的なコンテキスト属性データ１２６に基づいて、ユーザが画面上のコンテンツに注意を示している確率を返すＡＩベースのモデルを含み得る。このモデルは、同じメディアコンテンツを消費し、行動データ（または実際の注意データ）及び関連するコンテキスト属性データが利用可能なユーザからのデータを使用して訓練（及び更新）されてよい。そのようなモデルは、従来のルールベースまたは統計ベースのモデルと比較して、強化された注意力認識能力を提供し得る。

上記のリッチデータセットを生成することに加えて、分析サーバ１３０は、所与のメディアコンテンツの特定の注意測定基準を決定するように構成されてよい。注意測定基準の一例は、注意量である。注意量は、メディアコンテンツに払われた注意応答者の平均量として定義されてよい。例えば、注意量スコア５０％は、ビデオを通して、視聴者の半数が平均してコンテンツに注意を払っていたことを意味する。ビデオがオーディエンスから注目を集めることができる秒数が多いほど、このスコアは高くなる。注意測定基準の別の例は、注意の質である。注意の質は、応答者が平均して継続的に注意を払っていたメディアコンテンツの割合として定義されてよい。例えば、スコア５０％は、平均して応答者がビデオの半分に対して中断することなく注意を払っていたことを意味する。この測定基準は、スコアの値を決定するのは全体的な注意量ではなく、視聴に沿って注意がどのように分散されたかであるため、注意量とは異なる。応答者の注意の期間が短いと、注意の質が低下し、これは、応答者が定期的に注意をそらされていることを示す。

上記の測定基準、またはその他の測定基準は、クライアントデバイスに配信されたメディアコンテンツの所与の視聴されたインスタンスに注意が払われた程度を決定することであってよい。これは、例えば、注意量及び／または注意の質の閾値を設定し、一方または両方の閾値を超えた場合に、視聴されたインスタンスに注意が払われたと判断することによって、行うことができる。ブランドの所有者または発行者の観点から、この特徴の利点は、特定のメディアコンテンツのインプレッション数とビュー数だけでなく、ユーザの注意を引いたビューとユーザの注意がそれたビューとを区別できることである。次に、付随するコンテキスト属性データにより、注意や注意散漫を引き起こすレバーの理解を試みることができる。

システムは、データストア１３６にクエリを行って、例えば直接またはネットワーク１１２を介してブランド所有者１０２に提供できる１つまたは複数のレポート１４０を生成するように構成されたレポートジェネレータ１３８を備える。レポートジェネレータ１３８は、収集され同期されたデータを含むデータストア上のデータベースにクエリを行うように構成された従来のコンピューティングデバイスまたはサーバであってよい。レポート１４０のいくつかの例は、図４及び５を参照して以下でより詳細に説明される。

図２は、本発明の実施形態である方法２００において、クライアントデバイス１０６及び分析サーバ１３０が取るステップを示すフローチャートである。

この方法は、ネットワークを介してクライアントデバイスによってウェブコンテンツを要求及び受信するステップ２０２から始まる。ここで、ウェブコンテンツは、例えば、上記のようにコンテンツサーバ１１４によってホストされているドメインからアクセス及びロードできるウェブページを意味する。

ウェブページのヘッダには、クライアントデバイスからのデータ収集を有効にするいくつかの予備チェックとプロセスを実行するように構成されたブートストラップスクリプトを含むタグが含まれている。したがって、この方法は、ブートストラップスクリプトを実行するステップ２０４に続く。スクリプトによって実行されるタスクの１つは、収集されたデータを分析サーバと共有するための同意をチェックすること、または、許可を取得することである。ウェブページの取得元のドメインに該当する場合は、これは、コンテンツ管理プラットフォーム（ＣＭＰ）を参照して行われてよい。この場合、ブートストラップスクリプトは、ＣＭＰを初期化するウェブページヘッダのコードの後ろにある。

この方法は、データを共有するための許可をチェックまたは取得するステップ２０６に続く。これは、ＣＭＰの現在のステータスをチェックすることによって、または、画面プロンプトを表示することによって、従来の方法で行うことができる。許可はドメインレベルで要求されることが好ましく、その結果、例えば同じドメインから追加のページにアクセスする際の繰り返しの要求が回避される。この方法は、カメラの利用可能性をチェックし、カメラから収集されたデータを分析サーバに送信することに同意を得るステップ２０８を含む。カメラがない場合、またはカメラからデータを送信することに同意しない場合でも、ユーザがコンテキスト属性データの送信に同意している場合、方法は続行されてよい。これは、行動データストリームがない場合の上記のシナリオである。

カメラが利用可能であり、カメラからデータを送信することに同意が与えられている場合、この方法は、行動データ収集のためにユーザが選択またはサンプリングされているかどうかをチェックするステップ２１０に続く。他の実施形態では、このステップ２１０は、カメラの利用可能性をチェックするステップ２０８の前に発生し得る。

状況によっては、利用可能なカメラを持つ全てのユーザが選択される場合がある。しかしながら、他の例では、適切な（例えば、ランダムまたは疑似ランダム）範囲のデータが分析サーバ１３０によって受信されることを確実にするために、またはブランド所有者もしくは発行者によって設定された要件を満たすために（例えば、１つの人口セクタからのみデータを収集するために）、ユーザが選択されてよい。別の例では、ユーザを選択する能力を使用して、分析サーバによって受信されるデータの速度を制御してよい。これは、ネットワーク帯域幅に問題や制限がある場合に役立つことがある。

ユーザがカメラから行動データを送信することに同意し、ユーザが選択された場合、この方法は、ウェブページを介したカメラデータの共有を可能にするために適切なコードをロードするステップ２１２に続く。一例では、行動データの送信は、ＷｅｂＲＴＣプロトコルを使用して行われる。行動データが実際に送信されることが決定されるまで、行動データ送信のためのコードのロードを遅らせることが好ましい。そうすることで、ネットワークリソース（つまり、不要なトラフィック）を節約し、初期ページの迅速なロードを容易にする。

ウェブページにアクセスしてブートストラップスクリプトを実行した後、この方法は、クライアントデバイスでメディアコンテンツをアクティブ化するステップ２１４に続く場合がある。メディアコンテンツをアクティブ化することは、ウェブページに埋め込まれているメディアの再生を開始すること、または、例えば、従来の広告入札プロセスの結果として、広告サーバから受信したビデオ広告の再生を引き起こすウェブページ上の広告スペースに遭遇することを意味し得る。

メディアコンテンツの再生は、例えば、ビデオプレーヤなどのメディアプレーヤを実行することによって行われてよい。メディアプレーヤは、ウェブページに埋め込まれ、ウェブページ内のｉフレームにメディアコンテンツを表示するように構成されてよい。適切なメディアプレーヤの例には、Ｗｉｎｄｏｗｓ Ｍｅｄｉａ Ｐｌａｙｅｒ、ＱｕｉｃｋＴｉｍｅ Ｐｌａｙｅｒ、Ａｕｄａｃｉｏｕｓ、Ａｍａｒｏｋ、Ｂａｎｓｈｅｅ、ＭＰｌａｙｅｒ、Ｒｈｙｔｈｍｂｏｘ、ＳＭＰｌａｙｅｒ、Ｔｏｔｅｍ、ＶＬＣ、及びｘｉｎｅ、またはＪＷ Ｐｌａｙｅｒ、Ｆｌｏｗｐｌａｙｅｒ、ＶｉｄｅｏＪＳ、及びＢｒｉｇｈｔｃｏｖｅなどのオンラインビデオプレーヤが含まれる。

上記のように、メディアプレーヤの振る舞い及び制御に関するコンテキスト属性データ、すなわちメディアプレーヤの分析データを分析サーバに送信することが望ましい。これを達成するために、この方法は、メディアプレーヤ分析データをウェブページに通信するように構成されたメディアプレーヤ用のアダプタをロードする（または、存在する場合、メディアプレーヤのプラグインを実行する）ステップ２１６に続き、その後、メディアプレーヤ分析データを分析サーバに送信することができる。

この方法は、コンテキスト属性データを送信するステップ２１８、及び該当する場合、行動データを分析サーバに送信するステップ２２０に続く。カメラが利用可能であり、同意が与えられている場合、これは、分析サーバに送信されるデータが次の３つのソースからのものであることを意味する。

（１）カメラからの行動データ。これは通常、カメラ自体からの画像またはビデオである。ただし、前述のように、クライアントデバイス自体が、注意を測定及び／または感情を識別するために、生の画像データに対して何らかの予備分析を行うことも可能である。この例では、分析サーバに送信される行動データは、注意と感情状態のデータであってよく、画像データを送信する必要はない。

（２）ウェブページからのコンテキストデータ。これは通常、ウェブページにアクセスするドメインに関連付けられた分析データである。

（３）メディアプレーヤからのコンテキストデータ。これは通常、メディアコンテンツが表示されるメディアプレーヤに関連付けられた分析データである。

ここで、方法は、分析サーバで取られるアクションに移り、クライアントデバイスから上記のデータを受信するステップ２２２から始まる。この方法はまた、分析サーバによって、収集された行動データ及びコンテキスト属性データの主題であるメディアコンテンツを取得するステップ２２４を含む。分析サーバは、例えば、クライアントデバイスによって送信された識別子に基づいて、ブランド所有者またはコンテンツサーバから直接メディアコンテンツを取得してよい。あるいは、分析サーバは、メディアコンテンツのローカルストアを有してよい。

この方法は、注意力について行動データを分類するステップ２２６に続く。このステップでは、クライアントデバイス上のカメラによってキャプチャされたデータからの個々の画像が注意分類器にフィードされ、注意分類器は、画像がメディアコンテンツに注意を払っているユーザを表示する確率を評価する。したがって、注意分類器の出力は、メディアコンテンツに対するユーザの注意プロファイルであってよく、ここで、注意プロファイルは、メディアコンテンツの期間にわたる経時的な注意の進展を示す。別の例では、分類器はバイナリであってよい、すなわち、「注意深い」または「注意散漫」のいずれかの出力を各フレームに関して生成してよい。このような２つの状態のソリューションに対して、注意プロファイルを生成することもできる。別の例では、注意力パラメータを取得できない入力データにラベルを含めるように分類器を訓練してよい。例えば、分類器は、ユーザが存在するが、ユーザの顔が十分に読み取れず、注意しているかどうかを確認できない状態と、未知の状態とを区別できる場合がある。これは、カメラから関連する信号が取得されない状況に対応し得る。したがって、分類器は、「注意深い」、「注意していない」、「存在する」、及び「不明」などのラベルを出力し得る。

注意分類器または分析サーバは、メディアコンテンツのその特定の視聴インスタンスについて１つまたは複数の注意測定基準を生成するように構成されてもよい。注意測定基準は、上記の注意量測定基準及び注意品質測定基準であってよい、またはそれらを含み得る。

この方法は、行動データストリームから感情状態情報を抽出するステップ２２８に続く。これは、感情状態分類器によって行われてよく、ステップ２２６と並行して実行することができる。このステップの出力は、メディアコンテンツの期間にわたって経時的に１つまたは複数の感情状態の進展を示す感情状態プロファイルであってよい。

上記のように、行動データストリームは、カメラによってキャプチャされた画像データを含んでよく、画像データは、ユーザの顔画像を示す複数の画像フレームである。画像フレームが、ユーザの口、目、眉などの顔の特徴を表す場合、顔の特徴は、顔の選択された複数の目印の位置、形状、向き、共有などを示す記述子データポイントを提供し得る。各顔特徴の記述子データポイントは、顔の複数の目印を示す情報を符号化し得る。各顔特徴の記述子データポイントは、各フレーム、例えば、時系列の画像フレームの各画像フレームに関連付けられてよい。各顔特徴の記述子データポイントは、多次元データポイントであってよく、多次元データポイントの各コンポーネントは、顔の各目印を示す。

感情状態情報は、生の行動データ入力から、または、画像データから抽出された記述子データポイントから、または、２つの組み合わせから直接、取得されてよい。例えば、顔の複数の目印は、ユーザの感情を特徴付けることができる情報を含むように選択されてよい。一例では、感情状態データは、１つの画像内または一連の画像にわたる１つまたは複数の顔特徴の記述子データポイントに分類器を適用することによって判断されてよい。いくつかの例では、深層学習技術を利用して、生データ入力から感情状態データを生成することができる。

ユーザの感情状態は、怒り、嫌悪感、恐怖、幸福、悲しみ、及び驚きから選択される１つまたは複数の感情状態を含み得る。

分析サーバによって受信されたデータが行動データを含まない場合、上記のステップ２２６、２２８は省略されてよい。代わりに、この方法は、コンテキスト属性データを使用して注意データを予測するステップ２３０を含む。このステップ２３０において、コンテキスト属性データは、注意予測器にフィードされ、注意予測器は、画像がメディアコンテンツに注意を払っているユーザを表示する確率を評価する。注意分類器は、アノテーション付きの顔画像（以下でより詳細に説明）で訓練されたＡＩベースモデルであり、注意予測器は、注意データが利用可能なコンテキスト属性データで訓練されたＡＩベースモデルである。したがって、注意予測器は、メディアコンテンツの視聴されたインスタンスが発生する環境、及びその視聴されたインスタンス中のユーザとクライアントデバイスとの相互作用に関連する情報を変換することができる。

したがって、注意予測器の出力は、注意分類器、例えば、メディアコンテンツに対するユーザの注意プロファイルと類似していてよく、ここで、注意プロファイルは、メディアコンテンツの期間にわたる経時的な注意の進展を示す。注意分類器と注意予測器のいずれかまたは両方からの出力は、例えば収集されたデータに関連する信頼度に応じて、重み付けされてよい。例えば、注意分類器の出力は、行動データが収集されるカメラの検出された角度に基づいて重み付けされてよい。ユーザがカメラの方を向いていない場合、出力の信頼性は低下し得る。

この方法は、注意プロファイルにおける注意及び注意散漫の期間のコンテキストが、関連するコンテキストまたは感情状態データの様々な要素に関連付けられているリッチな「有効性」データセットを生成するために、注意プロファイル２３２を対応するコンテキスト属性データ及び感情状態データと同期させるステップ２３２に続く。

この方法は、複数のクライアントデバイス（例えば、異なるユーザ）からメディアコンテンツの複数の視聴されたインスタンスについて取得された有効性データセットを集約するステップ２３４に続く。集約されたデータはデータストアに記憶され、そこからクエリされて、図４及び５を参照して以下で説明するタイプのレポートを生成することができる。

図３は、本発明での使用に適した注意分類器を生成するためのデータ収集及び分析システム３００の概略図である。図３のシステムは、データの収集及びアノテーションを行うためのコンポーネント、ならびに注意分類器を生成及び利用する際のそのデータのその後の使用のためのコンポーネントを示していることが理解できる。

システム３００は、ネットワーク化されたコンピューティング環境で提供され、いくつかの処理エンティティが、１つまたは複数のネットワークを介して通信可能に接続されている。この例では、システム３００は、例えば、スピーカまたはヘッドホンとディスプレイ３０４とを介して、メディアコンテンツを再生するように構成された１つまたは複数のクライアントデバイス３０２を含む。クライアントデバイス３０２はまた、ウェブカメラ３０６、マイクロフォンなどの行動データキャプチャ装置を備えてよい、またはそれらに接続されてよい。例示的なクライアントデバイス３０２は、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータなどを含む。

システム３００は、ユーザがクライアントデバイス１０２上でメディアコンテンツを消費している間にユーザから生理学的情報を収集するウェアラブルデバイス３０５などの１つまたは複数のクライアントセンサユニットも含み得る。測定できる生理学的パラメータの例には、音声分析、心拍数、心拍数の変動、皮膚電気活動（覚醒を示す場合がある）、呼吸、体温、心電図（ＥＣＧ）信号、及び脳波（ＥＥＧ）信号が含まれる。

クライアントデバイス３０２は、ネットワーク３０８を介して通信可能に接続され、その結果、例えば、コンテンツプロバイダサーバ３１０から、消費するメディアコンテンツ３１２を受信し得る。

クライアントデバイス３０２は、分析サーバ３１８などのリモートデバイスで分析またはさらなる処理を行うために、収集された行動情報をネットワークを介して送信するようにさらに構成されてよい。上記のように、本明細書における「行動データ」または「行動情報」とは、ユーザの応答の視覚的側面を指してよい。例えば、行動情報は、顔の反応、頭部及び体のジェスチャもしくは姿勢、ならびに視線追跡を含み得る。

この例では、分析サーバ３１８に送信される情報は、例えば、メディアコンテンツを消費している間のユーザのキャプチャされたビデオまたは画像のセットの形式で、ユーザの顔の反応３１６を含み得る。情報は、関連付けられたメディアコンテンツ３１５、または分析サーバ３１８がユーザによって消費されたメディアコンテンツ３１２にアクセスすることを可能にするリンクもしくは他の識別子も含み得る。関連付けられたメディアコンテンツ３１５は、メディアコンテンツがクライアントデバイス３０２で再生された方法に関する情報を含み得る。例えば、関連付けられたメディアコンテンツ３１５は、一時停止／開始、停止、音量制御などのユーザ命令に関連する情報を含み得る。追加的または代替的に、関連付けられたメディアコンテンツ３１５は、例えば、バッファリングなどによる、再生の遅延または中断に関する他の情報を含み得る。この情報は、上記のメディアプレーヤからの分析データに対応する（及び同様の方法で取得される）場合がある。したがって、分析サーバ３１８は、メディアコンテンツに対するユーザの応答に関する情報を含むデータストリームを効果的に受信し得る。

分析サーバ３１８に送信される情報は、メディアコンテンツを消費している間にユーザに関して取得された生理学的データ１１４も含み得る。生理学的データ３１４は、ウェアラブルデバイス３０５によって直接、送信されてよい、またはウェアラブルデバイス３０５は、ウェアラブルデバイス３０５からデータを送受信するように構成された１つまたは複数のクライアントデバイス３０２と対になってよい。クライアントデバイス３０２は、ウェアラブルデバイスからの生データを処理するように構成されてよく、それにより、分析サーバ３１８に送信される生理学的データ３１４は、クライアントデバイス３０２によってすでに処理されたデータを含み得る。

この例では、メディアコンテンツに対するユーザの応答に関する情報を収集する目的は、その応答に注意力ラベルでアノテーションを付けることを可能にすることである。一例では、このアノテーションプロセスは、分析サーバ３１８で受信された時系列の１つまたは複数の行動特性パラメータにマッピングされる時系列の注意力スコアを確立することを含み得る。例えば、時系列の注意力スコアは、ユーザがメディアコンテンツを消費している間に収集されたユーザの画像またはビデオに関連付けられてよい。他の行動特性パラメータ、例えば、感情状態情報、生理学的情報などは、ユーザの画像またはビデオと同期されてよい。したがって、アノテーションプロセスの出力は、メディアコンテンツに反応した、注意力を含むユーザの行動特性を表すリッチなデータストリームであってよい。

システム３００は、アノテーションプロセスの実行を容易にするアノテーションツール３２０を含む。アノテーションツール３２０は、分析サーバ３１８と通信（例えば、ネットワーク通信）しているコンピュータ端末を含み得る。アノテーションツール３２０は、人間アノテータ（図示せず）にグラフィカルユーザインタフェースを示すディスプレイ３２２を備える。グラフィカルユーザインタフェースは様々な形態をとってよい。ただし、グラフィカルユーザインタフェースは、いくつかの機能的要素を有用に備え得る。第１に、グラフィカルユーザインタフェースは、収集されたユーザの応答データ３１６（例えば、ユーザの顔の動きを示す顔画像またはビデオのセット）を、関連付けられたメディアコンテンツ３１５と共に同期して提示してよい。言い換えれば、ユーザの顔の反応は、消費者が視聴していた関連するメディアコンテンツと同時に表示される。このようにして、アノテータは、ユーザの応答が発生したコンテキストを（意識的または無意識的に）認識することができる。特に、アノテータは、関連付けられたメディアコンテンツ内のイベントへの反応に基づいて注意力を裁定できてよい、またはユーザの気を散らす可能性のある外部イベントに敏感であってよい。

グラフィカルユーザインタフェースは、同期された応答データ３１６及び関連付けられたメディアコンテンツの再生を制御するためのコントローラ３２４を備えてよい。例えば、コントローラ３２４は、アノテータが、表示されたマテリアルを通して、再生、一時停止、停止、巻き戻し、早送り、バックステップ、前進ステップ、スクロールバック、前方スクロールなどを可能にし得る。

グラフィカルユーザインタフェースは、応答データ３１６の１つまたは複数の部分に注意力スコアを適用するための１つまたは複数のスコアアプリケータ３２６を備えてよい。一例では、スコアアプリケータ３２６を使用して、ユーザの応答の所与の期間に対応するビデオまたは画像フレームのセットの期間に注意力スコアを適用してよい。注意力スコアは、任意の適切なフォーマットを有してよい。一例では、注意力スコアはバイナリ、すなわち、単純なはい／いいえによって注意力を示すものである。他の例では、注意力スコアは、設定された数の所定のレベル（例えば、高、中、低）から選択されてよい、または、それぞれ、注意していない（すなわち、無し）と高い注意を表す限界間の数値範囲（例えば、線形スケール）から選択されてよい。

潜在的なアノテータ要員を増やすという観点から、アノテーションツールを単純化することが望ましい場合がある。アノテーションプロセスが単純であるほど、アノテータが参加する必要のある訓練は少なくなる。一例では、アノテーション付きデータは、クラウドソーシングアプローチを使用して収穫されてよい。

したがって、アノテーションツール３２０は、メディアコンテンツを消費している間のユーザの注意力を示す時系列データを受信するためのデバイスを表してよい。注意力データは、（例えば、スコアが適用される方法によって）応答データ３１６と同期されてよい。分析サーバ３１８は、受信されたデータを照合または他の方法で組み合わせて、適切なストレージデバイス３２８に記憶できる注意力ラベル付き行動データ３３０を生成するように構成されてよい。

複数のアノテータからの注意データは、所与の応答の注意力スコアを生成するために集約またはその他の方法で組み合わせられてよい。例えば、複数のアノテータからの注意データは、メディアコンテンツの部分にわたって平均化されてよい。

一実施形態では、複数のアノテータ間の一致のレベル自体を、注意力を定量化する方法として使用してよい。例えば、アノテーションツール３２０は、ユーザは（ａ）注意深い、または（ｂ）注意していない、のいずれかのバイナリオプションで、各アノテータが応答データをスコアリングすることを可能にし得る。他の例では、アノテーションツールは、上記の「存在する」及び「未知」ラベルに対応する状態を含み得る。アノテータツール３２０は、アノテータがバイナリ選択の理由を提供することができる１つまたは複数の理由フィールドを提示してよい。フィールドに入力し得る所定の理由のドロップダウンリストなどが存在してよい。所定の理由には、注意または不注意の一般的な理由、例えば、「顔を背ける」、「画面を見ていない」、「話している」などが含まれてよい。フィールドは、フリーテキスト入力も可能であってよい。各アノテータからの注意力データは、関連する理由と共に、応答データ内の様々な期間のバイナリ選択の結果を含み得る。理由は、アノテータ間に高度な不一致がある状況、または注意力モデルが観察と一致しない結果を出力する状況を評価するために使用されてよい。これは、例えば、類似の顔の動きが異なる行動（例えば、話す／食べる等）に対応する場合に発生する可能性がある。

分析サーバ３１８は、複数のアノテータから注意データを受信するように構成されてよい。分析サーバ３１８は、注意データの異なるセットから組み合わせられた注意データを生成してよい。組み合わせられた注意データは、複数のアノテータからの注意データ間の正の相関関係のレベルを示す注意力パラメータを含み得る。言い換えれば、分析サーバ３１８は、応答データ全体にわたって複数のアノテータによって行われたバイナリ選択間の一致のレベルを定量化するスコアを出力してよい。注意力パラメータは、時変パラメータであってよい、すなわち、一致を示すスコアは、相関関係の増加または減少を示すために、応答データの期間にわたって変化してよい。

この概念の開発において、分析サーバ３１８は、各アノテータに関連付けられた信頼値を決定及び記憶するように構成されてよい。信頼値は、アノテータの個々のスコアが組み合わされた注意データとどの程度相関しているかに基づいて計算されてよい。例えば、全体としてのアノテータグループとは反対の方向に通常、スコアを付けるアノテータには、一致していることがより多いアノテータよりも低い信頼値が割り当てられてよい。例えば、個々のアノテータからより多くのデータが受信されると、信頼値は動的に更新されてよい。信頼値は、組み合わせられた注意データを生成するプロセスで、各アノテータからの注意データに重みを付けるために使用されてよい。したがって、分析サーバ３１８は、より正確なスコアリングにそれ自体を「調整」する能力を示し得る。

注意力ラベル付き行動データ３３０は、注意力パラメータを含み得る。言い換えれば、注意力パラメータは、データストリームまたはメディアコンテンツ内のイベントに関連付けられてよい、例えば、同期、または、他の方法でマッピング、またはリンクされてよい。

注意力ラベル付き行動データ３３０は、クライアントデバイス３０２から収集された元のデータ３１６（例えば、本明細書では応答データとも呼ばれる生のビデオまたは画像データ）、時系列の注意データ、生理学的データ３１４からの１つまたは複数の生理学的パラメータに対応する時系列データ、及び収集されたデータ３１６から抽出された感情状態データ、のうちの任意の１つまたは複数を含み得る。

収集されたデータは、クライアントデバイス３０２のそれぞれでキャプチャされた画像データであってよい。画像データは、ユーザの顔画像を示す複数の画像フレームを含み得る。さらに、画像データは、ユーザの顔画像を示す時系列の画像フレームを含み得る。

画像フレームが、ユーザの顔特徴、例えば口、目、眉などを示し、各顔特徴が顔の複数の目印を含む場合、行動データは、各画像フレームの顔の目印の位置、形状、向き、陰影などを示す情報を含み得る。

画像データは、各クライアントデバイス３０２上で処理されてよい、または処理のためにネットワーク３０８を介して分析サーバ３１８にストリーミングされてよい。

顔特徴は、顔の選択された複数の目印の位置、形状、向き、共有などを示す記述子データポイントを提供し得る。各顔特徴の記述子データポイントは、顔の複数の目印を示す情報を符号化し得る。各顔特徴の記述子データポイントは、各フレーム、例えば、時系列の画像フレームの各画像フレームに関連付けられてよい。各顔特徴の記述子データポイントは、多次元データポイントであってよく、多次元データポイントの各コンポーネントは、顔の各目印を示す。

感情状態情報は、生のデータ入力から、または、抽出された記述子データポイントから、または、２つの組み合わせから直接、取得されてよい。例えば、顔の複数の目印は、ユーザの感情を特徴付けることができる情報を含むように選択されてよい。一例では、感情状態データは、１つの画像内または一連の画像にわたる１つまたは複数の顔特徴の記述子データポイントに分類器を適用することによって決定されてよい。いくつかの例では、深層学習技術を利用して、生データ入力から感情状態データを生成することができる。

ユーザの感情状態は、怒り、嫌悪感、恐怖、幸福、悲しみ、及び驚きから選択される１つまたは複数の感情状態を含み得る。

注意力ラベル付き行動データの作成は、システム３００の第１の機能を表す。以下で説明する第２の機能は、そのデータを後に使用して、上記注意分類器１３２のための注意力モデルを生成し、利用することである。

システム３００は、モデリングサーバ３３２を含んでよく、モデリングサーバ３３２は、ストレージデバイス３２８と通信し、注意力ラベル付き行動データ３３０にアクセスするように構成される。モデリングサーバ３３２は、図３に示すようにストレージデバイス３２８に直接、接続するか、またはネットワーク３０８などのネットワークを介して接続してよい。

モデリングサーバ３３２は、ラベル付けされていない応答データ、例えば、分析サーバ３１８によって最初に受信された応答データ３１６から注意力をスコアリングするモデル３３６を確立するために、注意力ラベル付き行動データ３３０の訓練セットに機械学習技術３３４を適用するように構成される。モデルは、高レベルの注意力を示す収集された応答データのパターンを認識するように訓練された人工ニューラルネットワークとして確立されてよい。したがって、このモデルを使用して、人間の入力なしで、収集された応答データを注意力に関して自動的にスコアリングすることができる。この技術の利点は、モデルが基本的に、特定の所定のプロキシに依存する測定または関与または注意力によって見逃され得るコンテキスト的要因に敏感な注意力の直接測定に基づいていることである。

一例では、モデル３３６は、２つのタイプのニューラルネットワークアーキテクチャ、すなわち、畳み込みニューラルネットワーク（ＣＮＮ）及び長短期記憶ニューラルネットワーク（ＬＳＴＭ）を組み合わせている。

ＣＮＮの部分は、個々のビデオフレームから取得した応答者の画像で訓練した。ＣＮＮの最後のレイヤ表現は、次に、ＬＳＴＭを訓練するための時間シーケンスを生成するために使用される。

これら２つのアーキテクチャを組み合わせることで、（ｉ）ＣＮＮを使用して顔と上半身の画像から抽出された有用な空間情報を学習し、且つ（ｉｉ）ＬＳＴＭを使用して、モデルが注意深い顔と注意散漫な顔のどちらを見ているかを決定するのに役立つ、顔の表情とジェスチャの有用な時間的パターンを学習するモデルが構築される。

一例では、注意力モデル３３６を生成するために使用される注意力ラベル付き行動データ３３０はまた、メディアコンテンツに関する情報も含み得る。この情報は、メディアコンテンツがユーザによってどのように操作されるか、例えば一時停止またはその他の方法で制御されることに関連し得る。追加的または代替的に、情報は、例えば、収集された応答データにコンテキストを与えるために、表示されているメディアコンテンツの主題に関するデータを含み得る。

本明細書では、メディアコンテンツは、ユーザフィードバックに関する情報が望ましい任意のタイプのユーザ消費可能なコンテンツであってよい。本発明は、メディアコンテンツがコマーシャル（例えば、ビデオコマーシャルまたは広告）であり、ユーザの関与または注意が、例えば、売上高の増加などの業績に密接に関連する可能性が高い場合に特に有用であり得る。しかしながら、本発明は、あらゆる種類のコンテンツ、例えば、ビデオコマーシャル、オーディオコマーシャル、映画の予告編、映画、ウェブ広告、アニメーションゲーム、画像などのいずれにも適用可能である。

図４は、様々な異なるメディアコンテンツ、例えば、共通フィールドの広告のグループについて、図１のデータストア１３６に記憶されたリッチな有効性データの提示を含む、レポートダッシュボード４００のスクリーンショットである。共通フィールドは、図４に「スポーツアパレル」として示されている主見出し４０１によって示され得るが、例えば、ユーザがドロップダウンリストから選択することによって変更されてよい。

ダッシュボード４００は、インプレッションカテゴリ化バー４０２を含み、これは、（ｉ）視認できた（すなわち、画面上に見えた）、及び（ｉｉ）所定の閾値を超える注意スコアを有するユーザ（すなわち、「注意深い視聴者」）によって視認できた供給された総インプレッションの相対的比率である。視認性と注意力の比率が期待される性能と比較してどうであるかを示すために、基準がバーにマークされてよい。

ダッシュボード４００は、注意深い視聴者から検出された感情状態の相対的な強さを示す相対的な感情状態バー４０４をさらに備えてよい。

ダッシュボード４００は、ドライバインジケータバー４０６をさらに備え、ドライバインジケータバー４０６は、この例では、異なるコンテキスト属性カテゴリが検出された注意に相関する相対的な量を示す。コンテキスト属性カテゴリ（例えば、クリエイティブ、ブランド、オーディエンス、及びコンテキスト）のそれぞれを、そのカテゴリに寄与する要因のより詳細な内訳を提供するように選択可能であってよい。例えば、「クリエイティブ」カテゴリは、メディアコンテンツで提示される情報に関連し得る。コンテキスト属性データは、メディアコンテンツの任意の時点で見える主要なアイテムを説明するコンテンツストリームを含み得る。図４では、ドライバインジケータバー４０６は、注意に対するカテゴリの相関関係を示す。ただし、特定の感情状態など、カテゴリとの相関関係の相対的な強さが関心事である他の特徴を選択可能であってよい。

ダッシュボード４００はさらに、ブランド注意チャート４０８を備え、これは、主見出し４０１に示される共通フィールドにおいて様々なブランドによって達成される注意のレベルの経時的な進展を示す。

ダッシュボード４００はさらに、コンテキスト属性データによるインプレッションカテゴリ化を分割する一連のチャートを備える。例えば、チャート４１０は、デバイスタイプを表示することによってインプレッションカテゴリ化を分解し、チャート４１２は、性別と年齢の情報を使用してインプレッションカテゴリ化を分解する。

ダッシュボード４００はさらに、コンテキスト属性データからの位置情報を使用して相対的な注意が示されているマップ４１４を備える。

ダッシュボード４００は、インプレッションの取得元であるウェブドメインに関連する注意の量を比較するドメイン比較チャート４１６をさらに備える。

最後に、ダッシュボード４００はさらに、所定の注意閾値に従って共通フィールドによってカバーされるキャンペーンを分類する要約パネル４１８をさらに備えてよい。この例では、閾値は１０％であり、これは、１０％のインプレッションは、注意深い視聴者を有していると検出されることを意味する。

図５は、単一のメディアコンテンツ（例えば、ビデオ広告）または関連するメディアコンテンツのグループによって表され得る特定の広告キャンペーン５０１について、図１のデータストア１３６に記憶されたリッチな有効性データの提示を含む広告キャンペーンレポート５００のスクリーンショットである。

広告キャンペーンレポート５００は、インプレッションカテゴリ化バー５０２を備えてよく、インプレッションカテゴリ化バー５０２は、（ｉ）視認可能であった（すなわち、画面上に見えた）、及び（ｉｉ）所定の閾値を超える注意スコアを有するユーザ（すなわち、「注意深い視聴者」）によって視認可能であった選択されたキャンペーン下で供給された総インプレッションの相対的比率を示す。視認性と注意力の比率が期待される性能と比較してどうであるかを示すために、基準がバーにマークされてよい。

広告キャンペーンレポート５００は、経時的なインプレッションカテゴリ化バーの進展を示すチャート５０４をさらに備えてよい。

広告キャンペーンレポート５００は、注意深い視聴者から検出された感情状態の相対的な強さを示す相対的な感情状態バー５０６をさらに備えてよい。

広告キャンペーンレポート５００は、ドライバインジケータバー５０８をさらに備え、ドライバインジケータバー５０８は、この例では、異なるコンテキスト属性カテゴリが検出された注意に相関する相対的な量を示す。コンテキスト属性カテゴリ（例えば、クリエイティブ、ブランド、オーディエンス、及びコンテキスト）のそれぞれを、そのカテゴリに寄与する要因のより詳細な内訳を提供するように選択可能であってよい。例えば、「クリエイティブ」カテゴリは、メディアコンテンツで提示される情報に関連し得る。コンテキスト属性データは、メディアコンテンツの任意の時点で見える主要なアイテムを説明するコンテンツストリームを含み得る。図５では、ドライバインジケータバー５０８は、注意に対するカテゴリの相関関係を示す。ただし、特定の感情状態など、カテゴリとの相関関係の相対的な強さが関心事である他の特徴を選択可能であってよい。

広告キャンペーンレポート５００は、キャンペーン戦略を適応または維持するための様々な提案が提供される推奨パネル５１０をさらに備える。各提案には、関連するコストとキャンペーンへの注意に対する予測される効果が含まれる。予測は、そのキャンペーンで検出された情報を使用して行われる。提案は、事前に決定されたキャンペーン最適化ターゲットによって推進されてよい。

広告キャンペーンレポート５００は、予測パネル５１２をさらに備え、予測パネル５１２は、キャンペーンの過去の性能を追跡し、推奨パネル５１０からの提案を実行する効果を示す。

最後に、広告キャンペーンレポート５００は、コンテキスト属性データからのデータが表示されるキーワード表示パネル５１４をさらに備えてよい。データは、様々なユーザタイプを識別するために使用されるセグメントデータ、及び／またはコンテキスト属性データに現れる共通の用語を含み得る。

広告キャンペーンレポート５００を使用して、プログラマティック広告キャンペーンを制御してよい。制御は、例えば、レポートで提供される推奨事項に基づいて、命令をＤＳＰに適合させることによって、手動で行われてよい。ただし、キャンペーン目標を達成するためにプログラマティック広告戦略を最適化する自動フィードバックループを効果的に確立するために、プログラマティック広告命令の自動調整を実装することが特に役立つ場合がある。

「プログラマティック広告」という用語は、本明細書では、例えばウェブページ、オンラインメディアプレーヤなどでデジタル広告スペースを購入するための自動化されたプロセスを指して使用される。通常、プロセスには、各広告スロット（つまり、利用可能な各広告のインプレッション）のリアルタイム入札が含まれる。プログラマティック広告では、ＤＳＰが、利用可能な広告のインプレッションに応じて入札を自動的に選択するように動作する。入札は、広告主からＤＳＰに提供されたキャンペーン戦略と、広告のインプレッション自体に関するコンテキスト情報との間の対応の決定されたレベルに部分的に基づいて選択される。キャンペーン戦略はターゲットオーディエンスを特定し、入札選択プロセスは、そのターゲットオーディエンス内の一部に広告が配信される可能性を最大化するように動作する。

このコンテキストで、本発明は、ＤＳＰに提供されるキャンペーン戦略をリアルタイムで、好ましくは自動化された方法で調整する手段として使用することができる。言い換えると、分析サーバから出力される推奨事項を使用して、所与の広告キャンペーンのターゲットオーディエンスの定義を調整してよい。

図６は、デジタル広告キャンペーンを最適化するための方法６００のフロー図である。この方法は、プログラマティック広告技術に適用可能である。プログラマティック広告技術では、デジタル広告キャンペーンは、定義された目標とその目標を達成することを目指したターゲットオーディエンス戦略を持っている。ターゲットオーディエンス戦略は、定義された目標を達成する方法でユーザに配信される広告コンテンツを担当するデマンドサイドプラットフォーム（ＤＳＰ）への入力を形成してよい。

方法６００は、複数のユーザへのデジタル広告キャンペーンに属する広告コンテンツの再生中の注意力パラメータの経時的な進展を表す有効性データセットにアクセスするステップ６０２から始まる。有効性データセットは、上記のタイプのものであってよく、注意力パラメータは、広告コンテンツの再生中に各ユーザから収集された行動データを、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムに適用することによって取得される。

この方法は、デジタル広告キャンペーンに関連するターゲットオーディエンス戦略に対する候補調整を生成するステップ６０４に続く。候補調整により、ターゲットオーディエンス戦略の任意の適用可能なパラメータが変わり得る。例えば、候補調整により、ターゲットオーディエンスの人口統計学的属性または関心情報を変更する場合がある。複数の候補調整が生成されてよい。候補調整は、デジタル広告キャンペーンの有効性データセットからの情報に基づいて生成されてよい。例えば、候補調整は、注意力パラメータが比較的高いターゲットオーディエンスの一部の影響を増加させたり、注意力パラメータが比較的低いターゲットオーディエンスの一部の影響を減少させたりすることを目的とする場合がある。

この方法は、候補調整を適用することの注意力パラメータへの効果を予測するステップ６０６に続く。これは、図５を参照して前述した方法で行われてよい。

この方法は、デジタル広告キャンペーンのキャンペーン目標に対して予測された効果を評価するステップ６０８に続く。これも、図５を参照して前述した方法で行われてよい。キャンペーンの目標は、１つまたは複数のパラメータによって定量化されてよい。したがって、評価ステップでは、これらのパラメータの予測値をデジタル広告キャンペーンの現在の値と比較する。一例では、キャンペーンの目標は注意の最大化に関係している場合があり、したがって、ターゲットオーディエンス戦略を改善すると、注意力パラメータの増加として現れることになる。

この方法は、予測された効果がキャンペーン目標に対する性能を閾値を超えて向上する場合、候補調整を用いてターゲットオーディエンス戦略を更新するステップ６１０に続く。上記の例では、これは、閾値を超える注意力パラメータ（例えば、広告キャンペーンによって実現される注意シェア）の向上であってよい。更新は自動的に、つまり人間の介入なしに行われてよい。そのため、ターゲットオーディエンス戦略は自動的に最適化されてよい。

上記のように、本発明は、広告の有効性を測定する際に使用されてよい。ただし、他の分野でも使用されてよい。

例えば、本発明は、ビデオ講義、ウェビナーなどのオンライン教材の評価に使用されてよい。ローカルに表示されるテキスト、調査質問などへの注意を測定するためにも使用されてよい。このコンテキストでは、例えば、試験を受けることが許可される前に訓練資料に十分な注意を払っていた場合など、コンテンツ自体または個々の受講者の有効性を評価するために使用することができる。

別の例では、本発明は、クライアントデバイス上でローカルに実行されるか、または単一または複数の参加者と共にオンラインで実行されるゲームアプリケーションで使用されてよい。ゲームプレイのどの側面でも、注意が測定可能な表示コンテンツを提供する場合がある。例えば、本発明は、ゲームの特定のエピソードが、所望のまたは必要なレベルの注意または感情的反応が得られるかどうかを理解するために使用されてよい。さらに、本発明は、ゲームプレイへの変更の有効性を指示及び測定するためのツールとして使用されてよい。

Claims (26)

1. 複数のコンピュータによって実行される、コンテンツの表示に払われた注意を判断するためにデータを収集する方法であって、前記複数のコンピュータは、コンテンツサーバ及び分析サーバとネットワークを介して通信可能な複数のクライアントデバイスを含み、
   クライアントデバイスにコンテンツを表示することと、
   前記クライアントデバイスからネットワークを介して前記分析サーバに、前記コンテンツの表示中のユーザと前記クライアントデバイスとの相互作用を示すコンテキスト属性データを送信することと、
   前記クライアントデバイスで、前記コンテンツの表示中に前記ユーザの行動データを収集することと、
   前記ユーザの注意データを生成するべく、前記行動データを分類アルゴリズムに適用することであって、前記分類アルゴリズムは、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、前記注意データは、前記コンテンツの表示中の経時的な前記注意力パラメータの変動を示す、前記適用することと、
   前記注意力パラメータの経時的な進展を、前記コンテンツの表示中に取得された対応するコンテキスト属性データとリンクさせる有効性データセットを生成するべく、前記分析サーバで、前記注意データを前記コンテキスト属性データと同期することと、
   前記有効性データセットをデータストアに記憶することと、
   を含み、
   前記方法は、前記クライアントデバイスからの行動データが利用できないと判定すると、
   前記ユーザの予測注意データを生成するべく、前記コンテキスト属性データを予測アルゴリズムに適用することであって、前記予測アルゴリズムは、前記コンテキスト属性データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、前記予測注意データは、前記コンテンツの表示中の経時的な前記注意力パラメータの変動を示し、
   前記注意力パラメータの時間の経時的進展を、前記コンテンツの表示中に取得された対応するコンテキスト属性データとリンクさせる予測有効性データセットを生成するべく、前記予測注意データをコンテキスト属性データと同期させることとを含む、方法。
2. 前記表示されたコンテンツが、メディアコンテンツを含み、前記方法が、
   前記クライアントデバイスで実行されるメディアプレーヤアプリケーションを使用して、前記メディアコンテンツを再生することをさらに含み、
   前記コンテキスト属性データが、前記メディアコンテンツの再生中の前記ユーザと前記メディアプレーヤアプリケーションとの相互作用をさらに示す、
   請求項１に記載の方法。
3. 前記メディアプレーヤアプリケーションが、前記ネットワークを介して前記分析サーバに前記メディアプレーヤアプリケーションの制御分析データを送信するように構成されたアダプタモジュールを備え、前記方法が、表示される前記メディアコンテンツを受信すると、前記アダプタモジュールを実行することを含む、請求項２に記載の方法。
4. 前記コンテンツを表示することが、
   前記クライアントデバイスによって前記ネットワークを介して、コンテンツサーバによってホストされているウェブドメイン上のウェブページにアクセスすることと、
   前記クライアントデバイスによって前記ネットワークを介して、前記ウェブページによって表示される前記コンテンツを受信することと
   を含む、請求項１から３のいずれかに記載の方法。
5. 前記コンテキスト属性データが、前記コンテンツの表示中の前記ユーザと前記ウェブページとの相互作用をさらに示す、請求項４に記載の方法。
6. 前記ウェブページにアクセスすることが、前記クライアントデバイス上で実行するためのコンテキストデータ開始スクリプトを取得することを含み、前記方法が、前記クライアントデバイス上で前記コンテキストデータ開始スクリプトを実行することをさらに含む、請求項４または５に記載の方法。
7. 前記コンテンツサーバと前記クライアントデバイスとの間の前記ネットワーク上のインタメディエイタによって、前記コンテキストデータ開始スクリプトを前記ウェブページのソースコードに注入することをさらに含む、請求項６に記載の方法。
8. 前記コンテキストデータ開始スクリプトを取得することは、
   前記クライアントデバイスによって、広告要求を送信することと、
   広告サーバから、前記広告要求に応答してビデオ広告応答を受信することと、
   前記コンテキストデータ開始スクリプトは、前記ビデオ広告応答に含まれる、
   請求項６に記載の方法。
9. 前記コンテキストデータ開始スクリプトを実行すると、前記方法が、
   前記コンテキスト属性データ及び前記行動データを前記分析サーバに送信することへの同意を判断することと、
   前記行動データを収集するためのデバイスの利用可能性を判断することと、
   前記ユーザが行動データ収集のために選択されているかどうかを確認することと
   をさらに含み、
   前記方法は、前記コンテキストデータ開始スクリプトを使用して前記クライアントデバイスによって、
   （ｉ）行動データの送信への同意が保留されていること、または
   （ｉｉ）前記行動データを収集するためのデバイスが利用できないこと、または
   （ｉｉｉ）行動データ収集のために前記ユーザが選択されていないこと
   を判断すると、行動データ収集手順を終了することをさらに含む、
   請求項６から８のいずれか１項に記載の方法。
10. 前記方法が、前記コンテキストデータ開始スクリプトを使用して前記クライアントデバイスによって、（ｉ）行動データを送信することへの同意が与えられたこと、及び、（ｉｉ）前記行動データを収集するためのデバイスが利用可能であること、及び、（ｉｉｉ）行動データ収集のために前記ユーザが選択されていることを判断すると、前記クライアントデバイスから前記分析サーバに前記行動データを送信するためのリアルタイム通信プロトコルをロードすることをさらに含む、請求項９に記載の方法。
11. 前記コンテキスト属性データが、前記ウェブページのウェブ分析データを含む、請求項４から１０のいずれか１項に記載の方法。
12. 前記行動データを前記分類アルゴリズムに適用することが、前記クライアントデバイス上で行われ、前記方法が、前記クライアントデバイスによって、前記ネットワークを介して前記注意データを前記分析サーバに送信することをさらに含む、請求項１から１１のいずれか１項に記載の方法。
13. 前記クライアントデバイスによって、前記ネットワークを介して前記行動データを前記分析サーバに送信することをさらに含み、前記行動データを分類アルゴリズムに適用することが、前記分析サーバで行われる。請求項１から１１のいずれか１項に記載の方法。
14. 前記クライアントデバイスで前記ユーザの行動データを収集することが、カメラを使用して前記ユーザの画像をキャプチャすることを含む、請求項１から１３のいずれか１項に記載の方法。
15. 前記分類アルゴリズムが、前記コンテンツの再生中にキャプチャされた前記ユーザの複数の画像の各画像の前記注意力パラメータを評価するように動作する、請求項１４に記載の方法。
16. 前記行動データを感情状態分類アルゴリズムに適用して、前記ユーザの感情状態データを生成することであって、前記感情状態分類アルゴリズムは、行動データを感情状態データにマッピングするように訓練された機械学習アルゴリズムであり、前記感情状態データは、前記コンテンツの再生中に前記ユーザが所与の感情状態を有する確率の経時的な変動を示す、前記ユーザの前記感情状態データを生成することと、
    前記感情状態データを前記注意データと同期させることと
    をさらに含み、前記有効性データセットは前記感情状態データをさらに含む、
    請求項１から１５のいずれか１項に記載の方法。
17. 前記コンテンツが前記クライアントデバイス上で実行されるアプリによって取得及び表示され、前記方法が、
    前記クライアントデバイスで実行されている前記アプリによって、前記感情状態データ及び前記注意力パラメータのデータに基づいてアクションを決定すること
    をさらに含む、請求項１６に記載の方法。
18. 前記アプリが、前記分類アルゴリズムを提供するように構成されたソフトウェア開発キットを含む、請求項１７に記載の方法。
19. 前記ネットワークを介してレポートジェネレータによって、前記有効性データセットの情報のクエリを受信することと、
    前記データストアから前記レポートジェネレータによって、前記クエリに応答する応答データを抽出することと、
    前記レポートジェネレータによって、前記ネットワークを介して前記応答データを送信することと
    をさらに含む、請求項１から１８のいずれか１項に記載の方法。
20. 前記分析サーバによって、複数のクライアントデバイスからコンテキスト属性データ及び行動データを受信することと、
    前記分析サーバによって、前記複数のクライアントデバイスから受信された前記コンテキスト属性データ及び前記行動データから取得された複数の有効性データセットを集約することと
    をさらに含む、請求項１から１９のいずれか１項に記載の方法。
21. 前記複数の有効性データセットが、前記複数のクライアントデバイスから受信された前記コンテキスト属性データ及び前記行動データによって共有される１つまたは複数の共通の次元に関して集約される、請求項２０に記載の方法。
22. 前記共通の次元が、ウェブドメイン、ウェブサイトアイデンティティ、時刻、及びコンテンツのタイプのいずれかを含む、請求項２１に記載の方法。
23. 前記コンテンツが前記クライアントデバイス上で実行されるアプリによって取得及び表示され、前記方法が、
    前記集約された有効性データセットを使用して、前記アプリのソフトウェア更新を判断することと、
    前記クライアントデバイスで前記ソフトウェア更新を受信することと、
    前記ソフトウェア更新を実行して前記アプリの機能を調整することと
    をさらに含む、請求項２０から２２のいずれか１項に記載の方法。
24. 前記クライアントデバイスからユーザが同意した行動データが利用可能であると判断すると、
    前記ユーザの予測注意データを生成するべく、前記コンテキスト属性データを第２の予測アルゴリズムに適用することであって、前記予測注意データは、前記コンテンツの表示中の経時的な前記注意力パラメータの変動を示す、前記適用することと、
    前記注意力パラメータの経時的な進展を、前記コンテンツの表示中に取得された対応するコンテキスト属性データとリンクさせる予測有効性データセットを生成するべく、前記予測注意データを前記コンテキスト属性データと同期させることと
    をさらに含む、請求項１から２３のいずれか１項に記載の方法。
25. 前記第２の予測アルゴリズムが、コンテキスト属性データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムである、請求項２４に記載の方法。
26. 表示されたコンテンツに払われた注意を判断するためのデータを収集するシステムであって、前記システムは、コンテンツサーバ及び分析サーバとネットワークを介して通信可能な複数のクライアントデバイスを含み、
    各クライアントデバイスは、
    コンテンツを表示し、
    前記コンテンツの表示中のユーザと前記クライアントデバイスとの相互作用を示すコンテキスト属性データを前記分析サーバに送信し、且つ、
    前記コンテンツの表示中に前記ユーザの行動データを収集する
    ように構成され、
    前記システムは、
    前記ユーザの注意データを生成するべく、受信した前記行動データを分類アルゴリズムに適用するようにさらに構成され、前記分類アルゴリズムは、行動データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、前記注意データは、前記コンテンツの表示中の経時的な前記注意力パラメータの変動を示し、
    前記クライアントデバイスからの行動データが利用できない場合に、前記ユーザの予測注意データを生成するべく、前記コンテキスト属性データを予測アルゴリズムに適用するようにさらに構成され、前記予測アルゴリズムは、前記コンテキスト属性データを注意力パラメータにマッピングするように訓練された機械学習アルゴリズムであり、前記予測注意データは、前記コンテンツの表示中の経時的な前記注意力パラメータの変動を示し、
    前記分析サーバは、
    前記注意力パラメータの経時的進展を、前記コンテンツの表示中に取得された対応するコンテキスト属性データとリンクさせる有効性データセットを生成するべく、前記注意データを前記コンテキスト属性データと同期させ、且つ、
    前記有効性データセットをデータストアに記憶する
    ようにさらに構成される、前記システム。