JP6895501B2

JP6895501B2 - Advertising effectiveness analysis method and computer equipment

Info

Publication number: JP6895501B2
Application number: JP2019191887A
Authority: JP
Inventors: 基昌韓; 尚賢林; 敬眞 ▲ぺ▼; 承穆韓
Original assignee: Naver Corp
Current assignee: Naver Corp
Priority date: 2019-09-09
Filing date: 2019-10-21
Publication date: 2021-06-30
Anticipated expiration: 2039-10-21
Also published as: KR20220002224A; KR102345958B1; JP2021043927A; KR20210030134A

Description

以下の説明は、広告効果分析方法およびコンピュータ装置等に関する。 The following description relates to an advertising effectiveness analysis method, a computer device, and the like.

一般的な広告技術において、広告の表示成果は、任意の広告に対する表示、クリック、および／または転換に基づいている。転換は、ユーザのクリックが、広告主が望む動作（例えば、サイト申し込み、加入、製品購入等）に繋がることを意味する。例えば、特許文献１は、統合ログデータを利用した広告効果分析システムおよびその制御方法に関し、広告を表示し、これを通じてユーザの反応が入力されるようにする機能を実行する端末機と広告コンテンツを端末機に提供し、端末機からユーザの反応が受信されると、これに基づいて統合ログデータを生成してサーバに提供する広告提供サーバを開示している。 In common advertising techniques, the performance of an ad is based on the display, click, and / or conversion of any ad. The conversion means that the user's click leads to the behavior desired by the advertiser (eg, site application, subscription, product purchase, etc.). For example, Patent Document 1 relates to an advertising effectiveness analysis system using integrated log data and a control method thereof, and provides a terminal and advertising content that execute a function of displaying an advertisement and inputting a user's reaction through the display. It provides to the terminal, and when the user's reaction is received from the terminal, it discloses an advertisement providing server that generates integrated log data and provides it to the server.

しかし、このような一般的な広告技術では、表示された広告に反応を示したユーザだけが分析対象となるため、該当の広告が表示された後、これ対して反応を示さなかったユーザに対する広告効果は把握することができなかった。また、一般的な広告技術では、該当の広告が表示されたユーザ、該当の広告に対して反応を示したユーザ、および該当の広告が表示されなかったユーザの広告効果の差などについても把握することができなかった。 However, in such a general advertising technology, only the users who respond to the displayed advertisement are analyzed, so that the advertisement for the user who does not respond to the displayed advertisement after the corresponding advertisement is displayed is displayed. The effect could not be grasped. In addition, with general advertising technology, it is possible to grasp the difference in advertising effectiveness between the user who displayed the relevant advertisement, the user who responded to the relevant advertisement, and the user who did not display the relevant advertisement. I couldn't.

さらに、一般的な広告技術では、表示された広告に対するユーザの反応に基づいてこれに対する個別成果を測定するだけで、該当の広告が同じブランドで登場する他の広告や他のサービスなどに及ぼす影響を把握することはできなかった。 In addition, general advertising technology simply measures individual performance based on the user's reaction to the displayed advertisement, and the effect of the advertisement on other advertisements and other services that appear under the same brand. I couldn't figure out.

韓国公開特許第１０−２０１１−００７５４６９号公報Korean Publication No. 10-2011-0075469 Gazette

対象広告が表示されたユーザを含む実験群および同じ紙面を訪れたが他の広告が表示されたユーザを含む対照群を設定し、実験群と対照群それぞれの後続行動を示したユーザの数および／または比率に関する情報を提供することができる分析方法およびシステムを提供する。 An experimental group including users who displayed the target advertisement and a control group including users who visited the same page but displayed other advertisements were set, and the number of users who showed the subsequent behavior of each of the experimental group and the control group and / Or provide analytical methods and systems that can provide information about ratios.

少なくとも１つのプロセッサを含むコンピュータ装置の分析方法であって、前記少なくとも１つのプロセッサにより、対象広告が表示されたユーザを含む実験群を設定する段階、前記少なくとも１つのプロセッサにより、前記対象広告が表示されなかったユーザを含む対照群を設定する段階、前記少なくとも１つのプロセッサにより、前記実験群および前記対照群それぞれに対し、予め設定された後続行動を示したユーザの数および比率のうちの少なくとも１つを測定する段階、および前記少なくとも１つのプロセッサにより、前記測定されたユーザの数および比率のうちの少なくとも１つに関する情報を提供する段階を含む、分析方法を提供する。 A method for analyzing a computer device including at least one processor, in which the target advertisement is displayed by the at least one processor at a stage of setting an experimental group including a user who has displayed the target advertisement. At least one of the number and ratio of users who showed preset follow-on behavior to each of the experimental group and the control group at the stage of setting the control group including the users who did not. An analysis method is provided that includes a step of measuring one and a step of providing information about at least one of the measured numbers and proportions of users by the at least one processor.

一側によると、前記対照群を設定する段階は、前記対象広告が表示されなかったユーザのうち、前記実験群の性別および年齢帯のうちの少なくとも１つによるユーザ数に対応するようにユーザを抽出して前記対照群を設定してよい。 According to one side, the step of setting the control group corresponds to the number of users by at least one of the gender and age groups of the experimental group among the users who did not display the target advertisement. The control group may be extracted and set.

他の側面によると、前記測定する段階は、前記実験群のユーザのうちで前記対象広告と関連するキーワードを検索したユーザの第１数および第１比率のうちの少なくとも１つ、および前記対照群のユーザのうちで前記対象広告と関連するキーワードを検索したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。 According to another aspect, the measurement step is at least one of a first number and a first ratio of users in the experimental group who have searched for keywords related to the targeted advertisement, and the control group. At least one of the second number and the second ratio of the users who searched for the keyword related to the target advertisement among the users of the above may be measured.

また他の側面によると、前記測定する段階は、前記実験群のユーザのうちで前記対象広告と関連するキーワードに基づいて提供される前記対象広告のブランドに対応する広告主による検索広告を選択したユーザの第１数および第１比率のうちの少なくとも１つ、および前記対照群のユーザのうちで前記対象広告と関連するキーワードに基づいて提供される検索広告を選択したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。 According to another aspect, the measurement step selected a search advertisement by an advertiser corresponding to the brand of the target advertisement provided based on the keyword related to the target advertisement among the users of the experimental group. At least one of the first number and the first ratio of users, and the second and second number of users in the control group who have selected search ads offered based on keywords associated with the targeted ad. At least one of the two ratios may be measured.

また他の側面によると、前記測定する段階は、前記実験群のユーザのうちでショッピングにて前記対象広告と関連するブランドの製品を選択したユーザの第１数および第１比率のうちの少なくとも１つ、および前記対照群のユーザのうちでショッピングにて前記対象広告と関連するブランドの製品を選択したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。 According to another aspect, the measurement step is at least one of the first number and the first ratio of the users in the experimental group who have selected the product of the brand related to the target advertisement in shopping. At least one of the second number and the second ratio of the users who selected the product of the brand related to the target advertisement in shopping among the users of the control group may be measured.

また他の側面によると、前記測定する段階は、前記実験群のユーザのうちで前記対象広告を表示する媒体の決済手段を利用して前記対象広告と関連するブランドの製品を購入したユーザの第１数および第１比率のうちの少なくとも１つ、および前記対照群のユーザのうちで前記対象広告を表示する媒体の決済手段を利用して前記対象広告と関連するブランドの製品を購入したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。 According to another aspect, the measurement step is the first of the users in the experimental group who purchased the product of the brand related to the target advertisement by using the payment means of the medium displaying the target advertisement. At least one of the number and the first ratio, and among the users in the control group, the users who purchased the product of the brand related to the target advertisement by using the payment means of the medium displaying the target advertisement. At least one of the second number and the second ratio may be measured.

また他の側面によると、前記実験群および前記対照群に含まれるユーザは、前記対象広告を表示する媒体のログデータを利用して前記媒体で使用されるログインＩＤに基づく値によって識別されてよい。 According to another aspect, the users included in the experimental group and the control group may be identified by a value based on the login ID used in the medium using the log data of the medium displaying the target advertisement. ..

また他の側面によると、前記測定する段階は、前記ログインＩＤに基づく値ごとに前記予め設定された後続行動を示したユーザを追跡してよい。 According to another aspect, the measuring step may track the user who has shown the preset follow-on behavior for each value based on the login ID.

また他の側面によると、前記実験群を設定する段階は、前記対象広告が表示されたユーザのうちで前記対象広告を選択したユーザを含む第１実験群、および前記対象広告が表示されたユーザのうちで前記対象広告を選択したユーザを除いた残りのユーザを含む第２実験群のうちの少なくとも１つを設定し、前記測定する段階は、前記第１実験群および前記第２実験群のうちの少なくとも１つに対して前記予め設定された後続行動を示したユーザの第１数および第１比率のうちの少なくとも１つ、および前記対照群に対して前記予め設定された後続行動を示したユーザの第２数および第２比率を測定してよい。 According to another aspect, at the stage of setting the experimental group, the first experimental group including the user who selected the target advertisement among the users who displayed the target advertisement, and the user who displayed the target advertisement. At least one of the second experimental groups including the remaining users excluding the user who selected the target advertisement is set, and the measurement step is the first experimental group and the second experimental group. At least one of the first number and the first ratio of users who showed the preset follow-on behavior to at least one of them, and the preset follow-up behavior to the control group. The second number and the second ratio of the users may be measured.

さらに他の側面によると、前記提供する段階は、前記実験群に対して測定されたユーザの第１数と前記対照群に対して測定されたユーザの第２数を比較した第１比較結果、および前記実験群に対して測定されたユーザの第１比率および前記対照群に対して測定されたユーザの第２比率を比較した第２比較結果のうちの少なくとも１つの比較結果を提供してよい。 According to yet another aspect, the provided step is a first comparison result comparing a first number of users measured against the experimental group and a second number of users measured against the control group. And at least one of the second comparison results comparing the first ratio of users measured to the experimental group and the second ratio of users measured to the control group may be provided. ..

前記分析方法をコンピュータ装置に実行させるためにコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを提供する。 Provided is a computer program recorded on a computer-readable recording medium for causing a computer apparatus to perform the analysis method.

前記分析方法をコンピュータ装置に実行させるためのプログラムが記録されているコンピュータ読み取り可能な記録媒体を提供する。 Provided is a computer-readable recording medium in which a program for causing a computer device to execute the analysis method is recorded.

コンピュータ読み取り可能な命令を実行するように実現される少なくとも１つのプロセッサを含み、前記少なくとも１つのプロセッサにより、対象広告が表示されたユーザを含む実験群を設定し、前記対象広告が表示されなかったユーザを含む対照群を設定し、前記実験群および前記対照群それぞれに対し、予め設定された後続行動を示したユーザの数および比率のうちの少なくとも１つを測定し、前記測定されたユーザの数および比率のうちの少なくとも１つに関する情報を提供する、コンピュータ装置を提供する。 An experimental group including at least one processor implemented to execute a computer-readable instruction, including a user who displayed the target advertisement, was set up by the at least one processor, and the target advertisement was not displayed. A control group including users was set, and at least one of the number and ratio of users who showed preset follow-up behavior was measured for each of the experimental group and the control group, and the measured users were measured. Provided is a computer device that provides information about at least one of a number and a ratio.

対象広告が表示されたユーザを含む実験群および同じ紙面を訪れたが他の広告が表示されたユーザを含む対照群を設定し、実験群と対照群それぞれの後続行動を示したユーザの数および／または比率に関する情報を提供することにより、対象広告に対する広告効果およびシナジー効果（ｓｙｎｅｒｇｙ）を分析することができる。 An experimental group including users who displayed the target advertisement and a control group including users who visited the same page but displayed other advertisements were set, and the number of users who showed the subsequent behavior of each of the experimental group and the control group and / Or by providing information about the ratio, it is possible to analyze the advertising effect and synergy effect on the target advertisement.

対象広告が表示されたユーザのうちで対象広告を選択（一例として、クリック）したユーザを含む第１実験群と、対象広告が表示されたユーザのうちで対象広告を選択したユーザを除いた残りのユーザ（一例として、対象広告は表示されたがクリックしなかったユーザ）を含む第２実験群のうちの少なくとも１つを実験群として設定することにより、対象広告を選択したユーザによる広告効果およびシナジー効果と対象広告は表示されたが選択しなかったユーザによる広告効果およびシナジー効果を区分して把握することができる。 The first experimental group including users who selected the target advertisement (clicked as an example) among the users who displayed the target advertisement, and the rest excluding the users who selected the target advertisement among the users who displayed the target advertisement. By setting at least one of the second experimental group including the user (for example, the user who displayed the target advertisement but did not click) as the experimental group, the advertising effect by the user who selected the target advertisement and The synergistic effect and the target advertisement can be grasped separately by the advertising effect and the synergistic effect by the user who was displayed but did not select.

本発明の一実施形態における、ネットワーク環境の例を示した図である。It is a figure which showed the example of the network environment in one Embodiment of this invention. 本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。It is a block diagram which showed the example of the computer apparatus in one Embodiment of this invention. 本発明の一実施形態における、分析方法の例を示したフローチャートである。It is a flowchart which showed the example of the analysis method in one Embodiment of this invention. 本発明の一実施形態における、実験群および対照群を設定する例を示した図である。It is a figure which showed the example which sets the experimental group and the control group in one Embodiment of this invention. 本発明の一実施形態における、実験群と対照群に対する分析結果の例を示した図である。It is a figure which showed the example of the analysis result with respect to the experimental group and the control group in one Embodiment of this invention.

以下、実施形態について、添付の図面を参照しながら詳しく説明する。 Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

本発明の実施形態に係る分析システムは、少なくとも１つのコンピュータ装置によって実現されてよく、本発明の実施形態に係る分析方法は、分析システムに含まれる少なくとも１つのコンピュータ装置によって実行されてよい。このとき、コンピュータ装置においては、本発明の一実施形態に係るコンピュータプログラムがインストールされて実行されてよく、コンピュータ装置は、実行されるコンピュータプログラムの制御にしたがって本発明の実施形態に係る分析方法を実行してよい。上述したコンピュータプログラムは、コンピュータ装置と結合して分析方法をコンピュータに実行させるためにコンピュータ読み取り可能な記録媒体に記録されてよい。 The analysis system according to the embodiment of the present invention may be realized by at least one computer device, and the analysis method according to the embodiment of the present invention may be executed by at least one computer device included in the analysis system. At this time, in the computer device, the computer program according to the embodiment of the present invention may be installed and executed, and the computer device may perform the analysis method according to the embodiment of the present invention under the control of the executed computer program. You may do it. The computer program described above may be recorded on a computer-readable recording medium in combination with a computer device to allow the computer to perform the analysis method.

図１は、本発明の一実施形態における、ネットワーク環境の例を示した図である。図１のネットワーク環境は、複数の電子機器１１０、１２０、１３０、１４０、複数のサーバ１５０、１６０、およびネットワーク１７０を含む例を示している。このような図１は、発明の説明のための一例に過ぎず、電子機器の数やサーバの数が図１のように限定されることはない。また、図１のネットワーク環境は、本実施形態に適用可能な環境の一例を説明したものに過ぎず、本実施形態に適用可能な環境が図１のネットワーク環境に限定されることはない。 FIG. 1 is a diagram showing an example of a network environment according to an embodiment of the present invention. The network environment of FIG. 1 shows an example including a plurality of electronic devices 110, 120, 130, 140, a plurality of servers 150, 160, and a network 170. Such FIG. 1 is merely an example for explaining the invention, and the number of electronic devices and the number of servers are not limited as in FIG. Further, the network environment of FIG. 1 is merely an example of an environment applicable to the present embodiment, and the environment applicable to the present embodiment is not limited to the network environment of FIG.

複数の電子機器１１０、１２０、１３０、１４０は、コンピュータ装置によって実現される固定端末や移動端末であってよい。複数の電子機器１１０、１２０、１３０、１４０の例としては、スマートフォン、携帯電話、ナビゲーションＰＣ（ｐｅｒｓｏｎａｌｃｏｍｐｕｔｅｒ）、ノート型パンコン、デジタル放送用端末、ＰＤＡ（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ）、ＰＭＰ（ＰｏｒｔａｂｌｅＭｕｌｔｉｍｅｄｉａＰｌａｙｅｒ）、タブレットなどがある。一例として、図１では、電子機器１１０の例としてスマートフォンを示しているが、本発明の実施形態において、電子機器１１０は、実質的に無線または有線通信方式を利用し、ネットワーク１７０を介して他の電子機器１２０、１３０、１４０および／またはサーバ１５０、１６０と通信することのできる多様な物理的なコンピュータ装置のうちの１つを意味してよい。 The plurality of electronic devices 110, 120, 130, 140 may be fixed terminals or mobile terminals realized by a computer device. Examples of a plurality of electronic devices 110, 120, 130, 140 include smartphones, mobile phones, navigation PCs (personal computers), notebook pancons, digital broadcasting terminals, PDAs (Personal Digital Assistants), PMPs (Portable Multimedia Players). , Tablets, etc. As an example, FIG. 1 shows a smartphone as an example of the electronic device 110, but in the embodiment of the present invention, the electronic device 110 substantially utilizes a wireless or wired communication method, and another via the network 170. It may mean one of a variety of physical computer devices capable of communicating with electronic devices 120, 130, 140 and / or servers 150, 160.

通信方式が限定されることはなく、ネットワーク１７０が含むことのできる通信網（一例として、移動通信網、有線インターネット、無線インターネット、放送網）を活用する通信方式だけではなく、機器間の近距離無線通信が含まれてもよい。例えば、ネットワーク１７０は、ＰＡＮ（ｐｅｒｓｏｎａｌａｒｅａｎｅｔｗｏｒｋ）、ＬＡＮ（ｌｏｃａｌａｒｅａｎｅｔｗｏｒｋ）、ＣＡＮ（ｃａｍｐｕｓａｒｅａｎｅｔｗｏｒｋ）、ＭＡＮ（ｍｅｔｒｏｐｏｌｉｔａｎａｒｅａｎｅｔｗｏｒｋ）、ＷＡＮ（ｗｉｄｅａｒｅａｎｅｔｗｏｒｋ）、ＢＢＮ（ｂｒｏａｄｂａｎｄｎｅｔｗｏｒｋ）、インターネットなどのネットワークのうちの１つ以上の任意のネットワークを含んでもよい。さらに、ネットワーク１７０は、バスネットワーク、スターネットワーク、リングネットワーク、メッシュネットワーク、スター−バスネットワーク、ツリーまたは階層的（ｈｉｅｒａｒｃｈｉｃａｌ）ネットワークなどを含むネットワークトポロジのうちの任意の１つ以上を含んでもよいが、これらに限定されることはない。 The communication method is not limited, and not only the communication method utilizing the communication network (for example, mobile communication network, wired Internet, wireless Internet, broadcasting network) that can be included in the network 170, but also the short distance between devices. Wireless communication may be included. For example, the network 170 includes a PAN (personal area network), a LAN (local area network), a CAN (campus area network), a MAN (metropolitan area network), a WAN (wide area network), etc. It may include any one or more of the networks. In addition, network 170 may include any one or more of network topologies, including bus networks, star networks, ring networks, mesh networks, star-bus networks, tree or hierarchical networks, and the like. It is not limited to these.

サーバ１５０、１６０それぞれは、電子機器１１０、１２０、１３０、１４０とネットワーク１７０を介して通信して命令、コード、ファイル、コンテンツ、サービスなどを提供する１つ以上のコンピュータ装置によって実現されてよい。例えば、サーバ１５０は、ネットワーク１７０を介して接続した複数の電子機器１１０、１２０、１３０、１４０にサービス（一例として、グループ通話サービス（または音声カンファレンスサービス）、メッセージングサービス、メールサービス、ソーシャルネットワークサービス、地図サービス、翻訳サービス、金融サービス、決済サービス、検索サービス、コンテンツ提供サービスなど）を提供するシステムであってよい。 Each of the servers 150, 160 may be implemented by one or more computer devices that communicate with electronic devices 110, 120, 130, 140 via a network 170 to provide instructions, codes, files, contents, services, and the like. For example, the server 150 provides services to a plurality of electronic devices 110, 120, 130, 140 connected via the network 170 (for example, a group call service (or voice conference service), a messaging service, a mail service, a social network service, etc. It may be a system that provides a map service, a translation service, a financial service, a payment service, a search service, a content providing service, etc.).

図２は、本発明の一実施形態における、コンピュータ装置の例を示したブロック図である。上述した複数の電子機器１１０、１２０、１３０、１４０それぞれやサーバ１５０、１６０それぞれは、図２に示したコンピュータ装置２００によって実現されてよい。 FIG. 2 is a block diagram showing an example of a computer device according to an embodiment of the present invention. Each of the plurality of electronic devices 110, 120, 130, 140 and the servers 150, 160 described above may be realized by the computer device 200 shown in FIG.

このようなコンピュータ装置２００は、図２に示すように、メモリ２１０、プロセッサ２２０、通信インタフェース２３０、および入力／出力インタフェース２４０を含んでよい。メモリ２１０は、コンピュータ読み取り可能な記録媒体であって、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄｏｎｌｙｍｅｍｏｒｙ）、およびディスクドライブのような永久大容量記憶装置（ｐｅｒｍａｎｅｎｔｍａｓｓｓｔｏｒａｇｅｄｅｖｉｃｅ）を含んでよい。ここで、ＲＯＭやディスクドライブのような永久大容量記憶装置は、メモリ２１０とは区分される別の永久記録装置としてコンピュータ装置２００に含まれてもよい。また、メモリ２１０には、オペレーティングシステムと、少なくとも１つのプログラムコードが格納されてよい。このようなソフトウェア構成要素は、メモリ２１０とは別のコンピュータ読み取り可能な記録媒体からメモリ２１０にロードされてよい。このような別のコンピュータ読み取り可能な記録媒体は、フロッピー（登録商標）ドライブ、ディスク、テープ、ＤＶＤ／ＣＤ−ＲＯＭドライブ、メモリカードなどのコンピュータ読み取り可能な記録媒体を含んでよい。他の実施形態において、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではない通信インタフェース２３０を通じてメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、コンピュータ読み取り可能な記録媒体ではなく、通信インタフェース２３０を経てメモリ２１０にロードされてもよい。例えば、ソフトウェア構成要素は、ネットワーク１７０を介して受信されるファイルによってインストールされるコンピュータプログラムに基づいてコンピュータ装置２００のメモリ２１０にロードされてよい。 Such a computer device 200 may include a memory 210, a processor 220, a communication interface 230, and an input / output interface 240, as shown in FIG. The memory 210 is a computer-readable recording medium and may include a RAM (random access memory), a ROM (read only memory), and a permanent mass storage device such as a disk drive. Here, a permanent large-capacity storage device such as a ROM or a disk drive may be included in the computer device 200 as a permanent recording device separate from the memory 210. Further, the memory 210 may store an operating system and at least one program code. Such software components may be loaded into memory 210 from a computer-readable recording medium separate from memory 210. Such other computer-readable recording media may include computer-readable recording media such as floppy® drives, disks, tapes, DVD / CD-ROM drives, memory cards, and the like. In other embodiments, software components may be loaded into memory 210 through a communication interface 230 that is not a computer-readable recording medium. For example, software components may be loaded into memory 210 via a communication interface 230 rather than a computer-readable recording medium. For example, software components may be loaded into memory 210 of computer equipment 200 based on a computer program installed by a file received over network 170.

プロセッサ２２０は、基本的な算術、ロジック、および入出力演算を実行することにより、コンピュータプログラムの命令を処理するように構成されてよい。命令は、メモリ２１０または通信モジュール２３０によって、プロセッサ２２０に提供されてよい。例えば、プロセッサ２２０は、メモリ２１０のような記録装置に記録されたプログラムコードにしたがって受信される命令を実行するように構成されてよい。 Processor 220 may be configured to process instructions in a computer program by performing basic arithmetic, logic, and I / O operations. Instructions may be provided to processor 220 by memory 210 or communication module 230. For example, the processor 220 may be configured to execute instructions received according to program code recorded in a recording device such as memory 210.

通信インタフェース２３０は、ネットワーク１７０を介してコンピュータ装置２００が他の装置（一例として、上述した記録装置）と互いに通信するための機能を提供してよい。一例として、コンピュータ装置２００のプロセッサ２２０がメモリ２１０のような記録装置に格納されたプログラムコードにしたがって生成した要求や命令、データ、ファイルなどが、通信インタフェース２３０の制御にしたがってネットワーク１７０を介して他の装置に伝達されてよい。これとは逆に、他の装置からの信号や命令、データ、ファイルなどが、ネットワーク１７０を介してコンピュータ装置２００の通信インタフェース２３０を経てコンピュータ装置２００に受信されてもよい。通信インタフェース２３０に受信された信号や命令、データなどは、プロセッサ２２０やメモリ２１０に伝達されてよく、ファイルなどは、コンピュータ装置２００がさらに含むことのできる記録媒体（上述した、永久記録装置）に記録されてよい。 The communication interface 230 may provide a function for the computer device 200 to communicate with another device (for example, the recording device described above) via the network 170. As an example, requests, instructions, data, files, etc. generated by the processor 220 of the computer device 200 according to the program code stored in the recording device such as the memory 210 are sent via the network 170 under the control of the communication interface 230. May be transmitted to the device of. On the contrary, signals, instructions, data, files and the like from other devices may be received by the computer device 200 via the communication interface 230 of the computer device 200 via the network 170. Signals, instructions, data and the like received by the communication interface 230 may be transmitted to the processor 220 and the memory 210, and files and the like may be transferred to a recording medium (the above-mentioned permanent recording device) that can be further included in the computer device 200. May be recorded.

入力／出力インタフェース２４０は、入力／出力装置２５０とのインタフェースのための手段であってよい。例えば、入力装置は、マイク、キーボード、またはマウスなどの装置を含んでよく、出力装置は、ディスプレイやスピーカのような装置を含んでよい。他の例として、入力／出力インタフェース２４０は、タッチスクリーンのように入力と出力のための機能が１つに統合された装置とのインタフェースのための手段であってもよい。入力／出力装置２５０は、コンピュータ装置２００と１つの装置で構成されてもよい。 The input / output interface 240 may be a means for an interface with the input / output device 250. For example, the input device may include a device such as a microphone, keyboard, or mouse, and the output device may include a device such as a display or speaker. As another example, the input / output interface 240 may be a means for an interface with a device such as a touch screen in which functions for input and output are integrated into one. The input / output device 250 may be composed of a computer device 200 and one device.

また、他の実施形態において、コンピュータ装置２００は、図２の構成要素よりも少ないか多くの構成要素を含んでもよい。しかし、大部分の従来技術的構成要素を明確に図に示す必要はない。例えば、コンピュータ装置２００は、上述した入力／出力装置２５０のうちの少なくとも一部を含むように実現されてもよいし、トランシーバやデータベースなどのような他の構成要素をさらに含んでもよい。 Also, in other embodiments, the computer device 200 may include fewer or more components than the components of FIG. However, it is not necessary to clearly illustrate most of the prior art components. For example, the computer device 200 may be implemented to include at least a portion of the input / output devices 250 described above, or may further include other components such as transceivers and databases.

図３は、本発明の一実施形態における、分析方法の例を示したフローチャートである。本実施形態に係る分析方法は、一例として、媒体を提供するサーバに含まれてもよいし、サーバと通信するコンピュータ装置２００によって実行されてもよい。このとき、コンピュータ装置２００のプロセッサ２２０は、メモリ２１０が含むオペレーティングシステムのコードと、少なくとも１つのコンピュータプログラムのコードとによる制御命令を実行するように実現されてよい。ここで、プロセッサ２２０は、コンピュータ装置２００に記録されたコードが提供する制御命令にしたがってコンピュータ装置２００が図３の方法に含まれる段階３１０〜３４０を実行するようにコンピュータ装置２００を制御してよい。 FIG. 3 is a flowchart showing an example of an analysis method according to an embodiment of the present invention. As an example, the analysis method according to the present embodiment may be included in a server that provides a medium, or may be executed by a computer device 200 that communicates with the server. At this time, the processor 220 of the computer device 200 may be realized to execute a control instruction by the code of the operating system included in the memory 210 and the code of at least one computer program. Here, the processor 220 may control the computer device 200 so that the computer device 200 executes steps 310 to 340 included in the method of FIG. 3 according to a control instruction provided by a code recorded in the computer device 200. ..

段階３１０で、コンピュータ装置２００は、対象広告が表示されたユーザを含む実験群を設定してよい。一実施形態として、実験群は、同じ時期（一例として、予め設定された１ヶ月間の期間）に対象広告が表示された同じ場所（一例として、紙面、媒体の初期画面（ウェブページおよびモバイルページの初期画面））を訪れたユーザを含んでよい。 At step 310, the computer device 200 may set up an experimental group that includes users who have displayed the targeted advertisement. In one embodiment, the experimental group will have the same location (as an example, paper, initial screen of medium (web page and mobile page)) where the targeted advertisement was displayed at the same time (for example, a preset period of one month). It may include the user who visited the initial screen)).

段階３２０で、コンピュータ装置２００は、対象広告が表示されなかったユーザを含む対照群を設定してよい。一実施形態として、対照群は、実験群と同じ時期に対象広告ではない他の広告が表示された同じ場所（例えば、紙面）を訪れたユーザを含んでよい。言い換えれば、対象広告に対する表示集団を実験群とし、対象広告に対する非表示集団を対照群としてそれぞれ設定してよい。 At step 320, the computer device 200 may set up a control group that includes users who did not see the targeted advertisement. In one embodiment, the control group may include users who visit the same place (eg, paper) where other non-targeted advertisements are displayed at the same time as the experimental group. In other words, the display group for the target advertisement may be set as the experimental group, and the non-display group for the target advertisement may be set as the control group.

このとき、コンピュータ装置２００は、対象広告が表示されなかったユーザのうち、実験群の性別および年齢帯のうちの少なくとも１つによるユーザ数に対応するようにユーザを抽出して対照群を設定してよい。例えば、実験群である２０代女性の数と対照群である２０代女性の数が同じになるように、あるいは実験群である３０代女性の数と対照群である３０代女性の数が同じになるように対照群が設定されてよい。 At this time, the computer device 200 extracts users and sets a control group so as to correspond to the number of users according to at least one of the gender and age group of the experimental group among the users who did not display the target advertisement. You can do it. For example, the number of women in their twenties in the experimental group and the number of women in their twenties in the control group are the same, or the number of women in their thirties in the experimental group and the number of women in their thirties in the control group are the same. The control group may be set so as to be.

また、コンピュータ装置２００は、対象広告を表示する媒体のログデータを利用して該当の媒体で使用されるログインＩＤに基づく値によってユーザを識別してよく、必要によっては暗号化して処理してもよい。言い換えれば、実験群に含まれるユーザと対照群に含まれるユーザは、媒体のログインＩＤに基づく値によって識別されてよい。この場合、一部のユーザに対し、サンプリングやアンケート調査による正確度の低い標本調査とは異なり、同じ期間に該当の媒体の同じ場所（例えば、紙面）を訪れたすべてのユーザに対して調査が可能であることに留意を要する。また、ブラウザクッキーの場合には、１つのユーザ端末を複数人が使用することがあるためユーザ端末ではないユーザ自身を識別することにより、より正確な調査が可能となる。 Further, the computer device 200 may identify the user by a value based on the login ID used in the medium by using the log data of the medium for displaying the target advertisement, and may encrypt and process the user if necessary. Good. In other words, the users included in the experimental group and the users included in the control group may be identified by a value based on the login ID of the medium. In this case, for some users, unlike inaccurate sampling surveys such as sampling and questionnaire surveys, surveys are conducted for all users who visited the same location (for example, paper) of the relevant medium during the same period. Note that it is possible. Further, in the case of a browser cookie, since one user terminal may be used by a plurality of people, a more accurate investigation can be performed by identifying the user who is not the user terminal.

このように、本実施形態に係る実験群と対照群に分類されたユーザは、単に対象広告に対して反応を示したユーザ、あるいは対象広告に対して反応を示さなかったユーザとはまったく異なる意味を持つということが分かる。 As described above, the users classified into the experimental group and the control group according to the present embodiment have a completely different meaning from the users who simply responded to the target advertisement or the users who did not respond to the target advertisement. It turns out that it has.

段階３３０で、コンピュータ装置２００は、実験群および対照群それぞれに対し、予め設定された後続行動を示したユーザの数および比率のうちの少なくとも１つを測定してよい。ユーザの後続行動は、一例として、次の（１）〜（４）のように区分されてよい。 At step 330, the computer device 200 may measure at least one of the number and proportion of users who have shown preset follow-up behavior for each of the experimental and control groups. The user's subsequent actions may be classified as follows (1) to (4) as an example.

（１）対象広告と関連するキーワードを検索すること。
（２）対象広告と関連するキーワードに基づいて提供される検索広告を選択すること（一例として、ＰＣ環境で提供された検索広告をマウスでクリックするか、モバイル環境で検索広告が表示された領域をタッチすること）。
（３）対象広告と関連するブランドの製品を選択すること（一例として、ＰＣ環境で製品が表示された領域をマウスでクリックするか、モバイル環境で製品が表示された領域をタッチ、またはショッピング製品を選択すること）。
（４）対象広告と関連するブランドの製品を購入すること（一例として、購入は、媒体の決済手段を利用することを含んでもよい）。 (1) Search for keywords related to the target advertisement.
(2) Select the search advertisement provided based on the keyword related to the target advertisement (for example, click the search advertisement provided in the PC environment with the mouse, or the area where the search advertisement is displayed in the mobile environment. To touch).
(3) Select a product of a brand related to the target advertisement (for example, click the area where the product is displayed in the PC environment with the mouse, touch the area where the product is displayed in the mobile environment, or shop products. To select).
(4) Purchasing a product of a brand related to the target advertisement (as an example, the purchase may include using a payment method of a medium).

以下では、説明の便宜のために、（２）は、対象広告と関連するキーワードに基づいて提供される対象広告のブランドに対応する広告主による検索広告を選択する場合を例に挙げて説明する。 In the following, for convenience of explanation, (2) will be described by taking as an example a case where a search advertisement by an advertiser corresponding to the brand of the target advertisement provided based on the keyword related to the target advertisement is selected. ..

後続行動（１）に関し、コンピュータ装置２００は、実験群のユーザのうちで対象広告と関連するキーワードを検索したユーザの第１数および第１比率のうちの少なくとも１つ、および対照群のユーザのうちで対象広告と関連するキーワードを検索したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。このような第１数および第２数の差および／または第１比率および第２比率の差は、対象広告と関連するキーワードをユーザに検索させるようにするために対象広告が寄与した真の効果を意味し得る。 Regarding the subsequent action (1), the computer device 200 is used for at least one of the first number and the first ratio of the users who searched for the keyword related to the target advertisement among the users in the experimental group, and the users in the control group. At least one of the second number and the second ratio of users who have searched for keywords related to the target advertisement may be measured. Such a difference between the first number and the second number and / or the difference between the first ratio and the second ratio is the true effect that the target advertisement contributed to make the user search for the keyword related to the target advertisement. Can mean.

後続行動（２）に関し、コンピュータ装置２００は、実験群のユーザのうちで対象広告と関連するキーワードを検索した後、対象広告のブランドに対応する広告主による検索広告を選択したユーザの第３数および第３比率３のうちの少なくとも１つ、および対照群のユーザのうちで対象広告と関連するキーワードに基づいて提供される検索広告を選択したユーザの第４数および第４比率のうちの少なくとも１つを測定してよい。このような第３数および第４数の差および／または第３比率および第４比率の差は、対象広告と関連するキーワードに基づいて提供される検索広告をユーザに選択させるために対象広告が寄与した真の効果を意味し得る。 Regarding the subsequent action (2), the computer device 200 is the third number of users in the experimental group who selected the search advertisement by the advertiser corresponding to the brand of the target advertisement after searching for the keyword related to the target advertisement. And at least one of the third ratio 3 and at least one of the fourth and fourth ratios of users in the control group who selected search ads offered based on keywords related to the target ad. One may be measured. Such a difference between the third and fourth numbers and / or a difference between the third and fourth ratios is used by the targeted advertisement to allow the user to select a search advertisement provided based on the keyword related to the targeted advertisement. It can mean the true effect that contributed.

後続行動（３）に関し、コンピュータ装置２００は、実験群のユーザのうちでショッピングにて対象広告と関連するブランドの製品を選択したユーザの第５数および第５比率のうちの少なくとも１つ、および対照群のユーザのうちでショッピングにて対象広告と関連するブランドの製品を選択したユーザの第６数および第６比率のうちの少なくとも１つを測定してよい。このような第５数および第６数の差および／または第５比率および第６比率の差は、対象広告と関連するブランドの製品をユーザに選択させるために対象広告が寄与した真の効果を意味し得る。 Regarding the follow-up action (3), the computer device 200 is used for at least one of the fifth number and the fifth ratio of the users in the experimental group who selected the product of the brand related to the target advertisement in shopping, and. At least one of a sixth number and a sixth ratio of users in the control group who have selected a branded product associated with the targeted advertisement in shopping may be measured. Such a difference between the 5th and 6th numbers and / or a difference between the 5th and 6th ratios has the true effect that the targeted advertisement has contributed to let the user select the product of the brand related to the targeted advertisement. Can mean.

後続行動（４）に関し、コンピュータ装置２００は、実験群のユーザのうちで対象広告を表示する媒体の決済手段を利用して対象広告と関連するブランドの製品を購入したユーザの第７数および第７比率のうちの少なくとも１つ、および対照群のユーザのうちで対象広告を表示する媒体の決済手段を利用して対象広告と関連するブランドの製品を購入したユーザの第８数および第８比率のうちの少なくとも１つを測定してよい。このような第７数および第８数の差および／または第７比率および第８比率の差は、対象広告と関連するブランドの製品をユーザに購入させるために対象広告が寄与した真の効果を意味し得る。 Regarding the subsequent action (4), the computer device 200 is the seventh number and the seventh number of users in the experimental group who purchased the product of the brand related to the target advertisement by using the payment means of the medium for displaying the target advertisement. At least one of the seven ratios, and the eighth and eighth ratios of users in the control group who purchased products of the brand associated with the targeted advertisement using the payment method of the medium displaying the targeted advertisement. At least one of them may be measured. Such a difference between the 7th and 8th numbers and / or the difference between the 7th and 8th ratios has the true effect that the targeted advertisement has contributed to make the user purchase the product of the brand related to the targeted advertisement. Can mean.

このように、本発明の実施形態に係る分析方法は、単に個別広告の表示、クリック、転換などによって個別広告の効果を測定するのではなく、個別広告が他の広告（検索広告および／またはショッピング）や他のサービス（購入）に影響を及ぼす広告間あるいは広告とサービス間のシナジー効果を分析することができる基礎を提供することができる。転換は、ユーザのクリックが、広告主が望む動作（例えば、サイト申し込み、加入、製品購入等）に繋がることを意味する。言い換えれば、対象広告の表示効果が、単に個別広告に対して分析された表示、クリック、転換に限定されるのではなく、該当のブランドに対する関心、該当のブランドの他の広告に対する選択、および該当のブランドの製品に対する購入などに繋がることを定量的な数値で立証することが可能となる。 As described above, in the analysis method according to the embodiment of the present invention, the effectiveness of the individual advertisement is not simply measured by displaying, clicking, converting, etc. of the individual advertisement, but the individual advertisement is another advertisement (search advertisement and / or shopping). ) And other services (purchases) can provide a basis for analyzing the synergistic effects between advertisements or between advertisements and services. The conversion means that the user's click leads to the behavior desired by the advertiser (eg, site application, subscription, product purchase, etc.). In other words, the effectiveness of the targeted ad is not limited to the analysis, clicks, and conversions of the individual ad, but the interest in the brand, the selection of the brand for other ads, and the app. It will be possible to prove with quantitative numerical values that it will lead to purchases of products of the same brand.

段階３４０で、コンピュータ装置２００は、測定された比率に関する情報を提供してよい。例えば、コンピュータ装置２００は、測定された比率に関する情報を対象広告の広告主および／または広告代行会社に提供してよい。実施形態によって、コンピュータ装置２００は、実験群に対して測定されたユーザの第１数と対照群に対して測定されたユーザの第２数を比較した第１比較結果、および実験群に対して測定されたユーザの第１比率および対照群に対して測定されたユーザの第２比率を比較した第２比較結果のうちの少なくとも１つの比較結果を提供してもよい。 At step 340, the computer device 200 may provide information about the measured ratio. For example, the computer device 200 may provide information about the measured ratio to the advertiser and / or advertising agency of the targeted advertisement. Depending on the embodiment, the computer device 200 compares the first number of users measured against the experimental group with the second number of users measured against the control group, and the experimental group. At least one of the second comparison results comparing the measured user's first ratio and the measured user's second ratio to the control group may be provided.

一方、図３の実施形態では、対象広告が表示されたユーザを含む実験群を活用したが、実験群としては、対象広告が表示されたユーザのうちで対象広告を選択したユーザを含む第１実験群と、対象広告が表示されたユーザのうちで対象広告を選択したユーザを除いた残りのユーザを含む第２実験群のうちの少なくとも１つが設定されてよい。この場合、コンピュータ装置２００は、段階３３０で、第１実験群および第２実験群のうちの少なくとも１つに対して予め設定された後続行動を示したユーザの第１比率、および対照群に対して予め設定された後続行動を示したユーザの第２比率を測定してよい。第１実験群と第２実験群の両方を活用する場合、コンピュータ装置２００は、第１実験群に対して予め設定された後続行動を示したユーザの第１−１数および第１−１比率のうちの少なくとも１つ、および第２実験群に対して予め設定された後続行動を示したユーザの第１−２数および第１−２比率のうちの少なくとも１つを測定してよい。 On the other hand, in the embodiment of FIG. 3, the experimental group including the user who displayed the target advertisement was utilized, but as the experimental group, the first user including the user who selected the target advertisement among the users who displayed the target advertisement. At least one of the experimental group and the second experimental group including the remaining users excluding the user who selected the target advertisement among the users who displayed the target advertisement may be set. In this case, the computer device 200, in step 330, relative to the first ratio of users who showed preset follow-up behavior to at least one of the first and second experimental groups, and to the control group. The second ratio of users who have shown a preset follow-up action may be measured. When utilizing both the first experimental group and the second experimental group, the computer device 200 is a 1-1 number and a 1-1 ratio of users who have shown preset follow-up actions with respect to the first experimental group. At least one of, and at least one of the 1-2 numbers and 1-2 ratios of users who have shown preset follow-up behavior to the second experimental group may be measured.

また、コンピュータ装置２００は、対照群に対して予め設定された後続行動を示したユーザの第２数および第２比率のうちの少なくとも１つを測定してよい。この場合、第１−１数と第２数の比較、第１−２数と第２数の比較、第１−１比率と第２比率の比較、および第１−２比率と第２比率の比較により、第１実験群および第２実験群それぞれに対する対象広告のシナジー効果が定量的な数値で取得されてよい。ここで、実験群が第１実験群と第２実験群とに分けられるように、対照群も、第１実験群のための第１対照群、第２実験群のための第２対照群がそれぞれ設定されてよい。 In addition, the computer device 200 may measure at least one of a second number and a second ratio of users who have shown a preset follow-on behavior to the control group. In this case, the comparison of the 1-1 number and the second number, the comparison of the 1-2 number and the second number, the comparison of the 1-1 ratio and the second ratio, and the comparison of the 1-2 ratio and the second ratio. By comparison, the synergistic effect of the target advertisement for each of the first experimental group and the second experimental group may be obtained in a quantitative numerical value. Here, just as the experimental group is divided into the first experimental group and the second experimental group, the control group also includes the first control group for the first experimental group and the second control group for the second experimental group. Each may be set.

上述したように、対照群は、対象広告に表示されなかったユーザのうち、実験群の性別および年齢帯のうちの少なくとも１つによるユーザ数に対応するようにユーザを抽出して設定されてよい。言い換えれば、第１対照群は、第１実験群の性別および年齢帯のうちの少なくとも１つによるユーザ数に対応するようにユーザを抽出して設定されてよく、第２対照群は、第２実験群の性別および年齢帯のうちの少なくとも１つによるユーザ数に対応するようにユーザを抽出して設定されてよい。例えば、コンピュータ装置２００は、第１実験群に対して予め設定された後続行動を示したユーザの第１−１数および第１−１比率のうちの少なくとも１つ、および第２実験群に対して予め設定された後続行動を示したユーザの第１−２数および第１−２比率のうちの少なくとも１つを測定してよい。また、コンピュータ装置２００は、第１対照群に対して予め設定された後続行動を示したユーザの第２−１数および第２−１比率のうちの少なくとも１つ、および第２対照群に対して予め設定された後続行動を示したユーザの第２−２数および第２−２比率のうちの少なくとも１つを測定してよい。この場合、第１−１数と第２−１数の比較および第１−１比率と第２−１比率の比較によって第１実験群に対する対象広告のシナジー効果が定量的な数値で取得されてよく、第１−２数と第２−２数の比較および第１−２比率と第２−２比率の比較によって第２実験群に対する対象広告のシナジー効果が定量的な数値で取得されてよい。 As described above, the control group may be set by extracting users so as to correspond to the number of users according to at least one of the gender and age group of the experimental group among the users who were not displayed in the target advertisement. .. In other words, the first control group may be set by extracting users so as to correspond to the number of users according to at least one of the gender and age group of the first experimental group, and the second control group is the second control group. Users may be extracted and set to correspond to the number of users according to at least one of the gender and age group of the experimental group. For example, the computer device 200 refers to at least one of a 1-1 number and a 1-1 ratio of users who have shown a preset follow-up behavior to the first experimental group, and to the second experimental group. At least one of the 1-2 number and the 1-2 ratio of the user who showed the preset follow-up behavior may be measured. In addition, the computer device 200 refers to at least one of the 2-1 number and the 2-1 ratio of the users who have shown a preset follow-up behavior to the first control group, and to the second control group. At least one of the 2-2 number and the 2-2 ratio of the user who showed the preset follow-up behavior may be measured. In this case, the synergistic effect of the target advertisement on the first experimental group is obtained in a quantitative numerical value by comparing the 1-1 number and the 2-1 number and the 1-1 ratio and the 2-1 ratio. Often, the synergistic effect of the target advertisement on the second experimental group may be obtained in a quantitative numerical value by comparing the 1-2 numbers and the 2-2 numbers and the 1-2 ratio and the 2-2 ratio. ..

図４は、本発明の一実施形態における、実験群および対照群を設定する例を示した図である。図４に示される例において、実験群と対照群を設定するための条件４１０は、特定の期間（一例として、ここ最近１ヶ月間）にモバイルとＰＣで媒体の初期画面にブランドＡのメインディスプレイ広告Ｂが表示されるように設定されていることである。言い換えれば、ここ最近１ヶ月間の媒体の初期画面に対する訪問者全体のうち、ブランドＡのメインディスプレイ広告Ｂが表示されたユーザは実験群４２０として設定されてよく、ここ最近１ヶ月間の媒体の初期画面に対する訪問者全体のうち、ブランドＡのメインディスプレイ広告Ｂが表示されなかったユーザは対照群４３０として設定されてよい。 FIG. 4 is a diagram showing an example of setting an experimental group and a control group in one embodiment of the present invention. In the example shown in FIG. 4, the condition 410 for setting the experimental group and the control group is the main display of brand A on the initial screen of the medium on mobile and PC during a specific period (for example, the last month). The advertisement B is set to be displayed. In other words, of the total number of visitors to the initial screen of the medium in the last month, the user who displayed the main display advertisement B of brand A may be set as the experimental group 420, which is the medium of the last month. Of all the visitors to the initial screen, the user who did not display the brand A main display advertisement B may be set as the control group 430.

このとき、対照群４３０のユーザを実験群４２０のユーザと最大限同じようなユーザとして構成するために、対照群４３０の性別および年齢別のユーザ数が実験群４２０の性別および年齢別のユーザ数と同じになるように対照群４３０を設定してよい。言い換えれば、本実施形態において、実験群４２０は、ここ最近１ヶ月間の媒体の初期画面に対する訪問者全体のうち、ブランドＡのメインディスプレイ広告Ｂが表示されたユーザ全体を含んでよく、対照群４３０は、ここ最近１ヶ月間の媒体の初期画面に対する訪問者全体のうち、ブランドＡのメインディスプレイ広告Ｂが表示されなかったユーザであるが、実験群４２０のユーザ数と同じ数のユーザを含んでよい。 At this time, in order to configure the users of the control group 430 as the same users as the users of the experiment group 420 as much as possible, the number of users by gender and age of the control group 430 is the number of users by gender and age of the experiment group 420. The control group 430 may be set to be the same as. In other words, in the present embodiment, the experimental group 420 may include all the users who have displayed the brand A main display advertisement B among all the visitors to the initial screen of the medium in the last month, and the control group. 430 is a user who did not display the main display advertisement B of the brand A among all the visitors to the initial screen of the medium in the last month, but includes the same number of users as the number of users of the experimental group 420. It's fine.

このとき、コンピュータ装置２００は、このような実験群４２０と対照群４３０それぞれに対し、予め設定された後続行動を示したユーザの比率を測定してよい。 At this time, the computer device 200 may measure the ratio of users who have shown preset subsequent actions to each of the experimental group 420 and the control group 430.

以下の表１は、ブランドＡのメインディスプレイ広告Ｂの表示がブランドＡに関連するキーワードの検索量に影響を与えた水準を確認した例を示している。 Table 1 below shows an example of confirming the level at which the display of the main display advertisement B of the brand A affected the search amount of the keywords related to the brand A.

表１で、Ｆ１〜Ｆ６はそれぞれ１０〜６０代までの女性を意味してよく、これと同様に、Ｍ１〜Ｍ６はそれぞれ１０〜６０代までの男性を意味してよい。このとき、実験群のユーザ数（ａ）が対照群のユーザ数（ｄ）と年齢および性別それぞれに対して互いに同じであることが分かる。ここで、実験群の検索者総数（ｂ）は７８６，０２３人であり、対照群の検索者総数（ｅ）である３３４，７１５人よりも４５１、３０８人が多いが、これは、他の条件が最大限同じように設定されているので、ブランドＡのメインディスプレイ広告Ｂが表示されることによる真の効果として認定されてよい。さらに、実験群の全体的な検索反応率は６．９％であり、対照群の全体的な検索反応率である３．０％と比べて１３４．８％の増減率を示している。このように、ブランドＡのメインディスプレイ広告Ｂが表示されることが、ブランドＡの関連キーワード検索量にどのような影響を与えるかを定量的な数値で示すことが可能となる。 In Table 1, F1 to F6 may each mean women in their 10s to 60s, and similarly, M1 to M6 may mean men in their 10s to 60s, respectively. At this time, it can be seen that the number of users (a) in the experimental group is the same as the number of users (d) in the control group for each of age and gender. Here, the total number of searchers (b) in the experimental group is 786,023, which is 451 and 308 more than the total number of searchers (e) in the control group (334,715). Since the conditions are set to be the same as much as possible, it may be recognized as the true effect of displaying the main display advertisement B of the brand A. Furthermore, the overall search response rate of the experimental group was 6.9%, showing an increase / decrease rate of 134.8% compared to the overall search response rate of 3.0% of the control group. In this way, it is possible to quantitatively indicate how the display of the main display advertisement B of the brand A affects the search amount of related keywords of the brand A.

これと同じように、他の後続行動に対しても、ブランドＡのメインディスプレイ広告Ｂが表示されることによるシナジー効果を確認することができる。例えば、ブランドＡのメインディスプレイ広告Ｂが表示されることが、他の広告（検索広告および／またはショッピング）の選択や購入にどのような影響を及ぼすかに対するシナジー効果が、定量的な数値で分析および提供されることが可能となる。 In the same way, it is possible to confirm the synergistic effect of displaying the main display advertisement B of the brand A for other subsequent actions. For example, the synergistic effect of displaying the main display advertisement B of brand A on the selection and purchase of other advertisements (search advertisement and / or shopping) is analyzed quantitatively. And can be provided.

実際に、９種類の業種の２４件のブランドに対してメインディスプレイ広告に対するシナジー効果を分析した結果、すべてにおいて例外なく、実験群が対照群よりも該当のブランド関連キーワードをより多く検索し、該当のブランドに対応する広告主によるする検索広告をより多くクリックし、ショッピングで表示された該当のブランドの製品をより多くクリックし、該当の媒体の決済手段を利用して該当のブランドの製品をより多く購入することが確認された。 In fact, as a result of analyzing the synergistic effect on the main display advertisement for 24 brands in 9 types of industries, the experimental group searched more applicable brand-related keywords than the control group without exception in all cases, and it was applicable. Click more on search ads by advertisers corresponding to the brand, click more on the product of the brand displayed in shopping, and use the payment method of the medium to select the product of the brand. It was confirmed that many would be purchased.

図５は、本発明の一実施形態における、実験群と対照群に対する分析結果の例を示した図である。図５では、９種類の業種の２４件のブランドに対して実験群と対照群を設定し、設定された実験群と対照群それぞれに対し、上述した（１）〜（４）の後続行動を示したユーザの数と比率をそれぞれ測定および比較した例を示している。図５では、該当のブランドのメインディスプレイ広告を見たユーザが、見ていないユーザに比べて、該当のブランドと関連するキーワードを検索する確率が平均的に５７％、すなわち、約１．６倍も高かったことを示している。これをユーザ数に換算すれば、該当のブランドのメインディスプレイ広告を見ることにより、５０，０２０人がブランド関連キーワードを検索したことを示している。また、対象広告と関連するキーワードに基づいて提供される対象広告のブランドに対応する広告主による検索広告を選択したユーザ、ショッピングで対象広告と関連するブランドの製品を選択したユーザ、さらに媒体の決済手段を利用して対象広告と関連するブランドの製品を購入したユーザについても、対照群に比べて実験群が遥かに高かったことが分かる。 FIG. 5 is a diagram showing an example of analysis results for an experimental group and a control group in one embodiment of the present invention. In FIG. 5, an experimental group and a control group are set for 24 brands in 9 types of industries, and the following actions (1) to (4) described above are performed for each of the set experimental group and the control group. An example of measuring and comparing the number and ratio of the shown users is shown. In FIG. 5, users who have seen the main display advertisement of the relevant brand are 57% more likely to search for keywords related to the relevant brand than users who have not seen it, that is, about 1.6 times. Also shows that it was high. Converting this to the number of users, it is shown that 50,020 people searched for brand-related keywords by looking at the main display advertisement of the corresponding brand. In addition, users who select search ads by advertisers corresponding to the brand of the target advertisement provided based on the keywords related to the target advertisement, users who select products of the brand related to the target advertisement in shopping, and payment of media It can also be seen that the experimental group was much higher than the control group for users who purchased products of brands related to the target advertisement by means.

このように、本発明の実施形態によると、対象広告が表示されたユーザを含む実験群および同じ紙面を訪れたが他の広告が表示されたユーザを含む対照群を設定し、実験群と対照群それぞれの後続行動を示したユーザの数および／または比率に関する情報を提供することにより、対象広告に対する広告効果およびシナジー効果を分析することができる。また、実験群を、対象広告が表示されたユーザのうちで対象広告を選択（一例として、クリック）したユーザを含む第１実験群と、対象広告が表示されたユーザのうちで対象広告を選択したユーザを除いた残りのユーザ（一例として、対象広告が表示されたがクリックしなかったユーザ）を含む第２実験群のうちの少なくとも１つとして設定することにより、対象広告を選択したユーザによる広告効果およびシナジー効果と対象広告が表示されたが選択しなかったユーザによる広告効果およびシナジー効果を区分して把握することができる。 As described above, according to the embodiment of the present invention, an experimental group including a user who displayed the target advertisement and a control group including a user who visited the same page but displayed another advertisement were set and controlled with the experimental group. By providing information on the number and / or proportion of users who have shown subsequent behavior in each group, it is possible to analyze the advertising effectiveness and synergistic effect on the targeted advertisement. In addition, in the experiment group, the target advertisement is selected from the first experiment group including the user who selected the target advertisement (clicked as an example) among the users who displayed the target advertisement, and the user who displayed the target advertisement. By setting as at least one of the second experimental group including the remaining users (for example, the user who displayed the target advertisement but did not click) excluding the user who selected the target advertisement. It is possible to separately grasp the advertising effect and synergistic effect and the advertising effect and synergistic effect by the user who displayed the target advertisement but did not select it.

上述したシステムまたは装置は、ハードウェア構成要素、またはハードウェア構成要素とソフトウェア構成要素との組み合わせによって実現されてよい。例えば、実施形態で説明された装置および構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃｌｏｇｉｃｕｎｉｔ）、デジタル信号プロセッサ、マイクロコンピュータ、ＦＰＧＡ（ｆｉｅｌｄｐｒｏｇｒａｍｍａｂｌｅｇａｔｅａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅｌｏｇｉｃｕｎｉｔ）、マイクロプロセッサ、または命令を実行して応答することができる様々な装置のように、１つ以上の汎用コンピュータまたは特殊目的コンピュータを利用して実現されてよい。処理装置は、オペレーティングシステム（ＯＳ）およびＯＳ上で実行される１つ以上のソフトウェアアプリケーションを実行してよい。また、処理装置は、ソフトウェアの実行に応答し、データにアクセスし、データを記録、操作、処理、および生成してもよい。理解の便宜のために、１つの処理装置が使用されるとして説明される場合もあるが、当業者は、処理装置が複数個の処理要素および／または複数種類の処理要素を含んでもよいことが理解できるであろう。例えば、処理装置は、複数個のプロセッサまたは１つのプロセッサおよび１つのコントローラを含んでよい。また、並列プロセッサのような、他の処理構成も可能である。 The system or device described above may be implemented by hardware components or a combination of hardware components and software components. For example, the devices and components described in the embodiments include, for example, a processor, a controller, an ALU (arithmetic logic unit), a digital signal processor, a microprocessor, an FPGA (field programmable gate array), a PLU (programmable log unit), and a micro. It may be implemented using one or more general purpose computers or special purpose computers, such as a processor or various devices capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the OS. The processing device may also respond to the execution of the software, access the data, and record, manipulate, process, and generate the data. For convenience of understanding, one processor may be described as being used, but one of ordinary skill in the art may appreciate that the processor may include multiple processing elements and / or multiple types of processing elements. You can understand. For example, the processing device may include multiple processors or one processor and one controller. Other processing configurations, such as parallel processors, are also possible.

ソフトウェアは、コンピュータプログラム、コード、命令、またはこれらのうちの１つ以上の組み合わせを含んでもよく、思うままに動作するように処理装置を構成したり、独立的または集合的に処理装置に命令したりしてよい。ソフトウェアおよび／またはデータは、処理装置に基づいて解釈されたり、処理装置に命令またはデータを提供したりするために、いかなる種類の機械、コンポーネント、物理装置、仮想装置、コンピュータ記録媒体または装置に具現化されてよい。ソフトウェアは、ネットワークによって接続されたコンピュータシステム上に分散され、分散された状態で記録されても実行されてもよい。ソフトウェアおよびデータは、１つ以上のコンピュータ読み取り可能な記録媒体に記録されてよい。 The software may include computer programs, code, instructions, or a combination of one or more of these, configuring the processing equipment to operate at will, or instructing the processing equipment independently or collectively. You may do it. The software and / or data is embodied in any type of machine, component, physical device, virtual device, computer recording medium or device for interpretation based on the processing device or for providing instructions or data to the processing device. May be converted. The software is distributed on a networked computer system and may be recorded or executed in a distributed state. The software and data may be recorded on one or more computer-readable recording media.

実施形態に係る方法は、多様なコンピュータ手段によって実行可能なプログラム命令の形態で実現されてコンピュータ読み取り可能な媒体に記録されてよい。コンピュータ読み取り可能な媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせて含んでよい。媒体は、コンピュータ実行可能なプログラムを継続して記録するものであっても、実行またはダウンロードのために一時記録するものであってもよい。また、媒体は、単一または複数のハードウェアが結合した形態の多様な記録手段または格納手段であってよく、あるコンピュータシステムに直接接続する媒体に限定されることはなく、ネットワーク上に分散して存在するものであってもよい。媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭおよびＤＶＤのような光媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌｄｉｓｋ）のような光磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどを含み、プログラム命令が記録されるように構成されたものであってよい。また、媒体の他の例として、アプリケーションを配布するアプリケーションストアやその他の多様なソフトウェアを供給または配布するサイト、サーバなどで管理する記録媒体または格納媒体が挙げられる。プログラム命令の例には、コンパイラによって生成されるもののような機械語コードだけでなく、インタプリタなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。 The method according to the embodiment may be implemented in the form of program instructions that can be executed by various computer means and recorded on a computer-readable medium. Computer-readable media may include program instructions, data files, data structures, etc., alone or in combination. The medium may be a continuous recording of a computer-executable program or a temporary recording for execution or download. Further, the medium may be various recording means or storage means in the form of a combination of a single piece of hardware or a plurality of pieces of hardware, and is not limited to a medium directly connected to a certain computer system, and is distributed on a network. It may exist. Examples of media include hard disks, floppy (registered trademark) disks, and magnetic media such as magnetic tapes, optical media such as CD-ROMs and DVDs, and optical magnetic media such as floptic discs. And ROM, RAM, flash memory, etc., and may be configured to record program instructions. Other examples of media include recording media or storage media managed by application stores that distribute applications, sites that supply or distribute various other software, servers, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like.

以上のように、実施形態を、限定された実施形態および図面に基づいて説明したが、当業者であれば、上述した記載から多様な修正および変形が可能であろう。例えば、説明された技術が、説明された方法とは異なる順序で実行されたり、かつ／あるいは、説明されたシステム、構造、装置、回路などの構成要素が、説明された方法とは異なる形態で結合されたりまたは組み合わされたり、他の構成要素または均等物によって対置されたり置換されたとしても、適切な結果を達成することができる。 As described above, the embodiments have been described based on the limited embodiments and drawings, but those skilled in the art will be able to make various modifications and modifications from the above description. For example, the techniques described may be performed in a different order than the methods described, and / or components such as the systems, structures, devices, circuits described may be in a form different from the methods described. Appropriate results can be achieved even if they are combined or combined, or confronted or replaced by other components or equivalents.

したがって、異なる実施形態であっても、特許請求の範囲と均等なものであれば、添付される特許請求の範囲に属する。 Therefore, even if the embodiments are different, they belong to the attached claims as long as they are equal to the claims.

１１０、１２０、１３０、１４０：電子機器
１５０、１６０：サーバ
１７０：ネットワーク 110, 120, 130, 140: Electronic device 150, 160: Server 170: Network

Claims

A method of analyzing a computer device that includes at least one processor.
A step of setting an experimental group including a user who has displayed a target advertisement by the at least one processor.
The step of setting a control group including users who did not display the target advertisement by the at least one processor.
At the stage of measuring at least one of the number and ratio of users who have exhibited a preset first subsequent action for each of the experimental group and the control group by the at least one processor.
The 1-1 measurement value, which is the number or ratio of the users who belonged to the experimental group and showed the first succeeding behavior and showed the second succeeding behavior.
The 1-2 measured value, which is the number or ratio of the users who belonged to the experimental group and did not show the first succeeding behavior and showed the second succeeding behavior.
A step of measuring a second measurement, which is the number or ratio of users belonging to the control group who have shown the second subsequent behavior , and the number and ratio of the measured users by the at least one processor. An analysis that includes providing information about at least one of them and providing a numerical value based on the comparison of the 1-1 measurement value or the 1-2 measurement value with the second measurement value. Method.

The step of setting the control group is
Among the users who did not display the target advertisement, the users are extracted so as to correspond to the number of users according to at least one of the gender and age group of the experimental group, and the control group is set.
The analysis method according to claim 1.

The measurement step is
At least one of the first number and the first ratio of users who searched for keywords related to the target advertisement among the users of the experimental group, and keywords related to the target advertisement among the users of the control group. Measure at least one of the second number and second ratio of users who searched for,
The analysis method according to claim 1 or 2.

The measurement step is
At least of the first number and the first ratio of the users in the experimental group who selected the search advertisement by the advertiser corresponding to the brand of the target advertisement provided based on the keyword related to the target advertisement. One, and at least one of the second number and second ratio of users in the control group who have selected search ads offered based on keywords associated with the targeted ad.
The analysis method according to claim 1 or 2.

The measurement step is
For shopping among the users of the experimental group, at least one of the first number and the first ratio of the users who selected the product of the brand related to the target advertisement in shopping, and among the users of the control group. To measure at least one of a second number and a second ratio of users who have selected a branded product associated with the targeted advertisement.
The analysis method according to claim 1 or 2.

The measurement step is
At least one of a first number and a first ratio of users in the experimental group who purchased a product of a brand associated with the target advertisement, and among users in the control group associated with the target advertisement. Measure at least one of a second number and a second ratio of users who have purchased a branded product.
The analysis method according to claim 1 or 2.

The users included in the experimental group and the control group are identified by a value based on the login ID used in the medium by using the log data of the medium displaying the target advertisement.
The analysis method according to any one of claims 1 to 6.

The measurement step is
A user who has shown the preset first subsequent action is tracked for each value based on the login ID.
The analysis method according to claim 7.

The stage of setting the experimental group is
The first experimental group including the user who selected the target advertisement among the users who displayed the target advertisement, and the remaining users excluding the user who selected the target advertisement among the users who displayed the target advertisement. At least one of the second experimental group including
The step of setting the control group is
Among the users who did not display the target advertisement, the first control group including the users extracted so as to correspond to the number of users by at least one of the gender and age group of the first experiment group, and the target. At least one of the second control group including users extracted to correspond to the number of users by at least one of the gender and age groups of the second experimental group among the users who did not display the advertisement. Set and
The measurement step is
At least one of a first number and a first ratio of users who have shown the preset first follow-on behavior to at least one of the first experimental group and the second experimental group, and said. At least one of a second number and a second ratio of users who have shown the preset first follow-on behavior to at least one of the first control group and the second control group is measured.
The analysis method according to any one of claims 1 to 8.

The stage to be provided is
The first comparison result comparing the first number of users measured with respect to the experimental group and the second number of users measured with respect to the control group, and the first number of users measured with respect to the experimental group. Provided are at least one comparison result of a second comparison result comparing one ratio with a user's second ratio measured relative to the control group.
The analysis method according to any one of claims 1 to 9.

A computer program that causes a computer device to execute the analysis method according to any one of claims 1 to 10.

A computer-readable recording medium in which a computer program for causing a computer device to execute the analysis method according to any one of claims 1 to 10 is recorded.

Includes at least one processor implemented to execute computer-readable instructions
By the at least one processor
The stage of setting up an experimental group that includes users who have displayed targeted advertisements,
The stage of setting a control group including users who did not display the target advertisement,
At the stage of measuring at least one of the number and ratio of users who showed a preset first subsequent behavior for each of the experimental group and the control group.
The 1-1 measurement value, which is the number or ratio of the users who belonged to the experimental group and showed the first succeeding behavior and showed the second succeeding behavior.
The 1-2 measured value, which is the number or ratio of the users who belonged to the experimental group and did not show the first succeeding behavior and showed the second succeeding behavior.
A step of measuring a second measurement value, which is the number or ratio of users belonging to the control group who have shown the second subsequent behavior, and
At the stage of providing information on at least one of the measured numbers and ratios of users, for comparison of the 1-1 measurement or the 1-2 measurement with the second measurement. The stage of providing based figures ,
A computer device that runs.

By the at least one processor
Among the users who did not display the target advertisement, the users are extracted so as to correspond to the number of users according to at least one of the gender and age group of the experimental group, and the control group is set.
The computer device according to claim 13.

By the at least one processor
At least one of the first number and the first ratio of users who searched for keywords related to the target advertisement among the users of the experimental group, and keywords related to the target advertisement among the users of the control group. Measure at least one of the second number and second ratio of users who searched for,
The computer device according to claim 13 or 14.

By the at least one processor
At least of the first number and the first ratio of the users in the experimental group who selected the search advertisement by the advertiser corresponding to the brand of the target advertisement provided based on the keyword related to the target advertisement. One, and at least one of the second number and second ratio of users in the control group who have selected search ads offered based on keywords associated with the targeted ad.
The computer device according to claim 13 or 14.

By the at least one processor
For shopping among the users of the experimental group, at least one of the first number and the first ratio of the users who selected the product of the brand related to the target advertisement in shopping, and among the users of the control group. To measure at least one of a second number and a second ratio of users who have selected a branded product associated with the targeted advertisement.
The computer device according to claim 13 or 14.

By the at least one processor
At least one of a first number and a first ratio of users in the experimental group who purchased a product of a brand associated with the target advertisement, and among users in the control group associated with the target advertisement. Measure at least one of a second number and a second ratio of users who have purchased a branded product.
The computer device according to claim 13 or 14.