JP7587348B2 - Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method - Google Patents
Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method Download PDFInfo
- Publication number
- JP7587348B2 JP7587348B2 JP2020037247A JP2020037247A JP7587348B2 JP 7587348 B2 JP7587348 B2 JP 7587348B2 JP 2020037247 A JP2020037247 A JP 2020037247A JP 2020037247 A JP2020037247 A JP 2020037247A JP 7587348 B2 JP7587348 B2 JP 7587348B2
- Authority
- JP
- Japan
- Prior art keywords
- electronic game
- vector
- expected reward
- reward
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims description 92
- 239000013598 vector Substances 0.000 claims description 120
- 238000000034 method Methods 0.000 claims description 33
- 239000013604 expression vector Substances 0.000 claims description 24
- 230000002860 competitive effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 238000012854 evaluation process Methods 0.000 description 3
- 230000007123 defense Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、電子ゲーム評価装置、電子ゲーム評価プログラム及び電子ゲーム評価方法に関する。 The present invention relates to an electronic game evaluation device, an electronic game evaluation program, and an electronic game evaluation method.
異なるゲーム上のパラメータを有する複数種のキャラクタを用いて進行される電子ゲームが知られている。このような電子ゲームでは、キャラクタに割り当てられたゲーム上のパラメータがゲームの進行を決定する大きな要因となっている。したがって、極端に強いキャラクタが存在することによって、電子ゲームの進行のバランスが崩れてしまうおそれがある。 There are known electronic games in which a player plays a game using a number of different characters with different game parameters. In such electronic games, the game parameters assigned to the characters are a major factor in determining the game's progress. Therefore, the presence of an extremely strong character can upset the balance of the electronic game's progress.
そこで、電子ゲームに新たなキャラクタを投入したときには、当該キャラクタの投入による電子ゲームへの影響を評価する必要がある。例えば、新たなキャラクタを実際に電子ゲームで使用可能にしてプレイさせ、プレイログを蓄積して、当該プレイログを用いた教師あり学習によりキャラクタの評価を行う方法が用いられている。また、強化学習を用いてキャラクタを用いて電子ゲームをプレイする人工知能エージェントを学習する方法が用いられている(特許文献1)。 Therefore, when a new character is introduced into an electronic game, it is necessary to evaluate the impact of introducing the character on the electronic game. For example, a method is used in which the new character is actually made available for use in an electronic game, played, a play log is accumulated, and the character is evaluated through supervised learning using the play log. Also, a method is used in which reinforcement learning is used to train an artificial intelligence agent that plays an electronic game using the character (Patent Document 1).
ところで、従来技術では、新しいキャラクタを実際にゲームに投入しなければ評価ができない。また、強化学習を用いた場合、学習の精度が上がりにくく、学習に膨大な時間が掛かるおそれがある。したがって、新たなキャラクタを投入する前に当該キャラクタの特性を効果的に評価する技術が必要とされている。 However, with conventional technology, it is not possible to evaluate a new character without actually introducing it into a game. Furthermore, when using reinforcement learning, it is difficult to improve the accuracy of learning, and there is a risk that learning will take an enormous amount of time. Therefore, there is a need for technology that can effectively evaluate the characteristics of a new character before introducing it.
本発明の1つの態様は、対戦型の電子ゲームを評価する電子ゲーム評価装置であって、評価対象とするオブジェクトを示す特徴ベクトルをクラスタリングし、クラスタリングされた特徴ベクトルの集合から代表ベクトルを決定し、前記代表ベクトルに対応するオブジェクトに対して電子ゲームで得られる期待報酬の確率を示す期待報酬分布に基づいて前記代表ベクトルの1つを代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとする表現ベクトル探索手段と、既存の戦略学習器を利用して前記新たなオブジェクトを含む電子ゲーム上の状態と前記新たなオブジェクトを含まない電子ゲーム上の状態と対戦評価を行う対戦評価手段と、前記対戦評価手段による対戦評価の結果に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する期待報酬分布を更新する期待報酬分布更新手段と、を備え、上記表現ベクトル探索手段、前記対戦評価手段及び前記期待報酬分布更新手段における処理を繰り返すことを特徴とする電子ゲーム評価装置である。 One aspect of the present invention is an electronic game evaluation device for evaluating a competitive electronic game, which includes an expression vector search means for clustering feature vectors representing objects to be evaluated, determining a representative vector from the set of clustered feature vectors, selecting one of the representative vectors as an alternative vector based on an expected reward distribution indicating the probability of an expected reward to be obtained in an electronic game for an object corresponding to the representative vector, and setting the object corresponding to the alternative vector as a new object, a match evaluation means for performing a match evaluation between a state in the electronic game including the new object and a state in the electronic game not including the new object using an existing strategy learner, and an expected reward distribution update means for updating the expected reward distribution for the representative vector selected as the alternative vector according to the result of the match evaluation by the match evaluation means, and is characterized in that the electronic game evaluation device repeats the processes in the expression vector search means, the match evaluation means, and the expected reward distribution update means.
本発明の別の態様は、対戦型の電子ゲームを評価する電子ゲーム評価プログラムであって、コンピュータを、評価対象とするオブジェクトを示す特徴ベクトルをクラスタリングし、クラスタリングされた特徴ベクトルの集合から代表ベクトルを決定し、前記代表ベクトルに対応するオブジェクトに対して電子ゲームで得られる期待報酬の確率を示す期待報酬分布に基づいて前記代表ベクトルの1つを代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとする表現ベクトル探索手段と、既存の戦略学習器を利用して前記新たなオブジェクトを含む電子ゲーム上の状態と前記新たなオブジェクトを含まない電子ゲーム上の状態と対戦評価を行う対戦評価手段と、前記対戦評価手段による対戦評価の結果に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する期待報酬分布を更新する期待報酬分布更新手段と、として機能させ、上記表現ベクトル探索手段、前記対戦評価手段及び前記期待報酬分布更新手段における処理を繰り返すことを特徴とする電子ゲーム評価プログラムである。 Another aspect of the present invention is an electronic game evaluation program for evaluating a competitive electronic game, which causes a computer to function as an expression vector search means for clustering feature vectors indicating an object to be evaluated, determining a representative vector from the set of clustered feature vectors, selecting one of the representative vectors as an alternative vector based on an expected reward distribution indicating the probability of an expected reward to be obtained in an electronic game for the object corresponding to the representative vector, and setting the object corresponding to the alternative vector as a new object, a match evaluation means for performing a match evaluation between a state in the electronic game including the new object and a state in the electronic game not including the new object using an existing strategy learner, and an expected reward distribution update means for updating the expected reward distribution for the representative vector selected as the alternative vector according to the result of the match evaluation by the match evaluation means, and is characterized in that the electronic game evaluation program repeats the processes in the expression vector search means, the match evaluation means, and the expected reward distribution update means.
本発明の別の態様は、対戦型の電子ゲームを評価する電子ゲーム評価方法であって、評価対象とするオブジェクトを示す特徴ベクトルをクラスタリングし、クラスタリングされた特徴ベクトルの集合から代表ベクトルを決定し、前記代表ベクトルに対応するオブジェクトに対して電子ゲームで得られる期待報酬の確率を示す期待報酬分布に基づいて前記代表ベクトルの1つを代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとする表現ベクトル探索ステップと、既存の戦略学習器を利用して前記新たなオブジェクトを含む電子ゲーム上の状態と前記新たなオブジェクトを含まない電子ゲーム上の状態と対戦評価を行う対戦評価ステップと、前記対戦評価ステップによる対戦評価の結果に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する期待報酬分布を更新する期待報酬分布更新ステップと、を備え、上記表現ベクトル探索ステップ、前記対戦評価ステップ及び前記期待報酬分布更新ステップにおける処理を繰り返すことを特徴とする電子ゲーム評価方法である。 Another aspect of the present invention is an electronic game evaluation method for evaluating a competitive electronic game, comprising: an expression vector search step of clustering feature vectors representing an object to be evaluated, determining a representative vector from the set of clustered feature vectors, selecting one of the representative vectors as an alternative vector based on an expected reward distribution indicating the probability of an expected reward to be obtained in an electronic game for an object corresponding to the representative vector, and setting the object corresponding to the alternative vector as a new object; a match evaluation step of using an existing strategy learner to perform a match evaluation between a state in the electronic game including the new object and a state in the electronic game not including the new object; and an expected reward distribution update step of updating the expected reward distribution for the representative vector selected as the alternative vector according to the result of the match evaluation in the match evaluation step, and the electronic game evaluation method is characterized in that the process in the expression vector search step, the match evaluation step, and the expected reward distribution update step are repeated.
ここで、前記対戦評価手段において得られた対戦評価の結果に基づく統計値をユーザに提示する評価手段を備えることが好適である。 Here, it is preferable to provide an evaluation means for presenting to the user statistical values based on the results of the match evaluation obtained by the match evaluation means.
また、前記期待報酬は、電子ゲームにおける期待勝率であり、前記期待報酬分布更新手段は、前記対戦評価手段における対戦の勝敗に応じて前記代表ベクトルに対する期待報酬分布を更新することが好適である。 Furthermore, it is preferable that the expected reward is an expected win rate in an electronic game, and the expected reward distribution update means updates the expected reward distribution for the representative vector according to the outcome of a match in the match evaluation means.
また、前記オブジェクトは、電子ゲームにおいて使用されるキャラクタであり、前記対戦評価手段は、前記新たなオブジェクトとして新たなキャラクタと既存のキャラクタとを組み合わせた電子ゲーム上のデッキと、前記新たなキャラクタを含まず、既存のキャラクタを組み合わせた電子ゲーム上のデッキと、を対戦させたときの対戦評価を行うことが好適である。 It is also preferable that the object is a character used in an electronic game, and the battle evaluation means performs a battle evaluation when a deck in the electronic game that combines a new character as the new object with an existing character is pitted against a deck in the electronic game that does not include the new character and combines existing characters.
本発明の実施の形態は、新たなキャラクタを投入する前に当該キャラクタの特性を効果的に評価することができる電子ゲーム評価装置、電子ゲーム評価プログラム及び電子ゲーム評価方法を実現することを目的の1つとする。本発明の実施の形態の他の目的は、本明細書全体を参照することにより明らかになる。 One of the objectives of the embodiments of the present invention is to realize an electronic game evaluation device, an electronic game evaluation program, and an electronic game evaluation method that can effectively evaluate the characteristics of a new character before the character is introduced. Other objectives of the embodiments of the present invention will become clear by referring to this specification as a whole.
[装置構成]
本発明の実施の形態における電子ゲーム評価装置100は、図1に示すように、処理部10、記憶部12、入力部14、出力部16及び通信部18を含んで構成される。処理部10は、CPU等の演算処理を行う手段を含む。処理部10は、記憶部12に記憶されている電子ゲーム評価プログラムを実行することによって、本実施の形態における電子ゲームにおける評価処理を実現する。記憶部12は、半導体メモリやメモリカード等の記憶手段を含む。記憶部12は、処理部10とアクセス可能に接続され、電子ゲーム評価プログラム、その処理に必要な情報を記憶する。入力部14は、情報を入力する手段を含む。入力部14は、例えば、管理者からの入力を受けるキーボード、タッチパネル、ボタン等を備える。出力部16は、管理者から入力情報を受け付けるためのユーザインターフェース画面(UI)等の電子ゲーム評価装置100での処理結果を出力する手段を含む。出力部16は、例えば、管理者に対して画像を呈示するディスプレイを備える。通信部18は、ネットワーク102を介して、外部のユーザ端末等との情報の通信を行うインターフェースを含んで構成される。通信部18による通信は有線及び無線を問わない。
[Device configuration]
As shown in FIG. 1, the electronic
[電子ゲーム評価処理]
本実施の形態では、対戦型の電子ゲームに新しいキャラクタを導入したときに当該電子ゲームに対してどのような影響を及ぼす可能性があるかを適切に評価することを可能にする電子ゲームの評価処理について説明する。具体的には、電子ゲーム評価装置100において下記に示す処理を実行する電子ゲーム評価プログラムを実行することによって、多腕バンディット法を用いて電子ゲームに対する新しいキャラクタによる影響をゲームの企画者等に提示する処理を行う。
[Electronic Game Evaluation Processing]
In this embodiment, an electronic game evaluation process that enables an appropriate evaluation of the possible impact on a competitive electronic game when a new character is introduced into the electronic game will be described. Specifically, an electronic game evaluation program that executes the following process is executed in the electronic
また、電子ゲームとして、プレイヤ毎に複数のキャラクタをグループにしたデッキを構成し、複数のプレイヤがそれぞれのデッキを構成するキャラクタ同士を対戦させて勝敗を決定するゲームを例に説明を行う。ただし、本実施の形態における電子ゲーム評価方法の適用範囲は、これに限定されるものではない。 As an example of an electronic game, we will explain a game in which each player creates a deck consisting of a group of multiple characters, and the characters that make up each player's deck compete against each other to determine the winner. However, the scope of application of the electronic game evaluation method in this embodiment is not limited to this.
電子ゲーム評価装置100では、複数のキャラクタを使用する電子ゲームをプレイするための人工知能エージェントを用いる。人工知能エージェントは、例えば特開2019-197592号公報に記載された情報処理装置を適用することができる。具体的には、図2に示すように、過去に電子ゲームで行われたゲームの進行履歴を示すデータであるプレイログ(対戦ログ)に基づいて表現学習を行う。これによって、電子ゲームで使用される各キャラクタのゲーム上のパラメータを入力することによって各キャラクタの特徴を示す特徴ベクトル(以下、表現ベクトルという)を出力する表現学習部を得ることができる。また、表現学習部が学習した各キャラクタの特徴ベクトルを用いながら、各キャラクタの使用(又は、各キャラクタを含むデッキの使用)に関する電子ゲームの戦略の学習を行う。これによって、各キャラクタを使用(又は、各キャラクタを含むデッキを使用)したときの電子ゲームでの好ましい戦略や勝敗率等を出力する戦略学習部(対戦AI)を得ることができる。本実施の形態の電子ゲーム評価装置100では、このような表現学習部及び戦略学習部を用いて電子ゲームに新しいキャラクタを導入したときの影響について評価するための情報を生成して出力する。
The electronic
以下、図3のフローチャートを参照しつつ、電子ゲーム評価装置100で実行される電子ゲーム評価方法について説明する。
The electronic game evaluation method executed by the electronic
ステップS10では、新しいキャラクタの表現ベクトルの探索処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100は表現ベクトル探索手段として機能する。
In step S10, a search process for an expression vector of a new character is performed. Through the process in this step, the electronic
処理部10は、過去のプレイログ(対戦ログ)に対する表現学習で得られた既存のキャラクタに対する表現ベクトルをクラスタリングする。表現ベクトルのクラスタリング処理には、例えば、k-means処理を適用することができる。ただし、これに限定されるものではなく、他のクラスタリング処理方法を適用してもよい。
The
図4は、既存の表現学習部を用いて電子ゲームにおける既存の複数のキャラクタをそれぞれの表現ベクトルで表現した例を示す。図4は、それぞれのキャラクタの表現ベクトルを2次元の表現ベクトル(図中のドット)で表した例を示している。ただし、表現ベクトルを表すベクトルの次元はこれに限定されるものではない。 Figure 4 shows an example of multiple existing characters in an electronic game being represented by their respective expression vectors using an existing expression learning unit. Figure 4 shows an example of the expression vectors of each character being represented by two-dimensional expression vectors (dots in the figure). However, the dimensions of the vectors representing the expression vectors are not limited to this.
表現ベクトルをクラスタリングした後、それぞれのクラスタから代表ベクトルを決定する。代表ベクトルは、例えば、各クラスタのセントロイド(重心ベクトル)とすることが好適である。なお、代表ベクトルを各クラスタからランダムなキャラクタの選出、あるいはクラスタ内のキャラクタからバンディットアルゴリズムなどを利用して選出することも可能である。 After clustering the expression vectors, a representative vector is determined from each cluster. The representative vector is preferably the centroid (center of gravity vector) of each cluster. Note that the representative vector can also be selected by randomly selecting a character from each cluster, or by using a bandit algorithm or the like from the characters within a cluster.
図4には、電子ゲームにおける既存の複数のキャラクタの表現ベクトルをクラスタリングした結果を併せて示す。図4では、各クラスタを楕円で囲んで示している。また、各クラスタのセントロイド(重心ベクトル)を星型のマークで示している。したがって、各クラスタの代表ベクトルは星型のマークで示した表現ベクトルとして表される。 Figure 4 also shows the results of clustering the expression vectors of multiple existing characters in an electronic game. In Figure 4, each cluster is shown surrounded by an ellipse. The centroid (center of gravity vector) of each cluster is also shown with a star-shaped mark. Therefore, the representative vector of each cluster is represented as the expression vector shown with a star-shaped mark.
次ぎに、代表ベクトル毎に、期待報酬分布を生成する。期待報酬分布は、各クラスタの代表ベクトル毎の電子ゲームに関する期待報酬に対して電子ゲームで生じる確率を示す分布である。例えば、期待報酬を期待勝率とした場合、各クラスタの代表ベクトルを有するキャラクタを電子ゲームにおいて使用した際にその期待勝率を有する確率を示す分布である。期待報酬は、電子ゲームに関する値であれば特に限定されるものではないが、期待勝率の他に期待最大攻撃力、期待最大防御力、何らかのゲーム上のスキルの期待発生率等とすることができる。 Next, an expected reward distribution is generated for each representative vector. The expected reward distribution is a distribution that indicates the probability that an expected reward for an electronic game for each representative vector of each cluster will occur in the electronic game. For example, if the expected reward is the expected win rate, the distribution indicates the probability that the expected win rate will be obtained when a character having the representative vector of each cluster is used in an electronic game. The expected reward is not particularly limited as long as it is a value related to an electronic game, but in addition to the expected win rate, it can be the expected maximum offensive power, the expected maximum defensive power, the expected occurrence rate of some in-game skill, etc.
以下、図5に示すように、本実施の形態では期待要素値を期待勝率とした例について説明する。図5では、各クラスタにおける代表ベクトルに対する期待勝率が得られる確率がそれぞれの山形の確率分布で示されている。 As shown in Figure 5, in this embodiment, an example will be described in which the expected element value is the expected win rate. In Figure 5, the probability of obtaining the expected win rate for the representative vector in each cluster is shown as a mountain-shaped probability distribution.
確率分布は、適宜設定すればよいが、数式(1)で示されるベータ分布(β分布)を適用することが好適である。ベータ分布は、パラメータα及びパラメータβの初期値を1とする。また、期待報酬分布は、後述する更新処理によって変更される。ただし、具体的な期待報酬分布と更新処理はこれに限定されず、二項分布や試行結果に基づく頻度回数や頻度分布を適用してもよい。
続いて、クラスタ毎に期待報酬分布からそれぞれの代表ベクトルに対する期待報酬を求め、最も高い期待報酬を有する代表ベクトルを新たに導入するキャラクタに対する代替ベクトルとして選択する。選択は期待報酬を参照してBoltzmann分布やベータ分布に基づき確率的で行われる場合がある。他にもUCB1やその派生の評価関数を用いて決定的に行われる場合がある。図6は、図4に示した表現ベクトルの各クラスタにおける代表ベクトルについてその期待報酬を求めた例を示す。この場合、期待報酬が最大である代表ベクトル1が新たなキャラクタに対する代替ベクトルとして選択される。 Next, for each cluster, the expected reward for each representative vector is calculated from the expected reward distribution, and the representative vector with the highest expected reward is selected as the replacement vector for the newly introduced character. The selection may be made probabilistically based on the Boltzmann distribution or beta distribution with reference to the expected reward. In other cases, the selection may be made deterministically using an evaluation function such as UCB1 or its derivatives. Figure 6 shows an example of calculating the expected reward for the representative vectors in each cluster of the expression vectors shown in Figure 4. In this case, representative vector 1 with the highest expected reward is selected as the replacement vector for the new character.
なお、電子ゲームの評価の対象とする期待報酬において、どのような期待報酬を示すような新たなキャラクタを評価するのかによって期待報酬と選択条件を決定すればよい。本実施の形態の場合、勝率を代表的な評価の対象として、勝率が高くなるような新たなキャラクタを導入したときの電子ゲームの変化を評価することを目的としているので、期待報酬を勝率として、期待報酬が最大である代表ベクトルを新たなキャラクタに対する代替ベクトルとして選択する条件としている。例えば、敵キャラクタに与えるダメージを代表的な評価の対象として、当該ダメージが高くなるような新たなキャラクタを導入したときの電子ゲームの変化を評価することを目的とした場合、期待報酬として当該ダメージを与える確率を示す期待報酬分布に基づいてダメージが最大となる代表ベクトルを代替ベクトルとして選択する条件としてもよい。 The expected reward and selection conditions may be determined depending on what kind of expected reward a new character is evaluated for in the expected reward that is the subject of evaluation of the electronic game. In the case of this embodiment, the win rate is a representative evaluation subject, and the purpose is to evaluate changes in the electronic game when a new character that increases the win rate is introduced, so the expected reward is set as the win rate, and the representative vector with the maximum expected reward is set as the condition for selecting as an alternative vector for the new character. For example, if the damage inflicted on an enemy character is a representative evaluation subject, and the purpose is to evaluate changes in the electronic game when a new character that increases the damage is introduced, the representative vector with the maximum damage may be set as the condition for selecting as an alternative vector based on the expected reward distribution that indicates the probability of inflicting the damage as the expected reward.
ステップS12では、新しいキャラクタを含むデッキの探索処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100はデッキ探索手段として機能する。
In step S12, a search process is performed for a deck that includes a new character. Through the process in this step, the electronic
当該ステップでは、まず、ステップS10で選択された代替ベクトルで表される新たなキャラクタを組み入れるデッキを準備する処理が行われる。準備されるデッキは、既存のキャラクタを複数組み合わせて構成したデッキとする。本実施の形態では、図7に示すように、新たなキャラクタを組み入れる候補となる複数のデッキを準備する。 In this step, first, a process is performed to prepare a deck into which the new character represented by the alternative vector selected in step S10 will be incorporated. The deck to be prepared is a deck that is constructed by combining multiple existing characters. In this embodiment, as shown in FIG. 7, multiple decks that are candidates for incorporating the new character are prepared.
例えば、電子ゲームの企画者の意図にしたがって既存のキャラクタを組み合わせたデッキを複数準備する。また、企画者が想定する電子ゲームにおける新たなキャラクタの使用の意図(電子ゲームにおける新たなキャラクタを用いた戦略等)にしたがって、新たなキャラクタに近いと思われる既存のキャラクタを含むデッキを複数準備する。また、電子ゲームにおけるプレイログから過去に使用されたデッキから複数のデッキを選択してもよい。この場合、例えば、プレイログにおける特徴から勝率が高いデッキや所定の戦略に使用され易いデッキを抽出してもよい。 For example, multiple decks that combine existing characters are prepared according to the intentions of the electronic game planner. Also, multiple decks are prepared that include existing characters that are thought to be similar to the new characters according to the planner's intentions for using new characters in the electronic game (such as a strategy using a new character in an electronic game). Also, multiple decks may be selected from decks that have been used in the past from the play log of the electronic game. In this case, for example, decks with a high win rate or decks that are likely to be used for a specific strategy may be extracted from the characteristics in the play log.
次ぎに、図7に示すように、準備された各デッキを構成する既存のキャラクタ毎に期待報酬分布を生成する。続いて、準備されたデッキのうち1つをランダムに選択する。そして、図8に示すように、選択されたデッキを構成する既存のキャラクタ毎に生成された期待報酬分布からキャラクタ毎の期待報酬を算出し、最も期待報酬が高いキャラクタとステップS10で選択した新たなキャラクタとを入れ替えて新たなキャラクタを含むデッキを生成する。図8の例では、ランダムに選択されたデッキ1に含まれるキャラクタ1~キャラクタkにおいてキャラクタ1の期待報酬が0.9で最高値であるので、デッキ1においてキャラクタ1と新たなキャラクタとを入れ替えて新たなデッキを構成する。 Next, as shown in FIG. 7, an expected reward distribution is generated for each existing character that composes each prepared deck. Then, one of the prepared decks is randomly selected. Then, as shown in FIG. 8, the expected reward for each character is calculated from the expected reward distribution generated for each existing character that composes the selected deck, and the character with the highest expected reward is replaced with the new character selected in step S10 to generate a deck including a new character. In the example of FIG. 8, the expected reward of character 1 is 0.9, which is the highest value among characters 1 to k included in the randomly selected deck 1, so character 1 is replaced with the new character in deck 1 to construct a new deck.
なお、電子ゲームにおいて、複数のキャラクタを組み合わせたデッキを利用せず、個々のキャラクタ同士を対戦させるような場合には当該ステップは省略してもよい。 Note that this step may be omitted if the electronic game does not use a deck that combines multiple characters, but instead involves individual characters battling each other.
ステップS14では、新たなキャラクタを含むデッキと他のデッキとの対戦評価処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100は対戦評価手段として機能する。
In step S14, a match evaluation process is performed between the deck containing the new character and another deck. Through the process in this step, the electronic
処理部10は、ステップS12において準備されたデッキから新たなキャラクタを含まないデッキを1つ選択する。当該デッキは、ステップS12において準備されたデッキからランダムに選択すればよい。そして、過去のプレイログを用いて機会学習された戦略学習部(対戦AI)を用いて、ここで選択されたデッキとステップS12において生成された新たなキャラクタを含むデッキとを対戦させ、その対戦結果を取得する。
The
対戦結果としては、対戦のデッキ同士の勝敗結果、キャラクタ同士の勝敗結果、対戦終了時の各キャラクタのパラメータの値(例えば、ヒットポイント、攻撃力、防御力等のパラメータの値)、各キャラクタが相手のキャラクタに与えたダメージ、各キャラクタが与えられたダメージ等、電子ゲームの対戦を実際に行ったときに得られるあらゆる情報が含まれる。 Match results include any information obtained when an electronic game match is actually played, such as the outcome of the match between the decks, the outcome of the match between the characters, the parameter values of each character at the end of the match (e.g., hit points, attack power, defense power, etc.), the damage each character inflicted on the opponent's character, and the damage each character was dealt, etc.
なお、デッキを構成せず、キャラクタ同士の対戦が行われる電子ゲームの場合には、ステップS10において選択された新たなキャラクタと既存のキャラクタとの対戦を行わせて、対戦結果を取得する。 In the case of an electronic game in which a deck is not constructed and characters battle each other, the new character selected in step S10 is pitted against an existing character, and the battle results are obtained.
ステップS16では、期待報酬分布の更新処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100は期待報酬分布更新手段として機能する。
In step S16, an expected reward distribution update process is performed. Through the process in this step, the electronic
処理部10は、ステップS14における対戦結果を用いて、新しいキャラクタを含むデッキを構成するキャラクタについて期待報酬分布を更新する。具体的には、ステップS10において新しいキャラクタとして選択した代替ベクトルに対応するクラスタについてその代表ベクトルに対する期待報酬分布を更新する。例えば、ステップS10において期待報酬が最大である代表ベクトル1を新たなキャラクタに対する代替ベクトルとして選択した場合、当該代表ベクトル1に対する期待報酬分布を更新する処理を行う。
The
また、新しいキャラクタを含むデッキを構成する他のキャラクタについても、新しいキャラクタとシナジー効果をうむ可能性を考慮して、当該キャラクタに対する表現ベクトルに対する期待報酬分布を更新する場合もある。また、ステップS14における対戦結果を用いて、ステップS12において準備された新しいキャラクタを含むデッキで入れ替えた元のデッキのキャラクタに対する期待報酬分布を更新する場合もある。 In addition, for other characters that make up the deck including the new character, the expected reward distribution for the expression vector for that character may be updated, taking into consideration the possibility of a synergistic effect with the new character. In addition, using the battle results in step S14, the expected reward distribution for the characters in the original deck that were replaced with the deck including the new character prepared in step S12 may be updated.
このとき、ステップS14における対戦結果が勝利である場合、期待報酬分布における期待報酬が増加するような確率分布となるように期待報酬分布を更新する。また、ステップS14における対戦結果が敗戦である場合、期待報酬分布における期待報酬が減少するような確率分布となるように期待報酬分布を更新する。 At this time, if the match result in step S14 is a win, the expected reward distribution is updated to a probability distribution in which the expected reward increases. Also, if the match result in step S14 is a loss, the expected reward distribution is updated to a probability distribution in which the expected reward decreases.
期待報酬分布がベータ分布で表現される場合、ステップS14における対戦結果に応じてベータ分布のパラメータα及びパラメータβを変更することで期待報酬分布を更新する。ステップS14における対戦結果が勝利である場合、パラメータαを所定の調整値だけ増加させる処理を行う。当該所定の調整値は、例えば1とすることができる。また、ステップS14における対戦結果が敗戦である場合、パラメータβを所定の調整値だけ減少させる処理を行う。当該所定の調整値は、例えば+1とすることができる。これによって、対戦結果が勝利である場合には期待報酬分布における期待報酬が増加し、対戦結果が敗戦である場合には期待報酬分布における期待報酬が減少するように期待報酬分布を更新することができる。 When the expected reward distribution is expressed by a beta distribution, the expected reward distribution is updated by changing the parameters α and β of the beta distribution according to the match result in step S14. If the match result in step S14 is a win, a process is performed to increase the parameter α by a predetermined adjustment value. The predetermined adjustment value can be, for example, 1. Furthermore, if the match result in step S14 is a loss, a process is performed to decrease the parameter β by a predetermined adjustment value. The predetermined adjustment value can be, for example, +1. This makes it possible to update the expected reward distribution so that the expected reward in the expected reward distribution increases when the match result is a win, and the expected reward in the expected reward distribution decreases when the match result is a loss.
なお、デッキを構成せず、キャラクタ同士の対戦が行われる電子ゲームの場合には、新たなキャラクタの代替ベクトルに対応する代表ベクトルの期待報酬分布のみを更新すればよい。 In the case of electronic games in which characters battle each other without constructing a deck, it is only necessary to update the expected reward distribution of the representative vector that corresponds to the replacement vector of the new character.
ステップS18では、終了判定処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100は終了判定手段として機能する。
In step S18, an end determination process is performed. Through the process in this step, the electronic
処理部10は、上記ステップS10~ステップS16の処理の繰り返しを終了する条件が満たされたか否かを判定し、終了条件が満たされた場合にはステップS20へ処理を移行させ、終了条件が満たされてない場合にはステップS10に処理を戻す。ステップS10に処理が戻された場合、ステップS16において更新された期待報酬分布に基づいて、クラスタ毎に期待報酬分布からそれぞれの代表ベクトルに対する期待報酬を求め、最も高い期待報酬を有する代表ベクトルを新しいキャラクタに対する代替ベクトルとして新たに選択する。そして、新たに選択された新しいキャラクタについてステップS12~ステップS16の処理を再度行う。
The
このようにステップS10~ステップS16の処理を複数回繰り返すことによって、毎回選択し直される新たなキャラクタを含むデッキに対するステップS14の対戦評価の結果に基づいて新たなキャラクタの代替ベクトルに対応する代表ベクトルの期待報酬分布が更新される。すなわち、図9に示すように、期待報酬分布のパラメータが変化して、期待報酬分布が更新される。対戦評価が繰り返されるにつれて、期待報酬分布の分散は小さくなり、期待勝率が上がると期待報酬分布のピークの位置は期待報酬が高い方に移動し、期待勝率が下がると期待報酬分布のピークの位置は期待報酬が低い方に移動する。そして、期待報酬分布のピークの位置が期待報酬の高い方へ移動するほど、ステップS10における代替ベクトルとして選択され易くなり、対戦評価される回数が増加する。なお、勝敗結果が五分五分の場合、期待報酬分布は中間部分(図9の例では0.5付近)にピークが位置し、期待報酬の値に対して大きく拡がった分布を示すようになる。したがって、そのような期待報酬分布を有する代表ベクトルは期待報酬のピークの位置が高い期待報酬分布が存在しはじめるとステップS10において代替ベクトルとして選択され難くなる。 In this way, by repeating the processes of steps S10 to S16 multiple times, the expected reward distribution of the representative vector corresponding to the alternative vector of the new character is updated based on the results of the battle evaluation in step S14 for the deck including the new character that is reselected each time. That is, as shown in FIG. 9, the parameters of the expected reward distribution change and the expected reward distribution is updated. As the battle evaluation is repeated, the variance of the expected reward distribution becomes smaller, and when the expected win rate increases, the position of the peak of the expected reward distribution moves toward the higher expected reward, and when the expected win rate decreases, the position of the peak of the expected reward distribution moves toward the lower expected reward. And, the more the position of the peak of the expected reward distribution moves toward the higher expected reward, the more likely it is to be selected as an alternative vector in step S10, and the more times it is evaluated for battle. Note that when the outcome is a 50-50 split, the expected reward distribution peaks in the middle (around 0.5 in the example of FIG. 9), and shows a distribution that is greatly spread out with respect to the value of the expected reward. Therefore, when an expected reward distribution with such an expected reward distribution begins to exist with a high expected reward peak, it becomes difficult for the representative vector with such an expected reward distribution to be selected as an alternative vector in step S10.
また、当該ステップにおける終了条件は、ステップS10~ステップS16の処理を繰り返した時間や回数に上限値を設けて、その上限値を超えると終了するという上限とすればよい。ただし、終了条件は、これらに限定されるものではない。 The termination condition for this step may be an upper limit set for the time or number of times steps S10 to S16 are repeated, and the process may terminate when the upper limit is exceeded. However, the termination condition is not limited to this.
ステップS20では、新しいキャラクタの評価に関する処理が行われる。本ステップにおける処理によって、電子ゲーム評価装置100は評価手段として機能する。ここで、上記ステップS10~ステップS18によって実現される多碗バンディットを適用して得られた統計指標を用いて評価に関する処理を行う。例えば、得られた統計指標(統計値)を企画者等のユーザに提示したり、得られた統計指標が所定の基準値を超える場合に警告を示したりする処理を行う。
In step S20, processing related to the evaluation of the new character is carried out. Through the processing in this step, the electronic
例えば、図10に示すように、事前に準備された各デッキを構成する各キャラクタを新たなキャラクタと置き換えたデッキを構成したときに、電子ゲームにおいて最も勝率が高くなったデッキの評価値をユーザに提示することができる。 For example, as shown in FIG. 10, when a deck is constructed by replacing each character constituting each pre-prepared deck with a new character, the evaluation value of the deck with the highest win rate in the electronic game can be presented to the user.
また、例えば、図11に示すように、事前に準備された各デッキを構成する各キャラクタを新たなキャラクタと置き換えたデッキを構成したときに電子ゲームにおいて勝率が高くなったデッキを縦軸とし、新たなキャラクタを含まず、既存のキャラクタのみで構成されたデッキを横軸として、それぞれ組み合わせに対して勝率を表した情報をユーザに提示することができる。図11では、既存のキャラクタのみのデッキに対する新たなキャラクタを含むデッキの勝率が高い組み合わせの輝度を低く、勝率が低い組み合わせの輝度を高く示している。 In addition, for example, as shown in FIG. 11, when a deck is constructed in which each character constituting each pre-prepared deck is replaced with a new character, the deck with the highest win rate in an electronic game is plotted on the vertical axis, and the deck that does not include new characters and is composed only of existing characters is plotted on the horizontal axis, and information showing the win rate for each combination can be presented to the user. In FIG. 11, combinations with a high win rate for decks including new characters compared to decks containing only existing characters are shown with a low brightness, and combinations with a low win rate are shown with a high brightness.
この情報によって、新たなキャラクタを含まないデッキに対して満遍なく高い勝率を示す新たなキャラクタを含むデッキを抽出することができる。このようなデッキは電子ゲームにおけるバランスを崩すおそれがあるので、このようなデッキの構成を可能とする新たなキャラクタは導入しないようにした方がよい等の判断を行うことができる。 This information makes it possible to extract decks that include new characters that have a uniformly high win rate compared to decks that do not include the new character. Since such decks may upset the balance of the electronic game, it is possible to make decisions such as not introducing new characters that would allow the construction of such decks.
また、図12に示すように、勝率が高くなる新たなキャラクタの利用方法を抽出することもできる。例えば、既存のキャラクタのみで構成されるデッキにおいて所定の利用順でキャラクタを利用したときの勝率に対して、新たなキャラクタに入れ替えたデッキにおけるキャラクタの利用順の違いによってどのように勝率が変化するか等の情報を知ることができる。 In addition, as shown in FIG. 12, it is also possible to extract a new method of using characters that increases the winning rate. For example, it is possible to know information such as how the winning rate changes depending on the order in which characters are used in a deck that is replaced with new characters, compared to the winning rate when characters are used in a specified order in a deck that is composed only of existing characters.
また、図13に示すように、新たなキャラクタを含んだ場合に平均の勝率が高くなるデッキを事前に特定することもできる。 It is also possible to identify in advance which decks will have a higher average win rate if they include new characters, as shown in Figure 13.
なお、上記の評価では、デッキ同士の組み合わせに対する勝率を示したが、対戦後の残りのヒットポイント差、最大の攻撃力の差等、ステップS14における対戦評価において得ることができる電子ゲームの評価の対象となる情報であれば特に限定されるものではない。 In the above evaluation, the winning rate for the combination of decks is shown, but there is no particular limitation as long as it is information that can be used to evaluate the electronic game and that can be obtained in the battle evaluation in step S14, such as the remaining hit point difference after the battle, the difference in maximum attack power, etc.
また、デッキを構成せず、キャラクタ同士の対戦が行われる電子ゲームの場合には、新たなキャラクタと他の既存のキャラクタとの電子ゲームにおける勝率の違い等を評価の対象とすることができる。 In the case of electronic games in which characters battle each other without constructing a deck, the difference in winning rate between the new character and other existing characters in the electronic game can be evaluated.
本実施の形態では、電子ゲームにおいて使用されるキャラクタを評価対象としたが、電子ゲームにおいて使用される他のオブジェクトを評価対象とすることもできる。例えば、電子ゲームにおけるキャラクタのスキル(攻撃力、防御力、その他のゲーム上の効果を与えるパラメータ)、電子ゲームにおけるアイテム等、電子ゲームで利用されるオブジェクトであれば評価の対象とすることができる。この場合、上記説明においてキャラクタの代わりに評価対象とするオブジェクトを適用して処理すればよい。 In this embodiment, the character used in the electronic game is the subject of evaluation, but other objects used in the electronic game can also be the subject of evaluation. For example, the skills of a character in an electronic game (parameters that give attack power, defense power, and other game effects), items in an electronic game, and other objects used in the electronic game can be the subject of evaluation. In this case, the object to be evaluated can be applied instead of the character in the above explanation and processed.
また、本実施の形態における電子ゲーム評価装置100では、1つのコンピュータシステムにおいて表現ベクトル探索手段、デッキ探索手段、対戦評価手段、期待報酬分布更新手段、終了判定手段及び評価手段を実現する構成とした。しかしながら、これらの手段を異なる装置や異なる実行主体にて分散させて実現するようにしてもよい。例えば、これらの手段のうち幾つかを互いに情報伝達可能な複数のコンピュータで分担して実現するようにしてもよい。
In addition, in the electronic
10 処理部、12 記憶部、14 入力部、16 出力部、18 通信部、100 電子ゲーム評価装置、102 ネットワーク。
REFERENCE SIGNS
Claims (6)
複数の既存のオブジェクトを示す特徴ベクトルをクラスタリングした集合の中から前記既存のオブジェクトとは異なるベクトルを代表ベクトルとして決定し、前記代表ベクトルに対応するオブジェクトを電子ゲームで使用したときに電子ゲームで得られる所定の種類の報酬についての期待報酬の確率を示す期待報酬分布に基づいて最も高い期待報酬を有する前記代表ベクトルを代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとする表現ベクトル探索手段と、
既存の戦略学習器を利用して前記新たなオブジェクトを含むデッキと前記新たなオブジェクトを含まないデッキとの間で電子ゲームの対戦を行う対戦評価手段と、
前記対戦における結果として得られた前記所定の種類の報酬に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布を更新する期待報酬分布更新手段と、
を備え、
前記代表ベクトルに対して前記所定の種類の報酬について前記期待報酬分布の初期値を設定し、前記代表ベクトルの1つを前記代替ベクトルとして選択し、
前記対戦評価手段において、選択された前記代替ベクトルに対応するオブジェクトを前記新たなオブジェクトとして、前記新たなオブジェクトを含むデッキと前記新たなオブジェクトを含まないデッキとの間で電子ゲームの対戦を行い、
前記期待報酬分布更新手段において、当該対戦における結果として得られた前記所定の種類の報酬に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布を更新し、
前記表現ベクトル探索手段において、当該更新された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布に基づいて最も高い期待報酬を有する前記代表ベクトルを新たな前記代替ベクトルとして選択する、
という処理を繰り返すことによって、前記新たなオブジェクトを加えた際の電子ゲームのバランスの変化を評価することを特徴とする電子ゲーム評価装置。 An electronic game evaluation device for evaluating a competitive electronic game using an object, comprising:
an expression vector search means for determining a representative vector from a set of clustered feature vectors representing a plurality of existing objects, which is different from the existing objects , selecting the representative vector having the highest expected reward as an alternative vector based on an expected reward distribution indicating the probability of an expected reward of a predetermined type to be obtained in the electronic game when the object corresponding to the representative vector is used in the electronic game, and designating the object corresponding to the alternative vector as a new object;
a match evaluation means for evaluating an electronic game between a deck including the new object and a deck not including the new object, using an existing strategy learner;
an expected reward distribution update means for updating an expected reward distribution for the predetermined type of reward for the representative vector selected as the alternative vector in accordance with the predetermined type of reward obtained as a result of the battle;
Equipped with
Setting an initial value of the expected reward distribution for the predetermined type of reward for the representative vector, and selecting one of the representative vectors as the alternative vector;
In the match evaluation means, an object corresponding to the selected alternative vector is set as the new object, and an electronic game match is performed between a deck including the new object and a deck not including the new object;
the expected reward distribution update means updates an expected reward distribution for the representative vector selected as the alternative vector according to the predetermined type of reward obtained as a result of the battle;
the representative vector search means selects, as a new alternative vector, the representative vector having the highest expected reward based on an expected reward distribution for the predetermined type of reward for the updated representative vector;
The electronic game evaluation device is characterized in that the above process is repeated to evaluate the change in balance of the electronic game when the new object is added.
前記対戦評価手段において得られた対戦評価の結果に基づく統計値をユーザに提示する評価手段を備えることを特徴とする電子ゲーム評価装置。 2. The electronic game evaluation device according to claim 1,
An electronic game evaluation device comprising evaluation means for presenting to a user a statistical value based on the results of the match evaluation obtained by said match evaluation means.
前記所定の種類の報酬は、電子ゲームにおける勝率であり、前記期待報酬は、電子ゲームにおける期待勝率であり、
前記期待報酬分布更新手段は、前記対戦評価手段における対戦の勝敗に応じて前記代表ベクトルに対する期待報酬分布を更新することを特徴とする電子ゲーム評価装置。 3. The electronic game evaluation device according to claim 1,
the predetermined type of reward is a winning rate in an electronic game, and the expected reward is an expected winning rate in the electronic game;
The electronic game evaluation device, wherein the expected reward distribution update means updates the expected reward distribution for the representative vector in accordance with the outcome of the match in the match evaluation means.
前記オブジェクトは、電子ゲームにおいて使用されるキャラクタであり、
前記対戦評価手段は、前記新たなオブジェクトとして新たなキャラクタと既存のキャラクタとを組み合わせた電子ゲーム上のデッキと、前記新たなキャラクタを含まず、既存のキャラクタを組み合わせた電子ゲーム上のデッキと、を対戦させたときの対戦評価を行うことを特徴とする電子ゲーム評価装置。 The electronic game evaluation device according to any one of claims 1 to 3,
the object is a character used in an electronic game,
The electronic game evaluation device is characterized in that the battle evaluation means performs a battle evaluation when a deck in an electronic game that combines a new character and an existing character as the new object is pitted against a deck in an electronic game that does not include the new character and combines existing characters.
コンピュータを、
複数の既存のオブジェクトを示す特徴ベクトルをクラスタリングした集合の中から前記既存のオブジェクトとは異なるベクトルを代表ベクトルとして決定し、前記代表ベクトルに対応するオブジェクトを電子ゲームで使用したときに電子ゲームで得られる所定の種類の報酬についての期待報酬の確率を示す期待報酬分布に基づいて最も高い期待報酬を有する前記代表ベクトルを代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとする表現ベクトル探索手段と、
既存の戦略学習器を利用して前記新たなオブジェクトを含むデッキと前記新たなオブジェクトを含まないデッキとの間で電子ゲームの対戦を行う対戦評価手段と、
前記対戦における結果として得られた前記所定の種類の報酬に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布を更新する期待報酬分布更新手段と、
として機能させ、
前記代表ベクトルに対して前記所定の種類の報酬について前記期待報酬分布の初期値を設定し、前記代表ベクトルの1つを前記代替ベクトルとして選択し、
前記対戦評価手段において、選択された前記代替ベクトルに対応するオブジェクトを前記新たなオブジェクトとして、前記新たなオブジェクトを含むデッキと前記新たなオブジェクトを含まないデッキとの間で電子ゲームの対戦を行い、
前記期待報酬分布更新手段において、当該対戦における結果として得られた前記所定の種類の報酬に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布を更新し、
前記表現ベクトル探索手段において、当該更新された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布に基づいて最も高い期待報酬を有する前記代表ベクトルを新たな前記代替ベクトルとして選択する、
という処理を繰り返すことによって、前記新たなオブジェクトを加えた際の電子ゲームのバランスの変化を評価することを特徴とする電子ゲーム評価プログラム。 An electronic game evaluation program for evaluating a competitive electronic game using objects, comprising:
Computer,
an expression vector search means for determining a representative vector from a set of clustered feature vectors representing a plurality of existing objects, which is different from the existing objects , selecting the representative vector having the highest expected reward as an alternative vector based on an expected reward distribution indicating the probability of an expected reward of a predetermined type to be obtained in the electronic game when the object corresponding to the representative vector is used in the electronic game, and designating the object corresponding to the alternative vector as a new object;
a match evaluation means for evaluating an electronic game between a deck including the new object and a deck not including the new object, using an existing strategy learner;
an expected reward distribution update means for updating an expected reward distribution for the predetermined type of reward for the representative vector selected as the alternative vector in accordance with the predetermined type of reward obtained as a result of the battle;
Function as a
Setting an initial value of the expected reward distribution for the predetermined type of reward for the representative vector, and selecting one of the representative vectors as the alternative vector;
In the match evaluation means, an object corresponding to the selected alternative vector is set as the new object, and an electronic game match is performed between a deck including the new object and a deck not including the new object;
the expected reward distribution update means updates an expected reward distribution for the representative vector selected as the alternative vector according to the predetermined type of reward obtained as a result of the battle;
the representative vector search means selects, as a new alternative vector, the representative vector having the highest expected reward based on an expected reward distribution for the predetermined type of reward for the updated representative vector;
The electronic game evaluation program is characterized in that the above process is repeated to evaluate a change in balance of the electronic game when the new object is added.
複数の既存のオブジェクトを示す特徴ベクトルをクラスタリングした集合の中から前記既存のオブジェクトとは異なるベクトルを代表ベクトルとして決定し、前記代表ベクトルに対して前記所定の種類の報酬について前記期待報酬分布の初期値を設定し、前記代表ベクトルの1つを前記代替ベクトルとして選択し、前記代替ベクトルに対応するオブジェクトを新たなオブジェクトとし、
既存の戦略学習器を利用して前記新たなオブジェクトを含むデッキと前記新たなオブジェクトを含まないデッキとの間で電子ゲームの対戦を行う対戦評価ステップと、
前記対戦における結果として得られた前記所定の種類の報酬に応じて前記代替ベクトルとして選択された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布を更新する期待報酬分布更新ステップと、
当該更新された前記代表ベクトルに対する前記所定の種類の報酬についての期待報酬分布に基づいて最も高い期待報酬を有する前記代表ベクトルを新たな前記代替ベクトルとして選択する表現ベクトル探索ステップと、
を繰り返すことによって、前記新たなオブジェクトを加えた際の電子ゲームのバランスの変化を評価する電子ゲーム評価方法。 1. A method for evaluating a competitive electronic game using an object, comprising:
determining a representative vector from a set of clustered feature vectors representing a plurality of existing objects, the representative vector being a vector different from the existing objects; setting an initial value of the expected reward distribution for the predetermined type of reward for the representative vector; selecting one of the representative vectors as the alternative vector; and setting the object corresponding to the alternative vector as a new object;
a match evaluation step of playing an electronic game between a deck including the new object and a deck not including the new object by using an existing strategy learner;
an expected reward distribution update step of updating an expected reward distribution regarding the predetermined type of reward for the representative vector selected as the alternative vector according to the predetermined type of reward obtained as a result of the battle;
a representation vector search step of selecting the representative vector having the highest expected reward based on the expected reward distribution for the predetermined type of reward for the updated representative vector as the new alternative vector;
and evaluating a change in balance of the electronic game when the new object is added by repeating the above steps.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020037247A JP7587348B2 (en) | 2020-03-04 | 2020-03-04 | Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020037247A JP7587348B2 (en) | 2020-03-04 | 2020-03-04 | Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021137301A JP2021137301A (en) | 2021-09-16 |
| JP7587348B2 true JP7587348B2 (en) | 2024-11-20 |
Family
ID=77667295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020037247A Active JP7587348B2 (en) | 2020-03-04 | 2020-03-04 | Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7587348B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019197592A (en) | 2019-08-13 | 2019-11-14 | 株式会社 ディー・エヌ・エー | Information processing apparatus and information processing program |
-
2020
- 2020-03-04 JP JP2020037247A patent/JP7587348B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019197592A (en) | 2019-08-13 | 2019-11-14 | 株式会社 ディー・エヌ・エー | Information processing apparatus and information processing program |
Non-Patent Citations (3)
| Title |
|---|
| (CEDEC2019)人工知能にテストプレイを丸投げできるか? ,モリカトロンAIラボ[online],2019年09月24日,[検索日:2023年11月28日], <URL: https://morikatron.ai/2019/09/cedec2019_gree/>,特に本文を参照 |
| AIによる汎用的バランス調整とその可視化 グリムノーツRepage,スクウェアエニックス ウェブサイト[online],2018年08月23日,[検索日:2023年11月28日], <URL: http://www.jp.square-enix.com/tech/library/pdf/cedec2018_manabe_awaji_protected.pdf>,特に本文を参照 |
| 強化学習等による『逆転オセロニア』対戦環境バランス設計支援,DeNA Engineering Blog[online],2020年09月24日,[検索日:2023年11月28日], <URL: https://engineering.dena.com/blog/2020/09/cedec2020-othellonia-ai/>,特に本文を参照 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021137301A (en) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6351671B2 (en) | Program, system, and method for adjusting neural network structure and parameters using neuro evolution | |
| JP6612306B2 (en) | Information processing apparatus and information processing program | |
| Zhang et al. | Improving hearthstone AI by learning high-level rollout policies and bucketing chance node events | |
| Bakkes et al. | Rapid adaptation of video game AI | |
| JP2019050938A (en) | Information processing system, information processing device, information processing server, information processing program, and information processing method | |
| CN111701240B (en) | Virtual article prompting method and device, storage medium and electronic device | |
| JP7344053B2 (en) | Systems, methods, and programs for providing predetermined games and methods for creating deck classifications | |
| JP2024037952A (en) | Game system, server, program, lottery event execution method | |
| US10780351B2 (en) | Information processing device and information processing program | |
| Smit | A machine learning approach for recommending items in League of Legends | |
| JP7587348B2 (en) | Electronic game evaluation device, electronic game evaluation program, and electronic game evaluation method | |
| US20240024777A1 (en) | Non-transitory computer-readable storage medium, system, and method | |
| Widiyanto et al. | The calculation of player’s and non-player character’s gameplay attribute growth in role-playing game with K-NN and Naive Bayes | |
| JP7280524B2 (en) | Game device and program | |
| JP2019197592A (en) | Information processing apparatus and information processing program | |
| Gaina et al. | General win prediction from agent experience | |
| JP7417451B2 (en) | Electronic game information processing device and electronic game information processing program | |
| Salge et al. | Relevant information as a formalised approach to evaluate game mechanics | |
| França et al. | CreativeStone: a creativity booster for Hearthstone card decks | |
| JP7516688B1 (en) | Information processing system, information processing device, program, and information processing method | |
| JP7745911B2 (en) | Computer program, game system using same, and control method | |
| JP7328569B2 (en) | Information processing system | |
| US20220327392A1 (en) | Puzzle validation using heuristic evaluation | |
| JP2025112688A (en) | Computer program, game system using same, and control method | |
| CN114330667A (en) | Neural network generation method, system, computer equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221226 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240105 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240213 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240410 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240716 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240913 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241015 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241108 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7587348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |