JP7740693B2 - Tactical analysis device, control method thereof, and control program - Google Patents
Tactical analysis device, control method thereof, and control programInfo
- Publication number
- JP7740693B2 JP7740693B2 JP2021152431A JP2021152431A JP7740693B2 JP 7740693 B2 JP7740693 B2 JP 7740693B2 JP 2021152431 A JP2021152431 A JP 2021152431A JP 2021152431 A JP2021152431 A JP 2021152431A JP 7740693 B2 JP7740693 B2 JP 7740693B2
- Authority
- JP
- Japan
- Prior art keywords
- tactic
- player
- tactical
- analysis device
- tactics
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Description
本発明は、競技におけるプレイヤの戦術を分析する戦術分析装置、およびその制御方法、並びに制御プログラムに関する。 The present invention relates to a tactical analysis device that analyzes a player's tactics in a competition, as well as a control method and control program for the same.
近年、スポーツ等の対戦競技の分野においても、コンピュータを利用した分析が盛んにおこなわれている。例えば、特許文献1には、団体スポーツ競技における選手の位置情報およびプレイ履歴に基づいて攻撃パターンを分析する攻撃パターン抽出装置が開示されている。 In recent years, computer-based analysis has become increasingly common in the field of competitive sports. For example, Patent Document 1 discloses an attack pattern extraction device that analyzes attack patterns based on player position information and play history in team sports.
しかしながら、特許文献1では、過去の戦術(攻撃パターン)を特定しているに過ぎず、競技中にプレイヤの戦術履歴から今後の戦術を予想することは行われていない。また、野球中継では、解説者が試合中のピッチングの履歴に基づいて今後のピッチングを予想することがあるが、これは、解説者の長年の経験に基づくものであり、コンピュータを利用して自動的に行われるものではない。 However, Patent Document 1 only identifies past tactics (offensive patterns) and does not predict future tactics from the player's tactical history during the game. Furthermore, during baseball broadcasts, commentators sometimes predict future pitching moves based on the pitching history during the game, but this is based on the commentator's many years of experience and is not done automatically using a computer.
本発明の一態様は、競技中にプレイヤの今後の戦術を予想できる戦術分析装置などを実現することを目的とする。 One aspect of the present invention aims to realize a tactical analysis device that can predict a player's future tactics during a game.
上記の課題を解決するために、本発明の一態様に係る戦術分析装置は、競技におけるプレイヤの戦術を分析する戦術分析装置であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える。 In order to solve the above problems, one aspect of the present invention provides a tactical analysis device that analyzes a player's tactics in a competition, and includes a tactical acquisition unit that acquires the player's tactical history in the competition from video of the competition, a learning model of the player in which a strategy, which is a time-series pattern of tactics, is machine-learned using the player's tactical history in past competitions, and a strategy estimation unit that estimates the player's strategy in the competition using the tactical history acquired by the tactical acquisition unit.
ここで、戦術とは、前記競技において、或る行動単位における前記プレイヤの特徴的な行動内容をいう。例えば、野球の場合、前記行動単位は1回のピッチングであってもよく、前記特徴的な行動内容は、前記ピッチングのコース、球種、および球速のうちの少なくとも1つであってもよい。また、卓球の場合、前記行動単位は1回のラリーであってもよく、前記特徴的な行動内容は、前記ラリーにおけるラリー軌跡、サーブのスタイル、サーブのボールの位置および回転、並びに、プレイヤの位置および姿勢のうちの少なくとも1つであってもよい。 Here, tactics refer to the characteristic behavior of the player in a certain unit of behavior in the game. For example, in baseball, the unit of behavior may be a single pitch, and the characteristic behavior may be at least one of the course, type of ball, and ball speed of the pitch. In addition, in table tennis, the unit of behavior may be a single rally, and the characteristic behavior may be at least one of the rally trajectory, serve style, position and rotation of the served ball, and position and posture of the player.
上記の構成によると、競技の映像から、前記競技におけるプレイヤの戦術履歴を取得し、取得した戦術履歴と、前記プレイヤの学習モデルと、を用いて、前記競技の前記プレイヤの戦略を推定する。従って、ユーザは、競技中の映像から推定された戦略、すなわち戦術の時系列パターンを参照することができ、これにより、競技中の前記プレイヤの今後の戦術を予想することができる。なお、前記ユーザは、前記プレイヤの相手であってもよいし、該相手のコーチであってもよい。 With the above configuration, the tactical history of a player in a competition is acquired from video of the competition, and the acquired tactical history and a learning model of the player are used to estimate the player's strategy for the competition. Therefore, a user can refer to the strategy estimated from video of the competition, i.e., the time series pattern of tactics, and thereby predict the player's future tactics during the competition. Note that the user may be the player's opponent or the opponent's coach.
本態様に係る戦術分析装置では、前記戦術取得部は、前記映像から戦術に関する代表点の時系列データを抽出し、前記抽出した時系列データを特異値分解することにより、前記プレイヤの戦術を取得してもよい。この場合、前記代表点の時系列データの時間長さが異なっていても、前記プレイヤの戦術を取得することができる。 In the tactic analysis device according to this aspect, the tactic acquisition unit may extract time-series data of representative points related to tactics from the video and acquire the player's tactics by performing singular value decomposition on the extracted time-series data. In this case, the player's tactics can be acquired even if the time-series data of the representative points varies in duration.
本態様に係る戦術分析装置では、前記戦術取得部は、前記競技の映像から移動体の軌跡を抽出し、前記抽出した移動体の軌跡に基づいて前記プレイヤの前記戦術を取得し、これを繰り返すことにより、前記プレイヤの戦術履歴を取得してもよい。 In the tactical analysis device according to this aspect, the tactical acquisition unit may extract trajectories of moving objects from the video of the game, acquire the player's tactics based on the extracted trajectories of the moving objects, and repeat this process to acquire the player's tactical history.
ここで、移動体は、前記競技において移動する物体であり、例えば、前記競技のプレイヤ、前記競技で利用されるボール等が挙げられる。また、前記戦術取得部は、前処理として、前記戦術の取得とは無関係のシーン(例えば、前記プレイヤのクローズアップ映像など)を、不要なシーンとして前記競技の映像から除去してもよい。 Here, a moving object refers to an object that moves during the game, such as a player in the game or a ball used in the game. Furthermore, as a preprocessing step, the tactic acquisition unit may remove scenes unrelated to the acquisition of the tactics (such as close-up footage of the player) from the video of the game as unnecessary scenes.
本態様に係る戦術分析装置では、前記移動体は、前記プレイヤを含み、前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得してもよい。この場合、前記プレイヤの挙動を精度よく推定できるので、前記プレイヤの前記戦術を精度よく推定することができる。 In the tactic analysis device according to this aspect, the moving object may include the player, and the tactic acquisition unit may estimate the trajectory of the player's skeleton by performing machine learning using video of the game, and acquire at least a portion of the player's tactic based on the estimated trajectory of the skeleton. In this case, the player's behavior can be estimated with high accuracy, and therefore the player's tactic can be estimated with high accuracy.
本態様に係る戦術分析装置では、前記学習モデルは、複数のモデルを統合的に組み合わせて機械学習を行うことにより作成されてもよい。この場合、他の学習モデルに比べて、前記戦略の推定精度を向上させることができる。 In the tactical analysis device according to this aspect, the learning model may be created by performing machine learning by integrating and combining multiple models. In this case, the accuracy of estimating the strategy can be improved compared to other learning models.
本態様に係る戦術分析装置では、前記複数のモデルはファジィクラスタリングモデルであってもよい。この場合、推定された戦略は、ファジィルール(IF THENルール)で提供されることになる。従って、ユーザが今後の戦術を容易に予想することができる。 In the tactical analysis device according to this embodiment, the multiple models may be fuzzy clustering models. In this case, the estimated strategy is provided using fuzzy rules (IF THEN rules). This allows the user to easily predict future tactics.
本態様に係る戦術分析装置では、前記学習モデルは、機械学習された前記複数のモデルの或るモデルによって推定された推定データに基づいて仮想データが生成され、前記仮想データと学習用データとを用いて、前記複数のモデルの別のモデルが機械学習されることにより作成されてもよい。この場合、機械学習を行うためのデータを増加させることができるので、前記戦略の推定精度をさらに向上させることができる。 In the tactical analysis device according to this aspect, the learning model may be created by generating virtual data based on estimated data estimated by one of the plurality of models through machine learning, and then using the virtual data and learning data to create another model of the plurality of models through machine learning. In this case, the amount of data available for machine learning can be increased, further improving the accuracy of estimating the strategy.
本発明の別の態様に係る戦術分析装置の制御方法は、競技におけるプレイヤの戦術を分析する戦術分析装置の制御方法であって、競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、過去の前記競技における前記プレイヤの戦術履歴を用いて、戦術の時系列パターンである戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む制御方法である。 A control method for a tactical analysis device according to another aspect of the present invention is a control method for a tactical analysis device that analyzes the tactics of a player in a competition, and includes a tactical acquisition step of acquiring the tactical history of the player in the competition from video of the competition, and a strategy estimation step of estimating the player's strategy in the competition using a learning model in which a strategy, which is a time-series pattern of tactics, is machine-learned using the tactical history of the player in past competitions, and the tactical history acquired in the tactical acquisition step.
上記の制御方法によれば、上述の戦術分析装置と同様の効果を奏することができる。 The above control method can achieve the same effects as the tactical analysis device described above.
本発明の各態様に係る戦術分析装置は、コンピュータによって実現してもよく、この場合には、コンピュータを前記戦術分析装置が備える各部(ソフトウェア要素)として動作させることにより前記戦術分析装置をコンピュータにて実現させる戦術分析装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。 The tactical analysis device according to each aspect of the present invention may be realized by a computer. In this case, the control program for the tactical analysis device, which causes the computer to operate as each unit (software element) of the tactical analysis device, thereby realizing the tactical analysis device on the computer, and the computer-readable recording medium on which the program is recorded, also fall within the scope of the present invention.
本発明の一態様によれば、競技中にプレイヤの今後の戦術を予想することができる。 One aspect of the present invention is that it is possible to predict a player's future tactics during a match.
以下、本発明の実施の形態について、詳細に説明する。なお、説明の便宜上、各実施形態に示した部材と同一の機能を有する部材については、同一の符号を付記し、適宜その説明を省略する。 Embodiments of the present invention will be described in detail below. For ease of explanation, components that have the same functions as those shown in each embodiment will be denoted by the same reference numerals, and their description will be omitted where appropriate.
〔実施形態1〕
本発明の一実施形態について、図1~図8を参照して説明する。
[Embodiment 1]
An embodiment of the present invention will be described with reference to FIGS.
(戦術分析装置の概要)
図1は、本実施形態に係る戦術分析装置の概略構成を示すブロック図である。本実施形態の戦術分析装置10は、映像から対戦相手(プレイヤ)の戦術を取得し分析して、対戦相手の戦略を推定するものである。なお、以下では、上記競技が卓球である場合について説明しているが、これに限定されるものではない。また、卓球のルール等の詳細については、公知であるので、その説明を省略する。
(Overview of the Tactical Analysis Device)
FIG. 1 is a block diagram showing the schematic configuration of a tactical analysis device according to this embodiment. The tactical analysis device 10 of this embodiment acquires and analyzes the tactics of an opponent (player) from video and estimates the opponent's strategy. The following description is based on the case where the sport is table tennis, but the present invention is not limited to this. Details of the rules of table tennis, etc., are well known, and therefore will not be described here.
図1に示すように、戦術分析装置10は、制御部11、記憶部12、および通信部13を有している。制御部11は、戦術分析装置10の各種構成の動作を統括的に制御するものであり、例えばCPU(Central Processing Unit)及びメモリを含むコンピュータによって構成される。そして、各種構成の動作制御は、制御プログラムをコンピュータに実行させることによって行われる。記憶部12は、情報を記録するものであり、ハードディスク、フラッシュメモリ等の記憶デバイスによって構成される。通信部13は、インターネット等の通信ネットワークを介して情報の送受信を行う通信デバイスによって構成される。 As shown in FIG. 1, the tactical analysis device 10 has a control unit 11, a memory unit 12, and a communication unit 13. The control unit 11 comprehensively controls the operation of the various components of the tactical analysis device 10 and is composed of, for example, a computer including a CPU (Central Processing Unit) and memory. The operation of the various components is controlled by having the computer execute a control program. The memory unit 12 records information and is composed of a storage device such as a hard disk or flash memory. The communication unit 13 is composed of a communication device that sends and receives information via a communication network such as the Internet.
制御部11は、戦術取得部22と、戦略推定部23とを有している。また、記憶部12は、戦術履歴のデータを記憶する戦術履歴記憶部31を含んでいる。なお、本実施形態では、戦略推定部23の学習モデルに機械学習させる学習モードTMと、機械学習された学習モデルを競技中に利用する競技モードPMと、を含んでいる。 The control unit 11 has a tactic acquisition unit 22 and a strategy estimation unit 23. The memory unit 12 also includes a tactic history memory unit 31 that stores tactic history data. In this embodiment, the memory unit 12 includes a learning mode TM that performs machine learning on the learning model of the strategy estimation unit 23, and a competition mode PM that uses the machine-learned learning model during a competition.
戦術取得部22は、通信部13を介して取得した映像のデータから、対戦相手の戦術履歴のデータ(戦術の時系列のデータ)を取得するものである。戦術取得部22は、取得した戦術履歴のデータを戦術履歴記憶部31に記憶する。 The tactical acquisition unit 22 acquires data on the opponent's tactical history (chronological data on tactics) from the video data acquired via the communication unit 13. The tactical acquisition unit 22 stores the acquired tactical history data in the tactical history storage unit 31.
具体的には、戦術取得部22は、上記映像から不要なシーンを除去するように処理し、処理された映像から、ボール(移動体)の位置および回転、競技者(移動体)の位置および姿勢、などを特定し、戦術情報とする。次に、戦術取得部22は、これらの戦術情報をラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。そして、戦術取得部22は、取得した対戦相手の戦術履歴のデータを戦術履歴記憶部31に記憶する。 Specifically, the tactical acquisition unit 22 processes the video to remove unnecessary scenes, and from the processed video, identifies the position and rotation of the ball (moving object), the position and posture of the player (moving object), etc., and uses these as tactical information. Next, the tactical acquisition unit 22 acquires this tactical information for each rally, and creates a tactical history from multiple pieces of tactical information for multiple rallies. The tactical acquisition unit 22 then stores the acquired data on the opponent's tactical history in the tactical history storage unit 31.
なお、上記映像は、放送用の映像でも可能である。この場合、特殊なカメラシステムを使用する必要が無い。また、上記映像は、1台のカメラで撮影された映像であってもよいし、複数台のカメラで撮影された複数の映像であってもよい。 The above video can also be broadcast video. In this case, there is no need to use a special camera system. The above video can be video taken with a single camera, or multiple videos taken with multiple cameras.
戦略推定部23は、戦術履歴記憶部31に記憶された戦術履歴のデータを用いて、対戦相手の戦略を推定するものである。具体的には、戦略推定部23は、学習モデルを有しており、学習モードTMでは、対戦相手の過去の戦術履歴を用いて上記学習モデルに対し機械学習を行う。一方、競技モードPMでは、戦略推定部23は、対戦相手の競技中の戦術履歴と、機械学習された上記学習モデルとを用いて、対戦相手の戦略を推定する。戦略推定部23は、推定した戦略のデータを、通信部13を介してユーザの端末等の外部の装置に出力する。 The strategy estimation unit 23 estimates the opponent's strategy using tactical history data stored in the tactical history memory unit 31. Specifically, the strategy estimation unit 23 has a learning model, and in learning mode TM, machine learning is performed on the learning model using the opponent's past tactical history. On the other hand, in competition mode PM, the strategy estimation unit 23 estimates the opponent's strategy using the opponent's tactical history during the competition and the machine-learned learning model. The strategy estimation unit 23 outputs data on the estimated strategy to an external device such as the user's terminal via the communication unit 13.
(学習モードでの処理)
図2は、上記構成の戦術分析装置10における学習モードTMでの処理の流れを示すフローチャートである。図2に示す処理は、プレイヤごとに実行される。
(Processing in learning mode)
2 is a flowchart showing the flow of processing in the learning mode TM in the tactic analysis device 10 configured as described above. The processing shown in FIG. 2 is executed for each player.
図2に示すように、まず、戦術取得部22は、或るプレイヤの過去の競技の映像を収集する(S11)。次に、戦術取得部22は、収集した映像から上記プレイヤの過去の戦術履歴を収集して、戦術履歴記憶部31に記憶する(S12)。 As shown in FIG. 2, first, the tactics acquisition unit 22 collects video of a player's past games (S11). Next, the tactics acquisition unit 22 collects the player's past tactics history from the collected video and stores it in the tactics history storage unit 31 (S12).
次に、戦略推定部23は、戦術履歴記憶部31に記憶された過去の戦術履歴を用いて、学習モデルに対し機械学習を行う(S13)。なお、戦略推定部23は、上記過去の戦術履歴の一部と、機械学習された学習モデルとを用いて、上記プレイヤの戦略を推定し、推定した戦略のデータを、通信部13を介して外部の装置に出力してもよい。その後、学習モードTMでの処理を終了する。 Next, the strategy estimation unit 23 performs machine learning on the learning model using the past tactical history stored in the tactical history storage unit 31 (S13). Note that the strategy estimation unit 23 may estimate the player's strategy using a portion of the past tactical history and the machine-learned learning model, and output data on the estimated strategy to an external device via the communication unit 13. Thereafter, processing in the learning mode TM ends.
図3は、上記構成の戦術分析装置10における競技モードPMでの処理の流れを示すフローチャートである。図3に示す処理は、競技中に実行される。 Figure 3 is a flowchart showing the processing flow in competition mode PM in the tactical analysis device 10 configured as described above. The processing shown in Figure 3 is executed during the competition.
図3に示すように、まず、戦術取得部22は、対戦相手(プレイヤ)の上記競技中の映像を取得する(S21)。次に、戦術取得部22は、取得した映像から上記対戦相手の競技中の戦術履歴を取得して、戦術履歴記憶部31に記憶する(S22、戦術取得ステップ)。 As shown in FIG. 3, first, the tactics acquisition unit 22 acquires video of the opponent (player) during the competition (S21). Next, the tactics acquisition unit 22 acquires the opponent's tactics history during the competition from the acquired video and stores it in the tactics history storage unit 31 (S22, tactics acquisition step).
次に、戦略推定部23は、戦術履歴記憶部31に記憶された競技中の戦術履歴と、図2のステップS13にて機械学習された上記対戦相手の学習モデルとを用いて、上記対戦相手の本競技における戦略を推定する(S23、戦略推定ステップ)。そして、戦略推定部23は、推定した戦略のデータを、通信部13を介して、対戦者またはそのコーチの端末(外部の装置)に出力する(S24)。その後、競技モードPMでの処理を終了する。 Next, the strategy estimation unit 23 estimates the opponent's strategy for the competition using the tactical history during the competition stored in the tactical history storage unit 31 and the opponent's learning model obtained by machine learning in step S13 of FIG. 2 (S23, strategy estimation step). The strategy estimation unit 23 then outputs data on the estimated strategy to the opponent's or their coach's terminal (external device) via the communication unit 13 (S24). Thereafter, processing in competition mode PM ends.
従って、本実施形態の戦術分析装置10は、競技中の映像から、該競技における対戦相手の戦術履歴を取得し、取得した戦術履歴と、機械学習された対戦相手の学習モデルと、を用いて、競技中の対戦相手の戦略を推定する。推定された戦略、すなわち戦術の時系列パターンを参照することにより、対戦者またはそのコーチは、対戦相手の今後の戦術を予想することができる。 The tactical analysis device 10 of this embodiment therefore acquires the tactical history of the opponent in the competition from video footage of the competition, and estimates the opponent's strategy during the competition using the acquired tactical history and a machine-learned learning model of the opponent. By referring to the estimated strategy, i.e., the time series pattern of the tactics, the opponent or their coach can predict the opponent's future tactics.
(付記事項)
なお、戦略推定部23は、予め機械学習された上記学習モデルを有してもよい。この場合、学習モードを省略することができる。
(Additional Notes)
The strategy estimation unit 23 may have the learning model previously trained by machine learning. In this case, the learning mode can be omitted.
(戦術取得部の詳細)
次に、戦術取得部22および戦略推定部23の詳細について説明する。
(Details of the Tactical Acquisition Department)
Next, the tactics acquisition unit 22 and the strategy estimation unit 23 will be described in detail.
戦術取得部22は、まず、30fpsの放送用の映像から、コマーシャル、競技者(プレイヤ)のクローズアップ画像、スローモーション再生画像等の不要なシーンを除去すると共に、ラリーごとの映像に分割する。次に、戦術取得部22は、カラー映像を白黒映像に変換する。 The tactical acquisition unit 22 first removes unnecessary scenes such as commercials, close-ups of players, and slow-motion playback images from the 30 fps broadcast video, and then divides the video into individual rally videos. Next, the tactical acquisition unit 22 converts the color video into black and white video.
図4は、上記白黒映像を重畳して示す図である。図4から理解できるように、戦術取得部22は、上記白黒映像から、動いている物体、すなわち、ボールおよび競技者の位置を特定して、該ボールおよび該競技者の軌跡を取得可能である。また、戦術取得部22は、上記白黒映像から、競技者の姿勢を取得可能である。また、戦術取得部22は、上記白黒映像から、卓球台の四隅の座標を取得可能である。また、戦術取得部22は、上記白黒映像の左上部から、ゲーム番号、ラリー番号、および今回のラリー直前のスコアを特定可能である。 Figure 4 shows the black-and-white video superimposed on the image. As can be seen from Figure 4, the tactical acquisition unit 22 can identify the positions of moving objects, i.e., the ball and the player, from the black-and-white video and acquire the trajectories of the ball and the player. The tactical acquisition unit 22 can also acquire the player's posture from the black-and-white video. The tactical acquisition unit 22 can also acquire the coordinates of the four corners of the table tennis table from the black-and-white video. The tactical acquisition unit 22 can also identify the game number, rally number, and the score immediately before the current rally from the upper left corner of the black-and-white video.
次に、戦術取得部22は、上記卓球台の四隅の座標を用いてアフィン変換を行うことにより、上記ボールおよび競技者の軌跡を、映像上の座標から、卓球台を上方から見た平面上の座標に変換する。次に、戦術取得部22は、上記ボールの軌跡から、上記ボールが上記卓球台に着地した位置(着地点)を特定する。特定した位置を時系列順に直線で結ぶことにより、ラリー軌跡が取得される。 Next, the tactic acquisition unit 22 performs an affine transformation using the coordinates of the four corners of the table to convert the trajectories of the ball and player from coordinates on the image to coordinates on a plane when the table is viewed from above. Next, the tactic acquisition unit 22 identifies the position where the ball landed on the table (landing point) from the ball's trajectory. The rally trajectory is acquired by connecting the identified positions in chronological order with straight lines.
また、戦術取得部22は、上記ボールおよび上記競技者の軌跡と、上記競技者の姿勢とから、サーブのスタイルおよびボール回転を特定する。上記サーブのスタイルの一例としては、フォアハンド、バックハンド、フック等が挙げられる。上記サーブのボール回転の一例としては、右横回転および左横回転、上回転および下回転、これらの組合せ、ナックル(無回転)等が挙げられる。なお、上記フックとは、ボールを投げ上げ、落ちてくるボールに対してラケットを立てて、ラケットの何れかの面でボールを擦りサービングする技術をいう。 The tactic acquisition unit 22 also identifies the serve style and ball spin from the trajectories of the ball and the player, and the player's posture. Examples of serve styles include forehand, backhand, hook, etc. Examples of ball spin in the serve include right side spin, left side spin, topspin, underspin, combinations of these, and knuckle (no spin). Note that the hook refers to a serving technique in which the ball is thrown up, the racket is raised toward the falling ball, and the ball is brushed against the racket with either side of the racket.
そして、戦術取得部22は、上記ラリー軌跡、上記サーブのスタイル、および上記サーブのボール回転を戦術情報としてラリーごとに取得し、複数のラリーにおける複数の戦術情報を戦術履歴とする。学習モードTMでは、戦術取得部22は、過去の複数の試合における複数の戦術履歴のデータを、後述の学習用データとして、戦術履歴記憶部31に記憶する。一方、競技モードPMでは、競技中の戦術履歴(例えば、1ゲームの戦術履歴)のデータを、後述の評価用データとして、戦術履歴記憶部31に記憶する。実施例では、これらの処理を、Anaconda Python 3.5.2、OpenCV 3.1.0、easygui、およびtqdmのプログラムを用いて実現することができた。 The tactical acquisition unit 22 then acquires the rally trajectory, serve style, and serve ball spin as tactical information for each rally, and stores multiple pieces of tactical information from multiple rallies as a tactical history. In learning mode TM, the tactical acquisition unit 22 stores multiple pieces of tactical history data from multiple past matches in the tactical history memory unit 31 as learning data, which will be described later. On the other hand, in competition mode PM, data on tactical history during a competition (e.g., the tactical history of one game) is stored in the tactical history memory unit 31 as evaluation data, which will be described later. In the embodiment, these processes were realized using Anaconda Python 3.5.2, OpenCV 3.1.0, easygui, and tqdm programs.
図5は、上記戦術情報を含む画像の一例を示す図である。図5に示すように、上記画像の左部には、卓球台を示す枠とラリー軌跡とが含まれ、上記画像の右中央部には上記ラリー軌跡の凡例が含まれている。上記画像では、サーブのラリー軌跡が実線で示され、最後のラリー軌跡が二点鎖線で示され、上記サーブのラリー軌跡と上記最後のラリー軌跡との間のラリー軌跡が一点鎖線で示されている。上記ラリー軌跡の下方にはサーブのボール回転が含まれている。図5の例では、上記サーブのボール回転は、右横下回転(Clockwise side back spin)である。 Figure 5 shows an example of an image including the tactical information. As shown in Figure 5, the left part of the image includes a frame showing the table and a rally trajectory, and the center right part of the image includes a legend for the rally trajectory. In the image, the serve rally trajectory is shown with a solid line, the final rally trajectory is shown with a two-dot chain line, and the rally trajectory between the serve rally trajectory and the final rally trajectory is shown with a dashed dot line. The ball spin for the serve is included below the rally trajectory. In the example of Figure 5, the ball spin for the serve is clockwise side back spin.
上記画像の右上部には、サーバ(Server)の名前、レシーバ(Receiver)の名前、ゲーム(Game)番号、およびラリー(Rally)番号が上から順番に含まれている。また、上記画像の右下部には、本ラリー前のスコア(Score before the rally)、サーブのスタイル(Serve style)、および上記サーブのボール回転(Ball rotation of serve)が上から順番に含まれている。 The top right corner of the image above contains, in order from top to bottom, the server's name, the receiver's name, the game number, and the rally number. The bottom right corner of the image also contains, in order from top to bottom, the score before the rally, the serve style, and the ball rotation of the serve.
(戦略推定部の詳細)
図6は、戦略推定部23および戦術履歴記憶部31の概略構成を示すブロック図である。図6に示すように、戦略推定部23は、学習器群41、結果取得部42、仮想データ生成部43、および最終決定部44を含んでいる。また、戦術履歴記憶部31は、学習用データ記憶部51、評価用データ記憶部52、および仮想データ記憶部53を含んでいる。
(Details of the Strategy Estimation Unit)
6 is a block diagram showing a schematic configuration of the strategy estimation unit 23 and the tactical history storage unit 31. As shown in FIG. 6, the strategy estimation unit 23 includes a learning device group 41, a result acquisition unit 42, a virtual data generation unit 43, and a final decision unit 44. The tactical history storage unit 31 includes a learning data storage unit 51, an evaluation data storage unit 52, and a virtual data storage unit 53.
学習用データ記憶部51は、過去の戦術履歴のデータを学習用データTRDとして記憶している。評価用データ記憶部52は、競技中の戦術履歴のデータを評価用データCHDとして記憶している。 The learning data storage unit 51 stores data on past tactical history as learning data TRD. The evaluation data storage unit 52 stores data on tactical history during a competition as evaluation data CHD.
本実施形態では、上記学習モデルとして、アンサンブル学習型ファジィクラスタリングモデルが利用されている。このため、学習器群41は、機械学習を行うn個の学習器を備えている(nは2以上の整数)。各学習器は、学習モデル(モデル)としてファジィクラスタリングモデルを利用している。ファジィクラスタリングとは、入力されたデータのセットを、if-then型のルールを用いて各クラスに分類し、該クラスの境界を推定するものである。 In this embodiment, an ensemble learning fuzzy clustering model is used as the learning model. Therefore, the learning device group 41 includes n learning devices (n is an integer greater than or equal to 2) that perform machine learning. Each learning device uses a fuzzy clustering model as its learning model. Fuzzy clustering classifies an input data set into classes using if-then rules and estimates the boundaries of those classes.
学習モードTMでは、第1学習器41aは、学習用データ記憶部51からの学習用データTRDのセットを用いて学習を行い、推定したクラスのセットを結果として出力する。他の学習器41bは、学習用データ記憶部51からの学習用データTRDのセットの一部と、仮想データ記憶部53からの仮想データVDのセットとを用いて学習を行い、推定したクラスのセットを結果として出力する。 In learning mode TM, the first learner 41a performs learning using a set of training data TRD from the training data storage unit 51 and outputs a set of estimated classes as a result. The other learner 41b performs learning using a portion of the set of training data TRD from the training data storage unit 51 and a set of virtual data VD from the virtual data storage unit 53 and outputs a set of estimated classes as a result.
また、競技モードPMでは、学習された全ての学習器41a・41bは、評価用データ記憶部52からの評価用データCHDのセットからクラスを推定し、推定したクラスのセットを結果として出力する。 Furthermore, in the competition mode PM, all learned learning devices 41a and 41b estimate classes from the set of evaluation data CHD from the evaluation data storage unit 52 and output the set of estimated classes as a result.
結果取得部42は、学習器群41の各学習器41a・41bによって推定されたクラスのセットを取得するものである。結果取得部42は、推定されたクラスのセットを、学習モードでは仮想データ生成部43に送出する一方、競技モードでは最終決定部44に送出する。 The result acquisition unit 42 acquires the set of classes estimated by each of the learners 41a and 41b in the group of learners 41. The result acquisition unit 42 sends the set of estimated classes to the virtual data generation unit 43 in the learning mode, and to the final determination unit 44 in the competition mode.
仮想データ生成部43は、学習用データ記憶部51からの学習用データTRDのセットと、結果取得部42からの推定したクラスのセットとを用いて、仮想データVDのセットを生成するものである。仮想データ生成部43は、生成した仮想データを仮想データ記憶部53に記憶する。 The virtual data generation unit 43 generates a set of virtual data VD using a set of training data TRD from the training data storage unit 51 and a set of estimated classes from the result acquisition unit 42. The virtual data generation unit 43 stores the generated virtual data in the virtual data storage unit 53.
具体的には、仮想データ生成部43は、まず、学習用データTRDのそれぞれについて、学習用データTRDに含まれる実際のクラスと、上記推定されたクラスとを比較して、クラスの正誤を識別する。次に、誤って推定された学習用データTRD(誤推定データ)と、正しく推定された学習用データTRD(正推定データ)の少なくとも一部とに基づいて、仮想データVDのセットを生成し、生成した仮想データを仮想データ記憶部53に記憶する。 Specifically, the virtual data generation unit 43 first compares the actual class contained in each piece of training data TRD with the estimated class, and identifies whether the class is correct. Next, the virtual data generation unit 43 generates a set of virtual data VD based on at least a portion of the incorrectly estimated training data TRD (incorrectly estimated data) and the correctly estimated training data TRD (correctly estimated data), and stores the generated virtual data in the virtual data storage unit 53.
最終決定部44は、評価用データCHDのそれぞれについて、各学習器41a・41bによって推定されたクラスのセットのうち、最多のクラスを、推定したクラスとして最終決定する。最終決定部44は、評価用データCHDのセットに対し推定したクラスのセットを、通信部13を介して外部の装置に送信する。 The final determination unit 44 finally determines the most common class from the set of classes estimated by each learning device 41a and 41b for each piece of evaluation data CHD as the estimated class. The final determination unit 44 transmits the set of classes estimated for the set of evaluation data CHD to an external device via the communication unit 13.
~ (学習処理)
図7は、上記構成の戦略推定部23における学習処理の流れを示すフローチャートである。図7に示すように、まず、変数iを1に初期化し(S31)、第i学習器(第1学習器41a)は、学習用データ記憶部51からの学習用データTRDのセットを用いて学習を行う(S32)。
~ (learning process)
7 is a flowchart showing the flow of the learning process in the above-configured strategy estimation unit 23. As shown in Fig. 7, first, a variable i is initialized to 1 (S31), and the i-th learner (first learner 41a) performs learning using a set of training data TRD from the training data storage unit 51 (S32).
次に、仮想データ生成部43は、学習用データTRDのそれぞれについて、第i学習器が推定したクラスと実際のクラスとを比較して、クラスの正誤を判定する(S33)。次に、正しく推定された割合が閾値以上である場合(S34にてYES)、上記学習処理を終了する。 Next, the virtual data generation unit 43 compares the class estimated by the i-th learner with the actual class for each piece of training data TRD to determine whether the class is correct (S33). Next, if the proportion of correctly estimated classes is equal to or greater than the threshold (YES in S34), the learning process ends.
一方、正しく推定された割合が閾値未満である場合(S34にてNO)、仮想データ生成部43は、誤推定データを含む多次元での座標(空間)上の領域を第(i+1)低推定領域として設定する(S35)。次に、仮想データ生成部43は、第(i+1)低推定領域内に位置する誤推定データおよび正推定データのセットに基づいて、仮想データVDのセットを生成して仮想データ記憶部53に記憶する(S36)。 On the other hand, if the proportion of correctly estimated data is less than the threshold (NO in S34), the virtual data generation unit 43 sets the region in the multidimensional coordinate system (space) that contains the incorrectly estimated data as the (i+1)th low estimation region (S35). Next, the virtual data generation unit 43 generates a set of virtual data VD based on the set of incorrectly estimated data and correctly estimated data located in the (i+1)th low estimation region, and stores the set in the virtual data storage unit 53 (S36).
次に、第(i+1)低推定領域内に位置する誤推定データおよび正推定データのセットと、上記仮想データVDのセットとを用いて、第(i+1)学習器(他の学習器41b)が学習を行う(S37)。 Next, the (i+1)th learner (another learner 41b) performs learning using the set of incorrectly estimated data and correctly estimated data located in the (i+1)th low estimation region and the set of virtual data VD (S37).
次に、変数iを1だけ増分する(S38)。変数iが所定回数以下である場合(S39にてNO)、ステップS12に戻って上記動作を繰り返す。そして、変数iが所定回数を超えた場合(S39にてYES)、上記学習処理を終了する。 Next, the variable i is incremented by 1 (S38). If the variable i is equal to or less than the predetermined number of times (NO in S39), the process returns to step S12 and the above operation is repeated. If the variable i exceeds the predetermined number of times (YES in S39), the learning process ends.
(実施例)
図8は、戦術取得部22が取得した戦術履歴の一例を表形式で示す図である。図8に示す戦術履歴には、第1ゲーム~第4ゲームのそれぞれにおいて、対戦相手がサーバであり、かつ、ポイントを取得した場合の戦術情報が含まれている。すなわち、図8において戦術情報が記載されていない部分は、対戦者がサーバであり、かつ、対戦相手がポイントを取得した場合に該当する。また、図8の例では、戦術情報として、サーブの打法(フォアハンド、バックハンドなど)と、ボールの回転と、攻撃のタイプとを含んでいる。
(Example)
FIG. 8 is a diagram showing, in table form, an example of a tactical history acquired by the tactical acquisition unit 22. The tactical history shown in FIG. 8 includes tactical information for the first to fourth games when the opponent was the server and points were acquired. That is, the portions of FIG. 8 where no tactical information is listed correspond to the cases when the opponent was the server and points were acquired. In addition, in the example of FIG. 8, the tactical information includes the serving style (forehand, backhand, etc.), ball spin, and attack type.
図8に示す戦術履歴を学習用データTRDとして、戦略推定部23が学習処理を行い、推定したクラスのセットの一例として、下記のものが挙げられる。 The strategy estimation unit 23 performs a learning process using the tactical history shown in Figure 8 as the learning data TRD, and the following is an example of an estimated set of classes.
If ゲーム番号 is Small and ラリー番号 is Small, then (フォア+右横下)サーブ is Large.
If ゲーム番号 is Small and ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Small, then (N or V)攻撃 is Large.
If ラリー番号 is Large, then (A or V)攻撃 is Large.
If ゲーム番号 is Large, then サーブ種類 is Large.
次に、戦術取得部22が、第1ゲームおよび第2ゲームの映像から、図8における第1ゲームおよび第2ゲームの戦術履歴を取得したとする。そして、戦略推定部23は、図8における第1ゲームおよび第2ゲームの戦術履歴を評価用データCHDのセットとして、上記クラスのセットが推定されたとする。
If the game number is Small and the rally number is Small, then the (forehand + right side down) serve is Large.
If Game Number is Small and Rally Number is Small, then (N or V) Attack is Large.
If the rally number is Small, then (N or V) the attack is Large.
If Rally Number is Large, then (A or V) Attack is Large.
If Game Number is Large, then Serve Type is Large.
Next, it is assumed that the tactic acquisition unit 22 acquires the tactic histories of the first game and the second game in Fig. 8 from the video of the first game and the second game. Then, it is assumed that the strategy estimation unit 23 estimates the set of classes using the tactic histories of the first game and the second game in Fig. 8 as a set of evaluation data CHD.
この場合、第2ゲームが終了した時点で、上記クラスのセットを対戦者またはそのコーチが参照すれば、対戦相手の第3ゲーム以降の戦略を下記(a)・(b)のように予想することができる。 In this case, if the opponent or their coach refers to the sets from the above class at the end of the second game, they can predict the opponent's strategy from the third game onwards as follows (a) and (b) below.
(a)前半のラリーではN攻撃またはV攻撃を行う傾向にあり、後半のラリーではA攻撃またはV攻撃を行う傾向にある。 (a) In the first half of a rally, players tend to use N or V attacks, and in the second half of a rally, players tend to use A or V attacks.
(b)ゲームが進むにつれて、サーブの種類が多くなる。 (b) As the game progresses, the variety of serves increases.
上記(a)はゲーム内の戦略であり、上記(b)はゲーム間の戦略である。このように、上記ゲーム内の戦略および上記ゲーム間の戦略を予想できるので、本試合における対戦相手の今後の戦略を良好に予想することができる。 The above (a) is an in-game strategy, and the above (b) is an inter-game strategy. In this way, since the above in-game strategy and the above inter-game strategy can be predicted, it is possible to accurately predict the opponent's future strategy in this match.
従って、本実施形態の戦術分析装置10の学習器群41では、複数の学習器41a・41bを統合的に組み合わせて、機械学習が行われているので、他の学習モデルに比べて、戦略の推定精度を向上させることができる。また、複数の学習器41a・41bのそれぞれは、学習モデルとしてファジィクラスタリングを利用しているので、推定された戦略は、ファジィルール(IF THENルール)で提供されることになる。従って、対戦者またはそのコーチは、今後の戦術を容易に予想することができる。 Therefore, in the learning unit group 41 of the tactical analysis device 10 of this embodiment, machine learning is performed by integrating multiple learning units 41a and 41b, which allows for improved strategy estimation accuracy compared to other learning models. Furthermore, each of the multiple learning units 41a and 41b uses fuzzy clustering as a learning model, so the estimated strategy is provided using fuzzy rules (IF THEN rules). Therefore, opponents or their coaches can easily predict future tactics.
また、機械学習された第(i-1)学習器(iは2以上n以下の整数)によって推定された推定データに基づいて仮想データVDが生成され、該仮想データVDと学習用データTRDとを用いて、第i学習器41bが機械学習される。これにより、機械学習を行うためのデータを増加させることができるので、戦略の推定精度をさらに向上させることができる。 In addition, virtual data VD is generated based on estimated data estimated by the (i-1)th learner (i is an integer between 2 and n) that has undergone machine learning, and the i-th learner 41b performs machine learning using the virtual data VD and the training data TRD. This allows for an increase in the amount of data available for machine learning, further improving the accuracy of strategy estimation.
〔実施形態2〕
本発明の別の実施形態について、図9~図11を参照して説明する。本実施形態の戦術分析装置10は、図1~図8に示す戦術分析装置10に比べて、戦術取得部22において、映像からボールおよび競技者の軌跡を取得する動作が異なり、その他は同様である。
[Embodiment 2]
Another embodiment of the present invention will be described with reference to Figures 9 to 11. The tactic analysis device 10 of this embodiment is different from the tactic analysis device 10 shown in Figures 1 to 8 in the operation of the tactic acquisition unit 22 to acquire the trajectories of the ball and players from video, but is otherwise similar.
図9は、本実施形態の戦術分析装置10の戦術取得部22において、映像からボールを抽出する処理の流れを示すフローチャートである。本実施形態では、ボールの軌跡は、ラリーごとに自動分割された放送用映像から、白色ボールのための白色映像検出過程(S40)とフレーム間差分検出過程(S45)とにより推定される。 Figure 9 is a flowchart showing the process flow for extracting the ball from video in the tactical acquisition unit 22 of the tactical analysis device 10 of this embodiment. In this embodiment, the ball's trajectory is estimated from broadcast video automatically divided into rallies by a white image detection process (S40) for the white ball and an inter-frame difference detection process (S45).
図9に示すように、白色映像検出過程(S40)では,まず,RGBのそれぞれのカラースケールに閾値処理を行うことによって、白色部分の映像を抽出する(S41)。 As shown in Figure 9, in the white image detection process (S40), first, threshold processing is performed on each of the RGB color scales to extract the white image (S41).
次に、CenterNetの学習によって競技者の骨格位置を推定する(S42)。CenterNetへの入力は、MP4形式の動画であり、CenterNetからの出力は17点の2次元の骨格位置座標と、骨格領域全体を指定する2点の2次元座標である。従って、2名の競技者の場合、出力変数の数は、(17×2+2×2)×2=76個となる。ステップS42により、競技者の挙動を精度よく推定できるので、競技者の戦術を精度よく推定することができる。 Next, the player's skeletal position is estimated through CenterNet learning (S42). The input to CenterNet is an MP4 video, and the output from CenterNet is 17 two-dimensional skeletal position coordinates and two two-dimensional coordinates specifying the entire skeletal area. Therefore, in the case of two players, the number of output variables is (17 x 2 + 2 x 2) x 2 = 76. Step S42 enables accurate estimation of the player's behavior, and therefore accurate estimation of the player's tactics.
そして、競技者のラケット、テーピング、ゼッケン文字、靴等の白色ボール以外の白色ブログを消去することにより、白色ボールの白色ブログを検出する(S43)。 Then, the white blog of the white ball is detected by erasing the white blogs other than the white ball, such as the player's racket, taping, bib number letters, shoes, etc. (S43).
図10は、白色ブログ抽出過程(S40)により処理されたフレーム画像の一例を示す図である。図10を参照すると、競技者の骨格および白色ボールだけでなく、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、幾つかの白色ブログ部分が検出されていることが理解できる。 Figure 10 shows an example of a frame image processed by the white blog extraction process (S40). Referring to Figure 10, it can be seen that several white blog areas have been detected, including not only the player's skeleton and the white ball, but also the white frame of the table tennis table, the white part above the net, and the white part of the score box.
一方、フレーム間差分検出過程(S45)では、図9に示すように、まず、現フレームの画像と7フレーム前の画像との間でRGBのカラースケールの差分を計算する(S46)。次に、白色映像検出過程(S40)のステップS42と同様の処理を行う(S47)。次に、ステップS47にて推定された競技者の骨格位置座標から、競技者の上記白色ボール以外の白色ブログを消去することにより、骨格領域以外の白色ブログを検出する(S48)。 On the other hand, in the inter-frame difference detection process (S45), as shown in FIG. 9, first, the difference in the RGB color scale between the image of the current frame and the image of the seven frames prior is calculated (S46). Next, the same process as step S42 of the white image detection process (S40) is performed (S47). Next, white blogs other than the player's white ball are deleted from the player's skeleton position coordinates estimated in step S47, thereby detecting white blogs outside the skeleton area (S48).
図11は、フレーム間差分検出過程(S45)により処理されたフレーム画像の一例を示す図である。図11を参照すると、競技者の骨格および白色ボールのみが検出され、卓球台の白枠、ネット上部の白色部分、得点枠の白色等、他の白色ブログ部分が消去されていることが理解できる。従って、白色映像検出過程(S40)とフレーム間差分検出過程(S45)とにより、白色ボールの位置を検出することができる。 Figure 11 shows an example of a frame image processed by the frame difference detection process (S45). Referring to Figure 11, it can be seen that only the player's skeleton and the white ball are detected, and other white areas, such as the white frame of the table, the white part above the net, and the white score box, have been erased. Therefore, the position of the white ball can be detected by the white image detection process (S40) and the frame difference detection process (S45).
白色映像検出過程(S40)およびフレーム間差分検出過程(S45)の後に、次フレームのボール位置を推定する(S51)。この推定は、現フレームのボール位置から半径80ピクセルの円領域内であり、かつ、卓球台の範囲から10ピクセル分縮小した内部範囲における白色ブログ部分(ボール候補群)に限定して、白色ボールの白色ブログを抽出することにより行われる。なお、検出が不能の場合には、1フレームごとに上記半径を20ピクセルずつ拡大して、上記推定を行う。そして、カルマンフィルタ、バイキューブ補間法等を用いて、ボールが競技者の身体等に隠れている場合(オクルージョン)におけるボール位置の補間を行い、ボールの軌跡の位置座標を推定する(S52)。その後の処理は、図1~図8に示す戦術分析装置10と同様である。 After the white image detection process (S40) and the inter-frame difference detection process (S45), the ball position in the next frame is estimated (S51). This estimation is performed by extracting the white blog of the white ball within a circular area with a radius of 80 pixels from the ball position in the current frame, and limiting the white blog portion (ball candidate group) within an inner area that is 10 pixels smaller than the area of the table. If detection is not possible, the radius is expanded by 20 pixels for each frame, and the estimation is performed again. Then, using a Kalman filter, bicube interpolation, etc., the ball position is interpolated when the ball is hidden by a player's body, etc. (occlusion), and the position coordinates of the ball's trajectory are estimated (S52). Subsequent processing is the same as that of the tactical analysis device 10 shown in Figures 1 to 8.
(付記事項)
ところで、ボールおよび競技者の軌跡は、位置(代表点)の時系列データで示されるが、該時系列データの長さは、ラリー回数、経過時間等によって異なる。そこで、戦術取得部22は、上記時系列データを特異値分解することにより算出された特異値を、戦術情報としてラリーごとに取得してもよい。この場合、上記時系列データの時間長さが異なっていても、対戦相手の戦術を取得することができる。
(Additional Notes)
The trajectories of the ball and players are represented by time-series data of positions (representative points), but the length of the time-series data varies depending on the number of rallies, the elapsed time, etc. Therefore, the tactic acquisition unit 22 may acquire, as tactic information for each rally, singular values calculated by singular value decomposition of the time-series data. In this case, it is possible to acquire the opponent's tactics even if the time-series data has different lengths.
また、図3に示す競技モードPMを、競技後に実行してもよい。この場合、今回の試合における対戦者の戦略を推定して分析できるので、上記対戦者との次回の試合に活用することができる。 The competition mode PM shown in Figure 3 may also be executed after the match. In this case, the opponent's strategy in the current match can be estimated and analyzed, which can be used in the next match against that opponent.
また、上記実施形態では、卓球の競技に適用しているが、これに限定されるものではない。上記実施形態は、テニス、野球、サッカー等、ボールを用いた種々の対戦競技に適用可能である。なお、野球の場合、ピッチングの内容が戦術に該当する。また、サッカーの場合、戦術は、プレイヤ単位では無く、プレイヤが所属するチーム単位となる。また、上記実施形態は、レスリング、柔道等、格闘技にも適用可能である。また、上記実施形態では、対戦相手(敵)の戦略を推定しているが、対戦者(味方)の戦略を推定してもよい。 In addition, while the above embodiment is applied to table tennis, the present invention is not limited to this. The above embodiment can be applied to various competitive sports using a ball, such as tennis, baseball, and soccer. In baseball, the pitching technique corresponds to the tactic. In soccer, the tactic is not determined on a player-by-player basis, but on a team-by-team basis. The above embodiment can also be applied to martial arts such as wrestling and judo. In addition, while the above embodiment estimates the strategy of the opponent (enemy), it may also be possible to estimate the strategy of the opponent (ally).
〔ソフトウェアによる実現例〕
戦術分析装置10(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部11に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
[Software implementation example]
The functions of the tactical analysis device 10 (hereinafter referred to as the "device") can be realized by a program that causes a computer to function as the device, and a program that causes a computer to function as each control block of the device (particularly each part included in the control unit 11).
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。 In this case, the device includes a computer having at least one control device (e.g., a processor) and at least one storage device (e.g., a memory) as hardware for executing the program. The functions described in each of the above embodiments are realized by executing the program using this control device and storage device.
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。 The above program may be stored non-transitory on one or more computer-readable storage media. These storage media may or may not be included in the device. In the latter case, the program may be supplied to the device via any wired or wireless transmission medium.
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。 Furthermore, some or all of the functions of each of the above control blocks can be realized by logic circuits. For example, integrated circuits incorporating logic circuits that function as each of the above control blocks are also included in the scope of the present invention. In addition, the functions of each of the above control blocks can also be realized by, for example, a quantum computer.
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications are possible within the scope of the claims. Embodiments obtained by appropriately combining the technical means disclosed in different embodiments are also included in the technical scope of the present invention.
本発明の態様によると、例えば、以下のような事が可能となる。すなわち、(1)放送映像から、対戦相手のこれまでのデータを分析し、対戦相手の次の戦略を予測できるので、対戦者は、どのような攻撃、防御をすればよいのかが認識できる。(2)第1ゲームの結果を即座に分析できる。そのために、対戦者のコーチは、第2ゲームでどのような攻撃をすればよいのかを、第2ゲームの途中で、対戦者にアドバイスすることができる。(3)トッププレイヤの戦略を参照できるので、選手の育成にも活用することができる。 According to this aspect of the present invention, the following becomes possible, for example: (1) By analyzing the opponent's past data from broadcast footage, the opponent's next strategy can be predicted, allowing the opponent to know what kind of attack and defense they should use. (2) The results of the first game can be analyzed immediately. This allows the opponent's coach to advise the opponent midway through the second game on what kind of attack they should use in the second game. (3) Since the strategies of top players can be referenced, this can also be used to develop players.
10 戦術分析装置
11 制御部
12 記憶部
13 通信部
22 戦術取得部
23 戦略推定部
31 戦術履歴記憶部
41 学習器群
41a・41b 学習器
42 結果取得部
43 仮想データ生成部
44 最終決定部
51 学習用データ記憶部
52 評価用データ記憶部
53 仮想データ記憶部
10 Tactics analysis device 11 Control unit 12 Memory unit 13 Communication unit 22 Tactics acquisition unit 23 Strategy estimation unit 31 Tactics history memory unit 41 Learning device group 41a and 41b Learning device 42 Result acquisition unit 43 Virtual data generation unit 44 Final decision unit 51 Learning data memory unit 52 Evaluation data memory unit 53 Virtual data memory unit
Claims (9)
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得部と、
過去の前記競技における前記プレイヤの戦術履歴を用いて、前記戦術取得部が前記戦術履歴を取得した時点以降に前記プレイヤが実行する複数の戦術の時系列の傾向である戦略が機械学習された前記プレイヤの学習モデルと、前記戦術取得部が取得した前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定部と、を備える戦術分析装置。 A tactics analysis device that analyzes tactics, which are the action content of a player in a specific action unit in a competition, comprising:
a tactic acquisition unit that acquires a tactic history of the player in the competition from a video of the competition;
A tactic analysis device comprising: a learning model of the player in which a strategy, which is a time-series trend of a plurality of tactics executed by the player since the tactic acquisition unit acquired the tactic history, is machine-learned using the tactic history of the player in the past competition ; and a strategy estimation unit that estimates the player's strategy for the competition using the tactic history acquired by the tactic acquisition unit.
前記戦術取得部は、前記競技の映像を用いて機械学習を行うことにより、前記プレイヤの骨格の軌跡を推定し、前記推定した骨格の軌跡に基づいて前記プレイヤの前記戦術の少なくとも一部を取得する、請求項3に記載の戦術分析装置。 the moving object includes the player,
4. The tactic analysis device according to claim 3, wherein the tactic acquisition unit estimates a skeletal trajectory of the player by performing machine learning using a video of the game, and acquires at least a part of the tactic of the player based on the estimated skeletal trajectory.
競技の映像から、前記競技における前記プレイヤの戦術履歴を取得する戦術取得ステップと、
過去の前記競技における前記プレイヤの戦術履歴を用いて、前記戦術取得ステップ以降に前記プレイヤが実行する複数の戦術の時系列の傾向である戦略が機械学習された学習モデルと、前記戦術取得ステップにて取得された前記戦術履歴と、を用いて、前記競技の前記プレイヤの戦略を推定する戦略推定ステップと、を含む戦術分析装置の制御方法。 A control method for a tactics analysis device that analyzes tactics, which are the action content of a player in a specific action unit in a competition, comprising:
a tactic acquisition step of acquiring a tactic history of the player in the competition from a video of the competition;
A control method for a tactic analysis device, comprising: a learning model in which a strategy, which is a time-series trend of a plurality of tactics executed by the player after the tactic acquisition step , is machine-learned using the tactic history of the player in past competitions; and a strategy estimation step in which the strategy of the player in the competition is estimated using the tactic history acquired in the tactic acquisition step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152431A JP7740693B2 (en) | 2021-09-17 | 2021-09-17 | Tactical analysis device, control method thereof, and control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021152431A JP7740693B2 (en) | 2021-09-17 | 2021-09-17 | Tactical analysis device, control method thereof, and control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2023044410A JP2023044410A (en) | 2023-03-30 |
| JP7740693B2 true JP7740693B2 (en) | 2025-09-17 |
Family
ID=85725639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021152431A Active JP7740693B2 (en) | 2021-09-17 | 2021-09-17 | Tactical analysis device, control method thereof, and control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7740693B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025177696A1 (en) * | 2024-02-21 | 2025-08-28 | 日本電気通信システム株式会社 | Information processing device, information processing method, and program |
| TWI896405B (en) * | 2024-11-05 | 2025-09-01 | 英業達股份有限公司 | Device for giving table tennis simulation training based on hitting behavior of opponent and method thereof |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225734A (en) | 2007-03-12 | 2008-09-25 | Mitsubishi Electric Corp | Mobile body behavior analysis device |
| JP2019097818A (en) | 2017-11-30 | 2019-06-24 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2019136383A (en) | 2018-02-14 | 2019-08-22 | 田中 成典 | Tactics analysis device |
| JP2020135747A (en) | 2019-02-25 | 2020-08-31 | 株式会社日立ソリューションズ | Action analysis device and action analysis method |
| JP2020182670A (en) | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2021048917A (en) | 2019-09-20 | 2021-04-01 | 国立大学法人 筑波大学 | Motion learning device, control unit and program |
-
2021
- 2021-09-17 JP JP2021152431A patent/JP7740693B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008225734A (en) | 2007-03-12 | 2008-09-25 | Mitsubishi Electric Corp | Mobile body behavior analysis device |
| JP2019097818A (en) | 2017-11-30 | 2019-06-24 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2019136383A (en) | 2018-02-14 | 2019-08-22 | 田中 成典 | Tactics analysis device |
| JP2020135747A (en) | 2019-02-25 | 2020-08-31 | 株式会社日立ソリューションズ | Action analysis device and action analysis method |
| JP2020182670A (en) | 2019-05-08 | 2020-11-12 | 住友ゴム工業株式会社 | Swing analysis device |
| JP2021048917A (en) | 2019-09-20 | 2021-04-01 | 国立大学法人 筑波大学 | Motion learning device, control unit and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2023044410A (en) | 2023-03-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhang et al. | Vid2player: Controllable video sprites that behave and appear like professional tennis players | |
| US11755952B2 (en) | System and method for predictive sports analytics using body-pose information | |
| CN111444890A (en) | Sports data analysis system and method based on machine learning | |
| US11967086B2 (en) | Player trajectory generation via multiple camera player tracking | |
| CN112819852B (en) | Evaluating gesture-based motion | |
| Felsen et al. | What will happen next? forecasting player moves in sports videos | |
| US11810352B2 (en) | Operating method of server for providing sports video-based platform service | |
| Hsu et al. | CoachAI: A project for microscopic badminton match data collection and tactical analysis | |
| JP7740693B2 (en) | Tactical analysis device, control method thereof, and control program | |
| US20170206932A1 (en) | Video processing method, and video processing device | |
| JP6677319B2 (en) | Sports motion analysis support system, method and program | |
| US11908190B2 (en) | Game monitoring | |
| Garnier et al. | Evaluating soccer player: From live camera to deep reinforcement learning | |
| Xia et al. | Advanced volleyball stats for all levels: Automatic setting tactic detection and classification with a single camera | |
| Athanesious et al. | Perspective transform based YOLO with weighted intersect fusion for forecasting the possession sequence of the live football game | |
| Neher et al. | Hyperstacknet: A hyper stacked hourglass deep convolutional neural network architecture for joint player and stick pose estimation in hockey | |
| WO2020235339A1 (en) | Play analyzing device, and play analyzing method | |
| JP6677320B2 (en) | Sports motion analysis support system, method and program | |
| US20250010134A1 (en) | System for acquiring and analysing a sports performance | |
| KR20190002271A (en) | Mehtod and apparatus for detecting event based on deterministic finte automata in soccer video | |
| CN110314368B (en) | Auxiliary method, device, equipment and readable medium for billiard ball hitting | |
| AU2021204421A1 (en) | Data extraction and prediction generation method and system for sporting events | |
| Siratanita et al. | A method of saliency-based football-offside detection using six cameras | |
| Vorstandlechner et al. | Digital Playbook-A Teaching Tool for American Football | |
| CN121527685B (en) | A method and system for predicting sports event training based on AI and image analysis |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240613 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20250311 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250509 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250819 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250828 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7740693 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |