Google は、世界で活躍するプロサッカー選手である三笘薫選手とパートナー契約を締結しており、今回そのパートナーシップの一貫として、「AI Penalty Challenge with Google Pixel」が 三笘薫が所属する ブライトン&ホーヴ・アルビオンと J リーグチームとの親善試合にあわせて、2024 年 7 月24 日(水)と 28 日(日)に国立競技場にて開催されました。
「AI Penalty Challenge with Google Pixel」は、Google Pixel で撮影した参加者のシュートフォームを、
Vertex AI AutoML Vision により 「パワー」 「精度」 「フォーム」の観点で分析し、採点します。さらに、三笘選手のシュートフォームや過去の発言を基に Google の 生成 AI モデル
Gemini により三笘選手のプレイに近づくためのアドバイスを提供する、これまでにない新しいサッカー体験ブースです。
体験いただいた方にはもれなく、参加者のシュート画像と採点結果を記載した ” #TeamPixel カード ” がプレゼントされました。カードの一面には、 画像生成 AI モデルである
Imagen 2 により生成されたエフェクトが加工されたご自身のシュート画像がデザインされます。
6 台の Google Pixel がシュート映像を記録
このシステムは、体験がスタートするとピッチ内に設置された 6 台の Google Pixel 8 で参加者のシュートを撮影します。撮影された映像はリアルタイムで Cloud Firestore に保存され、その後クラウドストレージにアップロードされます。
映像からシュートを解析
映像データがクラウドストレージに保存されると、その保存をトリガーに Cloud Functions が Python スクリプトを実行します。このスクリプトは、映像の各フレームを分割し、ユーザーのシュートのスコアリングを生成します。シュートパワーや軌道の解析には Vertex AI の AutoML Vision を、骨格の解析には骨格推定モデル の AI を使用します。これらの解析結果は Cloud Firestore と Cloud Storage に保存されます。
スコアリングとアドバイスの生成
解析データを元に、Vertex AI Gemini モデルを使用してユーザーのシュートを「パワー」 「精度」 「フォーム」の観点で分析し、採点します。さらに Gemini モデルを活用し参加者のシュートフォーム映像と三笘選手のシュートフォーム映像を比較分析します。この分析結果と採点結果に基づいて、Gemini モデルが参加者に対するアドバイスを生成します。 さらに、生成されたアドバイスに合う三笘選手の過去の発言を Gemini モデルが引用し、提供します。
上記の内容をアウトプットするために、Gemini には次のようなプロンプトで指示をしています。
あなたは日本のサッカーコーチで、選手にペナルティキックのパフォーマンスについてフィードバックを行っていると想像してください。
スタイルスコアは、テクニックがどれだけすばらしいかを測定します。
超低スコアとは、55 以下のことを言います。
低スコアとは、56 ~ 65 以下のことを言います。
中スコアとは、66 ~ 75 のことを言います。
高スコアとは、76 ~ 85 のことを言います。
超高スコアとは、 86 以上のことを言います。
入力情報として、 「 今回の選手のキックデータ 」 、 「 三笘選手のキックの動画 」 、 「 今回の選手のキックの動画 」 、 「 三笘選手の名言が 25 語記載されたテキストデータ 」 を渡します。
この情報を元に選手へのフィードバックを行ってください。 「 今回の選手のキックデータ 」 を元に、選手の長所に焦点を当てて、プレーヤーに伝える励ましのフィードバックの文を書きます。 高スコアは長所なので、褒めてください。 低スコアは改善点なので、改善方法を教えます。但し、 「 さらに○○すると良い 」 というように指摘するだけにします。
スコアは数値で言及するのではなく、 99 の場合は 「 非常に強力 」 、 50 の場合は 「 さらにパワーを出しましょう 」 などと述べます。ポジティブなフィードバックをするので、個性的、独特などのワードは使わないようにしてください。
Text to Speech AI でコーチング内容を読み上げる
Gemini によって生成されたコーチングアドバイスは、カスタム音声テキストスピーチ機能を使用して音声としてユーザーに提供されます。(
音声ファイル例 )
ユーザーデータの蓄積
参加者のスコアや画像は、さらに Cloud Firestore と Cloud Storage に再度アップロードされます。その後、Cloud Function を使用してデータを BigQuery に移行し、詳細な分析が行われます。BigQuery に蓄積されたデータは Looker で可視化され、会場内のリーダーボードに反映されます。
リーダーボード画面
オリジナルカードの生成
参加者は撮影したシュート映像を基にオリジナルカードを作成することができます。Google Pixel で撮影したシュート映像から、参加者は好きなフレームを選択します。選択した画像を Google Cloud の画像生成 AI である Imagen 2 で加工し、カードデザインに組み込みます。これにより、参加者は自分だけのオリジナルカードを作成することができます。
Google Pixel と Google の生成 AI モデル Gemini に三笘選手のシュートフォームや過去の発言データを組み合わせた 「AI Penalty Challenge with Google Pixel」 。この AI の技術を生かした ”新たなサッカー体験” は 7 月 24 日(水)と 28 日(日)に、#TeamPixel の一員でもある三笘薫が所属する ブライトン & ホーヴ・アルビオンとJリーグチームとの親善試合にあわせて、国立競技場にて実施され、さまざまなお客様にご体験いただきました。
Pixel の優れた性能と Google Cloud の AI 技術を活用することにより、スポーツを新しい方法で より豊かに楽しむ体験を提供できる可能性が拡がっていることを、上記のような構築例からも感じていただけるのではないでしょうか。 開発者のみなさまが今後も Pixel や Google Cloud の AI 機能を活用して素敵なユーザー体験を創造していくときのヒントの 1 つとして、この記事の情報がお役に立ちましたら幸いです。
各種製品とサービスの詳しい説明は、下記のリンクよりご確認いただけます。
Google Pixel:Google がつくった AI スマホ:リンク Vision AI:リンク Gemini:リンク