HN 日本語サマリー

← 一覧へ戻る
科学・技術

64のワールドカップゲームの視聴可能なデジタルツインを構築する

Building watchable digital twins of 64 World Cup games (rogerdickey.com)

3 pointsby rogerdickey0 コメント

要約

この記事は、64のワールドカップゲームの視聴可能なデジタルツインを構築するプロジェクトについて説明しています。詳細なデータと技術的なアプローチを用いて、試合の再現性と分析可能性を高めることを目指しています。

全文翻訳

64のワールドカップゲームの視聴可能なデジタルツインの構築

多くの人がソーシャルメディアで話題になったワールドカップのクールなデータビジュアライゼーションを見ました。例えば、Alexander Bogachev氏のものです。

[画像: Bogachev氏のツイートのスクリーンショット]

出典: Bogachev氏のツイートはこちら

私は自分で作りたいと思いましたが、もっと深く掘り下げたかったので、データの出所を探しました。

スポーツチームやギャンブラーにデータを販売している企業がいくつかあり、それらはライブ放送に対するコンピュータービジョンを使用して構築されていることがわかりました。仕組みは以下のようになっています。

[動画: サッカーの試合のコンピュータービジョン処理のデモンストレーション]

0:00

/0:03

出典: SoccerNet

[画像: サッカーの試合のコンピュータービジョン処理のワークフロー図]

  • オブジェクト検出とOCRによるプレイヤー/ボールのトラッキング
  • フィールドジオメトリの識別による座標変換(ペナルティボックスのコーナー、センターサークル、ゴールラインを使用)
  • 推論と人間によるタグ付けの組み合わせによるイベント(パス、インターセプト、シュート、ペナルティなど)の記録

イベントタグ付けやプレイヤー追跡には、さらに多くの複雑さが伴います。ジャージの番号が見えない場合でも、プレイヤーの位置を最善の推測で維持するために、ビジュアルエンベディングが必要です。これは高レベルの概要です。

このトラッキングデータの網羅性は、プロバイダーによって異なります。一般的に以下のカテゴリに分類されます。

各行内容
試合1試合大会、日付、ホーム&アウェイチーム、スタジアム、スコア/結果、ピリオド数
ロスター1プレイヤープレイヤー名、チーム、ポジション、ジャージ番号、先発出場か
イベント1イベントイベントタイプ、タイムスタンプ、期間、アクター、詳細(タイプによって異なる)
トラッキング1フレーム各プレイヤーのXY座標、ボールのXYZ座標

開発者向けに無料のデータサンプルを提供するプロバイダーを5社見つけました。それらの網羅性のレベルを簡単に比較します。

ソースゲーム数内容フレーム数/ゲームリンク
PFF64動画 + イベント + トラッキング約160kデータ
StatsBomb426イベント + トラッキング約3-4kデータ
Metrica3イベント + トラッキング約160kデータ
SoccerNet550動画 + 生のCVデータ約160kデータ
WhoScored多数平均チームX座標(Bogachev氏が使用したもの?)約100例(試合)

私はゲームの高解像度デジタルツインを構築しているので、最低でも1秒あたり約2フレーム(合計約11kフレーム)が必要です。PFFのデータは最も網羅的で洗練されており、30Hzでの全プレイヤーのXY座標が含まれています。この解像度があれば、望む限りのゲーム分析やビジュアライゼーションを行うことができます。このデータは偶然にも2022年ワールドカップのものでした!他のソースは地域リーグのゲームでした。

💡

余談ですが、SoccerNetはゲームデータ抽出に関する最高の科学コミュニティを持っており、複数の出版物と役立つ公開 リポジトリがあります。

では、PFFのデータを見てみましょう。ゲームごとの内容は以下の通りです。

  • 試合: 1KB
  • ロスター: 8KB
  • イベント: 約16-20MB
  • トラッキング: 約0.8-1.2GB

イベントデータは非常に詳細です。以下は、アルゼンチン対フランスの決勝戦で、メッシのヘディングinitialBodyType:HE(13:36)の例のイベントオブジェクトです。

{
  "frameNum": 29098,
  "period": 1,
  "periodGameClockTime": 816.417238,
  "game_id": 10517,
  "game_event_id": 6739132,
  "game_event": {
    "game_event_type": "OTB",
    "formatted_game_clock": "13:36",
    "player_id": "1531",
    "player_name": "Lionel Messi",
    "shirt_number": "10",
    "position_group_type": "RW",
    "team_id": "364",
    "team_name": "Argentina",
    "start_time": 970.904,
    "end_time": 970.904,
    "duration": 0,
    "home_team": 1,
    "sequence": 48,
    "home_ball": true
  },
  "possession_event": {
    "possession_event_type": "PA"
  },
  "event_data": {
    "sequence": 48,
    "initialTouch": {
      "initialBodyType": "HE",
      "initialHeightType": "A",
      "facingType": "G",
      "initialTouchType": "S",
      "initialPressureType": "N"
    },
    "possessionEvents": {
      "possessionEventType": "PA",
      "nonEvent": false,
      "ballHeightType": "A",
      "highPointType": "A",
      "passType": "S",
      "passOutcomeType": "C",
      "targetPlayerId": 10715,
      "targetPlayerName": "Julian Alvarez",
      "targetFacingType": "B",
      "receiverPlayerId": 10715,
      "receiverPlayerName": "Julian Alvarez",
      "receiverFacingType": "B",
      "accuracyType": "S",
      "pressureType": "N",
      "createsSpace": false
    }
  }
}

したがって、構築したいのは「ワールドカップゲームのビデオプレーヤー」であり、可能な限り忠実に、3Dのスタジアム、フィールド、観客、プレイヤーをレンダリングすることです。

アーキテクチャは非常にシンプルになります。

  • 利用可能なゲーム、プレイヤー情報、ビデオキーフレームのリストを提供するAPIサーバー
  • ユーザーがゲームを視聴している間にプレイヤーのXY座標を配信するストリーミングエンドポイント
  • ゲームセレクターとビデオプレーヤーを備えたWebビューワー

まずは2Dビジュアライゼーションから始めます。ClaudeはPFFのデータ仕様を解析し、圧縮・ストリーミング可能なデータ形式と、そのデータを2Dで視聴するためのシンプルなプレイヤーを構築するのに素晴らしい仕事をしてくれました。各ゲームは約100MBで、約600個の10秒ごとのファイルに分割され、ゲームを視聴しながらクライアントが順次リクエストします。JSONは効率的なフォーマットではないため、さらに最適化できることは確かです。

[動画: 2Dでレンダリングされたサッカーゲームのデモ]

0:00

/0:12

[画像: 2Dビジュアライゼーションのスクリーンショット]

非常にクールです!次に3D化しましょう。もちろん、追加の座標データは必要ありません。3Dのスタジアムと3Dのプレイヤーを作成し、同じXY座標で動かすことができますが、これはプレイヤーが走っていない場合、例えばコーナーキック、ヘディング、怪我などのケースではうまくいきません。

また、プレイヤーの位置データはライブ放送からスクレイピングされています。平均して、放送時間の27%はボールがインプレーでないか、カメラがリプレイやプレイヤーのクローズアップなどを流しているため、これらのフレームのプレイヤー追跡データはありません。快適な視聴体験を提供するためには、カットシーンのような別のものを表示する必要があります。

ここでイベントデータが役立ちます。Claudeに、特定のイベントによってトリガーされたときに再生される以下のプレイヤーモーションとカットシーンを構築させました。

タイプ名前平均数/ゲームイベントあたりの平均時間
プレイヤーモーション走る/歩くN/AN/A
プレイヤーモーションヘディング930.9秒
プレイヤーモーションゴーラーダイブ8.83秒
プレイヤーモーションゴールセレブレーション2.720秒
プレイヤーモーション怪我3010秒
カメラアングルコーナーキック9.012秒
カメラアングルスローイン40.96秒
カメラアングルフリーキック28.58秒
カメラアングルペナルティキック0.412秒
カメラアングルキックオフ4.810秒
レフェリアクションイエロー/レッドカード3.63秒
レフェリアクションオフサイドフラッグ4.13.5秒
レフェリアクションVARレビュー0.35秒
レフェリアクション交代9.210秒

ホームまたはアウェイチームのジャージを着たファンで構成されるシミュレートされた観客を作成することもできます。彼らは、チームがリードしたり、ゴールを狙ったりすると、 audible(音声)とvisible(視覚)の両方で応援します。

これらをすべて組み合わせることで、ビデオプレーヤーでサッカーゲームのかなり忠実な再現を得ることができます。

[動画: 3Dでレンダリングされたサッカーゲームのデモ]

0:00

/0:14

[画像: 3Dビジュアライゼーションのスクリーンショット]

もちろん、忠実度をさらに上げることも可能ですが、それが目的ではありません。データはすでにあるので、好きなように視覚化できます。これは、火星で2022年ワールドカップ決勝をプレイするエイリアンの例です。

[動画: 火星でプレイするエイリアンのサッカーゲームのデモ]

0:00

/0:15

[画像: エイリアンが火星でプレイするサッカーゲームのスクリーンショット]

データビルダーとビューワーはこちらでオープンソース化しました。ぜひフォークして、好きなものを作ってください!質問があればGitHubで連絡してください⚽


参考文献: