64のワールドカップゲームの視聴可能なデジタルツインを構築する
Building watchable digital twins of 64 World Cup games (rogerdickey.com)
要約
この記事は、64のワールドカップゲームの視聴可能なデジタルツインを構築するプロジェクトについて説明しています。詳細なデータと技術的なアプローチを用いて、試合の再現性と分析可能性を高めることを目指しています。
全文翻訳
64のワールドカップゲームの視聴可能なデジタルツインの構築
多くの人がソーシャルメディアで話題になったワールドカップのクールなデータビジュアライゼーションを見ました。例えば、Alexander Bogachev氏のものです。
[画像: Bogachev氏のツイートのスクリーンショット]
出典: Bogachev氏のツイートはこちら
私は自分で作りたいと思いましたが、もっと深く掘り下げたかったので、データの出所を探しました。
スポーツチームやギャンブラーにデータを販売している企業がいくつかあり、それらはライブ放送に対するコンピュータービジョンを使用して構築されていることがわかりました。仕組みは以下のようになっています。
[動画: サッカーの試合のコンピュータービジョン処理のデモンストレーション]
0:00
/0:03
出典: SoccerNet
[画像: サッカーの試合のコンピュータービジョン処理のワークフロー図]
- オブジェクト検出とOCRによるプレイヤー/ボールのトラッキング
- フィールドジオメトリの識別による座標変換(ペナルティボックスのコーナー、センターサークル、ゴールラインを使用)
- 推論と人間によるタグ付けの組み合わせによるイベント(パス、インターセプト、シュート、ペナルティなど)の記録
イベントタグ付けやプレイヤー追跡には、さらに多くの複雑さが伴います。ジャージの番号が見えない場合でも、プレイヤーの位置を最善の推測で維持するために、ビジュアルエンベディングが必要です。これは高レベルの概要です。
このトラッキングデータの網羅性は、プロバイダーによって異なります。一般的に以下のカテゴリに分類されます。
| 各行 | 内容 | |
|---|---|---|
| 試合 | 1試合 | 大会、日付、ホーム&アウェイチーム、スタジアム、スコア/結果、ピリオド数 |
| ロスター | 1プレイヤー | プレイヤー名、チーム、ポジション、ジャージ番号、先発出場か |
| イベント | 1イベント | イベントタイプ、タイムスタンプ、期間、アクター、詳細(タイプによって異なる) |
| トラッキング | 1フレーム | 各プレイヤーのXY座標、ボールのXYZ座標 |
開発者向けに無料のデータサンプルを提供するプロバイダーを5社見つけました。それらの網羅性のレベルを簡単に比較します。
| ソース | ゲーム数 | 内容 | フレーム数/ゲーム | リンク |
|---|---|---|---|---|
| PFF | 64 | 動画 + イベント + トラッキング | 約160k | データ |
| StatsBomb | 426 | イベント + トラッキング | 約3-4k | データ |
| Metrica | 3 | イベント + トラッキング | 約160k | データ |
| SoccerNet | 550 | 動画 + 生のCVデータ | 約160k | データ |
| WhoScored | 多数 | 平均チームX座標(Bogachev氏が使用したもの?) | 約100 | 例(試合) |
私はゲームの高解像度デジタルツインを構築しているので、最低でも1秒あたり約2フレーム(合計約11kフレーム)が必要です。PFFのデータは最も網羅的で洗練されており、30Hzでの全プレイヤーのXY座標が含まれています。この解像度があれば、望む限りのゲーム分析やビジュアライゼーションを行うことができます。このデータは偶然にも2022年ワールドカップのものでした!他のソースは地域リーグのゲームでした。
💡
余談ですが、SoccerNetはゲームデータ抽出に関する最高の科学コミュニティを持っており、複数の出版物と役立つ公開 リポジトリがあります。
では、PFFのデータを見てみましょう。ゲームごとの内容は以下の通りです。
- 試合: 1KB
- ロスター: 8KB
- イベント: 約16-20MB
- トラッキング: 約0.8-1.2GB
イベントデータは非常に詳細です。以下は、アルゼンチン対フランスの決勝戦で、メッシのヘディングinitialBodyType:HE(13:36)の例のイベントオブジェクトです。
{
"frameNum": 29098,
"period": 1,
"periodGameClockTime": 816.417238,
"game_id": 10517,
"game_event_id": 6739132,
"game_event": {
"game_event_type": "OTB",
"formatted_game_clock": "13:36",
"player_id": "1531",
"player_name": "Lionel Messi",
"shirt_number": "10",
"position_group_type": "RW",
"team_id": "364",
"team_name": "Argentina",
"start_time": 970.904,
"end_time": 970.904,
"duration": 0,
"home_team": 1,
"sequence": 48,
"home_ball": true
},
"possession_event": {
"possession_event_type": "PA"
},
"event_data": {
"sequence": 48,
"initialTouch": {
"initialBodyType": "HE",
"initialHeightType": "A",
"facingType": "G",
"initialTouchType": "S",
"initialPressureType": "N"
},
"possessionEvents": {
"possessionEventType": "PA",
"nonEvent": false,
"ballHeightType": "A",
"highPointType": "A",
"passType": "S",
"passOutcomeType": "C",
"targetPlayerId": 10715,
"targetPlayerName": "Julian Alvarez",
"targetFacingType": "B",
"receiverPlayerId": 10715,
"receiverPlayerName": "Julian Alvarez",
"receiverFacingType": "B",
"accuracyType": "S",
"pressureType": "N",
"createsSpace": false
}
}
}
したがって、構築したいのは「ワールドカップゲームのビデオプレーヤー」であり、可能な限り忠実に、3Dのスタジアム、フィールド、観客、プレイヤーをレンダリングすることです。
アーキテクチャは非常にシンプルになります。
- 利用可能なゲーム、プレイヤー情報、ビデオキーフレームのリストを提供するAPIサーバー
- ユーザーがゲームを視聴している間にプレイヤーのXY座標を配信するストリーミングエンドポイント
- ゲームセレクターとビデオプレーヤーを備えたWebビューワー
まずは2Dビジュアライゼーションから始めます。ClaudeはPFFのデータ仕様を解析し、圧縮・ストリーミング可能なデータ形式と、そのデータを2Dで視聴するためのシンプルなプレイヤーを構築するのに素晴らしい仕事をしてくれました。各ゲームは約100MBで、約600個の10秒ごとのファイルに分割され、ゲームを視聴しながらクライアントが順次リクエストします。JSONは効率的なフォーマットではないため、さらに最適化できることは確かです。
[動画: 2Dでレンダリングされたサッカーゲームのデモ]
0:00
/0:12
[画像: 2Dビジュアライゼーションのスクリーンショット]
非常にクールです!次に3D化しましょう。もちろん、追加の座標データは必要ありません。3Dのスタジアムと3Dのプレイヤーを作成し、同じXY座標で動かすことができますが、これはプレイヤーが走っていない場合、例えばコーナーキック、ヘディング、怪我などのケースではうまくいきません。
また、プレイヤーの位置データはライブ放送からスクレイピングされています。平均して、放送時間の27%はボールがインプレーでないか、カメラがリプレイやプレイヤーのクローズアップなどを流しているため、これらのフレームのプレイヤー追跡データはありません。快適な視聴体験を提供するためには、カットシーンのような別のものを表示する必要があります。
ここでイベントデータが役立ちます。Claudeに、特定のイベントによってトリガーされたときに再生される以下のプレイヤーモーションとカットシーンを構築させました。
| タイプ | 名前 | 平均数/ゲーム | イベントあたりの平均時間 |
|---|---|---|---|
| プレイヤーモーション | 走る/歩く | N/A | N/A |
| プレイヤーモーション | ヘディング | 93 | 0.9秒 |
| プレイヤーモーション | ゴーラーダイブ | 8.8 | 3秒 |
| プレイヤーモーション | ゴールセレブレーション | 2.7 | 20秒 |
| プレイヤーモーション | 怪我 | 30 | 10秒 |
| カメラアングル | コーナーキック | 9.0 | 12秒 |
| カメラアングル | スローイン | 40.9 | 6秒 |
| カメラアングル | フリーキック | 28.5 | 8秒 |
| カメラアングル | ペナルティキック | 0.4 | 12秒 |
| カメラアングル | キックオフ | 4.8 | 10秒 |
| レフェリアクション | イエロー/レッドカード | 3.6 | 3秒 |
| レフェリアクション | オフサイドフラッグ | 4.1 | 3.5秒 |
| レフェリアクション | VARレビュー | 0.3 | 5秒 |
| レフェリアクション | 交代 | 9.2 | 10秒 |
ホームまたはアウェイチームのジャージを着たファンで構成されるシミュレートされた観客を作成することもできます。彼らは、チームがリードしたり、ゴールを狙ったりすると、 audible(音声)とvisible(視覚)の両方で応援します。
これらをすべて組み合わせることで、ビデオプレーヤーでサッカーゲームのかなり忠実な再現を得ることができます。
[動画: 3Dでレンダリングされたサッカーゲームのデモ]
0:00
/0:14
[画像: 3Dビジュアライゼーションのスクリーンショット]
もちろん、忠実度をさらに上げることも可能ですが、それが目的ではありません。データはすでにあるので、好きなように視覚化できます。これは、火星で2022年ワールドカップ決勝をプレイするエイリアンの例です。
[動画: 火星でプレイするエイリアンのサッカーゲームのデモ]
0:00
/0:15
[画像: エイリアンが火星でプレイするサッカーゲームのスクリーンショット]
データビルダーとビューワーはこちらでオープンソース化しました。ぜひフォークして、好きなものを作ってください!質問があればGitHubで連絡してください⚽
参考文献: