Show HN: Jev vs. GPT-5.6とClaude Haiku、Pongで対決
Show HN: Jev vs. GPT-5.6 and Claude Haiku at Pong (jev-pong.ably.dev)
要約
この投稿は、AIモデルであるJev、GPT-5.6、Claude Haikuが、古典的なビデオゲーム「Pong」でどのようにパフォーマンスを発揮するかを比較するデモサイトを紹介しています。各モデルは、Pongのゲームプレイにおける意思決定と結果を記録しています。
全文翻訳
Jev Pong
Ably Labs
Jevは227ミリ秒で意思決定を返します。チャットモデルは2.5〜3.5秒かかります。
これがPongのゲームにどう影響するかを示します。
録画された実行 · Vercel (iad1) via Vercel AI Gateway
replay
0.0 s
Jev
TypeSafe AI
—ms
0 decisions · 0 returns
Gemini 3.8 Flash
—ms
0 decisions · 0 returns
Claude Haiku 4.5
Anthropic
—ms
0 decisions · 0 returns
GPT-5.6 Sol
OpenAI
—ms
0 decisions · 0 returns
model
decisions/s
avg ms
p95 ms
in first 12 s
Jev
TypeSafe AI
4.4
0.227
0.400
47
Gemini 3.8 Flash
Google
0.323
3.167
7.743
38
Claude Haiku 4.5
Anthropic
0.402
2.483
3.835
82
GPT-5.6 Sol
OpenAI
0.283
3.529
10.350
2
4レーン、1つのゲーム：同じサーブ、同じルール、同じ質問を、それぞれ異なるモデルに投げかけます。1つの回答がボールを1ステップ動かすため、ボールは各モデルの回答時間で進み、何もスキップされたりスピードアップされたりしません。Jevはチャットモデルではなく型安全な意思決定モデルであり、Pongはチャットモデルが最も苦手とするアタリのゲームなので、待たないループがその価値を見るのに公平な場所となります。
4つのレーンは、誰もが知っている4つ（GPT-5.6 Sol, Claude Haiku 4.5, Gemini 3.8 Flash, Jev）を意図的に使用しています。それらを録画した後、さらに5つのモデル（GPT-6 AstraやClaude Fable 5.1を含む）にも同じ質問を投げかけましたが、結果は同じでした。数値を確認する。