HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Gemini 4 NeonはOpus 5.5の競合となりうるか

Gemini 4 Neon looks like an Opus 5.5 competitor (micjm.com)

223 pointsby seizethecheese72 コメント

要約

Googleの新しいAIモデルGemini 4 Neonは、Gemini 4 Carbonよりも大幅に高速でありながら、同等の性能を持つと予測されています。Agent Duelリーダーボードの分析によると、NeonはOpus 5.5に匹敵するEloレーティングを持つ可能性があり、速度と性能の両面で優れた選択肢となることが示唆されています。

全文翻訳

Gemini 4 NeonはOpus 5.5の競合となりうるか

TLDR: より高速なGemini 4 Carbonの性能を基にGemini 4 Neonのパフォーマンスを予測した結果、Opus 5.5と同等であることがわかりました

Gemini 4 Carbonは、早期投票を除外した場合、Agent Duelリーダーボードで最高のモデルです。Carbonの主な問題は、非常に遅いことです。

本日、Gemini 4 Neonがリリースされ、速度の大幅な向上を伴う段階的なベンチマーク改善が見込まれます。本日早期には、OpenRouter経由で非常に高速に提供されており、毎秒127トークンでした。これは、毎秒46トークンのCarbonよりもはるかに高速です。

これが、Neonが単に良いモデルであるだけでなく、最高のモデルになりうるのか疑問に思わせました。

リーダーボードのモデリング

調査のため、リーダーボードの勝率をモデル化しました。最高のモデルには、モデルの識別子、速度、およびユーザーが早期に投票したかどうかの3つの要素があります。初期のモデリングはうまくいかなかったため、速度と早期投票の間の相互作用を追加しました。これはうまく機能しました。

[画像: 勝率 vs. 予測勝率]

驚くべきことに、速度はモデルの識別子とほぼ同等に重要であるようです(これについては別のブログで近日公開)。

[画像: 特徴量の重要度]

Gemini 4 Neonのパフォーマンス予測

Gemini 4 Carbonと同じパフォーマンス(ベンチマークスコアがさらに向上していることを考えると妥当です)と、毎秒127トークンを仮定すると、Agent DuelリーダーボードでのEloは1,066と予測され、これは後期の分析スナップショットでOpus 5.5の1,078をわずかに下回ります。

[画像: 合成Neon Elo予測]

Gemini 4 NeonとOpus 5.5の予測Elo差の90%信頼区間は-94から+68であり、NeonはOpusに対して48.3%の時間で勝利すると予測されています(引き分けは半分の勝利としてカウント)。