AI・機械学習
SWEタスクにおける13モデルと4エージェント: Go, Java, Python, Rust, TS
13 Models and 4 Agents on SWE Tasks: Go, Java, Python, Rust, TS (swe-rebench.com)
要約
SWE-rebench v2のリーダーボードは、2026年5月15日から7月1日までの期間に、111の異なる問題と65のリポジトリを対象に、様々なAIモデルとエージェントのソフトウェアエンジニアリングタスクにおける性能を評価しています。AnthropicのFable 5が解決率でトップですが、OpenAIのGPT-5.6 Solはコストあたりの問題解決数で優れています。
全文翻訳
SWE-rebench リーダーボード
期間
15/05/2026
01/07/2026
0123456789101112131415161718192021222324252627282930313233343536
インサイト
全エージェントモデル
現在の期間内に選択された65リポジトリからの111の問題。
111の問題、65リポジトリ
潜在的な汚染
外部システム
評価範囲外
| # | モデル | 解決率 (%) | Pass@5 (%) | 問題あたりのコスト ($) | 問題あたりのトークン |
|---|---|---|---|---|---|
| 1 | Anthropic Fable 5 [high] モデル | 64.5%± 1.41% | 78.4% | $4.40 | 2,518,30894.9% キャッシュ済み |
| 2 | Grok Grok 4.5 [high] モデル | 63.8%± 0.60% | 77.5% | $1.47 | 2,429,42492.6% キャッシュ済み |
| 3 | Anthropic Opus 5 [high] モデル | 63.4%± 1.35% | 74.8% | $3.47 | 4,322,14395.7% キャッシュ済み |
| 4 | Z.ai GLM-5.2 [high] モデル | 62.9%± 1.19% | 81.1% | $1.40 | 5,524,89292.1% キャッシュ済み |
| 5 | OpenAI GPT-5.6 Sol [medium] モデル | 62.3%± 1.83% | 79.3% | $0.85 | 605,34084.7% キャッシュ済み |
| 6 | Junie Junie エージェント | 61.8%± 0.54% | 73.9% | $0.81 | 1,684,50185.9% キャッシュ済み |
| 7 | Anthropic Claude Code エージェント | 60.4%± 1.03% | 75.7% | $3.39 | 3,341,58193.4% キャッシュ済み |
| 8 | OpenAI Codex エージェント | 58.0%± 1.29% | 73.0% | $1.59 | 2,070,97694.6% キャッシュ済み |
| 9 | Anthropic Sonnet 5 [high] モデル | 56.8%± 0.94% | 74.8% | $1.43 | 4,645,61796.4% キャッシュ済み |
| 10 | Cursor Cursor エージェント | 51.7%± 0.84% | 65.8% | $0.41 | 1,827,00294.3% キャッシュ済み |
| 11 | Minimax MiniMax M3 モデル | 47.2%± 1.13% | 69.4% | $0.95 | 13,869,45997.0% キャッシュ済み |
| 12 | XiaomiMiMo MiMo V2.5 Pro モデル | 46.5%± 0.54% | 65.8% | $0.10 | 4,687,98795.7% キャッシュ済み |
| 13 | OpenAI GPT-5.6 Luna [medium] モデル | 43.6%± 1.47% | 59.5% | $0.11 | 395,52285.2% キャッシュ済み |
| 14 | DeepSeek DeepSeek-V4 Pro [high] モデル | 40.2%± 1.29% | 64.0% | $0.15 | 3,955,41491.2% キャッシュ済み |
| 15 | Qwen Qwen3.6-27B モデル | 31.2%± 1.68% | 57.7% | $0.62 | 3,078,97076.8% キャッシュ済み |
| 16 | Qwen Qwen3.6-35B-A3B モデル | 24.7%± 0.79% | 43.2% | $0.27 | 3,726,06187.5% キャッシュ済み |
| 17 | Qwen Qwen3.5-35B-A3B モデル | 17.1%± 1.07% | 36.9% | $0.99 | 5,939,22772.3% キャッシュ済み |
| 18 | Anthropic Claude Opus 4.1 モデル | N/A | N/A | N/A | N/A |
| 19 | Anthropic Claude Opus 4.5 モデル | N/A | N/A | N/A | N/A |
| 20 | Anthropic Claude Opus 4.6-high モデル | N/A | N/A | N/A | N/A |
| 21 | Anthropic Claude Opus 4.7-high モデル | N/A | N/A | N/A | N/A |
| 22 | Anthropic Claude Opus 4.8-xhigh モデル | N/A | N/A | N/A | N/A |
| 23 | Anthropic Claude Sonnet 3.5 モデル | N/A | N/A | N/A | N/A |
| 24 | Anthropic Claude Sonnet 4 モデル | N/A | N/A | N/A | N/A |
| 25 | Anthropic Claude Sonnet 4.5 モデル | N/A | N/A | N/A | N/A |
| 26 | Anthropic Claude Sonnet 4.6 モデル | N/A | N/A | N/A | N/A |
| 27 | DeepSeek DeepSeek-R1-0528 モデル | N/A | N/A | N/A | N/A |
| 28 | DeepSeek DeepSeek-V3 モデル | N/A | N/A | N/A | N/A |
| 29 | DeepSeek DeepSeek-V3-0324 モデル | N/A | N/A | N/A | N/A |
| 30 | DeepSeek DeepSeek-V3-0324 モデル | N/A | N/A | N/A | N/A |
| 31 | DeepSeek DeepSeek-V3.1 モデル | N/A | N/A | N/A | N/A |
| 32 | DeepSeek DeepSeek-V3.2 モデル | N/A | N/A | N/A | N/A |
| 33 | DeepSeek DeepSeek-V4 Flash [high] モデル | N/A | N/A | N/A | N/A |
| 34 | Mistral Devstral-2-123B-Instruct-2512 モデル | N/A | N/A | N/A | N/A |
| 35 | Mistral Devstral-Small-2-24B-Instruct-2512 モデル | N/A | N/A | N/A | N/A |
| 36 | Mistral Devstral-Small-2505 モデル | N/A | N/A | N/A | N/A |
| 37 | Gemini Gemini 3 Flash Preview モデル | N/A | N/A | N/A | N/A |
| 38 | Gemini Gemini 3 Pro Preview モデル | N/A | N/A | N/A | N/A |
| 39 | Gemini Gemini 3.1 Pro Preview モデル | N/A | N/A | N/A | N/A |
| 40 | Gemini Gemini 3.5 Flash モデル | N/A | N/A | N/A | N/A |
| 41 | Gemini gemini-2.0-flash モデル | N/A | N/A | N/A | N/A |
| 42 | Gemini gemini-2.0-flash モデル | N/A | N/A | N/A | N/A |
| 43 | Gemini gemini-2.5-flash モデル | N/A | N/A | N/A | N/A |
| 44 | Gemini gemini-2.5-flash-preview-05-20 no-thinking モデル | N/A | N/A | N/A | N/A |
| 45 | Gemini gemini-2.5-flash-preview-05-20 no-thinking モデル | N/A | N/A | N/A | N/A |
| 46 | Gemini gemini-2.5-pro モデル | N/A | N/A | N/A | N/A |
| 47 | Gemini Gemma 4 31B モデル | N/A | N/A | N/A | N/A |
| 48 | Gemini gemma-3-27b-it モデル | N/A | N/A | N/A | N/A |
| 49 | Z.ai GLM-4.5 モデル | N/A | N/A | N/A | N/A |
| 50 | Z.ai GLM-4.5 Air モデル | N/A | N/A | N/A | N/A |
| 51 | Z.ai GLM-4.6 モデル | N/A | N/A | N/A | N/A |
| 52 | Z.ai GLM-4.7 モデル | N/A | N/A | N/A | N/A |
| 53 | Z.ai GLM-4.7 Flash モデル | N/A | N/A | N/A | N/A |
| 54 | Z.ai GLM-5 モデル | N/A | N/A | N/A | N/A |
| 55 | Z.ai GLM-5.1 モデル | N/A | N/A | N/A | N/A |
| 56 | Z.ai GLM-5.1 モデル | N/A | N/A | N/A | N/A |
| 57 | OpenAI gpt-4.1-2025-04-14 モデル | N/A | N/A | N/A | N/A |
| 58 | OpenAI gpt-4.1-2025-04-14 モデル | N/A | N/A | N/A | N/A |
| 59 | OpenAI gpt-4.1-mini-2025-04-14 モデル | N/A | N/A | N/A | N/A |
| 60 | OpenAI gpt-4.1-mini-2025-04-14 モデル | N/A | N/A | N/A | N/A |
| 61 | OpenAI gpt-4.1-nano-2025-04-14 モデル | N/A | N/A | N/A | N/A |
| 62 | OpenAI gpt-5-2025-08-07-high モデル | N/A | N/A | N/A | N/A |
| 63 | OpenAI gpt-5-2025-08-07-medium モデル | N/A | N/A | N/A | N/A |
| 64 | OpenAI gpt-5-2025-08-07-minimal モデル | N/A | N/A | N/A | N/A |
| 65 | OpenAI gpt-5-codex モデル | N/A | N/A | N/A | N/A |
| 66 | OpenAI gpt-5-mini-2025-08-07-high モデル | N/A | N/A | N/A | N/A |
| 67 | OpenAI gpt-5-mini-2025-08-07-medium モデル | N/A | N/A | N/A | N/A |
| 68 | OpenAI gpt-5.1-codex モデル | N/A | N/A | N/A | N/A |
| 69 | OpenAI gpt-5.1-codex-max モデル | N/A | N/A | N/A | N/A |
| 70 | OpenAI gpt-5.2-2025-12-11-medium モデル | N/A | N/A | N/A | N/A |
| 71 | OpenAI gpt-5.2-2025-12-11-xhigh モデル | N/A | N/A | N/A | N/A |
| 72 | OpenAI gpt-5.2-codex モデル | N/A | N/A | N/A | N/A |
| 73 | OpenAI gpt-5.3-codex モデル | N/A | N/A | N/A | N/A |
| 74 | OpenAI gpt-5.3-codex-xhigh モデル | N/A | N/A | N/A | N/A |
| 75 | OpenAI gpt-5.4-2026-03-05-medium モデル | N/A | N/A | N/A | N/A |
| 76 | OpenAI gpt-5.5-2026-04-23-medium モデル | N/A | N/A | N/A | N/A |
| 77 | OpenAI gpt-5.5-2026-04-23-xhigh モデル | N/A | N/A | N/A | N/A |
| 78 | OpenAI gpt-oss-120b モデル | N/A | N/A | N/A | N/A |
| 79 | OpenAI gpt-oss-120b-high モデル | N/A | N/A | N/A | N/A |
| 80 | OpenAI gpt-oss-20b モデル | N/A | N/A | N/A | N/A |
| 81 | Grok Grok 4 モデル | N/A | N/A | N/A | N/A |
| 82 | Grok Grok Code Fast 1 モデル | N/A | N/A | N/A | N/A |
| 83 | OpenRouter horizon-alpha モデル | N/A | N/A | N/A | N/A |
| 84 | OpenRouter horizon-beta モデル | N/A | N/A | N/A | N/A |
| 85 | Kimi Kimi K2 モデル | N/A | N/A | N/A | N/A |
| 86 | Kimi Kimi K2 Instruct 0905 モデル | N/A | N/A | N/A | N/A |
| 87 | Kimi Kimi K2 Thinking モデル | N/A | N/A | N/A | N/A |
| 88 | Kimi Kimi K2.5 モデル | N/A | N/A | N/A | N/A |
| 89 | Kimi Kimi K2.6 モデル | N/A | N/A | N/A | N/A |
| 90 | Meta Llama-3.3-70B-Instruct モデル | N/A | N/A | N/A | N/A |
| 91 | Meta Llama-4-Maverick-17B-128E-Instruct モデル | N/A | N/A | N/A | N/A |
| 92 | Meta Llama-4-Scout-17B-16E-Instruct モデル | N/A | N/A | N/A | N/A |
| 93 | Minimax MiniMax M2 モデル | N/A | N/A | N/A | N/A |
| 94 | Minimax MiniMax M2.1 モデル | N/A | N/A | N/A | N/A |
| 95 | Minimax MiniMax M2.5 モデル | N/A | N/A | N/A | N/A |
| 96 | Minimax MiniMax M2.7 モデル | N/A | N/A | N/A | N/A |
| 97 | OpenAI o3-2025-04-16 モデル | N/A | N/A | N/A | N/A |
| 98 | OpenAI o4-mini-2025-04-16 モデル | N/A | N/A | N/A | N/A |
| 99 | Qwen Qwen2.5-72B-Instruct モデル | N/A | N/A | N/A | N/A |
| 100 | Qwen Qwen2.5-Coder-32B-Instruct モデル | N/A | N/A | N/A | N/A |
| 101 | Qwen Qwen3-235B-A22B モデル | N/A | N/A | N/A | N/A |
| 102 | Qwen Qwen3-235B-A22B no-thinking モデル | N/A | N/A | N/A | N/A |
| 103 | Qwen Qwen3-235B-A22B thinking モデル | N/A | N/A | N/A | N/A |
| 104 | Qwen Qwen3-235B-A22B-Instruct-2507 モデル | N/A | N/A | N/A | N/A |
| 105 | Qwen Qwen3-235B-A22B-Thinking-2507 モデル | N/A | N/A | N/A | N/A |
| 106 | Qwen Qwen3-30B-A3B-Instruct-2507 モデル | N/A | N/A | N/A | N/A |
| 107 | Qwen Qwen3-30B-A3B-Thinking-2507 モデル | N/A | N/A | N/A | N/A |
| 108 | Qwen Qwen3-32B モデル | N/A | N/A | N/A | N/A |
| 109 | Qwen Qwen3-32B no-thinking モデル | N/A | N/A | N/A | N/A |
| 110 | Qwen Qwen3-32B thinking モデル | N/A | N/A | N/A | N/A |
| 111 | Qwen Qwen3-Coder-30B-A3B-Instruct モデル | N/A | N/A | N/A | N/A |
| 112 | Qwen Qwen3-Coder-480B-A35B-Instruct モデル | N/A | N/A | N/A | N/A |
| 113 | Qwen Qwen3-Coder-Next モデル | N/A | N/A | N/A | N/A |
| 114 | Qwen Qwen3-Next-80B-A3B-Instruct モデル | N/A | N/A | N/A | N/A |
| 115 | Qwen Qwen3.5-27B モデル | N/A | N/A | N/A | N/A |
| 116 | Qwen Qwen3.5-397B-A17B モデル | N/A | N/A | N/A | N/A |
| 117 | Stepfun Step-3.5-Flash モデル | N/A | N/A | N/A | N/A |
ニュース
- [2026-07-01]:
- リーダーボードに新しいモデルが追加されました: GLM 5.2, DeepSeek-V4 Pro, DeepSeek-V4 Flash, MiMo V2.5 Pro, Qwen3.6-35B-A3B, Qwen3.6-27B, Gemma 4 31B。
- [2026-06-09]:
- リーダーボードに新しいモデルが追加されました: Gemini 3.5 Flash, MiniMax M3。
- [2026-05-28]:
- リーダーボードに新しいモデルが追加されました: Claude Opus 4.8。
- [2026-05-27]:
- リーダーボードに新しいモデルが追加されました: gpt-5.5-2026-04-23-xhigh, gpt-5.5-2026-04-23-medium, gpt-5.4-2026-03-05-medium, Claude Opus 4.7, Kimi K2.6。
- [2026-04-19]:
- Junie を Claude Opus 4.6 をプライマリモデルとして再実行しました。
- [2026-04-15]:
- リーダーボードに新しいモデルが追加されました: GLM-5.1, Qwen3.5-27B, Cursor, Gemma 4 31B, MiniMax M2.7。
- [2026-03-20]:
- リーダーボードに新しいモデルが追加されました: gpt-5.4-2026-03-05-medium, Gemini 3.1 Pro Preview, Claude Sonnet 4.6, Qwen3.5-397B-A17B, gpt-5.3-codex-xhigh, gpt-5.3-codex, Qwen3.5-35B-A3B。
- 以下のモデルは廃止されました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex-max, gpt-5.1-codex, gpt-5-mini-2025-08-07-high, gpt-5-mini-2025-08-07-medium, Qwen3-235B-A22B-Instruct-2507, DeepSeek-R1-0528, Qwen3-Coder-30B-A3B-Instruct, Qwen3-Next-80B-A3B-Instruct, Qwen3-30B-A3B-Instruct-2507。
- [2026-03-09]:
- Junie CLI の参照評価を追加しました(オレンジ色でハイライト)。セットアップ詳細はインサイトを参照してください。
- [2026-02-13]:
- リーダーボードに新しいモデルが追加されました: Claude Opus 4.6, GLM-5, MiniMax M2.5, Codex, Qwen3-Coder-Next, GLM-4.7 Flash, gpt-5.2-codex, GLM-4.7 Flash。
- [2026-01-14]:
- リーダーボードに新しいモデルが追加されました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex, GLM-4.7, gpt-5-mini-2025-08-07-high, gpt-oss-120b-high, Kimi K2 Thinking。
- 以下のモデルは廃止されました: gpt-5-2025-08-07-medium, gpt-5-2025-08-07-high, Claude Sonnet 4, Claude Opus 4.1, o3-2025-04-16, gpt-5-codex, GLM-4.5, o4-mini-2025-04-16, gpt-5-2025-08-07-minimal, gpt-4.1-2025-04-14, Qwen3-235B-A22B-Thinking-2507, gpt-4.1-mini-2025-04-14, Qwen3-30B-A3B-Thinking-2507。
- [2025-12-22]:
- リーダーボードに新しいモデルが追加されました: MiniMax M2.1。
- [2025-12-17]:
- リーダーボードに新しいモデルが追加されました: gpt-5.1-codex-max, gpt-5.2-2025-12-11-medium, Devstral-2-123B-Instruct-2512, Devstral-Small-2-24B-Instruct-2512, DeepSeek-V3.2。
- Claude Code の参照評価を追加しました(オレンジ色でハイライト)。セットアップ詳細はインサイトを参照してください。
- 以下のモデルは廃止されました: gemini-2.5-pro, gemini-2.5-flash, DeepSeek-V3.1。
- [2025-12-08]:
- リーダーボードに新しいモデルが追加されました: Gemini 3 Pro Preview。
- [2025-12-05]:
- 「キャッシュ済みトークン」列を導入しました。
- [2025-11-25]:
- リーダーボードに新しいモデルが追加されました: Claude Opus 4.5。
- [2025-11-13]:
- リーダーボードに新しいモデルが追加されました: MiniMax M2。
- [2025-10-28]:
- リーダーボードに新しいモデルが追加されました: GLM-4.6。
- [2025-10-09]:
- リーダーボードに新しいモデルが追加されました: Claude Sonnet 4.5, gpt-5-codex, Claude Opus 4.1, Qwen3-30B-A3B-Thinking-2507, Qwen3-30B-A3B-Instruct-2507。
- 最近のモデルおよびデータリリースからの分析と主要なテイクアウェイを提供する新しいインサイトセクションを追加しました。
- 以下のモデルは廃止されました:
- テキスト: Llama-3.3-70B-Instruct, Llama-4-Maverick-17B-128E-Instruct, gemma-3-27b-it, Qwen2.5-72B-Instruct。
- ツール: Claude Sonnet 3.5, Kimi K2, gemini-2.0-flash, Qwen3-235B-A22B, Qwen3-32B。
- [2025-09-17]:
- リーダーボードに新しいモデルが追加されました: Grok 4, Kimi K2 Instruct 0905, DeepSeek-V3.1, Qwen3-Next-80B-A3B-Instruct。
- [2025-09-04]:
- リーダーボードに新しいモデルが追加されました: GLM-4.5, GLM-4.5 Air, Grok Code Fast 1, Kimi K2, gpt-5-mini-2025-08-07-medium, gpt-oss-120b, gpt-oss-20b。
- 「問題あたりのコスト」と「問題あたりのトークン」列を導入しました。
- 選択された期間内のプルリクエストへのリンクを追加しました。
Inspectボタンから確認できます。 - 以下のモデルは廃止されました:
- テキスト: DeepSeek-V3, DeepSeek-V3-0324, Devstral-Small-2505, gemini-2.0-flash, gpt-4.1-2025-04-14, gpt-4.1-mini-2025-04-14, gpt-4.1-nano-2025-04-14, Llama-4-Scout-17B-16E-Instruct, Qwen2.5-Coder-32B-Instruct。
- ツール: horizon-alpha, horizon-beta。
- [2025-08-12]: リーダーボードに新しいモデルが追加されました: gpt-5-medium-2025-08-07, gpt-5-high-2025-08-07, gpt-5-minimal-2025-08-07。
- [2025-08-02]: リーダーボードに新しいモデルが追加されました: Qwen3-Coder-30B-A3B-Instruct, horizon-beta。
- [2025-07-31]:
- リーダーボードに新しいモデルが追加されました: gemini-2.5-pro, gemini-2.5-flash, o4-mini-2025-04-16, Qwen3-Coder-480B-A35B-Instruct, Qwen3-235B-A22B-Thinking-2507, Qwen3-235B-A22B-Instruct-2507, DeepSeek-R1-0528, horizon-alpha。
- モデル廃止: gemini-2.5-flash-preview-05-20 no-thinking。
- デモフォーマットを更新しました: ツール呼び出しは、アシスタントメッセージとツールメッセージとして個別に表示されるようになりました。
- [2025-07-11]: すべてのリーダーボード問題に対するDockerイメージをリリースし、リーダーボードで使用されている問題のみを含む専用のHuggingFaceデータセット(SWE-rebench-leaderboard)を公開しました。
- [2025-07-10]: モデルパフォーマンスチャートと6月データでの評価を追加しました。
- [2025-06-12]: ツール使用サポート、5月データでの評価、および新しいモデル(Claude Sonnet 3.5/4、o3)を追加しました。
- [2025-05-22]: Devstral-Small-2505 をリーダーボードに追加しました。
- [2025-05-21]: リーダーボードに新しいモデルが追加されました: gpt-4.1-mini-2025-04-14, gpt-4.1-nano-2025-04-14, gemini-2.0-flash, gemini-2.5-flash-preview-05-20。