SWEタスクにおける13モデルと4エージェント: Go, Java, Python, Rust, TS

SWE-rebench リーダーボード❗ SWE-rebench v2 リーダーボード 論文 データ 概要 Discord リーダーボード 論文 データ 概要 期間 15/05/2026 01/07/2026 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 開始 15/05/2026 終了 01/07/2026 インサイト クリックして展開 インサイト すべて表示 エージェント モデル 言語 すべて 111 問題 65 リポジトリ 現在の期間内で選択された問題。 検査 111 問題、65 リポジトリ 検査 潜在的な汚染 外部システム 評価範囲外 # モデル 解決率 (%) Pass@5 (%) 問題あたりのコスト ($) 問題あたりのトークン 1 Anthropic Fable 5 [high] モデル 64.5%± 1.41% 78.4% $4.40 2,518,308 94.9% キャッシュ済み 2 Grok Grok 4.5 [high] モデル 63.8%± 0.60% 77.5% $1.47 2,429,424 92.6% キャッシュ済み 3 Anthropic Opus 5 [high] モデル 63.4%± 1.35% 74.8% $3.47 4,322,143 95.7% キャッシュ済み 4 Z.ai GLM-5.2 [high] モデル 62.9%± 1.19% 81.1% $1.40 5,524,892 92.1% キャッシュ済み 5 OpenAI GPT-5.6 Sol [medium] モデル 62.3%± 1.83% 79.3% $0.85 605,340 84.7% キャッシュ済み 6 Junie Junie Agent 61.8%± 0.54% 73.9% $0.81 1,684,501 85.9% キャッシュ済み 7 Anthropic Claude Code エージェント 60.4%± 1.03% 75.7% $3.39 3,341,581 93.4% キャッシュ済み 8 OpenAI Codex エージェント 58.0%± 1.29% 73.0% $1.59 2,070,976 94.6% キャッシュ済み 9 Anthropic Sonnet 5 [high] モデル 56.8%± 0.94% 74.8% $1.43 4,645,617 96.4% キャッシュ済み 10 Cursor Cursor Agent 51.7%± 0.84% 65.8% $0.41 1,827,002 94.3% キャッシュ済み 11 Minimax MiniMax M3 モデル 47.2%± 1.13% 69.4% $0.95 13,869,459 97.0% キャッシュ済み 12 Xiaomi MiMo V2.5 Pro モデル 46.5%± 0.54% 65.8% $0.10 4,687,987 95.7% キャッシュ済み 13 OpenAI GPT-5.6 Luna [medium] モデル 43.6%± 1.47% 59.5% $0.11 395,522 85.2% キャッシュ済み 14 DeepSeek DeepSeek-V4 Pro [high] モデル 40.2%± 1.29% 64.0% $0.15 3,955,414 91.2% キャッシュ済み 15 Qwen Qwen3.6-27B モデル 31.2%± 1.68% 57.7% $0.62 3,078,970 76.8% キャッシュ済み 16 Qwen Qwen3.6-35B-A3B モデル 24.7%± 0.79% 43.2% $0.27 3,726,061 87.5% キャッシュ済み 17 Qwen Qwen3.5-35B-A3B モデル 17.1%± 1.07% 36.9% $0.99 5,939,227 72.3% キャッシュ済み 18 Anthropic Claude Opus 4.1 モデル N/A N/A N/A N/A 19 Anthropic Claude Opus 4.5 モデル N/A N/A N/A N/A 20 Anthropic Claude Opus 4.6-high モデル N/A N/A N/A N/A 21 Anthropic Claude Opus 4.7-high モデル N/A N/A N/A N/A 22 Anthropic Claude Opus 4.8-xhigh モデル N/A N/A N/A N/A 23 Anthropic Claude Sonnet 3.5 モデル N/A N/A N/A N/A 24 Anthropic Claude Sonnet 4 モデル N/A N/A N/A N/A 25 Anthropic Claude Sonnet 4.5 モデル N/A N/A N/A N/A 26 Anthropic Claude Sonnet 4.6 モデル N/A N/A N/A N/A 27 DeepSeek DeepSeek-R1-0528 モデル N/A N/A N/A N/A 28 DeepSeek DeepSeek-V3 モデル N/A N/A N/A N/A 29 DeepSeek DeepSeek-V3-0324 モデル N/A N/A N/A N/A 30 DeepSeek DeepSeek-V3-0324 モデル N/A N/A N/A N/A 31 DeepSeek DeepSeek-V3.1 モデル N/A N/A N/A N/A 32 DeepSeek DeepSeek-V3.2 モデル N/A N/A N/A N/A 33 DeepSeek DeepSeek-V4 Flash [high] モデル N/A N/A N/A N/A 34 Mistral Devstral-2-123B-Instruct-2512 モデル N/A N/A N/A N/A 35 Mistral Devstral-Small-2-24B-Instruct-2512 モデル N/A N/A N/A N/A 36 Mistral Devstral-Small-2505 モデル N/A N/A N/A N/A 37 Gemini Gemini 3 Flash Preview モデル N/A N/A N/A N/A 38 Gemini Gemini 3 Pro Preview モデル N/A N/A N/A N/A 39 Gemini Gemini 3.1 Pro Preview モデル N/A N/A N/A N/A 40 Gemini Gemini 3.5 Flash モデル N/A N/A N/A N/A 41 Gemini gemini-2.0-flash モデル N/A N/A N/A N/A 42 Gemini gemini-2.0-flash モデル N/A N/A N/A N/A 43 Gemini gemini-2.5-flash モデル N/A N/A N/A N/A 44 Gemini gemini-2.5-flash-preview-05-20 no-thinking モデル N/A N/A N/A N/A 45 Gemini gemini-2.5-flash-preview-05-20 no-thinking モデル N/A N/A N/A N/A 46 Gemini gemini-2.5-pro モデル N/A N/A N/A N/A 47 Gemini Gemma 4 31B モデル N/A N/A N/A N/A 48 Gemini gemma-3-27b-it モデル N/A N/A N/A N/A 49 Z.ai GLM-4.5 モデル N/A N/A N/A N/A 50 Z.ai GLM-4.5 Air モデル N/A N/A N/A N/A 51 Z.ai GLM-4.6 モデル N/A N/A N/A N/A 52 Z.ai GLM-4.7 モデル N/A N/A N/A N/A 53 Z.ai GLM-4.7 Flash モデル N/A N/A N/A N/A 54 Z.ai GLM-5 モデル N/A N/A N/A N/A 55 Z.ai GLM-5.1 モデル N/A N/A N/A N/A 56 Z.ai GLM-5.1 モデル N/A N/A N/A N/A 57 OpenAI gpt-4.1-2025-04-14 モデル N/A N/A N/A N/A 58 OpenAI gpt-4.1-2025-04-14 モデル N/A N/A N/A N/A 59 OpenAI gpt-4.1-mini-2025-04-14 モデル N/A N/A N/A N/A 60 OpenAI gpt-4.1-mini-2025-04-14 モデル N/A N/A N/A N/A 61 OpenAI gpt-4.1-nano-2025-04-14 モデル N/A N/A N/A N/A 62 OpenAI gpt-5-2025-08-07-high モデル N/A N/A N/A N/A 63 OpenAI gpt-5-2025-08-07-medium モデル N/A N/A N/A N/A 64 OpenAI gpt-5-2025-08-07-minimal モデル N/A N/A N/A N/A 65 OpenAI gpt-5-codex モデル N/A N/A N/A N/A 66 OpenAI gpt-5-mini-2025-08-07-high モデル N/A N/A N/A N/A 67 OpenAI gpt-5-mini-2025-08-07-medium モデル N/A N/A N/A N/A 68 OpenAI gpt-5.1-codex モデル N/A N/A N/A N/A 69 OpenAI gpt-5.1-codex-max モデル N/A N/A N/A N/A 70 OpenAI gpt-5.2-2025-12-11-medium モデル N/A N/A N/A N/A 71 OpenAI gpt-5.2-2025-12-11-xhigh モデル N/A N/A N/A N/A 72 OpenAI gpt-5.2-codex モデル N/A N/A N/A N/A 73 OpenAI gpt-5.3-codex モデル N/A N/A N/A N/A 74 OpenAI gpt-5.3-codex-xhigh モデル N/A N/A N/A N/A 75 OpenAI gpt-5.4-2026-03-05-medium モデル N/A N/A N/A N/A 76 OpenAI gpt-5.5-2026-04-23-medium モデル N/A N/A N/A N/A 77 OpenAI gpt-5.5-2026-04-23-xhigh モデル N/A N/A N/A N/A 78 OpenAI gpt-oss-120b モデル N/A N/A N/A N/A 79 OpenAI gpt-oss-120b-high モデル N/A N/A N/A N/A 80 OpenAI gpt-oss-20b モデル N/A N/A N/A N/A 81 Grok Grok 4 モデル N/A N/A N/A N/A 82 Grok Grok Code Fast 1 モデル N/A N/A N/A N/A 83 OpenRouter horizon-alpha モデル N/A N/A N/A N/A 84 OpenRouter horizon-beta モデル N/A N/A N/A N/A 85 Kimi Kimi K2 モデル N/A N/A N/A N/A 86 Kimi Kimi K2 Instruct 0905 モデル N/A N/A N/A N/A 87 Kimi Kimi K2 Thinking モデル N/A N/A N/A N/A 88 Kimi Kimi K2.5 モデル N/A N/A N/A N/A 89 Kimi Kimi K2.6 モデル N/A N/A N/A N/A 90 Meta Llama-3.3-70B-Instruct モデル N/A N/A N/A N/A 91 Meta Llama-4-Maverick-17B-128E-Instruct モデル N/A N/A N/A N/A 92 Meta Llama-4-Scout-17B-16E-Instruct モデル N/A N/A N/A N/A 93 Minimax MiniMax M2 モデル N/A N/A N/A N/A 94 Minimax MiniMax M2.1 モデル N/A N/A N/A N/A 95 Minimax MiniMax M2.5 モデル N/A N/A N/A N/A 96 Minimax MiniMax M2.7 モデル N/A N/A N/A N/A 97 OpenAI o3-2025-04-16 モデル N/A N/A N/A N/A 98 OpenAI o4-mini-2025-04-16 モデル N/A N/A N/A N/A 99 Qwen Qwen2.5-72B-Instruct モデル N/A N/A N/A N/A 100 Qwen Qwen2.5-Coder-32B-Instruct モデル N/A N/A N/A N/A 101 Qwen Qwen3-235B-A22B モデル N/A N/A N/A N/A 102 Qwen Qwen3-235B-A22B no-thinking モデル N/A N/A N/A N/A 103 Qwen Qwen3-235B-A22B thinking モデル N/A N/A N/A N/A 104 Qwen Qwen3-235B-A22B-Instruct-2507 モデル N/A N/A N/A N/A 105 Qwen Qwen3-235B-A22B-Thinking-2507 モデル N/A N/A N/A N/A 106 Qwen Qwen3-30B-A3B-Instruct-2507 モデル N/A N/A N/A N/A 107 Qwen Qwen3-30B-A3B-Thinking-2507 モデル N/A N/A N/A N/A 108 Qwen Qwen3-32B モデル N/A N/A N/A N/A 109 Qwen Qwen3-32B no-thinking モデル N/A N/A N/A N/A 110 Qwen Qwen3-32B thinking モデル N/A N/A N/A N/A 111 Qwen Qwen3-Coder-30B-A3B-Instruct モデル N/A N/A N/A N/A 112 Qwen Qwen3-Coder-480B-A35B-Instruct モデル N/A N/A N/A N/A 113 Qwen Qwen3-Coder-Next モデル N/A N/A N/A N/A 114 Qwen Qwen3-Next-80B-A3B-Instruct モデル N/A N/A N/A N/A 115 Qwen Qwen3.5-27B モデル N/A N/A N/A N/A 116 Qwen Qwen3.5-397B-A17B モデル N/A N/A N/A N/A 117 Stepfun Step-3.5-Flash モデル N/A N/A N/A N/A ニュース [2026-07-01]: リーダーボードに新しいモデルが追加されました: GLM 5.2, DeepSeek-V4 Pro, DeepSeek-V4 Flash, MiMo V2.5 Pro, Qwen3.6-35B-A3B, Qwen3.6-27B, Gemma 4 31B。 [2026-06-09]: リーダーボードに新しいモデルが追加されました: Gemini 3.5 Flash, MiniMax M3。 [2026-05-28]: リーダーボードに新しいモデルが追加されました: Claude Opus 4.8。 [2026-05-27]: リーダーボードに新しいモデルが追加されました: gpt-5.5-2026-04-23-xhigh, gpt-5.5-2026-04-23-medium, gpt-5.4-2026-03-05-medium, Claude Opus 4.7, Kimi K2.6。 [2026-04-19]: JunieをClaude Opus 4.6をプライマリモデルとして再実行しました。 [2026-04-15]: リーダーボードに新しいモデルが追加されました: GLM-5.1, Qwen3.5-27B, Cursor, Gemma 4 31B, MiniMax M2.7。 [2026-03-20]: リーダーボードに新しいモデルが追加されました: gpt-5.4-2026-03-05-medium, Gemini 3.1 Pro Preview, Claude Sonnet 4.6, Qwen3.5-397B-A17B, gpt-5.3-codex-xhigh, gpt-5.3-codex, Qwen3.5-35B-A3B。 以下のモデルは非推奨となりました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex-max, gpt-5.1-codex, gpt-5-mini-2025-08-07-high, gpt-5-mini-2025-08-07-medium, Qwen3-235B-A22B-Instruct-2507, DeepSeek-R1-0528, Qwen3-Coder-30B-A3B-Instruct, Qwen3-Next-80B-A3B-Instruct, Qwen3-30B-A3B-Instruct-2507。 [2026-03-09]: Junie CLIの参照評価を追加しました（オレンジ色でハイライト）。セットアップ詳細はインサイトを参照してください。 [2026-02-13]: リーダーボードに新しいモデルが追加されました: Claude Opus 4.6, GLM-5, MiniMax M2.5, Codex, Qwen3-Coder-Next, GLM-4.7 Flash, gpt-5.2-codex, GLM-4.7 Flash。 [2026-01-14]: リーダーボードに新しいモデルが追加されました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex, GLM-4.7, gpt-5-mini-2025-08-07-high, gpt-oss-120b-high, Kimi K2 Thinking。 以下のモデルは非推奨となりました: gpt-5-2025-08-07-medium, gpt-5-2025-08-07-high, Claude Sonnet 4, Claude Opus 4.1, o3-2025-04-16, gpt-5-codex, GLM-4.5, o4-mini-2025-04-16, gpt-5-2025-08-07-minimal, gpt-4.1-2025-04-14, Qwen3-235B-A22B-Thinking-2507, gpt-4.1-mini-2025-04-14, Qwen3-30B-A3B-Thinking-2507。 [2025-12-22]: リーダーボードに新しいモデルが追加されました: MiniMax M2.1。 [2025-12-17]: 追加