HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

SWEタスクにおける13モデルと4エージェント: Go, Java, Python, Rust, TS

13 Models and 4 Agents on SWE Tasks: Go, Java, Python, Rust, TS (swe-rebench.com)

36 pointsby ibragim_bad12 コメント

要約

SWE-rebench v2のリーダーボードは、2026年5月15日から7月1日までの期間に、111の異なる問題と65のリポジトリを対象に、様々なAIモデルとエージェントのソフトウェアエンジニアリングタスクにおける性能を評価しています。AnthropicのFable 5が解決率でトップですが、OpenAIのGPT-5.6 Solはコストあたりの問題解決数で優れています。

全文翻訳

SWE-rebench リーダーボード

❗ SWE-rebench v2

リーダーボード

論文

データ

概要

Discord

❗ SWE-rebench v2

リーダーボード

論文

データ

概要

Discord

期間

15/05/2026

01/07/2026

0123456789101112131415161718192021222324252627282930313233343536

インサイト

全エージェントモデル

現在の期間内に選択された65リポジトリからの111の問題。

111の問題、65リポジトリ

潜在的な汚染

外部システム

評価範囲外

#モデル解決率 (%)Pass@5 (%)問題あたりのコスト ($)問題あたりのトークン
1Anthropic Fable 5 [high] モデル64.5%± 1.41%78.4%$4.402,518,30894.9% キャッシュ済み
2Grok Grok 4.5 [high] モデル63.8%± 0.60%77.5%$1.472,429,42492.6% キャッシュ済み
3Anthropic Opus 5 [high] モデル63.4%± 1.35%74.8%$3.474,322,14395.7% キャッシュ済み
4Z.ai GLM-5.2 [high] モデル62.9%± 1.19%81.1%$1.405,524,89292.1% キャッシュ済み
5OpenAI GPT-5.6 Sol [medium] モデル62.3%± 1.83%79.3%$0.85605,34084.7% キャッシュ済み
6Junie Junie エージェント61.8%± 0.54%73.9%$0.811,684,50185.9% キャッシュ済み
7Anthropic Claude Code エージェント60.4%± 1.03%75.7%$3.393,341,58193.4% キャッシュ済み
8OpenAI Codex エージェント58.0%± 1.29%73.0%$1.592,070,97694.6% キャッシュ済み
9Anthropic Sonnet 5 [high] モデル56.8%± 0.94%74.8%$1.434,645,61796.4% キャッシュ済み
10Cursor Cursor エージェント51.7%± 0.84%65.8%$0.411,827,00294.3% キャッシュ済み
11Minimax MiniMax M3 モデル47.2%± 1.13%69.4%$0.9513,869,45997.0% キャッシュ済み
12XiaomiMiMo MiMo V2.5 Pro モデル46.5%± 0.54%65.8%$0.104,687,98795.7% キャッシュ済み
13OpenAI GPT-5.6 Luna [medium] モデル43.6%± 1.47%59.5%$0.11395,52285.2% キャッシュ済み
14DeepSeek DeepSeek-V4 Pro [high] モデル40.2%± 1.29%64.0%$0.153,955,41491.2% キャッシュ済み
15Qwen Qwen3.6-27B モデル31.2%± 1.68%57.7%$0.623,078,97076.8% キャッシュ済み
16Qwen Qwen3.6-35B-A3B モデル24.7%± 0.79%43.2%$0.273,726,06187.5% キャッシュ済み
17Qwen Qwen3.5-35B-A3B モデル17.1%± 1.07%36.9%$0.995,939,22772.3% キャッシュ済み
18Anthropic Claude Opus 4.1 モデルN/AN/AN/AN/A
19Anthropic Claude Opus 4.5 モデルN/AN/AN/AN/A
20Anthropic Claude Opus 4.6-high モデルN/AN/AN/AN/A
21Anthropic Claude Opus 4.7-high モデルN/AN/AN/AN/A
22Anthropic Claude Opus 4.8-xhigh モデルN/AN/AN/AN/A
23Anthropic Claude Sonnet 3.5 モデルN/AN/AN/AN/A
24Anthropic Claude Sonnet 4 モデルN/AN/AN/AN/A
25Anthropic Claude Sonnet 4.5 モデルN/AN/AN/AN/A
26Anthropic Claude Sonnet 4.6 モデルN/AN/AN/AN/A
27DeepSeek DeepSeek-R1-0528 モデルN/AN/AN/AN/A
28DeepSeek DeepSeek-V3 モデルN/AN/AN/AN/A
29DeepSeek DeepSeek-V3-0324 モデルN/AN/AN/AN/A
30DeepSeek DeepSeek-V3-0324 モデルN/AN/AN/AN/A
31DeepSeek DeepSeek-V3.1 モデルN/AN/AN/AN/A
32DeepSeek DeepSeek-V3.2 モデルN/AN/AN/AN/A
33DeepSeek DeepSeek-V4 Flash [high] モデルN/AN/AN/AN/A
34Mistral Devstral-2-123B-Instruct-2512 モデルN/AN/AN/AN/A
35Mistral Devstral-Small-2-24B-Instruct-2512 モデルN/AN/AN/AN/A
36Mistral Devstral-Small-2505 モデルN/AN/AN/AN/A
37Gemini Gemini 3 Flash Preview モデルN/AN/AN/AN/A
38Gemini Gemini 3 Pro Preview モデルN/AN/AN/AN/A
39Gemini Gemini 3.1 Pro Preview モデルN/AN/AN/AN/A
40Gemini Gemini 3.5 Flash モデルN/AN/AN/AN/A
41Gemini gemini-2.0-flash モデルN/AN/AN/AN/A
42Gemini gemini-2.0-flash モデルN/AN/AN/AN/A
43Gemini gemini-2.5-flash モデルN/AN/AN/AN/A
44Gemini gemini-2.5-flash-preview-05-20 no-thinking モデルN/AN/AN/AN/A
45Gemini gemini-2.5-flash-preview-05-20 no-thinking モデルN/AN/AN/AN/A
46Gemini gemini-2.5-pro モデルN/AN/AN/AN/A
47Gemini Gemma 4 31B モデルN/AN/AN/AN/A
48Gemini gemma-3-27b-it モデルN/AN/AN/AN/A
49Z.ai GLM-4.5 モデルN/AN/AN/AN/A
50Z.ai GLM-4.5 Air モデルN/AN/AN/AN/A
51Z.ai GLM-4.6 モデルN/AN/AN/AN/A
52Z.ai GLM-4.7 モデルN/AN/AN/AN/A
53Z.ai GLM-4.7 Flash モデルN/AN/AN/AN/A
54Z.ai GLM-5 モデルN/AN/AN/AN/A
55Z.ai GLM-5.1 モデルN/AN/AN/AN/A
56Z.ai GLM-5.1 モデルN/AN/AN/AN/A
57OpenAI gpt-4.1-2025-04-14 モデルN/AN/AN/AN/A
58OpenAI gpt-4.1-2025-04-14 モデルN/AN/AN/AN/A
59OpenAI gpt-4.1-mini-2025-04-14 モデルN/AN/AN/AN/A
60OpenAI gpt-4.1-mini-2025-04-14 モデルN/AN/AN/AN/A
61OpenAI gpt-4.1-nano-2025-04-14 モデルN/AN/AN/AN/A
62OpenAI gpt-5-2025-08-07-high モデルN/AN/AN/AN/A
63OpenAI gpt-5-2025-08-07-medium モデルN/AN/AN/AN/A
64OpenAI gpt-5-2025-08-07-minimal モデルN/AN/AN/AN/A
65OpenAI gpt-5-codex モデルN/AN/AN/AN/A
66OpenAI gpt-5-mini-2025-08-07-high モデルN/AN/AN/AN/A
67OpenAI gpt-5-mini-2025-08-07-medium モデルN/AN/AN/AN/A
68OpenAI gpt-5.1-codex モデルN/AN/AN/AN/A
69OpenAI gpt-5.1-codex-max モデルN/AN/AN/AN/A
70OpenAI gpt-5.2-2025-12-11-medium モデルN/AN/AN/AN/A
71OpenAI gpt-5.2-2025-12-11-xhigh モデルN/AN/AN/AN/A
72OpenAI gpt-5.2-codex モデルN/AN/AN/AN/A
73OpenAI gpt-5.3-codex モデルN/AN/AN/AN/A
74OpenAI gpt-5.3-codex-xhigh モデルN/AN/AN/AN/A
75OpenAI gpt-5.4-2026-03-05-medium モデルN/AN/AN/AN/A
76OpenAI gpt-5.5-2026-04-23-medium モデルN/AN/AN/AN/A
77OpenAI gpt-5.5-2026-04-23-xhigh モデルN/AN/AN/AN/A
78OpenAI gpt-oss-120b モデルN/AN/AN/AN/A
79OpenAI gpt-oss-120b-high モデルN/AN/AN/AN/A
80OpenAI gpt-oss-20b モデルN/AN/AN/AN/A
81Grok Grok 4 モデルN/AN/AN/AN/A
82Grok Grok Code Fast 1 モデルN/AN/AN/AN/A
83OpenRouter horizon-alpha モデルN/AN/AN/AN/A
84OpenRouter horizon-beta モデルN/AN/AN/AN/A
85Kimi Kimi K2 モデルN/AN/AN/AN/A
86Kimi Kimi K2 Instruct 0905 モデルN/AN/AN/AN/A
87Kimi Kimi K2 Thinking モデルN/AN/AN/AN/A
88Kimi Kimi K2.5 モデルN/AN/AN/AN/A
89Kimi Kimi K2.6 モデルN/AN/AN/AN/A
90Meta Llama-3.3-70B-Instruct モデルN/AN/AN/AN/A
91Meta Llama-4-Maverick-17B-128E-Instruct モデルN/AN/AN/AN/A
92Meta Llama-4-Scout-17B-16E-Instruct モデルN/AN/AN/AN/A
93Minimax MiniMax M2 モデルN/AN/AN/AN/A
94Minimax MiniMax M2.1 モデルN/AN/AN/AN/A
95Minimax MiniMax M2.5 モデルN/AN/AN/AN/A
96Minimax MiniMax M2.7 モデルN/AN/AN/AN/A
97OpenAI o3-2025-04-16 モデルN/AN/AN/AN/A
98OpenAI o4-mini-2025-04-16 モデルN/AN/AN/AN/A
99Qwen Qwen2.5-72B-Instruct モデルN/AN/AN/AN/A
100Qwen Qwen2.5-Coder-32B-Instruct モデルN/AN/AN/AN/A
101Qwen Qwen3-235B-A22B モデルN/AN/AN/AN/A
102Qwen Qwen3-235B-A22B no-thinking モデルN/AN/AN/AN/A
103Qwen Qwen3-235B-A22B thinking モデルN/AN/AN/AN/A
104Qwen Qwen3-235B-A22B-Instruct-2507 モデルN/AN/AN/AN/A
105Qwen Qwen3-235B-A22B-Thinking-2507 モデルN/AN/AN/AN/A
106Qwen Qwen3-30B-A3B-Instruct-2507 モデルN/AN/AN/AN/A
107Qwen Qwen3-30B-A3B-Thinking-2507 モデルN/AN/AN/AN/A
108Qwen Qwen3-32B モデルN/AN/AN/AN/A
109Qwen Qwen3-32B no-thinking モデルN/AN/AN/AN/A
110Qwen Qwen3-32B thinking モデルN/AN/AN/AN/A
111Qwen Qwen3-Coder-30B-A3B-Instruct モデルN/AN/AN/AN/A
112Qwen Qwen3-Coder-480B-A35B-Instruct モデルN/AN/AN/AN/A
113Qwen Qwen3-Coder-Next モデルN/AN/AN/AN/A
114Qwen Qwen3-Next-80B-A3B-Instruct モデルN/AN/AN/AN/A
115Qwen Qwen3.5-27B モデルN/AN/AN/AN/A
116Qwen Qwen3.5-397B-A17B モデルN/AN/AN/AN/A
117Stepfun Step-3.5-Flash モデルN/AN/AN/AN/A

ニュース

  • [2026-07-01]:
    • リーダーボードに新しいモデルが追加されました: GLM 5.2, DeepSeek-V4 Pro, DeepSeek-V4 Flash, MiMo V2.5 Pro, Qwen3.6-35B-A3B, Qwen3.6-27B, Gemma 4 31B。
  • [2026-06-09]:
    • リーダーボードに新しいモデルが追加されました: Gemini 3.5 Flash, MiniMax M3。
  • [2026-05-28]:
    • リーダーボードに新しいモデルが追加されました: Claude Opus 4.8。
  • [2026-05-27]:
    • リーダーボードに新しいモデルが追加されました: gpt-5.5-2026-04-23-xhigh, gpt-5.5-2026-04-23-medium, gpt-5.4-2026-03-05-medium, Claude Opus 4.7, Kimi K2.6。
  • [2026-04-19]:
    • Junie を Claude Opus 4.6 をプライマリモデルとして再実行しました。
  • [2026-04-15]:
    • リーダーボードに新しいモデルが追加されました: GLM-5.1, Qwen3.5-27B, Cursor, Gemma 4 31B, MiniMax M2.7。
  • [2026-03-20]:
    • リーダーボードに新しいモデルが追加されました: gpt-5.4-2026-03-05-medium, Gemini 3.1 Pro Preview, Claude Sonnet 4.6, Qwen3.5-397B-A17B, gpt-5.3-codex-xhigh, gpt-5.3-codex, Qwen3.5-35B-A3B。
    • 以下のモデルは廃止されました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex-max, gpt-5.1-codex, gpt-5-mini-2025-08-07-high, gpt-5-mini-2025-08-07-medium, Qwen3-235B-A22B-Instruct-2507, DeepSeek-R1-0528, Qwen3-Coder-30B-A3B-Instruct, Qwen3-Next-80B-A3B-Instruct, Qwen3-30B-A3B-Instruct-2507。
  • [2026-03-09]:
    • Junie CLI の参照評価を追加しました(オレンジ色でハイライト)。セットアップ詳細はインサイトを参照してください。
  • [2026-02-13]:
    • リーダーボードに新しいモデルが追加されました: Claude Opus 4.6, GLM-5, MiniMax M2.5, Codex, Qwen3-Coder-Next, GLM-4.7 Flash, gpt-5.2-codex, GLM-4.7 Flash。
  • [2026-01-14]:
    • リーダーボードに新しいモデルが追加されました: gpt-5.2-2025-12-11-xhigh, gpt-5.1-codex, GLM-4.7, gpt-5-mini-2025-08-07-high, gpt-oss-120b-high, Kimi K2 Thinking。
    • 以下のモデルは廃止されました: gpt-5-2025-08-07-medium, gpt-5-2025-08-07-high, Claude Sonnet 4, Claude Opus 4.1, o3-2025-04-16, gpt-5-codex, GLM-4.5, o4-mini-2025-04-16, gpt-5-2025-08-07-minimal, gpt-4.1-2025-04-14, Qwen3-235B-A22B-Thinking-2507, gpt-4.1-mini-2025-04-14, Qwen3-30B-A3B-Thinking-2507。
  • [2025-12-22]:
    • リーダーボードに新しいモデルが追加されました: MiniMax M2.1。
  • [2025-12-17]:
    • リーダーボードに新しいモデルが追加されました: gpt-5.1-codex-max, gpt-5.2-2025-12-11-medium, Devstral-2-123B-Instruct-2512, Devstral-Small-2-24B-Instruct-2512, DeepSeek-V3.2。
    • Claude Code の参照評価を追加しました(オレンジ色でハイライト)。セットアップ詳細はインサイトを参照してください。
    • 以下のモデルは廃止されました: gemini-2.5-pro, gemini-2.5-flash, DeepSeek-V3.1。
  • [2025-12-08]:
    • リーダーボードに新しいモデルが追加されました: Gemini 3 Pro Preview。
  • [2025-12-05]:
    • 「キャッシュ済みトークン」列を導入しました。
  • [2025-11-25]:
    • リーダーボードに新しいモデルが追加されました: Claude Opus 4.5。
  • [2025-11-13]:
    • リーダーボードに新しいモデルが追加されました: MiniMax M2。
  • [2025-10-28]:
    • リーダーボードに新しいモデルが追加されました: GLM-4.6。
  • [2025-10-09]:
    • リーダーボードに新しいモデルが追加されました: Claude Sonnet 4.5, gpt-5-codex, Claude Opus 4.1, Qwen3-30B-A3B-Thinking-2507, Qwen3-30B-A3B-Instruct-2507。
    • 最近のモデルおよびデータリリースからの分析と主要なテイクアウェイを提供する新しいインサイトセクションを追加しました。
    • 以下のモデルは廃止されました:
      • テキスト: Llama-3.3-70B-Instruct, Llama-4-Maverick-17B-128E-Instruct, gemma-3-27b-it, Qwen2.5-72B-Instruct。
      • ツール: Claude Sonnet 3.5, Kimi K2, gemini-2.0-flash, Qwen3-235B-A22B, Qwen3-32B。
  • [2025-09-17]:
    • リーダーボードに新しいモデルが追加されました: Grok 4, Kimi K2 Instruct 0905, DeepSeek-V3.1, Qwen3-Next-80B-A3B-Instruct。
  • [2025-09-04]:
    • リーダーボードに新しいモデルが追加されました: GLM-4.5, GLM-4.5 Air, Grok Code Fast 1, Kimi K2, gpt-5-mini-2025-08-07-medium, gpt-oss-120b, gpt-oss-20b。
    • 「問題あたりのコスト」と「問題あたりのトークン」列を導入しました。
    • 選択された期間内のプルリクエストへのリンクを追加しました。Inspect ボタンから確認できます。
    • 以下のモデルは廃止されました:
      • テキスト: DeepSeek-V3, DeepSeek-V3-0324, Devstral-Small-2505, gemini-2.0-flash, gpt-4.1-2025-04-14, gpt-4.1-mini-2025-04-14, gpt-4.1-nano-2025-04-14, Llama-4-Scout-17B-16E-Instruct, Qwen2.5-Coder-32B-Instruct。
      • ツール: horizon-alpha, horizon-beta。
  • [2025-08-12]: リーダーボードに新しいモデルが追加されました: gpt-5-medium-2025-08-07, gpt-5-high-2025-08-07, gpt-5-minimal-2025-08-07。
  • [2025-08-02]: リーダーボードに新しいモデルが追加されました: Qwen3-Coder-30B-A3B-Instruct, horizon-beta。
  • [2025-07-31]:
    • リーダーボードに新しいモデルが追加されました: gemini-2.5-pro, gemini-2.5-flash, o4-mini-2025-04-16, Qwen3-Coder-480B-A35B-Instruct, Qwen3-235B-A22B-Thinking-2507, Qwen3-235B-A22B-Instruct-2507, DeepSeek-R1-0528, horizon-alpha。
    • モデル廃止: gemini-2.5-flash-preview-05-20 no-thinking。
    • デモフォーマットを更新しました: ツール呼び出しは、アシスタントメッセージとツールメッセージとして個別に表示されるようになりました。
  • [2025-07-11]: すべてのリーダーボード問題に対するDockerイメージをリリースし、リーダーボードで使用されている問題のみを含む専用のHuggingFaceデータセット(SWE-rebench-leaderboard)を公開しました。
  • [2025-07-10]: モデルパフォーマンスチャートと6月データでの評価を追加しました。
  • [2025-06-12]: ツール使用サポート、5月データでの評価、および新しいモデル(Claude Sonnet 3.5/4、o3)を追加しました。
  • [2025-05-22]: Devstral-Small-2505 をリーダーボードに追加しました。
  • [2025-05-21]: リーダーボードに新しいモデルが追加されました: gpt-4.1-mini-2025-04-14, gpt-4.1-nano-2025-04-14, gemini-2.0-flash, gemini-2.5-flash-preview-05-20。