Big Pickle on SWE Atlas – Codebase QnA
Big Pickle on SWE Atlas – Codebase QnA (github.com)
要約
Big PickleモデルがScale AIのSWE Atlas Codebase QnAベンチマークで評価され、タスク解決率50.8%を達成しました。この結果は、Mini-SWE-Agentのスコアとしてはリーダーボード上の他の多くのモデルを上回るものですが、単一試行やリソース制限などの注意点も指摘されています。評価方法や言語・カテゴリ別の詳細な結果も示されています。
全文翻訳
Big Pickle on SWE Atlas — Codebase QnA
タスク解決率: 50.8% (63/124) — OpenCode Zen上の無料ステルスモデルであるbig-pickleが、Scale AIのSWE Atlas Codebase QnAベンチマークで、mini-swe-agentスコフォールドを使用して評価されました。
2026年8月11日に、公式オープンソースハーネス、タスクデータ、およびジャッジモデルで実行されました。
結果のコンテキスト
公式SWE Atlas QnAリーダーボード(2026年7月28日更新)と比較して:
| モデル (スコフォールド) | タスク解決率 |
|---|---|
| Opus 5 (Claude Code, xHigh) | 63.17 |
| Opus 4.8 (Claude Code, xHigh) | 57.26 |
| big-pickle (Mini-SWE-Agent) — この実行 | 50.81 |
| GLM 5.2 (Mini-SWE-Agent) | 48.12 |
| GPT-5.6-Sol (Codex, xHigh) | 46.00 |
| GPT 5.5 (Codex, xHigh) | 45.43 |
Mini-SWE-Agentスコフォールドクラス内での比較(apples-to-apples)では、この実行は公式リーダーボード上のすべてのエントリを上回っており、CodexスコフォールドのGPTエントリも凌駕しています。ClaudeネイティブのClaude Codeスコフォールドで実行された2つのClaudeモデルのみがより高いスコアを記録しています。この数値をリーダーボード同等と見なす前に、以下の注意点を確認してください。
言語別
| 言語 | 解決済み | 率 |
|---|---|---|
| TypeScript | 18/31 | 58.1% |
| Python | 16/29 | 55.2% |
| Go | 19/38 | 50.0% |
| C | 10/26 | 38.5% |
カテゴリ別
| カテゴリ | 解決済み | 率 |
|---|---|---|
| コードオンボーディング | 17/28 | 60.7% |
| アーキテクチャとシステム設計 | 23/44 | 52.3% |
| 原因分析 | 17/37 | 45.9% |
| セキュリティ | 5/11 | 45.5% |
| APIとライブラリの使用/統合 | 1/4 | 25.0% |
方法
予算が許す限り、Scaleが公開したプロトコルに可能な限り従いました:
- タスク: scaleapi/SWE-Atlas(Apache-2.0)から、変更なしのCodebase QnAタスク全124件 — Scaleが提供する
mswea_qa_config.yamlエージェント設定(システム/インスタンステンプレート、step_limit: 250)を含む。 - ハーネス: SWE-AtlasのREADMEに従い、Modalサンドボックスを使用したHarbor v0.18.0。
- スコフォールド: mini-swe-agent v2.4.6に固定 — Scaleがリーダーボード上のサードパーティ製でないモデルに使用する、同じ最小限のbashのみのスコフォールド。
- モデル: OpenCode ZenのOpenAI互換エンドポイント(
https://opencode.ai/zen/v1)経由のbig-pickle、litellmルートopenai/big-pickle。総消費量:674M入力 / 4.3M出力トークン、費用$0(モデルはステルス期間中は無料)。 - ジャッジ: Scaleが指定する正確なジャッジモデル
claude-opus-4-5-20251101— AnthropicのOpenAI互換エンドポイント(https://api.anthropic.com/v1)経由でアクセスし、EVAL_MODELをベアのAnthropicモデルIDにオーバーライド。 - スコアリング: ベンチマーク独自のルーブリックベースの検証ツールをそのまま使用。タスクは、すべての必須ルーブリックがパスした場合にのみ解決とみなされる。
注意点
数値を引用する前にこれらを読んでください:
- タスクごとの単一試行(
-k 1)。公式プロトコルは3回の試行を実行し、平均値を報告します。n=124の場合、単一試行の標準誤差は約±4.5ポイントとなり、リーダーボード自身の報告誤差範囲(±5)と同等です。 - サンドボックスリソースの削減。 タスクは16 CPU / 16 GBを宣言していますが、この実行では個人予算に合わせて4 CPU / 8 GBを使用しました。コマンド実行速度の低下は、エージェントのスコアを下げる可能性はありますが(コマンドタイムアウトやOOMキルによる)、上げることはありません。経験的に、これは影響がなかったようです。124個すべてのエージェントの軌跡のスキャンにより、コマンドタイムアウトとexit-137キルはゼロであり、コマンドが900秒の制限またはメモリ制限に達することはありませんでした。
- 自己報告。 Scaleはこの評価を実行または検証していません。このリポジトリのタスクごとの検証ログ全体により、独立した監査が可能であり、実行はここにある設定と公開されているSWE-Atlasリポジトリから再現可能です。
- モデルの身元は不明。 big-pickleは公式には確認されていません。漏洩したプロバイダーエラーとAPI応答シグネチャは、現在DeepSeekインフラストラクチャによって提供されていることを示唆しています。基盤となるモデルは予告なく変更される可能性があるため、この結果は2026年8月11日時点のエイリアスの背後にあったもののスナップショットです。
- データ公開。 OpenCodeは、無料期間中のbig-pickleへのプロンプトがモデル改善に使用される可能性があると述べています。ベンチマークのタスクコンテンツ(既に公開されており、Scaleによってカナリアマークされています)は、必然的にそのエンドポイントに送信されました。
- 2つの解決済みタスクにはスコア付けされていないルーブリックがありました。
task-...ba9ad(11ルーブリック中5つ)およびtask-...baa1d(1ルーブリック)では、ジャッジは8回の再試行すべてで解析不能な出力を返しました。ベンチマークの検証ツールは、設計によりスコア付けされていないルーブリックをパス計算から除外します。スコア付けされていないものを失敗と見なした場合、厳密な下限は61/124 = 49.2%となります。これは依然として、すべてのMini-SWE-Agentリーダーボードエントリを上回っています。すべての検証ログが含まれているため、どちらの規約も適用できます。
再現方法
git clone https://github.com/scaleapi/SWE-Atlas && cd SWE-Atlas
git clone --branch v0.18.0 --depth 1 https://github.com/laude-institute/harbor.git
uv tool install ./harbor --with modal && uv tool install modal && modal setup
# このリポジトリから: run_config/qa, run_config/tw, run_config/rf を
# SWE-Atlas/run_config/ にコピー(サブディレクトリを維持 — スクリプトは
# .env と Scale の mswea_*_config.yaml を自身の場所からの相対パスで解決します)。
# preflight.sh と .env.example を SWE-Atlas のルートにコピーし、
# .env.example から .env を作成してから、以下を実行します:
./preflight.sh
bash run_config/qa/big-pickle_smoke.sh # まず3タスクの煙テスト
bash run_config/qa/big-pickle_miniswe.sh # 全124タスクの実行
設定が既に処理している、苦労して得た注意点:
--ak reasoning_effortをopenai/プレフィックス付きモデルで渡さないでください — Harborはmini-swe-agentをOpenAI Responses APIにサイレントに切り替えますが、Zenのようなチャットコンプリーションのみのエンドポイントは提供していません。- エージェントとジャッジの認証情報を分離してください。 ジャッジはホストの
OPENAI_API_KEY/OPENAI_API_BASE(各タスクの[verifier.env]経由)を読み取ります。エージェントのZen認証情報は、--aeのペルエージェントオーバーライドを通じて渡されます。 --aeにシークレットをリテラルではなく${VAR}テンプレートとして渡してください。 Harborはジョブ状態を永続化する際にリテラルシークレットを****に編集しますが、これは即時401エラーでharbor job resumeを壊します。テンプレートはラウンドトリップし、ホスト環境から再解決されます。- Modalの
Failed to read exec stdio streamエラーにより、試行の数パーセントが失敗することを予想してください。harbor job resume -f <ErrorType> ...でクリーンに再実行できます。
全QnA実行の概算コスト:Modalコンピューティングで約$70(サンドボックスリソース削減時。宣言された16 CPU/16 GBでは約2〜3倍)、ジャッジ用にAnthropic APIで約$25、モデルは$0。
リポジトリの内容
results/per_task_results.csv— タスクID、カテゴリ、言語、解決済み、集計ルーブリックスコア、パスしたルーブリック数/合計数results/summary.json— ヘッドライン数と内訳results/verifier_logs/— すべてのタスクに対するジャッジの完全なルーブリックごとの出力(監査証跡)。(flipped from raw=0)のような注釈は、ベンチマーク独自の検証ロジック(evaluate_answer.pyはネガティブ極性でマークされたルーブリックを反転させます)であり、事後再採点ではありません。run_config/— 使用された正確なHarbor実行スクリプト(QnAスモーク+フル、および未テストのテストライティング/リファクタリングバリアント)preflight.sh— モデルとジャッジ両方のエンドポイント/認証チェック
帰属
- SWE Atlas ベンチマーク © Scale AI, Apache-2.0 — ペーパー: arXiv:2605.08366。著者らの要望により、SWE Atlasはトレーニングターゲットではなく、進捗の離散信号として扱ってください。
- Harbor (Laude Institute) および mini-swe-agent (SWE-agentチーム)。
- big-pickleはOpenCode Zenによって提供されています。
このリポジトリの評価設定と結果はMITライセンスです。