Big Pickle on SWE Atlas – Codebase QnA

Big Pickle on SWE Atlas — Codebase QnA タスク解決率: 50.8% (63/124) — OpenCode Zen上の無料ステルスモデルであるbig-pickleは、Scale AIのSWE Atlas Codebase QnAベンチマークで、mini-swe-agentのスケルトンを使用して評価されました。公式のオープンソースハーネス、タスクデータ、およびジャッジモデルを使用して2026年8月11日に実行されました。 公式SWE Atlas QnAリーダーボード（2026年7月28日更新）との比較: モデル (スケルトン) タスク解決率 Opus 5 (Claude Code, xHigh) 63.17 Opus 4.8 (Claude Code, xHigh) 57.26 big-pickle (Mini-SWE-Agent) — 今回の実行 50.81 GLM 5.2 (Mini-SWE-Agent) 48.12 GPT-5.6-Sol (Codex, xHigh) 46.00 GPT 5.5 (Codex, xHigh) 45.43 Mini-SWE-Agentスケルトンクラス内での比較（apples-to-apples比較）では、今回の実行結果は公式リーダーボード上のすべてのエントリを上回り、CodexスケルトンのGPTエントリも上回っています。ネイティブのClaude Codeスケルトンで実行された2つのClaudeモデルのみがより高いスコアを記録しました。この数値をリーダーボード同等のものとして扱う前に、以下の注意点を参照してください。 言語別 言語 解決率 TypeScript 18/31 58.1% Python 16/29 55.2% Go 19/38 50.0% C 10/26 38.5% カテゴリ別 カテゴリ 解決率 コードオンボーディング 17/28 60.7% アーキテクチャとシステム設計 23/44 52.3% 根本原因分析 17/37 45.9% セキュリティ 5/11 45.5% APIおよびライブラリの使用/統合 1/4 25.0% 方法 予算が許す限り、Scaleの公開プロトコルに厳密に従いました。 タスク: scaleapi/SWE-Atlas（Apache-2.0）の全124件のCodebase QnAタスク。Scaleが出荷したmswea_qa_config.yamlエージェント設定（システム/インスタンステンプレート、step_limit: 250）を含め、変更なし。 ハーネス: SWE-Atlas READMEに従い、Modalサンドボックスを使用したHarbor v0.18.0。 スケルトン: mini-swe-agentを2.4.6にピン留め。これはScaleがリーダーボード上のサードパーティ製以外のモデルに使用する最小限のbashのみのスケルトンと同じです。 モデル: OpenCode ZenのOpenAI互換エンドポイント（https://opencode.ai/zen/v1）経由のbig-pickle。litellmルートはopenai/big-pickle。 総消費量: 入力674M / 出力4.3Mトークン。コストは$0（モデルはステルス期間中は無料）。 ジャッジ: Scaleが指定する正確なジャッジモデルclaude-opus-4-5-20251101。EVAL_MODELをベアのAnthropicモデルIDにオーバーライドして、AnthropicのOpenAI互換エンドポイント（https://api.anthropic.com/v1）経由でアクセス。 スコアリング: ベンチマーク独自のルーブリックベースの検証ツール。変更なし。タスクは、すべての必須ルーブリックが合格した場合にのみ解決とみなされます。 注意点 数値を引用する前に必ずお読みください: タスクごとの単一試行 (-k 1)。公式プロトコルは3回の試行を実行し、平均値を報告します。n=124の場合、単一試行の標準誤差は約±4.5ポイントであり、リーダーボード自身の報告誤差（±5）と同等です。 サンドボックスリソースの削減。タスクはCPU 16 / RAM 16 GBを宣言していますが、この実行では個人予算に合わせてCPU 4 / RAM 8 GBを使用しました。コマンド実行速度の低下は、エージェントのスコアを下げる可能性はありますが（コマンドタイムアウトやOOMキルによる）、上げることはできません。経験的には影響はなかったようです。全124タスクのトレースをスキャンした結果、コマンドタイムアウトやexit-137キルはゼロでした。コマンドが900秒の制限やメモリ制限に達することはありませんでした。 自己申告。Scaleはこの評価を実行または検証していません。このリポジトリにある完全なタスクごとの検証ログにより、独立した監査が可能であり、実行はこのリポジトリの設定と公開されているSWE-Atlasリポジトリから再現可能です。 モデルの識別情報不明。big-pickleは公式には確認されていません。漏洩したプロバイダーエラーとAPI応答の署名から、現在DeepSeekインフラストラクチャによって提供されていることが示唆されています。基盤となるモデルは予告なく変更される可能性があるため、この結果は2026年8月11日時点のエイリアスの背後にあるものをスナップショットしたものです。 データ公開。OpenCodeによると、無料期間中のbig-pickleへのプロンプトはモデル改善に使用される可能性があります。ベンチマークのタスクコンテンツ（既に公開されており、Scaleによってカナリアマークされている）は、必然的にそのエンドポイントに送信されました。 解決したタスクのうち2件には、スコア付けされていないルーブリックがありました。タスク-...ba9ad（11ルーブリック中5件）とタスク-...baa1d（1ルーブリック）では、ジャッジは8回の再試行すべてで解析不能な出力を返しました。ベンチマークの検証ツールは、設計によりスコア付けされていないルーブリックを合格計算から除外します。スコア付けされていないものを失敗とみなした場合、厳密な下限は61/124 = 49.2%となります。これは依然として、Mini-SWE-Agentリーダーボード上のすべてのエントリを上回っています。すべての検証ログが含まれているため、どちらの規約も適用できます。 再現方法 git clone https://github.com/scaleapi/SWE-Atlas && cd SWE-Atlas git clone --branch v0.18.0 --depth 1 https://github.com/laude-institute/harbor.git uv tool install ./harbor --with modal && uv tool install modal && modal setup # このリポジトリから: # run_config/qa, run_config/tw, run_config/rf を # SWE-Atlas/run_config/ にコピーする（サブディレクトリを維持する — スクリプトは .env と Scale の mswea_*_config.yaml をそれらの場所から解決する） # preflight.sh と .env.example を SWE-Atlas のルートにコピーし、 # .env.example から .env を作成してから、以下を実行: ./preflight.sh bash run_config/qa/big-pickle_smoke.sh # まず3タスクのスモークテスト bash run_config/qa/big-pickle_miniswe.sh # 全124タスクの実行 苦労して得た注意点（設定で既に処理済み）: --ak reasoning_effort を openai/ で始まるモデルに渡さないでください。Harborはmini-swe-agentをOpenAI Responses APIにサイレントに切り替えますが、Zenのようなチャットコンプリーション専用エンドポイントはそれをサービスしません。 エージェントとジャッジの認証情報を分離してください。ジャッジはホストのOPENAI_API_KEY/OPENAI_API_BASE（各タスクの[verifier.env]経由）を読み取ります。エージェントのZen認証情報は、--aeのペルエージェントオーバーライドを通じて渡されます。シークレットはリテラルではなく、${VAR}テンプレートとして--aeに渡してください。Harborはジョブ状態を永続化する際にリテラルシークレットを****にマスクするため、Harborジョブの再開が即座に401エラーで失敗します。テンプレートはラウンドトリップし、ホスト環境から再解決されます。 ModalのFailed to read exec stdio streamエラーにより、試行の数パーセントが失敗することを想定してください。harbor job resume -f <ErrorType> ... でクリーンに再実行できます。 全QnA実行のおおよそのコスト: Modalコンピューティングで約70ドル（サンドボックスリソース削減時。宣言された16 CPU/16 GBでは約2～3倍）、ジャッジ用にAnthropic APIで約25ドル、モデルは$0。 リポジトリの内容: results/per_task_results.csv — タスクID、カテゴリ、言語、解決済み、集計ルーブリックスコア、合格/総ルーブリック数 results/summary.json — ヘッドライン数と内訳 results/verifier_logs/ — 各タスクのジャッジによる完全なルーブリックごとの出力（監査証跡）。(flipped from raw=0) のような注釈は、ベンチマーク独自の検証ロジック（evaluate_answer.py はネガティブ極性でマークされたルーブリックを反転させる）であり、事後再採点ではありません。 run_config/ — 使用された正確なHarbor実行スクリプト（QnAスモークテスト+フル、および未テストのTest Writing / Refactoringバリアントを含む） preflight.sh — モデルとジャッジの両方のエンドポイント/認証チェック 帰属 SWE Atlasベンチマーク © Scale AI, Apache-2.0 — ペーパー: arXiv:2605.08366。著者の要望により、SWE Atlasはトレーニングターゲットではなく、進歩の保留信号として扱ってください。 Harbor (Laude Institute) および mini-swe-agent (SWE-agent team)。 big-pickleはOpenCode Zenによって提供されています。 このリポジトリの評価設定と結果はMITライセンスです。