Cognition、Fable 5.1やGPT-Astraに匹敵する新モデルSWE-2を発表

本日、私たちはこれまでの最も高度なコーディングモデルであるSWE-2を発表します。これは、能力とコストのパレートフロンティアを押し上げ、FrontierCode 1.1 Mainで50.0%を達成し、Fable 5.1に1ポイント以内でありながら64%安価です。 SWE-2では、SWE-1.72のトレーニングインフラストラクチャとレシピを基盤に、初めて強化学習（RL）を多兆パラメータ領域にスケールアップしました。主な追加点は、単一の実行ですべての推論努力レベルを訓練するRLアルゴリズムであり、コストパフォーマンスのフロンティア全体を進歩させます。 ベースモデル トレーニング終了 その結果、私たちのモデルはフロンティアに最も近づきました。FrontierCode 1.1 MainとDeepSWE 1.1において、SWE-2はスコアとコストの両方でSWE-1.7およびGrok 4.6を上回り、GPT-5.6 SolとFable 5/5.1に匹敵する性能をそれらの価格のわずかな一部で実現し、GPT-6 Astraにはその4分の1のコストで数ポイント差に迫っています。 FrontierCodeリーダーボードでのモデルランキングを見る→ SWE-2は、既にエージェントコーディングのための広範なRLを経た2.8兆パラメータモデルであるKimi K33からポストトレーニングされています。SWE-1.7と同様に、私たちのRLは依然としてかなりのヘッドルームを見つけ、多くのベンチマークで5〜6ポイントを追加し、K3のコストパフォーマンスフロンティア全体をシフトさせています。 コーディングベンチマーク結果 ベンチマーク SWE-2 Kimi K3 Grok 4.6 Fable 5.1 GPT-5.6 Sol GPT-6 Astra SWE-1.7 FrontierCode 1.1 Main 50.0% 44.2% 48.0% 50.9% 47.5% 53.3% 42.0% DeepSWE 1.1 73.0% 68.5% 67.5% 67.4% 72.7% 74.1% 37.7% Terminal-Bench 2.1 92.8% 88.3% 88.4% 91.4% 88.8% 89.9% 81.5% Terminal-Bench 4 27.3% 21.5% 20.3% 55.8% 37.3% 57.9% 7.6% この記事の残りの部分では、SWE-2が何が異なり、どのようにトレーニングしたかを説明します。 まずSWE-2の動作に焦点を当て、以前のモデルと比較して効率性と知能を高めている特性を説明します。次に、SWE-2の背後にあるポストトレーニングの進歩を詳しく説明します。 コストペナルティ。単一のRL実行で、各努力レベルに線形コストペナルティを適用します。各ペナルティは、ベースモデルのパレートフロンティアのローカルスロープに合わせて調整されます。このアプローチは、モデルのパレートフロンティア全体を、その形状を維持しながら進歩させ、ユーザーの実際のコストをトレーニングに可能な限り直接反映させるために、第一原理から導き出されています。 報酬ベースライン。SWE-1.6以降使用している長さ重み付き報酬ベースラインを導出し、それがトレーニングを大幅に安定させる方法を示します。 RLロールアウトサービング。デコーディングスループットを向上させるために、スケジューリングを改善し、オンラインドラフトモデルをトレーニングします。NVFP4/FP8カーネルと量子化認識トレーニングにより、メモリ使用量を削減し、ほぼ3倍のパラメータを持つベースモデルを使用しているにもかかわらず、SWE-1.7と同等のスループットで、より低いトレーニング推論ミスマッチを達成します。 トレーニングデータ。RL環境の数を3倍にし、指示追従オーバーレイを追加し、以前のSWE-2のチェックポイントによって強化されたフライホイールを構築して、検証器を反復的に強化します。 SWE-2は本日よりDevin DesktopおよびCLIで利用可能です。Devin WebおよびFusionでも展開中です。 モデルの動作 SWE-2の知能と効率性の向上は密接に関連しています。より強力なエンジニアリング判断により、エージェントはより完全なソリューションを作成し、回り道や冗長な読み取りを減らすことができます。FrontierCode 1.1 Mainでは、SWE-2 mediumがSWE-1.7よりも高いスコアを達成し、ターン数が58%少なく、平均コストが81%削減されていることがわかります。 SWE-1.7 vs. SWE-2 on FrontierCode 1.1 Main: 平均ステップ数/実行 SWE-1.7 127 SWE-2 medium 53 SWE-2 high 80 SWE-2 max 98 0 50 100 探索（読み取り/grep/ls） 計画/todo 書き込み/編集コード ビルド（make/lint） テスト実行 git add/commit 最終メッセージ 各モデルと各タスクの3回の実行を使用し、各ステップが呼び出すツールごとにグループ化された、100タスクのFrontierCode 1.1 Mainタスク全体での平均メトリック。 以前の投稿で、SWE-1.7がコードベースを徹底的に探索してから編集を行うため、非常に慎重であることが観察されました。パフォーマンスは向上しましたが、SWE-1.7は単純なタスクで過剰に探索し、考えすぎる傾向があるというユーザーフィードバックがありました。この点に関して有望なのは、SWE-2からの効率性の向上は、集中した探索から得られるということです。より高い知能により、モデルはタスクにとって実際に重要なコードベースの部分を判断できます。これにより、SWE-2はより早く実装を開始できます。FrontierCode 1.1 Mainでは、SWE-2 mediumが最初の実際の編集を行うまでのメディアンステップ数が18ステップであるのに対し、SWE-1.7では48ステップであることが観察されています。 例：トレイン 表示 SWE-2を社内でテストした結果、より高いモデル能力が以下の行動パターンにも現れていることが観察されました。 テストカバレッジ: SWE-2は、実装をエンドツーエンドでチェックするテストを作成するのに優れており、リグレッションやエッジケースをより確実に検出します。 リソースの活用（ユーザーの境界内）: 明らかなパスがブロックされている場合、SWE-2は同じ答えに到達するための別のルートを探す意欲があります。あるケースでは、必要なMCP統合が利用できなかったため、既にアクセス可能だったSlackチャネルの履歴からデータを再構築しました。 検証規律: 挑戦された場合、SWE-2は再主張するのではなく、結論を再導出します。SWE-2は、単に同意するのではなく、ユーザーの仮説を検証し、表面的な文章を信頼するのではなく、証拠を収集するために成果物を実行します。その結果、結論を信頼できるモデルが得られます。 努力レベル間にも実際の行動の違いが見られます。SWE-2 mediumははるかに迅速に行動に移り、単純および中程度のタスクでコスト効率の高いパフォーマンスを実現します。SWE-2 highおよびmaxは、複雑なタスクで優位性を保ちます。より多くの計画を立て、コードベースをより多く探索し、より複雑な検証を通じて不確実性を管理します。 次に、これらの行動的特徴をもたらしたと思われるポストトレーニング方法論の改善点である、RLにおけるパレート最適化コストペナルティについて説明します。 RLによるパレートフロンティアの押し上げ モデルがより知的で高価になるにつれて、コーディングエージェントの分野ではコストパフォーマンスのトレードオフがますます重要になっています。したがって、SWE-2のトレーニングでは、モデルの知能を最適化するだけでなく、利用可能なコストパフォーマンスのトレードオフの範囲全体を最適化することを目指しました。 ポストトレーニングレシピは、長さのペナルティ付けと複数の努力レベルのトレーニング方法が大きく異なります。たとえば、Kimi K3は、ドメインと努力レベルの各組み合わせに対して個別のエキスパートをトレーニングし、その後、マルチティーチャーオンポリシー蒸留を通じてエキスパートを1つのモデルに統合します。また、問題固有（およびトレーニングステップ固有）のトークン予算も使用します。 このような広範で理解が難しいさまざまなアプローチの範囲に直面して、私たちは単一のRL実行中にすべての努力レベルをエンドツーエンドでトレーニングするためのエレガントで原則的な方法を提示します。 トレーニング中のパレートフロンティアの進捗 Kimi K3 トレーニング終了 私たちは、次の形式のコストペナルティ付き報酬関数を使用してこれを達成します。 R = S - λe C ここで、S ∈ {0,1}はロールアウトが成功したかどうかを示し、Cはロールアウトのコスト（USDでの推論コストとロールアウト時間の組み合わせ）であり、eは努力レベル、λeは努力レベルeでのベースモデルのパレート曲線のスロープに一致するように調整されたパラメータです。 Kimi K3のパレート曲線接線の近似 これらの選択は直感に反するように見えるかもしれませんが、これからわかるように、パレートフロンティアを押し上げるという私たちの目標から論理的に導き出された結論です。 コストペナルティの導出 次に、モデルのコストパフォーマンスパレートフロンティアを直接最適化するRL目的関数Rを選択した方法を説明します。ここでは、「コスト」は平均コストを指し、「パフォーマンス」はソルブレートを指し、どちらもトレーニングタスクの分布Dの平均です。コストパフォーマンス平面上の点は、タスク分布の平均コストと平均ソルブレートに依存し、それ以外はDに依存しないことを思い出してください。したがって、RL目的関数を平面上のモデルの位置に合わせるために、D上のRの期待値がこの平均コストとソルブレートのみに依存するようにしたいと考えます。 事実として、ロールアウトコストと成功の各ジョイント分布に対してこの等式を保証することは、線形コストペナルティ（加算定数とスケーリングを除く）を強制します。なぜなら、線形ペナルティのみが...