SWE-1.7、GPT 5.5およびOpusインテリジェンスに迫る

本日、当社がこれまでにトレーニングした中で最も高性能なモデルであるSWE-1.7をリリースします。これは、はるかに低いコストで最先端レベルの知能に到達し、コストパフォーマンスのパレート曲線を進化させます。 SWE-1.7は、当社のRLパイプライン全体にわたる広範な改善の結果です。インフラストラクチャの向上、より安定したトレーニング、高品質なデータ、そして長期間のタスクのための新しいテクニックが含まれます。SWE-1.7は、すでに広範なRLポストトレーニングを経たKimi K2.7をベースにトレーニングされたため、当社独自のトレーニングによる追加的な大幅な向上は、「ポストトレーニングの天井」という考え方に疑問を投げかけ、RLが以前考えられていたよりもはるかに能力を押し上げることができることを示唆しています。 Cognitionでは、評価においてはFrontierCode1,2、そしてトレーニングにおいてはSWE-1.7を用いて、優れたエージェント型ソフトウェアエンジニアリングのための原則を定式化し、洗練させてきました。当社のモデルは、高品質なソフトウェアエンジニアリングの重要な要素である、長期間にわたる非同期タスクに特に最適化されています。 SWE-1.7は、Cerebrasを介してDevin（Web、デスクトップ、CLI）で、1000 TPSで本日より利用可能です。ぜひご自身でお試しください！ コーディングベンチマークの結果 エージェント型コーディングベンチマークにおける合格率（%）。 ベンチマーク SWE-1.7 Kimi K2.7 CodeGPT-5.5 Opus 4.8 Opus 4.7 GLM-5.2 Composer 2.5 SWE-1.6 FrontierCode 1.1 Main 42.3% 30.1% 43.0% 46.5% 38.5% 24.5% 25.6% 9.4% Terminal-Bench 2.1 81.5% 72.7% 84.2% 86.9% 83.0% 81.0% 76.0% 39.7% SWE-Bench Multilingual 77.8% 73.5% 76.8% 84.4% 80.5% 74.5% 71.6% 58.3% この記事の残りの部分では、SWE-1.7のトレーニング方法について説明します。モデルの背後にあるインフラストラクチャ、アルゴリズム、およびデータ作業について説明します。ここでは、際立った4つの重要なコンポーネントについて説明します。 エントロピーの維持とトレーニングの安定化：長期間のRL実行は、エントロピーの崩壊と、トレーニングと推論間の数値ドリフトによる不安定性という2つの困難な問題に直面します。私たちはそれぞれの原因を特定し、対処しました。これにより、以前の実行が停滞した地点をはるかに超えても、トレーニングが改善し続けることが可能になりました。 マルチクラスタートレーニングと耐障害性：RLは、すべての推論コンピューティングを1つのクラスターに配置する必要はありません。私たちは3大陸にまたがるクラスターでトレーニングを行い、オブジェクトストレージを介して重み更新を送信し、ハードウェア障害が実行を停止させないように耐障害性を構築しました。 高品質なデータのキュレーション：自動実行テストで各タスクを実行し、学習信号が低いタスクを除外し、報酬ハッキングを防ぐためにタスクを強化する、広範なデータ品質パイプラインを構築しました。 長期間タスクのための自己圧縮：モデルは、作業状態を要約し、その要約から再開することを学習し、タスクのホライゾンを生のコンテキストウィンドウを超えて拡張します。正確さを犠牲にすることなく、簡潔な出力を奨励するために、交互の長さペナルティを使用します。 最後に、トレーニング設定の結果としてモデルが獲得した、慎重な探索や簡潔な推論などの興味深い行動傾向に関するいくつかの観察結果を共有して締めくくります。 エントロピーの維持とトレーニングの安定化 トレーニングの安定性は、大規模な予測可能な改善の重要な貢献者であることがわかりました。 非同期RL3でトレーニングする場合、遭遇した最も問題のある問題の1つは、トレーナーポリシーがサンプリングポリシーと異なるため、推論とトレーニング間のKLダイバージェンスの不一致4でした。過去には、これを修正するために（より小規模ながら）、NVFP4 +エキスパートルーティングリプレイ6,7での低精度ロールアウトのために、重要度サンプリング5と量子化認識トレーニングを使用しました。 ここでは、大規模になるにつれて重要性が増す追加の介入を提示します。 top-pサンプリング8は、強力なモデルが数百ステップで探索を停止し、報酬がプラトーになるエントロピー崩壊9,10を回避するのに大きく貢献することがわかりました。 非常に低い確率のトークンは、しばしばトラックを外れたり、分布外に出たりした軌跡の一部です。これらの軌跡は低い報酬を生み出す可能性が高く、ソフトマックス関数の特性により、これらのトークンはトークン確率分布をシャープにします。実際、3つのトークンがあり、ロジットがx1>x2≫x3で、確率がpi=exiex1+ex2+ex3であると仮定します。ここで、トークン3は低い報酬につながる低確率トークンです。トークン3をサンプリングした場合、ロジットx1,x2,x3に対するlogprobの勾配は次のようになります。 ∇logp3=∇log[ex3ex1+ex2+ex3]=[−p1−p2p1+p2] そして、ロジットへのポリシー勾配更新はΔxi∝A^ ∇logp3となり、ここでA^はサンプリングされたトークンのアドバンテージです。この軌跡は低い報酬を得るため、A^<0となり、更新は Δx1∝∣A^∣ p1, Δx2∝∣A^∣ p2, Δx3∝−∣A^∣ (p1+p2). これらの更新では、x3はペナルティを受け、x1はx2よりも大きく成長します。したがって、x3のサンプリングは、すでに支配的なトークンのリードを広げ、分布をシャープにし、エントロピーを減少させます。Top-pppサンプリングは、これらの低確率トークンが最初にサンプリングされ、最適化ターゲットとして使用されるのを防ぎます！ トレーニング中のポリシーエントロピー このエントロピー維持効果により、top-pppサンプリングはロールアウトで望ましいものとなります。しかし、top-pppを単純に実装すると、トレーニングと推論の不一致が明らかに増加します。トレーナーはすべてのトークンからの選択として確率を計算しますが、ロールアウトはtop-pppサブセットからサンプリングするため、分布はより高いダイバージェンスを持ち、数ステップ後に崩壊につながります。したがって、サンプリング分布リプレイ11を実装します。これは、ロールアウト時にサンプリング可能なトークンのキープセットを記録し、トレーナーでこれらのマスクを使用して確率を正規化します。この修正により、実行のエントロピーはトレーニングの全期間にわたってほぼ一定に保たれ、推論とトレーニングのダイバージェンスは境界内に保たれます。 トレーニング中のトレーニング-推論の不一致 top-pサンプリングリプレイを使用することによるもう1つの興味深い結果は、p<top_p_thresholdのトークンのみをターゲットにすることです。しきい値を超える確率を持つトークンはキープセットサイズが1であるため、正規化された確率分布は定数1となり、勾配はゼロになります。経験的に、モデルによってサンプリングされるトークンの大部分が標準的なtop-pしきい値を超えているため、全体的な勾配計算から除外されることがわかりました。これにより、勾配ノイズが減少し、最適化アルゴリズムは軌跡内の高学習信号トークンに集中できます。 また、Muonオプティマイザー12を使用し、トレーナー内の非決定的な操作を排除することからも利点が得られることがわかりました。 マルチクラスタートレーニング Cognitionは、確立されたランドスケープに参入する急速に成長している研究ラボであり、計算リソースが大幅に制約されています。私たちは兆パラメータモデルをトレーニングすることを目指していますが、今日では、単一のネットワークファブリック上の10〜10万チップを持つ大規模クラスターは希少なリソースです。対照的に、世界中の小規模クラスターは、正しく使用されれば豊富に存在します。 この設定では、RLの構造が有利に働きます。RLは複数のクラスターにわたって自然に分解されます。トレーナーのみが高帯域幅クラスター上に存在する必要があります。ロールアウトを生成する推論エンジンは自己完結型です。それらはどこでも実行でき、現在の重み以外には何も必要としません。 私たちはこの特性を活用するインフラストラクチャに投資しました。当社のRLトレーニングは、3大陸にわたる4つのデータセンターにまたがり、複数のクラスターにわたる独自のGPUと、Fireworksのような推論プロバイダーからの追加コンピューティングを組み合わせています。その結果、単一のクラスターでは不可能なレベルまでRLトレーニングをスケーリングできます。 TRAINER CLUSTER · US ROLLOUT CLUSTERS · 3 CONTINENTS データバッファ 状態 プロンプト入力 · スコア付きデータ出力 ロールアウトマネージャー 制御 カスタムロールアウト生成 初期プロンプト送信 スコア付きデータ受信 生成リクエスト