DaisyRose-27B: 1,200タスクのRLでQwen3.8をTerminal-Bench 4.1で5.6%から12%に向上
DaisyRose-27B: 1,200-task RL took Qwen3.8 from 5.6% to 12% on Terminal-Bench 4.1 (radixark.com)
要約
RadixArkは、Qwen3.8-27Bをベースにした初のモデル「DaisyRose-27B」を発表しました。このモデルは、1,200の厳選されたタスクを用いた18日間の強化学習(RL)により、Terminal-Bench 4.1のパスレートを5.6%から12.0%に向上させました。効率的なインフラと高品質なデータ設計により、限られた計算リソースで大幅な性能向上を実現しています。
全文翻訳
DaisyRose-27B: トレーニング後効率のフロンティアを押し広げる
[画像: DaisyRose-27B: モデル名を運ぶデイジーとバラ]
本日、RadixArk初のモデルであるDaisyRose-27Bをリリースします。これはQwen3.8-27Bをベースに、Milesを使用した強化学習でトレーニングされました。セッション長最大100万トークンのロングホライゾンエージェントタスクで、わずか1,200の厳選されたタスクを18日間、144基のH200 GPUでトレーニングしました。DaisyRose-27Bは、Terminal-Bench 4.1のパス@1を5.6%から12.0%に向上させました。Terminal-Bench 4.1以外にも、様々な推論、指示追従、コーディングベンチマークで性能向上をもたらしています。
皆様が試したり、構築したりできるよう、BF16、FP8、NVFP4のチェックポイントを公開します。本稿では、慎重に設計されたタスクと効率的なインフラが、限られた計算予算でこれらの成果をどのように実現したかを説明します。
DaisyRose-27Bは、上記のすべてのベンチマーク1で元のQwen3.8-27Bモデルよりも高いスコアを記録しました。最も顕著な向上は、非常に困難なロングホライゾンベンチマークであるTerminal Bench 4.1で見られました。私たちの「魔法」は、以下の3つの主要な要素にあります:高品質なトレーニングデータ、効率的なトレーニングバックエンド、そして堅牢なサンドボックスです。
高品質なトレーニングデータ
Eigent AIとのパートナーシップにより、機械学習、ソフトウェアエンジニアリング、科学などの分野におけるEigent AIの豊富なタスクプールからタスクを構築しました。共同で数千の候補を作成し、そのうち約1,200が最終的なトレーニングセットに含まれました。トレーニングタスクは、3つの基準に基づいて選択されています。
- 各タスクは、元のモデルが犯す間違いを標的としています。 元のQwen3.8-27Bを各トレーニングタスクで実行し、モデルに修正させたい間違いを引き出すように各タスクを注意深く再設計しました。その後、モデルが学習するのに適した範囲(簡単すぎず、難しすぎない)に解決率が収まるまで、各タスクを調整しました。
- 各タスクは、複数の問題が連鎖した長時間のジョブです。 各タスクは、相互に依存する一連の問題を含んでおり、エージェントは推論、計画、実行の複数の段階をナビゲートする必要があります。各試行はサンドボックス内で最大1.5時間実行され、100回以上のツール呼び出しと25万6千トークン以上の出力が可能です。
- 報酬ハッキングの余地はありません。 モデルがタスクを試行した際の記録とともに、各タスクをレビューしました。実際に解決することなくパスできるタスクや、設計上の欠陥があるタスクは、トレーニング前に修正または削除されました。
効率的なトレーニングバックエンド
RadixArkは、大規模モデルのトレーニング後処理用オープンソース強化学習フレームワークであるMilesを使用して、DaisyRose-27Bを完全に非同期モードでトレーニングしました。エージェントはモデルが学習している間も作業を続け、互いに待つことはありません。128基のH200 GPUがエージェントタスクの推論を実行する間、さらに16基がトレーナーを実行し、軌跡から学習します。各ステップの後、更新されたモデルはエージェントを実行している128基のGPUに配信されます。学習は、エージェントトレーニング用に構築された内部トレーニングバックエンドで実行されます。各ステップは、ハーネス要約を通じて複数の軌跡に折りたたまれた、最大100万トークンという非常に長いセッションのいくつかから学習します。
トレーニングコストが57%低下。 今回のリリースでは、GPUのピーク計算能力の37%が、当社のバックエンドで有用なトレーニング作業(モデルFLOPs利用率、MFU)に費やされました。Megatronをベースにしたオープンソーストレーナーは、同等の実行で16%を達成しました。したがって、同じトレーニングに必要なGPU時間は57%少なくなります。混合エキスパートモデルでは、この利点はさらに大きくなります。Qwen3.6-35B-A3Bでは6.2倍、約3000億パラメータのGLM-5.3-Flashでは10倍以上です。
エンドツーエンドで2倍高速化。 エージェントがタスクに費やす時間を考慮すると、今回のリリースでは144基のGPU全体で毎秒約16,800トークンをトレーニングしました。オープンソーストレーナーは、同じGPUで約8,300トークンを達成しました。
数週間にわたり安定。 今回のリリースでは、144基のH200 GPUで数週間にわたり、合計63,000 GPU時間トレーニングを行いました。最初のステップから最後までの速度と効率は安定して維持されました。
144基のH200 GPUでのDaisyRose-27Bリリース実行の各トレーニングステップを、総トレーニング時間に対してプロット。破線:同等の実行におけるオープンソーストレーナー。
堅牢なサンドボックスサービス
トレーニング中、エージェントの各試行はサンドボックス内で実行されます。これはタスク環境の新しいコピーであり、エージェントはコマンドを実行し、ファイルを編集し、その後評価されます。RadixArkチームによるこのリリースに関する作業のすべては、オープンソースのAgentENVプロジェクトを基盤とする当社のサービス上のサンドボックスで実行され、私たちはそれに修正も貢献しています。9月中旬から11月中旬にかけて、このプロジェクトのために約944,000のサンドボックスが実行され、ピーク時には1,566のサンドボックスが同時に稼働しました。
成長とともに信頼性を向上。 サービスは単一のマシンから最大12台のマシンに拡張されました。10回のアップグレードをリリースしましたが、そのほとんどはトレーニング実行中に実施されました。9週間の全期間を通じて、サンドボックス作成の99%が成功し、10月下旬以降は99.95%以上が成功しています。このレベルに到達するには、メモリ不足でマシンがフリーズするのを防ぐなど、継続的な修正と改善が必要でした。
[画像: 合計944Kのサンドボックス、ピーク時1,566の同時サンドボックス、最終実行での99.95%の成功率。]
コストを80%削減。 プロジェクトのサンドボックスにかかるクラウドインフラコストは、一般的なクラウドサンドボックスプロバイダーで同じサンドボックスを実行する場合と比較して約80%低くなりました。コストを抑える方法の一つは、各サンドボックスに実際に使用されるメモリ量に応じて増減するメモリを割り当てることです。サンドボックスは通常、要求したメモリのごく一部しか使用しないため、各マシンでより多くのサンドボックスを実行できます。
DaisyRose-27Bを試す、または独自のモデルをトレーニングする
DaisyRose-27BはHugging Faceからダウンロードでき、独自のモデルをトレーニングするには、オープンソースの強化学習フレームワークMilesを使用できます。
DaisyRose-27Bは、高品質なデータと効率的なインフラが何を実現できるかを示す一例です。私たちは、このアプローチを、必要な機能を向上させつつモデルの広範な強みを維持することに焦点を当てた、専門モデルを構築するチームに提供しています。独自のモデルのトレーニング後処理を検討している場合は、contact@radixark.aiまでご連絡ください。
トレーニングデータに関して緊密に協力してくれたEigent AI、そして私たちの作業の基盤となったQwen3.8-27Bを作成したQwenチームに深く感謝します。また、MilesおよびSGLangコミュニティ、さらにslime、AgentENV、Harborなどのオープンソースプロジェクトにも感謝します。
- 評価方法:Terminal Bench 4.1はタスクあたり8回の実行を平均し、要約を有効にした当社の内部mini-swe-agentハーネスを使用しました。Terminal Bench 2.1はタスクあたり5回の実行を平均し、Terminus 2ハーネスを使用しました。DeepSWE v1.1およびSWE Bench Pro v2はタスクあたり8回および5回の実行を平均し、どちらもmini-swe-agentハーネスを使用しました。HLE(テキストのみ)は問題あたり5回の実行を平均し、GPT-6 Lunaによって採点され、ツールは使用しませんでした。IFBenchは、300のプロンプトそれぞれで4回の実行を平均し、公式のallenai/IFBenchスコアラーによって最終応答のプロンプトレベルの緩い精度としてスコアリングされ、思考プロセスは除外されました。GPQA Diamondは、198の質問それぞれで8回の実行を平均し、simple-evals多肢選択テンプレートと回答抽出を使用し、各実行で回答の順序をシャッフルしました。 ↩