Show HN: RLでモデルをトレーニングするエージェントをトレーニングしました(1.3kドル)
Show HN: I RL-trained an agent that trains models with RL (for –$1.3k) (github.com)
要約
投稿者は、AIエージェントが別のAIモデルをトレーニングするパイプラインを構築しました。このエージェントは、トレーニングタスクを与えられると、環境、報酬、ハイパーパラメータを含む完全なRLトレーニングジョブを作成し、Runpod GPUで実行します。エージェント自体もRLでトレーニングされ、より良いモデルをトレーニングできた場合に報酬が与えられました。このシステムは、1.3kドルのコストで、モデルトレーニングの自動化と効率化を目指しています。
全文翻訳
🤓 AIがAIを訓練する:RLを使ってRLでモデルを訓練するAIエージェントを開発
🔓 すべてオープンソース化されています。これには、訓練済みエージェントの重み(🤗 HFのLoRAアダプター)、エージェントハーネス、タスクファミリー、報酬コード、GPUオーケストレーション、Tinker RLトレーニングスクリプト、そしてすべてのパイロット(失敗例も含む)のレトロスペクティブな記録が含まれます。始め方へジャンプ ↓
TL;DR:
- AIエージェントが以下の処理を行うパイプラインを構築しました:
- Tinkerを活用し、より良いモデルを訓練した際に報酬を与えることで、エージェント自体をRLで訓練しました。
- 報酬は54回のトレーニングステップで約0.0から約0.63のピークまで上昇しました。これは、一度も訓練されていない、未知のタスクファミリーへの転移を示しています。
RLループ内のAI、そのアクションはRLループ内のAIを訓練することです。(出典:assets/hero.svg)。
📚 目次
🔁 仕組み
2つのRLループと、完全に分離された2つのトレーニングスタック。
| トレーニングされているのは誰か | トレーニングの内容 | スタック | |
|---|---|---|---|
| アウターループ | トレーナーエージェント(Qwen3.6-35B-A3B, LoRA) | トレーニングジョブを作成するエピソード;エピソード報酬はポリシー勾配信号 | Tinker + tinker-cookbook(重要度サンプリングGRPO) |
| インナーループ | 小さなベースモデル(Qwen3-0.6B / 1.7B) | エージェントが作成したジョブ:verifiers環境 + ルブリック、[prime_rl]設定テーブル付き | prime-rl(GRPO)、Runpod GPU上 |
Tinkerがエージェントを訓練します。エージェントはverifier環境、ルブリック、prime-rl設定を作成します。prime-rlが小さなモデルを訓練します。インナーモデルの隠された評価スコアが、アウターループの報酬としてフィードバックされます。
エピソード
エンドツーエンドの1つのエピソード。(出典:assets/episode.svg)。
1つのエピソード = トレーナーエージェントが与えられたタスクに対して、有効で高品質なトレーニングジョブを生成する1回の試行:
- タスク仕様 — トレーニング内容(「小さなモデルにマルチホップペルソナクエリを解決することを教える」)、ハードコンストレイント境界、評価ツールインターフェース、および少数の開発例の説明。
- エージェントの作業 —
read_file/write_file/edit_file/list_filesを介してサンドボックス化されたワークスペースを編集し、get_baseline_scoresを呼び出して、トレーニングされていないベースモデルの隠し評価スコアを確認できます。 submit_job— 検証プローブをトリガーします。失敗した場合はエージェントに返され、エージェントはリトライ回数が制限されます。- ディスパッチ — 検証済みのジョブはキューに入れられ、Runpod GPUポッドのウォームプールによって取得され、prime-rlでGRPOトレーニングを実行し、チェックポイントを隠し評価で事前/事後にスコアリングします。
- 報酬 — 検証効率と、トレーニング済みモデルが最高の未トレーニングベースラインをどれだけ上回ったかを組み合わせて計算されます。
その後、アウターループはエピソード報酬に基づいてエージェント自体をRLで訓練します(Tinkerを使用)。各アウターループバッチは、最大16個のGPUポッド全体で40個の実際のインナートレーニングジョブを生成します。
⚖️ 報酬設計
エピソード報酬は、重み付き合計(ライブ重み 0.35 / 0.60 / 0.05)です:
- 検証 — 初回有効提出で1.0、追加試行ごとに減衰;エピソードが検証されない場合は0。(別途、エージェントが解析可能な提出を全く生成できなかった場合、アウターループはエピソードに-0.1をスコアリングします。CSVに見られる-1.0の値は、報酬ではなく、ログの「事後スコアなし」のセンチネルです。)
- ジョブ品質 — トレーニング済みモデルの絶対的な事後トレーニングスコアと、
best_pre(トレーニングされていない最高のモデルの固定ベースライン)に対する符号付き向上分のハイブリッド:「0.25・事後 + 0.75・向上分項」。GPUでジョブが失敗した場合、ここでは0をスコアリングします(エピソードは検証項を維持します)。 - トレーニング速度 — ジョブ成功が条件の、より高速なジョブに対する小さなタイブレーカー。
詳細な読者への注意:エージェント向けプロンプト(template/INSTRUCTIONS.md)は、エージェントに簡略化されたビューを提供します — ジョブ品質内の75/25の向上分/絶対値の分割、および試行回数削減の促進 — 完全な0.35/0.60/0.05の分解ではありません。公開されているアダプターは、そのプロンプトに対して訓練されました;実際に計算された報酬は上記のものです。
🧩 タスクファミリー
6つのタスクファミリー。意図的に、トレーニングされていないモデルが訓練なしでは苦戦するように設計されており、すべて複数ステップのツール使用と推論が必要です:
| ファミリー | シェイプ | トレーニングされていない最良事前スコア (n=200) |
|---|---|---|
| calc_chain | 各ステップが次のステップにフィードバックされる連鎖算術 | 0.742 |
| multi_hop | 複数の依存関係のあるルックアップが必要なペルソナ・ワールドクエリ | 0.654 |
| string_pipeline | 構成された文字列変換 | 0.545 |
| ledger | ツールによるステートフルなアカウントブックキーピング | 0.242 |
| dispatch | 条件付きルーティング決定 | 0.323 |
| triage (保留) | オンコールインシデントトリアージ:ツール間のサービス、インシデント、デプロイの相関付け | 0.352 |
5つのファミリーがエージェントを訓練し、triageは一度も訓練されておらず、汎化プローブとして機能します。
📈 結果
設定:Qwen3.6-35B-A3Bトレーナーエージェント、LoRAランク8、lr 4e-5、グループサイズ8のGRPO、最大16個の同時GPUポッド、バッチあたり約40個の実際のトレーニングジョブ。実行:pilot-7(10ステップ)→ 7b(24ステップ、ウォームスタート)→ 7c(20ステップ、ウォームスタート)— 合計54ステップ。
1. 報酬は2つの明確な段階で上昇しました
報酬を分解すると、何が、そしてどの順序で学習されたかがわかります:
- 第1段階 — プロセス信頼性(pilot-7)。初期の全ゲインは、検証失敗およびGPUで停止したジョブを完了したエピソードに変換することから得られました。ジョブ品質は横ばいでしたが、総報酬は約0.26まで上昇しました。GRPOが最も急勾配を最初に取っていることを示しています。
- 第2段階 — より良いモデルの作成(pilot-7b以降)。信頼性が飽和するにつれて(検証率約0.75~0.80)、ジョブグレードは0.30 → 0.41に上昇し、隠し評価の事後トレーニングスコアは約0.04のノイズから持続的な0.22~0.48になりました。エージェントは、単に動作するだけでなく、より良いモデルを作成し始めました。
[画像: ステップごとの隠し評価事後トレーニングスコア:最初の約22ステップではゼロ付近で横ばい、その後明確な上昇を経て約0.3~0.36のプラトーに達する — 第2段階の遷移が可視化されています。]
2. スキルは未知のタスクファミリーに転移します
エージェントが一度も訓練されなかったタスクファミリーでは、アウターループトレーニングとともにパフォーマンスが上昇し、その後プラトーに達しました:
| チェックポイント | アウターステップ | 平均報酬 | 検証済み | インナージョブ成功 | 最悪のエピソード |
|---|---|---|---|---|---|
| ベースモデル | 0 | 0.399 | 9/10 | 5/9 | 0.000 |
| pilot-7 final | 10 | 0.438 | 8/10 | 8/8 | 0.000 |
| pilot-7b final | 34 | 0.545 | 10/10 | 9/10 | 0.290 |
| pilot-7c final | 54 | 0.492 | 10/10 | 8/10 | 0.175 |
3. エージェントはより良いベースモデルとより良いハイパーパラメータを選択することを学びました
初期のトレーニング実行はモデル選択において盲目でした:77/79エピソードでより弱い0.6Bモデルを選択しました。get_baseline_scoresツールと向上分評価を導入した後、ポリシーは反転し、トレーニング全体でその状態を維持し、アーク全体で深まりました:ジョブ作成エピソードにおける1.7Bモデルのシェアは42% → 95%になりました。また、公開されている[prime_rl]設定サーフェス(21% → 約78%のエピソード、ウォームスタート境界内)を採用し、サンプリング温度、オプティマイザ選択、アルゴリズムバリアント、ロスなどの適切なキーミックスを使用しました。
🖥️ インフラストラクチャ
常に16個のウォームGPUポッドがトレーニングを実行: [画像: 16x_runpod_gpus_screenshot]
インナーループ(エージェントが作成するジョブ):
- Runpodウォームポッドフリート — ポッドのキャップ付きプール(最大16個)、正確なprime-rl + verifiersリビジョンにブートストラップピン留めされており、すべてのノードがレプリカになります;プロビジョニングからサービングまで約2分。アイドルポッドは回収され、キューはファイルベース(
queued/→running/→done/)です。 - GPU選択はデータ駆動型 — GPU × ベースモデルのベンチマークマトリックスにより、コストあたりのRTX A5000の勝利が£0.10/ジョブ(約0.13ドル)であることが判明しました;プロビジョニング時に選好ラダーが歩行され、在庫のあるものを取得します。
- フリートが実際に実行されたハードウェア(ヘッドラインアーク、約1,750ジョブ — 検証に失敗したエピソードはジョブをディスパッチしないため、公称の54ステップ×40より少ない):A40 64%(340 GPU時間)· RTX 4090 32%(151時間)· RTX A6000 3% · RTX A5000 1%。ベンチマークのコスト勝者はめったに在庫がなかったため、ラダーはアークの大部分をA40で費やしました。
- prime-rl (GRPO) が小さなモデルをトレーニングします;チェックポイントはvLLMで隠し評価の事前/事後にスコアリングされます。
アウターループ(エージェントのトレーニング):
- Tinker(Thinking MachinesのマネージドRL API)が、tinker-cookbookの重要度サンプリングGRPOを使用してQwen3.6-35B-A3BをLoRAでトレーニングします。制御反転ブリッジが各エピソードをキューベースのポリシーの背後でバックグラウンドタスクとして実行するため、cookbookループはエピソードをターンバイターンで駆動し、すべてのハーネスロジック(検証リトライ、促進、グレーディング)は変更されません。
- 非同期オフポリシー(
max_steps_off_policy=2)は、ストラグラーバリアを克服します — 1つの遅いエピソードがもはやバッチ全体をゲートすることはありません。ヘッドラインアーク全体でゼロの古いディスクカード。 - すべてが計測されています。すべてのLLM呼び出しはトークンとUSDをログに記録します;
runs/costs.jsonlは、エピソードごとの予算に対して強制されるグローバルな支出台帳です。
オーケストレーション全体は、Nebius経由でレンタルされたCPUボックスで実行されます。
💰 コスト
| 項目 | (おおよそ)測定されたコスト |
|---|---|
| 1回のインナートレーニングジョブ(トレーニング + 事前/事後評価) | 約£0.10–0.15(約0.13~0.20ドル、短いタスクでベンチマーク済み);長いペルソナファミリージョブでは約£0.15–0.22(約0.20~0.30ドル) |
| 1回のアウターループエピソード(エージェントトークン、Tinker) | 約£0.11–0.19(約0.15~0.25ドル) |
| 1回のアウターループバッチ(40個の実際のGPUジョブ + エージェントトークン) | 合計約£11–17(約15~23ドル) |
| 保留評価アーム(n=10) | 約£4–6(約5~8ドル) |
| Runpod、アークウィンドウ全体で請求 | 約£605(約810ドル)— 一部の同時ベースラインシーディングとGPUベンチマークポッドを含む |
| アーク全体でのTinker(請求済み — すべてのエージェントサンプリングとトレーニング、保留評価エピソードを含む) | 約£345(約465ドル) |
| ヘッドラインアーク全体 | 合計約£950(約1,275ドル)(約£605 Runpod、約£345 Tinker) |
正直な注記:約£950はヘッドラインアークであり、プロジェクト全体ではありません — パイロット、GPUベンチマーク、ベースラインシーディング、そしてここに至るまでの盲点(docs/のレトロで記述されています)は、さらに数百ポンドかかりました。コールドポッドでのベンチマークマトリックス行は、ジョブあたり最大約0.37ドル(benchmarks/REPORT.md参照)でしたが、上記のジョブあたりの範囲はウォームプールアークジョブのものです。GBPは£0.745/$1(2026年7月10日)で換算。
🤗 モデルの重み
訓練されたトレーナーエージェントはHugging Faceにあります:Danau5tin/ai-trains-ai-trainer。
これは、ステップ34のチェックポイントからのLoRAアダプター(ランク8、約560MB)です — 上記テーブルの保留転移ピーク — Qwen/Qwen3.6-35B-A3Bから派生し、ベースモデルに合わせるためにApache-2.0ライセンスでリリースされています。PEFTでロードするか、vLLMのLoRAサポートで提供してください。完全なエピソードを実行するには、このハーネスを介して駆動してください。モデルカードには使用スニペットと正直な注記があります。
🚀 始め方
再現または拡張したい場合。以下で実現できます!
# リポジトリルートに.envを置き、OPENROUTER_API_KEY=...(アウターRLの場合はTINKER_API_KEYも)
uv sync
uv run pytest # 完全オフライン:ネットワークなし、キーなし
uv run at-episode --task examples/tasks/calc_chain_v1_fast.json --model qwen3.6-27b # フロンティアエージェントで1エピソード実行
各エピソードは、報酬、トークン使用量、ドルコストを出力し、完全な成果物(軌跡、マニフェスト、エージェントのワークスペース)をruns/<run_id>/に書き込みます。
Runpod + Tinkerキーを使用する場合:
uv run at-worker --max-pods 2 --once # 実際のGPUでジョブキューをドレインする
uv run python scripts/seed_baselines.py # ベースラインを固定する(RLの前に必要)
uv run python scripts/train_trainer.py smoke=True # アウターRLのスモークテスト
より詳細なガイド:docs/architecture.md(コンポーネントと契約)、docs/outer-rl-tinker.md(完全なRLランブック)、docs/gpu-runner-spec.md(コンピューティングプロバイダー契約)、およびdocs/のレトロシリーズ — すべてのパイロット(失敗例も含む)が記述されています(パイロット4~5はスタンドアロンファイルではなく、評価整合性レトロ内にあります)。
⚠️ 信頼モデル: エージェントが書いたコードは、コンテナではなく、ホスト上のタイムアウト保護されたサブプロセスで実行されます。フロンティアAPIやテンプレート契約上の独自のチェックポイントには十分ですが、信頼できない、または高度にRL化されたポリシーを実行する前に、プローブをコンテナ化してください。
🔮 将来の改善点
- 🔄 反復実験 — 現在、エージェントはエピソードごとに1つのジョブを提出します。自然な次の段階は、結果を読み取ってフォローアップ実験を提出できるようにすること、または複数の実験を同時にディスパッチできるようにすることです。つまり、ワンショットのジョブ品質ではなく、マルチジョブのリサーチセンスを評価することです。
- 🧠 より豊かなタスク — 現在はステートレスなツール呼び出し環境のみが公開されています。verifierの他の環境タイプを開放することで、トレーナーエージェントがステートフルなコーディングエージェントを訓練できるようになります。
謝辞
- Prime-RL:真に優れたGRPOトレーニングフレームワークです。何度も使用しましたが、チームは素晴らしく、非常に協力的です!
- Verifiers:環境とルブリックのための素晴らしいフレームワークです。
- Thinking Machines' Tinker:初めて使用しましたが、トレーニングインフラを管理する必要がないというのは素晴らしいライフスタイル選択でした。強くお勧めします。
- 安価でスクリプト可能なGPUポッドを提供してくれるRunpod。
- 数ペニーでトレーニングできるほど小さく、トレーニングする価値があるほど大きいベースモデルを提供してくれたQwenチーム。
- 驚異的なコーディングモデル(Fable-5がこのプロジェクトの全コードを書きました)とClaude Codeハーネスを提供してくれたAnthropicチーム。
このプロジェクトは非常に楽しかったです!内部にRLループを持つRLループは、混乱し、エキサイティングで、恐ろしく、そして荒々しい未来を示唆しています。読んでくれてありがとう!