HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Show HN: RLでモデルをトレーニングするエージェントをトレーニングしました(1.3kドル)

Show HN: I RL-trained an agent that trains models with RL (for –$1.3k) (github.com)

79 pointsby Danau5tin37 コメント

要約

投稿者は、AIエージェントが別のAIモデルをトレーニングするパイプラインを構築しました。このエージェントは、トレーニングタスクを与えられると、環境、報酬、ハイパーパラメータを含む完全なRLトレーニングジョブを作成し、Runpod GPUで実行します。エージェント自体もRLでトレーニングされ、より良いモデルをトレーニングできた場合に報酬が与えられました。このシステムは、1.3kドルのコストで、モデルトレーニングの自動化と効率化を目指しています。

全文翻訳

🤓 AIがAIを訓練する:RLを使ってRLでモデルを訓練するAIエージェントを開発

🔓 すべてオープンソース化されています。これには、訓練済みエージェントの重み(🤗 HFのLoRAアダプター)、エージェントハーネス、タスクファミリー、報酬コード、GPUオーケストレーション、Tinker RLトレーニングスクリプト、そしてすべてのパイロット(失敗例も含む)のレトロスペクティブな記録が含まれます。始め方へジャンプ ↓

TL;DR:

  • AIエージェントが以下の処理を行うパイプラインを構築しました:
    • トレーニングタスク(「モデルにXを教える」)を与えられる
    • 環境、報酬、データセット、ハイパーパラメータを含む、完全なprime-rlトレーニングジョブを作成する。
    • 実際のRunpod GPUに送信してトレーニングを実行する。
  • Tinkerを活用し、より良いモデルを訓練した際に報酬を与えることで、エージェント自体をRLで訓練しました。
  • 報酬は54回のトレーニングステップで約0.0から約0.63のピークまで上昇しました。これは、一度も訓練されていない、未知のタスクファミリーへの転移を示しています。

[画像: RLエージェントのアウターループ — RLエージェント → RLジョブを作成 → 報酬 — そのアクションは、各々がGPU上で独自のRLループ内で小さなモデルを訓練する、多くのタスク固有のRLジョブを作成します。報酬は、それらの小さなモデルが隠された評価でどれだけ改善されたかです。]

RLループ内のAI、そのアクションはRLループ内のAIを訓練することです。(出典:assets/hero.svg)。

📚 目次


🔁 仕組み

2つのRLループと、完全に分離された2つのトレーニングスタック。

トレーニングされているのは誰かトレーニングの内容スタック
アウターループトレーナーエージェント(Qwen3.6-35B-A3B, LoRA)トレーニングジョブを作成するエピソード;エピソード報酬はポリシー勾配信号Tinker + tinker-cookbook(重要度サンプリングGRPO)
インナーループ小さなベースモデル(Qwen3-0.6B / 1.7B)エージェントが作成したジョブ:verifiers環境 + ルブリック、[prime_rl]設定テーブル付きprime-rl(GRPO)、Runpod GPU上

Tinkerがエージェントを訓練します。エージェントはverifier環境、ルブリック、prime-rl設定を作成します。prime-rlが小さなモデルを訓練します。インナーモデルの隠された評価スコアが、アウターループの報酬としてフィードバックされます。

エピソード

[画像: パイプラインとしての1つのエピソード:タスク仕様 → エージェント(5つのワークスペースツール付き) → submit_job → リトライ矢印付きの検証プローブがエージェントに戻る → ファイルベースのジョブキュー → GPUポッドが小さなモデルをRLファインチューニング → パッドロックの後ろで事前/事後の隠し評価スコアリング → エージェントに戻る報酬。]

エンドツーエンドの1つのエピソード。(出典:assets/episode.svg)。

1つのエピソード = トレーナーエージェントが与えられたタスクに対して、有効で高品質なトレーニングジョブを生成する1回の試行:

  1. タスク仕様 — トレーニング内容(「小さなモデルにマルチホップペルソナクエリを解決することを教える」)、ハードコンストレイント境界、評価ツールインターフェース、および少数の開発例の説明。
  2. エージェントの作業 — read_file / write_file / edit_file / list_files を介してサンドボックス化されたワークスペースを編集し、get_baseline_scores を呼び出して、トレーニングされていないベースモデルの隠し評価スコアを確認できます。
  3. submit_job — 検証プローブをトリガーします。失敗した場合はエージェントに返され、エージェントはリトライ回数が制限されます。
  4. ディスパッチ — 検証済みのジョブはキューに入れられ、Runpod GPUポッドのウォームプールによって取得され、prime-rlでGRPOトレーニングを実行し、チェックポイントを隠し評価で事前/事後にスコアリングします。
  5. 報酬 — 検証効率と、トレーニング済みモデルが最高の未トレーニングベースラインをどれだけ上回ったかを組み合わせて計算されます。

その後、アウターループはエピソード報酬に基づいてエージェント自体をRLで訓練します(Tinkerを使用)。各アウターループバッチは、最大16個のGPUポッド全体で40個の実際のインナートレーニングジョブを生成します。

⚖️ 報酬設計

[画像: エピソード報酬を比例バーで表示:0.35 検証 + 0.60 ジョブ品質 + 0.05 トレーニング速度。ジョブ品質は0.25・事後 + 0.75・(最良事前に対する向上分)(0.5未満は悪い、0.5は横ばい、1.0に向かう真の増加)。]

エピソード報酬は、重み付き合計(ライブ重み 0.35 / 0.60 / 0.05)です:

  • 検証 — 初回有効提出で1.0、追加試行ごとに減衰;エピソードが検証されない場合は0。(別途、エージェントが解析可能な提出を全く生成できなかった場合、アウターループはエピソードに-0.1をスコアリングします。CSVに見られる-1.0の値は、報酬ではなく、ログの「事後スコアなし」のセンチネルです。)
  • ジョブ品質 — トレーニング済みモデルの絶対的な事後トレーニングスコアと、best_pre(トレーニングされていない最高のモデルの固定ベースライン)に対する符号付き向上分のハイブリッド:「0.25・事後 + 0.75・向上分項」。GPUでジョブが失敗した場合、ここでは0をスコアリングします(エピソードは検証項を維持します)。
  • トレーニング速度 — ジョブ成功が条件の、より高速なジョブに対する小さなタイブレーカー。

詳細な読者への注意:エージェント向けプロンプト(template/INSTRUCTIONS.md)は、エージェントに簡略化されたビューを提供します — ジョブ品質内の75/25の向上分/絶対値の分割、および試行回数削減の促進 — 完全な0.35/0.60/0.05の分解ではありません。公開されているアダプターは、そのプロンプトに対して訓練されました;実際に計算された報酬は上記のものです。

🧩 タスクファミリー

6つのタスクファミリー。意図的に、トレーニングされていないモデルが訓練なしでは苦戦するように設計されており、すべて複数ステップのツール使用と推論が必要です:

ファミリーシェイプトレーニングされていない最良事前スコア (n=200)
calc_chain各ステップが次のステップにフィードバックされる連鎖算術0.742
multi_hop複数の依存関係のあるルックアップが必要なペルソナ・ワールドクエリ0.654
string_pipeline構成された文字列変換0.545
ledgerツールによるステートフルなアカウントブックキーピング0.242
dispatch条件付きルーティング決定0.323
triage (保留)オンコールインシデントトリアージ:ツール間のサービス、インシデント、デプロイの相関付け0.352

5つのファミリーがエージェントを訓練し、triageは一度も訓練されておらず、汎化プローブとして機能します。

📈 結果

設定:Qwen3.6-35B-A3Bトレーナーエージェント、LoRAランク8、lr 4e-5、グループサイズ8のGRPO、最大16個の同時GPUポッド、バッチあたり約40個の実際のトレーニングジョブ。実行:pilot-7(10ステップ)→ 7b(24ステップ、ウォームスタート)→ 7c(20ステップ、ウォームスタート)— 合計54ステップ。

1. 報酬は2つの明確な段階で上昇しました

[画像: 7 → 7b → 7c のアーク全体でのアウターループステップごとのバッチ報酬:最初の4ステップではほぼゼロ、pilot-7と初期7bでの急激な上昇、その後0.55~0.63付近の高プラトー。]

報酬を分解すると、何が、そしてどの順序で学習されたかがわかります:

  • 第1段階 — プロセス信頼性(pilot-7)。初期の全ゲインは、検証失敗およびGPUで停止したジョブを完了したエピソードに変換することから得られました。ジョブ品質は横ばいでしたが、総報酬は約0.26まで上昇しました。GRPOが最も急勾配を最初に取っていることを示しています。
  • 第2段階 — より良いモデルの作成(pilot-7b以降)。信頼性が飽和するにつれて(検証率約0.75~0.80)、ジョブグレードは0.30 → 0.41に上昇し、隠し評価の事後トレーニングスコアは約0.04のノイズから持続的な0.22~0.48になりました。エージェントは、単に動作するだけでなく、より良いモデルを作成し始めました。

[画像: ステップごとの隠し評価事後トレーニングスコア:最初の約22ステップではゼロ付近で横ばい、その後明確な上昇を経て約0.3~0.36のプラトーに達する — 第2段階の遷移が可視化されています。]

2. スキルは未知のタスクファミリーに転移します

エージェントが一度も訓練されなかったタスクファミリーでは、アウターループトレーニングとともにパフォーマンスが上昇し、その後プラトーに達しました:

チェックポイントアウターステップ平均報酬検証済みインナージョブ成功最悪のエピソード
ベースモデル00.3999/105/90.000
pilot-7 final100.4388/108/80.000
pilot-7b final340.54510/109/100.290
pilot-7c final540.49210/108/100.175

[画像: Triage保留:エピソードごとの報酬(薄い点)と、アウターループステップ0、10、34、54でのアーム平均 — 0.399、0.438、0.545、0.492:34ステップまで上昇し、その後プラトーに達しています。]

3. エージェントはより良いベースモデルとより良いハイパーパラメータを選択することを学びました

初期のトレーニング実行はモデル選択において盲目でした:77/79エピソードでより弱い0.6Bモデルを選択しました。get_baseline_scoresツールと向上分評価を導入した後、ポリシーは反転し、トレーニング全体でその状態を維持し、アーク全体で深まりました:ジョブ作成エピソードにおける1.7Bモデルのシェアは42% → 95%になりました。また、公開されている[prime_rl]設定サーフェス(21% → 約78%のエピソード、ウォームスタート境界内)を採用し、サンプリング温度、オプティマイザ選択、アルゴリズムバリアント、ロスなどの適切なキーミックスを使用しました。

🖥️ インフラストラクチャ

常に16個のウォームGPUポッドがトレーニングを実行: [画像: 16x_runpod_gpus_screenshot]

インナーループ(エージェントが作成するジョブ):

  • Runpodウォームポッドフリート — ポッドのキャップ付きプール(最大16個)、正確なprime-rl + verifiersリビジョンにブートストラップピン留めされており、すべてのノードがレプリカになります;プロビジョニングからサービングまで約2分。アイドルポッドは回収され、キューはファイルベース(queued/ → running/ → done/)です。
  • GPU選択はデータ駆動型 — GPU × ベースモデルのベンチマークマトリックスにより、コストあたりのRTX A5000の勝利が£0.10/ジョブ(約0.13ドル)であることが判明しました;プロビジョニング時に選好ラダーが歩行され、在庫のあるものを取得します。
  • フリートが実際に実行されたハードウェア(ヘッドラインアーク、約1,750ジョブ — 検証に失敗したエピソードはジョブをディスパッチしないため、公称の54ステップ×40より少ない):A40 64%(340 GPU時間)· RTX 4090 32%(151時間)· RTX A6000 3% · RTX A5000 1%。ベンチマークのコスト勝者はめったに在庫がなかったため、ラダーはアークの大部分をA40で費やしました。
  • prime-rl (GRPO) が小さなモデルをトレーニングします;チェックポイントはvLLMで隠し評価の事前/事後にスコアリングされます。

アウターループ(エージェントのトレーニング):

  • Tinker(Thinking MachinesのマネージドRL API)が、tinker-cookbookの重要度サンプリングGRPOを使用してQwen3.6-35B-A3BをLoRAでトレーニングします。制御反転ブリッジが各エピソードをキューベースのポリシーの背後でバックグラウンドタスクとして実行するため、cookbookループはエピソードをターンバイターンで駆動し、すべてのハーネスロジック(検証リトライ、促進、グレーディング)は変更されません。
  • 非同期オフポリシー(max_steps_off_policy=2)は、ストラグラーバリアを克服します — 1つの遅いエピソードがもはやバッチ全体をゲートすることはありません。ヘッドラインアーク全体でゼロの古いディスクカード。
  • すべてが計測されています。すべてのLLM呼び出しはトークンとUSDをログに記録します;runs/costs.jsonlは、エピソードごとの予算に対して強制されるグローバルな支出台帳です。

オーケストレーション全体は、Nebius経由でレンタルされたCPUボックスで実行されます。

💰 コスト

項目(おおよそ)測定されたコスト
1回のインナートレーニングジョブ(トレーニング + 事前/事後評価)約£0.10–0.15(約0.13~0.20ドル、短いタスクでベンチマーク済み);長いペルソナファミリージョブでは約£0.15–0.22(約0.20~0.30ドル)
1回のアウターループエピソード(エージェントトークン、Tinker)約£0.11–0.19(約0.15~0.25ドル)
1回のアウターループバッチ(40個の実際のGPUジョブ + エージェントトークン)合計約£11–17(約15~23ドル)
保留評価アーム(n=10)約£4–6(約5~8ドル)
Runpod、アークウィンドウ全体で請求約£605(約810ドル)— 一部の同時ベースラインシーディングとGPUベンチマークポッドを含む
アーク全体でのTinker(請求済み — すべてのエージェントサンプリングとトレーニング、保留評価エピソードを含む)約£345(約465ドル)
ヘッドラインアーク全体合計約£950(約1,275ドル)(約£605 Runpod、約£345 Tinker)

正直な注記:約£950はヘッドラインアークであり、プロジェクト全体ではありません — パイロット、GPUベンチマーク、ベースラインシーディング、そしてここに至るまでの盲点(docs/のレトロで記述されています)は、さらに数百ポンドかかりました。コールドポッドでのベンチマークマトリックス行は、ジョブあたり最大約0.37ドル(benchmarks/REPORT.md参照)でしたが、上記のジョブあたりの範囲はウォームプールアークジョブのものです。GBPは£0.745/$1(2026年7月10日)で換算。

🤗 モデルの重み

訓練されたトレーナーエージェントはHugging Faceにあります:Danau5tin/ai-trains-ai-trainer。

これは、ステップ34のチェックポイントからのLoRAアダプター(ランク8、約560MB)です — 上記テーブルの保留転移ピーク — Qwen/Qwen3.6-35B-A3Bから派生し、ベースモデルに合わせるためにApache-2.0ライセンスでリリースされています。PEFTでロードするか、vLLMのLoRAサポートで提供してください。完全なエピソードを実行するには、このハーネスを介して駆動してください。モデルカードには使用スニペットと正直な注記があります。

🚀 始め方

再現または拡張したい場合。以下で実現できます!

# リポジトリルートに.envを置き、OPENROUTER_API_KEY=...(アウターRLの場合はTINKER_API_KEYも)
uv sync
uv run pytest                                        # 完全オフライン:ネットワークなし、キーなし
uv run at-episode --task examples/tasks/calc_chain_v1_fast.json --model qwen3.6-27b   # フロンティアエージェントで1エピソード実行

各エピソードは、報酬、トークン使用量、ドルコストを出力し、完全な成果物(軌跡、マニフェスト、エージェントのワークスペース)をruns/<run_id>/に書き込みます。

Runpod + Tinkerキーを使用する場合:

uv run at-worker --max-pods 2 --once                 # 実際のGPUでジョブキューをドレインする
uv run python scripts/seed_baselines.py              # ベースラインを固定する(RLの前に必要)
uv run python scripts/train_trainer.py smoke=True    # アウターRLのスモークテスト

より詳細なガイド:docs/architecture.md(コンポーネントと契約)、docs/outer-rl-tinker.md(完全なRLランブック)、docs/gpu-runner-spec.md(コンピューティングプロバイダー契約)、およびdocs/のレトロシリーズ — すべてのパイロット(失敗例も含む)が記述されています(パイロット4~5はスタンドアロンファイルではなく、評価整合性レトロ内にあります)。

⚠️ 信頼モデル: エージェントが書いたコードは、コンテナではなく、ホスト上のタイムアウト保護されたサブプロセスで実行されます。フロンティアAPIやテンプレート契約上の独自のチェックポイントには十分ですが、信頼できない、または高度にRL化されたポリシーを実行する前に、プローブをコンテナ化してください。

🔮 将来の改善点

  • 🔄 反復実験 — 現在、エージェントはエピソードごとに1つのジョブを提出します。自然な次の段階は、結果を読み取ってフォローアップ実験を提出できるようにすること、または複数の実験を同時にディスパッチできるようにすることです。つまり、ワンショットのジョブ品質ではなく、マルチジョブのリサーチセンスを評価することです。
  • 🧠 より豊かなタスク — 現在はステートレスなツール呼び出し環境のみが公開されています。verifierの他の環境タイプを開放することで、トレーナーエージェントがステートフルなコーディングエージェントを訓練できるようになります。

謝辞

  • Prime-RL:真に優れたGRPOトレーニングフレームワークです。何度も使用しましたが、チームは素晴らしく、非常に協力的です!
  • Verifiers:環境とルブリックのための素晴らしいフレームワークです。
  • Thinking Machines' Tinker:初めて使用しましたが、トレーニングインフラを管理する必要がないというのは素晴らしいライフスタイル選択でした。強くお勧めします。
  • 安価でスクリプト可能なGPUポッドを提供してくれるRunpod。
  • 数ペニーでトレーニングできるほど小さく、トレーニングする価値があるほど大きいベースモデルを提供してくれたQwenチーム。
  • 驚異的なコーディングモデル(Fable-5がこのプロジェクトの全コードを書きました)とClaude Codeハーネスを提供してくれたAnthropicチーム。

このプロジェクトは非常に楽しかったです!内部にRLループを持つRLループは、混乱し、エキサイティングで、恐ろしく、そして荒々しい未来を示唆しています。読んでくれてありがとう!

Dan Austin