HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Ornith-1.0: エージェント的コーディングのための自己足場型LLM

Ornith-1.0: Self-scaffolding LLMs for agentic coding (deep-reinforce.com)

53 pointsby kordlessagain7 コメント

要約

Ornith-1.0は、エージェント的コーディングタスクに特化した自己改善型オープンソースLLMファミリーです。9Bから397Bまでの多様なモデルサイズを提供し、Gemma 4とQwen 3.5をベースに、同サイズのオープンソースモデルの中で最先端の性能を達成しています。特に、タスクの解決とソリューションを導く足場の構築を共同で学習する自己改善型トレーニングフレームワークが特徴で、報酬ハッキング対策も施されています。

全文翻訳

Ornith-1.0: エージェントコーディングのための自己足場LLM

[画像: Ornith]

Aloha! 🌺

本日、エージェントコーディングタスクに特化した自己改善型オープンソースモデルファミリーであるOrnith-1.0を発表します。Ornith-1.0は、エッジデバイス展開に適したコンパクトな9B Denseモデルから、最大パフォーマンスのために最適化された397B MoEフロンティアスケールモデルまで、フルレンジをカバーしており、9B Dense、31B Dense、35B MoE、397B MoEといったバリアントが含まれます。事前学習済みのGemma 4とQwen 3.5をベースに構築されており、コーディングベンチマークにおいて同規模のオープンソースモデルの中で最先端のパフォーマンスを達成しています。

Ornith-1.0の鍵となるイノベーションは、自己改善トレーニングフレームワークです。RLでソリューション生成を駆動するために人間が設計したハーネスに依存するのではなく、Ornith-1.0はソリューションのロールアウトと、それらのロールアウトをガイドするタスク固有のハーネスの両方を生成することを学習します。足場と結果として得られるソリューションを共同で最適化することにより、モデルはより良い探索軌道を発見し、より高品質なソリューションを生成できます。

Ornith-1.0は、広範なエージェントコーディングベンチマークにおいて、同規模のオープンソースモデルの中で最先端のパフォーマンスを達成しています。Ornith-1.0-397B(Terminal-Bench 2.1で77.5、SWE-Bench Verifiedで82.4)は、Claude Opus 4.7(TB-2.1で70.3、SWE-Bench Verifiedで80.8)のパフォーマンスに匹敵し、MiniMax M3(TB-2.1で66.0、SWE-Bench Verifiedで80.5)やDeepSeek-V4-Pro(TB-2.1で67.9、SWE-Bench Verifiedで80.6)といった主要な同規模オープンソースモデルを上回っています。エッジデバイスに容易に展開できるOrnith-1.0-9Bは、Gemma 4-31BやQwen 3.6 35Bといったはるかに大きなモデルのパフォーマンスに匹敵するか、それを超えています。

[画像: Ornith-1.0-397B evaluation results]

フラッグシップスケールでは、Ornith-1.0-397BはTerminal-Bench 2.1で77.5、SWE-Bench Verifiedで82.4を達成し、両方のベンチマークでClaude Opus 4.7を上回り、Minimax M3やDeepSeek-V4-Proを含む同様のサイズの主要なオープンソースモデルを凌駕しています。

[画像: Ornith-1.0-35B evaluation results]

Ornith-1.0-35Bは、Qwen 3.5-35B、Qwen 3.6-35B、Gemma 31Bを含む同規模モデルを大幅に上回っています。わずか35Bのパラメータしか持たないにもかかわらず、Terminal-Bench 2.1ではQwen 3.5-397B(64.4対53.5)を上回り、他のいくつかのコーディングおよびエージェントベンチマークでそのパフォーマンスに匹敵しています。

[画像: Ornith-1.0-9B evaluation results]

エッジ展開可能なOrnith-1.0-9Bも驚くほど強力な結果を達成しており、Terminal-Bench 2.1で43.1、SWE-Bench Verifiedで69.4を記録しています。コンパクトな9Bパラメータモデルでありながら、Gemma 4-31Bのようなはるかに大きなモデルのパフォーマンスに匹敵するか、それを超えており、リソース効率の良い展開でも強力なエージェントコーディング能力が達成可能であることを示しています。

自己改善戦略によるLLMトレーニング

Ornith-1.0の中核にあるのは、タスクを解決し、それらのソリューションをガイドする足場を構築することを共同で学習する自己改善トレーニングフレームワークです。タスクカテゴリ全体で共有される固定された人間設計のハーネスに依存するのではなく、Ornith-1.0は足場をポリシーと共に進化する学習可能なオブジェクトとして扱います。

各RLステップは2つの段階で進行します。タスクとそれに使用された以前の足場に基づいて、モデルはまず洗練された足場を提案します。その足場とタスク記述に基づいて、次にソリューションのロールアウトを生成します。ロールアウトからの報酬は両方の段階に伝播されるため、モデルはより良い回答を生成するだけでなく、それらを引き出すオーケストレーションを作成するように最適化されます。

トレーニング中に繰り返されることで、足場が継続的に変異され、より高い報酬軌道を誘発するものへと選択されるフィードバックループが生成され、タスクカテゴリごとの戦略が自動的に出現し、手作業で設計されたハーネス設計なしで持続的な能力向上が促進されます。

[画像: Ornith self-improving training framework]

自己改善における報酬ハッキングへの対処

モデルに独自の足場を作成させることは、自然に報酬ハッキングの問題を引き起こします。自己生成された足場は、タスクを実行せずに検証者を満足させることを学習する可能性があります。つまり、可視のテストファイルを読み取り、チェックされたファイルに触れる、期待されるアーティファクトをハードコーディングする、または環境に存在するオラクルのソリューションをコピーするといったことです。

これに対して、私たちは3つのレイヤーで防御します。第一に、外部の信頼境界を固定します。環境、ツールサーフェス、テストの分離は不変であり、モデルの範囲外にあるため、モデルは内部ポリシーの足場のみを進化させます。これは、メモリ、エラー処理、オーケストレーションロジックです。

第二に、決定論的なモニターが、指定できるレベルでその境界を正確に強制します。隠されたパスの読み取り、検証スクリプトの変更、または許可されたツールサーフェスの外のアクションの呼び出しを試みるあらゆる試みをフラグ付けし、そのような軌道にゼロ報酬を割り当て、アドバンテージ計算から除外します。

第三に、意図レベルのゲーミングは許可されたツールサーフェス内で完全に発生する可能性があるため、凍結されたLLMジャッジが、プライマリ報酬ではなく検証者に対する拒否権として機能します。

非同期RLトレーニング

RLトレーニングでは、長いロールアウトに対するオフラインポリシーの問題に対処するために、Ornith-1.0はpipeline-RL戦略を採用しています。早期に生成されたオフポリシーのトークンの影響を制御するために、トークンの経過時間 $d_t$ に応じてトークンをダウンウェイトし、しきい値を超えると完全にドロップするスタールネスウェイト $w(d_t)$ を適用します。

\[ w(d_t)= \begin{cases} !1, & \text{if } d_t \le K_1,\ !\exp!\bigl(-\lambda(d_t-K_1)\bigr), & \text{if } K_1 < d_t \le K_2,\ !0, & \text{if } d_t > K_2. \end{cases} \]

トークンレベルのGRPO損失は次のように重み付けされます。

\[ L_t=\min!\bigl(r_t A_t,; \mathrm{clip}(r_t,1-\epsilon^{-},1+\epsilon^{+})A_t\bigr)\cdot w(d_t), \]

ここで

\[ r_t= \frac{\pi heta(y_t \mid x, y_{<t})} {\pi heta_t^{\mathrm{beh}}(y_t \mid x, y_{<t})} \]

Full Table

BenchmarkOrnith-1.0-397BQwen3.5-397BQwen3.7-MaxGLM-5.2-744BMinimax-M3-428BDeepSeek-V4-Pro-1.6TClaude Opus 4.7Claude Opus 4.8
Terminal Bench 2.1 (Terminus-2)77.553.573.581.0646470.385
Terminal Bench 2.1 (Claude Code)78.248.669.882.7-66.569.778.9
SWE-Bench Verified82.476.480.4--80.680.887.6
SWE-Bench Pro62.251.660.662.15955.464.369.2
SWE-Bench Multilingual78.969.378.3--76.2--
NL2Repo48.236.847.248.942.1--69.7
ClawEval Avg77.170.765.2--75.878.2-
SWE Atlas - QnA41.220.4--37.927.240.348.8
SWE Atlas - RF42.618.4----48.646.7
SWE Atlas - TW39.118.5--30.8-38.5-
BenchmarkOrnith-1.0-35BQwen3.5-35BQwen3.6-35BGemma4-31BQwen3.5-397B
Terminal Bench 2.1 (Terminus-2)64.241.452.542.153.5
Terminal Bench 2.1 (Claude Code)62.838.949.2-48.6
SWE-Bench Verified75.67073.45276.4
SWE-Bench Pro50.444.649.535.751.6
SWE-Bench Multilingual69.360.367.251.769.3
NL2Repo34.620.529.415.536.8
ClawEval Avg69.865.468.748.570.7
SWE Atlas - QnA37.113.215.5-20.4
SWE Atlas - RF29.710.211.4-18.4
SWE Atlas - TW27.89.813.3-18.5
BenchmarkOrnith-1.0-9BQwen3.5-9BQwen3.5-35BGemma4-12BGemma4-31B
Terminal Bench 2.1 (Terminus-2)43.121.341.42142.1
Terminal Bench 2.1 (Claude Code)40.618.938.9--
SWE-Bench Verified69.453.27044.252
SWE-Bench Pro42.931.344.627.635.7
SWE-Bench Multilingual5239.760.332.551.7
NL2Repo27.216.220.510.315.5
ClawEval Avg63.153.265.432.548.5
SWE Atlas - QnA17.99.213.2--
SWE Atlas - RF16.64.310.2--
SWE Atlas - TW15.34.49.8--

Footnote

  • Terminal-Bench 2.1 (Terminus-2): We evaluate Terminal-Bench 2.1 using the Harbor/Terminus-2 framework with parser=json, temperature=1.0, top_p=1.0, and a 128K context window. Each run uses a 4-hour timeout with 32 CPU cores and 48GB RAM, and results are averaged over 5 runs. We adjust the Qwen chat template to ensure consistency between training and inference (https://huggingface.co/ornith-ai/Ornith-1.0-397B/blob/main/chat_template.jinja), and modify Harbor to align with vLLM's reasoning_content key.
  • Terminal-Bench 2.1 (Claude Code): We evaluate Terminal-Bench 2.1 using Claude Code 2.1.126 with parser=json, temperature=1.0, top_p=1.0, max_new_tokens=131072. Results are averaged over 5 runs. Again, Qwen chat template needs to be modified.
  • SWE-Bench Verified, Pro and Multilingual: using OpenHands harness with temp=1.0, top_p=0.95, 256k context window.
  • SWE Atlas QnA, RF, TW: using mini SWE agent harness with temp=1.0, top_p=0.95, 128K context window. Results are averaged over 5 runs.
  • NL2Repo: with temperature=1.0, top_p=1.0, 400K context, 48K output and anti-hacking filters.
  • ClawEval: An agentic code benchmark over real-user task distributions; temp=0.6 and 256K context.