HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Ornith-1.5: 自己足場から自己改善へ

Ornith-1.5: From Self-Scaffolding to Self-Improvement (ornith.ai)

192 pointsby CommonGuy63 コメント

要約

Ornith-1.5は、エンドツーエンドの自己改善による基盤モデル構築に向けた重要な一歩です。このモデルは、タスクの提案、タスク固有の足場(スキャフォールド)の生成、強化学習のためのソリューションロールアウトの生成を継続的に行うことで、自己改善ループを強化しています。3つのモデルスケール(397B MoE, 35B MoE, 9B dense)で提供され、推論、エージェント、コーディングタスクにおいて高い汎用知能を発揮し、多くのベンチマークでオープンソースモデルとして最先端の性能を達成しています。

全文翻訳

Ornith-1.5: 自己足場かけから自己改善へ

[画像: Ornith-1.5]

本日、私たちはエンドツーエンドの自己改善による基盤モデル構築に向けた大きな一歩となるOrnith-1.5を発表します。Ornith-1.5は、Ornith-1.0で導入された自己足場かけ(self-scaffolding)フレームワークを、より完全な自己改善ループへと拡張します。このモデルは新しいタスクを提案し、タスク固有の足場を生成し、強化学習のためのソリューションロールアウトを生成することで、継続的に新しい学習経験を創造し、それによって自身を改善していきます。

Ornith-1.5は、397B MoE、35B MoE、9B Denseの3つのモデルスケールに及びます。これは、Qwen3.5とGemma 4をベースに、追加の継続事前学習(CPT)、中間学習、事後学習を施して開発されたOrnith-1.0を拡張したものです。Ornith-1.5は、推論、コーディング、エージェントタスクの広範なベンチマークにおいて、同規模のオープンソースモデルの中で最先端のパフォーマンスを達成しています。Ornith-1.5-397Bは、Terminal-Bench 2.1で86.1、DeepSWEで56.0を記録し、Claude Opus 4.8(85.0および59.0)に匹敵する性能を示しつつ、GLM-5.2(82.7および46.2)やDeepSeek-V4-Flash-0731(82.7および54.4)といった同規模の主要なオープンソースモデルを上回っています。スペクトルの反対側では、Ornith-1.5-9Bとその量子化版であるOrnith-1.5-9B-Mobileは、iPhoneやAndroidデバイスに容易に展開可能でありながら、Gemma 4-31BやQwen 3.6-35Bといったより大きなモデルを大幅に凌駕する性能を発揮します。

[画像: Ornith-1.5-397Bのパフォーマンス評価結果]

フラッグシップスケールであるOrnith-1.5-397Bは、Terminal-Bench 2.1で86.1、DeepSWEで56を達成し、両方のベンチマークでClaude Opus 4.8に並び、GLM-5.2やDeepSeek-V4-Flash-0731を含む同規模の主要なオープンソースモデルを上回っています。

[画像: Ornith-1.5-35Bのパフォーマンス評価結果]

Ornith-1.5-35Bは、コーディングおよびエージェントベンチマーク全体で、同規模の競合であるQwen 3.6-35Bを大幅に上回っています。また、トークンあたりわずか3Bのパラメータしかアクティブにしないにもかかわらず、エージェントコーディング(Terminal-Bench 2.1で68.5対43.4および51.7、SWE-Bench Verifiedで79.0対52.0および76.0)において、Gemma 4-31BやMetaのMuse Glimmer-30Bといった密結合モデルを大きく引き離しています。

[画像: Ornith-1.5-9Bのパフォーマンス評価結果]

エッジ展開可能なOrnith-1.5-9Bも驚くほど強力な結果をもたらし、Terminal-Bench 2.1で47.0、SWE-Bench Verifiedで70.6を達成しています。コンパクトな9Bパラメータモデルでありながら、Gemma 4-31BやQwen 3.6-35Bといったはるかに大きなモデルのパフォーマンスに匹敵するか、それを超えています。

自己生成タスク、ハーネス、ソリューションによる自己改善

Ornith-1.5は、足場とロールアウトの最適化から、タスク生成、足場構築、ソリューションロールアウトの共同最適化へと自己改善ループを拡張することで、Ornith-1.0を拡張します。固定された人間がキュレーションしたタスクセットや手作業で設計されたハーネスに依存するのではなく、Ornith-1.5は新しいトレーニングタスクを継続的に生成し、それらを解決するための効果的な戦略を発見し、強化学習を通じてポリシーを改善します。

各トレーニングサイクルは3つのステージで進行します。環境またはコードベース、タスクタイプの高レベルな指示、およびモデルの過去のタスク解決履歴へのアクセスが与えられると、システムはモデルが既に解決したことを超える、ますます困難なタスクを提案し、能力のギャップを露呈させ、トレーニングのフロンティアを継続的に押し広げます。

各タスクについて、モデルは次にタスク固有の足場(問題に取り組むための指示、ツール、分解戦略、オーケストレーション)を生成または洗練します。タスクと足場に基づいて、ポリシーはソリューションロールアウトを生成します。ロールアウトからの報酬は3つのステージすべてに伝播されるため、システムはより良いソリューションを生成するだけでなく、より有用なトレーニングタスクを生成し、より効果的な足場を構築することも学習します。

トレーニング中にこれを繰り返すことで、より強力なポリシーがより困難で情報量の多いタスクの生成を可能にし、進化する足場がモデルの能力を引き出すためのより良い方法を発見し、より高品質なロールアウトがますます効果的な学習信号を提供するクローズドな自己改善ループが作成されます。静的なトレーニング分布や手作業で設計されたエージェント設計に依存するのではなく、Ornith-1.5は自身のカリキュラムを継続的に拡張し、問題解決戦略を適応させ、推論、コーディング、エージェントタスク全体で持続的な能力向上を推進します。

[画像: 生成されたタスク、足場、ソリューションロールアウト、報酬、GRPOアップデートを通じたOrnith-1.5の自己改善ループ]

タスク報酬

質問 → 足場 → ロールアウトの設定では、タスク報酬を3つのシグナル、すなわち妥当性、フロンティア難易度、新規性を使用して定義します。生成された質問を(q)、その足場を(s)、ソリューションロールアウトのセットを({\tau_i}_ {i=1}^{N})とします。以下を定義します。

([ R_\text{task} = \underbrace{V(q,s)}_{\text{妥当で検証可能か?}} \times \underbrace{D!\left(q,s,{\tau_i}_ {i=1}^{N}\right)}_{\text{適切な難易度か?}} \times \underbrace{N(q)}_{\text{十分に新規か?}} \cdot )

ここで、(V)は生成されたタスクと足場が妥当で検証可能な学習環境を形成するかどうかを測定し、(D)はロールアウトパフォーマンスに基づいてタスクがモデルの現在の能力フロンティアの近くにあるかどうかを測定し、(N)は以前に生成された、またはトレーニングされたタスクに対する新規性を測定します。乗算形式は、プロポーザーが3つの特性すべてを同時に満たすタスクを生成することを奨励します:妥当で、適切に挑戦的で、冗長でないことです。

妥当性と検証可能性

有用なタスクは、明確に定義された学習環境を形成する必要があります。質問は一貫性があり解決可能であるべきであり、足場は正しく実行され、候補ソリューションを確実に評価できるべきです。以下を定義します。

([ V(q,s) \in [0,1], )

足場が正常に実行されるか、高信頼度のソリューションがパスするか、明らかに間違ったソリューションがフェイルするか、評価がタスク仕様と一致するかなどのチェックに基づきます。妥当性はハードゲートとしても扱われます。

([ V(q,s)=0 \quad\Rightarrow\quad R_\text{task}=0. )

これにより、不正なタスクや信頼性の低い足場が、単に困難に見えるという理由だけで報酬を受け取るのを防ぎます。

フロンティア難易度

妥当なタスクの中でも、最も有用なのは自明でも不可能でもないものです。難易度はモデルのロールアウトから直接推定します。

各タスクについて、(N)個のロールアウトをサンプリングし、経験的な成功率を計算します。

([ p = \frac{1}{N} \sum_ {i=1}^{N} \mathbf{1}!\left[s(q,\tau_i)=\text{success}\right]. )

次に、成功率がターゲットフロンティア(p extasterisk)に近いタスクに報酬を与えます。

([ D(q,s,{\tau_i}) = \exp!\left(-\frac{(p-p extasterisk)^2}{2\sigma^2}\right). )

(p extasterisk)は0.2に設定されており、これは挑戦的でありながら強化学習に十分な成功した軌跡をもたらすタスクを優先します。モデルが改善され、タスクをより確実に解決するにつれて、その報酬は自然に減少し、ジェネレーターをより困難な問題へと押しやります。

新規性と多様性

フロンティア難易度だけでは、モデルが同じタスクの小さなバリエーションを繰り返し生成する可能性があります。そのため、新規性の項を追加します。

([ N(q) = 1 - \max_ {q_j \in \mathcal{B}} \operatorname{sim}(q,q_j), )

ここで、(\mathcal{B})は以前に生成された、またはトレーニングされたタスクのバッファです。新規性は、妥当性と難易度に次ぐものでなければなりません。その役割は冗長性を減らすことであり、任意に珍しいタスクを報酬することではありません。

これらのシグナルを組み合わせることで、プロポーザーは妥当で、検証可能で、挑戦的だが学習可能で、十分に多様なタスクを生成することが奨励されます。フロンティア難易度は現在のモデル自身のロールアウトを使用して測定されるため、結果として得られるカリキュラムはモデルの能力とともに自動的に進化します。

ハーネスとロールアウト報酬

生成された質問(q)に対して、ハーネス(h)はタスクに整合し、ソリューションの品質に忠実で、報酬ハッキングに抵抗力がある評価環境を提供することで報酬を受け取ります。

([ R_\text{harness} = \underbrace{C(q,h)}_{\text{タスク整合性}} \times \underbrace{F!\left(h,{\tau_i}\right)}_{\text{報酬忠実性}} \times \underbrace{H(h)}_{\text{ハック耐性}}. )

ここで、(C)はハーネスがタスク仕様を忠実に反映しているかどうかを測定し、(F)は報酬が候補ソリューションの真の品質を追跡しているかどうかを測定し、(H)は評価者の失敗、ショートカット、報酬ハッキング行動に対する抵抗力を測定します。

各ロールアウト(\tau_i)は、生成されたハーネスによって直接スコアリングされます。

([ R_\text{rollout}(\tau_i) = \underbrace{h(q,\tau_i)}_{\text{タスク成功}}. )

検証可能なタスクの場合、これはバイナリのパス/フェイル報酬になる可能性があります。よりリッチな環境の場合、正しさ、タスク完了、効率、制約の満足度を組み合わせることができます。質問生成、ハーネス生成、ソリューションロールアウトはすべて、それぞれの報酬を使用してGRPOで最適化され、3つのステージが同じ自己改善ループ内で共同で改善できるようになります。

完全な表

Ornith-1.5-397B
BenchmarkOrnith-1.5 (397B)DeepSeek-V4-Flash-0731 (284B)GLM-5.2 (753B)Claude Opus 4.8Kimi K3 (2.8T)Ornith-1.0 (397B)
Coding
Terminal Bench 2.1 (Terminus-2)86.182.7818588.377.5
Terminal Bench 2.1 (Claude Code)85.281.882.778.9–78.2
SWE-bench Verified8681.68385.886.282.4
SWE-bench Pro65.164.462.168–62.2
SWE-bench Multilingual79.677.978.475.7–78.9
DeepSWE5654.446.25967.58
Frontier-Bench v0.113.56.15.121.1232.7
NL2Repo59.554.248.969.7–48.2
SWE Atlas – QnA55.651.65059.759.741.2
Reasoning
HLE (no tools)44.63540.549.843.530.2
HLE (with tools)56.150.854.757.95647.5
GPQA Diamond92.891.491.293.693.588.1
Agentic
MCP-Atlas8074.677.882.282.376.4
Toolathlon-Verified71.270.348.276.273.243.2
WideSearch80.877.37972.9–75.2
BrowseComp86.684.885.684.391.279.7
ClawEval81.477.678.880.2–77.1
Ornith-1.5-35B
BenchmarkOrnith-1.5-35B-A3BOrnith-1.0-35B-A3BQwen3.6-35B-A3BGemma-4-31B (dense)Muse-Glimmer-30B (dense)Qwen3.5-397B (397B)
Coding
Terminal Bench 2.1 (Terminus-2)67.864.252.542.151.753.5
Terminal Bench 2.1 (Claude Code)68.562.849.2––48.6
SWE-bench Verified7975.673.4527676.4
SWE-bench Pro59.650.449.535.751.251.6
SWE-bench Multilingual71.469.367.251.7–69.3
DeepSWE2200––1
Frontier-Bench v0.15.11.41.4––1.4
NL2Repo46.234.629.415.5–36.8
SWE Atlas – QnA39.837.115.5––20.4
Reasoning
HLE (no tools)25.620.821.419.52228.7
HLE (with tools)33.430.128.926.5–48.3
GPQA Diamond89.286.28684.383.588.4
Agentic
MCP-Atlas70.264.462.85575.572.3
Toolathlon-Verified48.742.441.740.8–38.3
WideSearch67.863.460.154.2–74
BrowseComp67.663.562––78.6
ClawEval72.569.868.748.5–70.7
Ornith-1.5-9B
BenchmarkOrnith-1.5-9BOrnith-1.0-9BQwen3.5-9BQwen3.6-35B-A3BGemma-4-31B (dense)
Coding
Terminal Bench 2.1 (Terminus-2)46.243.121.352.542.1
Terminal Bench 2.1 (Claude Code)4740.618.949.2–
SWE-bench Verified70.669.453.273.452
SWE-bench Pro47.542.931.349.535.7
SWE-bench Multilingual54.45239.767.251.7
NL2Repo32.427.216.229.415.5
SWE Atlas – QnA20.617.99.215.5–
Reasoning
HLE (no tools)20.216.814.721.419.5
HLE (with tools)30.526.424.528.926.5
GPQA Diamond86.482.581.78684.3
Agentic
MCP-Atlas54.249.446.862.855
Toolathlon-Verified41.233.429.641.752.8
WideSearch59.555.853.660.154.2
BrowseComp56.444.841.562–
ClawEval66.563.153.268.748.5

フットノート

  • Ornith-1.5について報告されたすべての結果は、5回の独立した実行の平均です。
  • Terminal-Bench 2.1 (Terminus-2): Harbor/Terminus-2フレームワークを使用し、parser=json、temperature=1.0、top_p=1.0、128KコンテキストウィンドウでTerminal-Bench 2.1を評価します。各実行は4時間のタイムアウト、32 CPUコア、48GB RAMを使用し、結果は5回の実行の平均です。トレーニングと推論の一貫性を確保するためにQwenチャットテンプレートを調整し、vLLMのreasoning_contentキーと整合するようにHarborを変更します。
  • Terminal-Bench 2.1 (Claude Code): Claude Code 2.1.126を使用し、parser=json、temperature=1.0、top_p=1.0、max_new_tokens=131072でTerminal-Bench 2.1を評価します。結果は5回の実行の平均です。ここでも、Qwenチャットテンプレートの変更が必要です。
  • SWE-Bench Verified, Pro, Multilingual: OpenHandsハーネスを使用し、temp=1.0、top_p=0.95、256kコンテキストウィンドウを使用します。評価全体でアンチハッキング対策が適用されます。過去のソリューションやコミットへのアクセスを防ぐため、Git履歴はローカルリポジトリイメージから削除されます。ネットワークアクセスは無効化され、モデルが外部情報やリソースを取得するのを防ぎます。
  • DeepSWE: Claude Codeハーネスを使用し、temperature=1.0、top_p=0.95、256Kコンテキストウィンドウで評価されます。
  • SWE Atlas QnA, RF, TW: mini SWEエージェントハーネスを使用し、temp=1.0、top_p=0.95、128Kコンテキストウィンドウを使用します。結果は5回の実行の平均です。
  • NL2Repo: temperature=1.0、top_p=1.0、400Kコンテキスト、48K出力で実行されます。報酬ハッキングを防ぐため、指定されたGitHubリポジトリおよびpipパッケージへのアクセスはブロックされます。
  • HLE: Claude 4.6 Opusをジャッジモデルとして使用して評価されます。
  • MCP-Atlas: すべてのモデルは、500タスクの公開サブセットで思考モードで評価され、タスクあたり10分間のタイムアウトが設定されます。Claude 4.8 Opusをジャッジモデルとして使用します。
  • Tool-Decathlon: 公式評価サービスを使用し、最大トークン制限は128Kです。
  • ClawEval: 実際のユーザータスク分布におけるエージェントコードベンチマーク。temp=0.6、256Kコンテキストで実行されます。