Ornith-1.5: 自己足場から自己改善へ

本日、Ornith-1.5を発表します。これは、エンドツーエンドの自己改善による基盤モデル構築に向けた大きな一歩です。Ornith-1.5は、Ornith-1.0で導入された自己足場（self-scaffolding）フレームワークを、より完全な自己改善ループへと拡張します。モデルは新しいタスクを提案し、タスク固有の足場を生成し、強化学習のためのソリューションロールアウトを生成することで、継続的に新しい学習体験を生み出し、そこから改善することができます。 Ornith-1.5は、397B MoE、35B MoE、9B denseの3つのモデルスケールにまたがります。推論、エージェント、コーディングタスクにおける強力な汎用知能のために設計されており、Ornith-1.5は、同規模のオープンソースモデルの中で、幅広いベンチマークにおいて最先端の性能を達成しています。 Ornith-1.5-397Bは、Terminal-Bench 2.1で86.1、DeepSWEで56.0を記録し、Claude Opus 4.8（85.0および59.0）と同等であり、GLM-5.2（82.7および46.2）やDeepSeek-V4-Flash-0731（82.7および54.4）といった同規模の主要なオープンソースモデルを上回っています。 スペクトルのもう一方の端では、Ornith-1.5-9Bは、その量子化されたOrnith-1.5-9B-Mobileバージョンとともに、iPhoneやAndroidデバイスに容易に展開でき、Gemma 4-31BやQwen 3.6-35Bといったより大きなモデルを大幅に上回っています。 フラッグシップスケールでは、Ornith-1.5-397BはTerminal-Bench 2.1で86.1、DeepSWEで56を達成し、両方のベンチマークでClaude Opus 4.8に匹敵し、GLM-5.2やDeepSeek-V4-Flash-0731を含む同規模の主要なオープンソースモデルを上回っています。 Ornith-1.5-35Bは、同規模の競合であるQwen 3.6-35Bを、コーディングおよびエージェントベンチマーク全体で大幅に上回っています。トークンあたりわずか3Bのパラメータしかアクティブにしないにもかかわらず、エージェントコーディング（Terminal-Bench 2.1で68.5対43.4および51.7、SWE-Bench Verifiedで79.0対52.0および76.0）において、Gemma 4-31BやMetaのMuse Glimmer-30Bといった密なモデルを大幅に上回っています。 エッジ展開可能なOrnith-1.5-9Bも驚くほど強力な結果をもたらし、Terminal-Bench 2.1で47.0、SWE-Bench Verifiedで70.6を達成しています。9Bパラメータのコンパクトなモデルであるにもかかわらず、Gemma 4-31BやQwen 3.6-35Bといったはるかに大きなモデルのパフォーマンスに匹敵するか、それを超えています。 自己生成タスク、ハーネス、ソリューションによる自己改善 Ornith-1.5は、足場とロールアウトの最適化から、タスク生成、足場構築、ロールアウトの共同最適化へと自己改善ループを拡張することで、Ornith-1.0を拡張します。人間がキュレーションした固定のタスクセットや手動で設計されたハーネスに依存するのではなく、Ornith-1.5は継続的に新しいトレーニングタスクを生成し、それらを解決するための効果的な戦略を発見し、強化学習を通じてポリシーを改善します。 各トレーニングサイクルは3つの段階で進行します。環境またはコードベース、タスクタイプの高レベルな指示、およびモデルの以前のタスク解決履歴へのアクセスが与えられると、システムはモデルがすでに解決したことを超える、ますます困難なタスクを提案し、能力のギャップを露呈させ、トレーニングのフロンティアを継続的に押し広げます。 各タスクについて、モデルはタスク固有の足場（問題に取り組むために使用される指示、ツール、分解戦略、およびオーケストレーション）を生成または洗練します。タスクと足場に基づいて、ポリシーはソリューションロールアウトを生成します。ロールアウトからの報酬は3つの段階すべてに伝播されるため、システムはより良いソリューションを生成するだけでなく、より有用なトレーニングタスクを生成し、より効果的な足場を構築することも学習します。 トレーニングで繰り返されることで、より強力なポリシーがより困難で情報量の多いタスクの生成を可能にし、進化する足場がモデルの能力を引き出すより良い方法を発見し、より高品質なロールアウトがますます効果的な学習信号を提供する閉じた自己改善ループが作成されます。 静的なトレーニング分布や手作業で設計されたエージェント設計に依存するのではなく、Ornith-1.5は継続的に独自のカリキュラムを拡張し、問題解決戦略を適応させ、推論、コーディング、エージェントタスク全体で持続的な能力向上を推進します。 タスク報酬 質問→足場→ロールアウトのセットアップについて、タスク報酬を3つのシグナル：妥当性、フロンティア難易度、新規性を使用して定義します。生成された質問をq、その足場をs、ソリューションロールアウトのセットを{τ_i}_(i=1)^Nとすると、次のように定義します。 R_task = V(q,s) × D(q,s,{τ_i}_(i=1)^N) × N(q) ここで、Vは生成されたタスクと足場が妥当で検証可能な学習環境を形成するかどうかを測定し、Dはタスクがロールアウトパフォーマンスに基づいたモデルの現在の能力フロンティアの近くにあるかどうかを測定し、Nは以前に生成されたまたはトレーニングされたタスクに対する新規性を測定します。 乗算形式は、プロポーザーが3つの特性すべてを同時に満たすタスクを生成することを奨励します：妥当性、適切な難易度、および冗長でないこと。 妥当性と検証可能性 有用なタスクは、明確に定義された学習環境を形成する必要があります。質問は首尾一貫していて解決可能である必要があり、足場は正しく実行され、候補ソリューションを確実に評価できる必要があります。次のように定義します。 V(q,s) ∈ [0,1] 足場が正常に実行されるか、高信頼度のソリューションが合格するか、明らかに間違ったソリューションが失敗するか、評価がタスク仕様と一致するかなどのチェックに基づきます。妥当性はハードゲートとして扱うこともできます。 V(q,s)=0 ⇒ R_task=0. これにより、誤ったタスクや信頼性の低い足場が、単に難しく見えるという理由だけで報酬を受け取るのを防ぎます。 フロンティア難易度 妥当なタスクの中でも、最も有用なものは、簡単すぎず、不可能すぎないものです。難易度はモデルのロールアウトから直接推定します。各タスクについて、N個のロールアウトをサンプリングし、経験的な成功率を計算します。 p = (1/N) Σ_(i=1)^N 1[s(q,τ_i)=success]. 次に、成功率がターゲットフロンティアp^*に近いタスクに報酬を与えます。 D(q,s,{τ_i}) = exp(-(p-p^*)^2 / (2σ^2)). p^*は0.2に設定されており、これは挑戦的でありながら強化学習のための十分な成功した軌道をもたらすタスクを優先します。モデルが改善され、タスクをより確実に解決するにつれて、その報酬は自然に減少し、ジェネレーターをより困難な問題へと押しやります。 新規性と多様性 フロンティア難易度だけでは、モデルが同じタスクの小さなバリエーションを繰り返し生成する可能性があります。したがって、新規性の項を追加します。 N(q) = 1 - max_(q_j ∈ B) sim(q,q_j). ここで、Bは以前に生成されたまたはトレーニングされたタスクのバッファです。新規性は、妥当性と難易度に次ぐものと考えるべきです。その役割は冗長性を減らすことであり、任意に珍しいタスクに報酬を与えることではありません。これらのシグナルを組み合わせることで、プロポーザーは妥当で、検証可能で、挑戦的だが学習可能で、十分に多様なタスクを生成することが奨励されます。フロンティア難易度は現在のモデル自身のロールアウトを使用して測定されるため、結果として得られるカリキュラムはモデルの能力とともに自動的に進化します。 ハーネスとロールアウト報酬 生成された質問qに対して、ハーネスhはタスクに整合し、ソリューションの品質に忠実で、報酬ハッキングに耐性のある評価環境を提供したことで報酬が与えられます。 R_harness = C(q,h) × F(h,{τ_i}) × H(h). ここで、Cはハーネスがタスク仕様を忠実に反映しているかどうかを測定し、Fは報酬が候補ソリューションの真の品質を追跡しているかどうかを測定し、Hは評価者の失敗、ショートカット、および報酬ハッキング行動に対する耐性を測定します。 各ロールアウトτ_iは、生成されたハーネスによって直接スコアリングされます。 R_rollout(τ_i) = h(q,τ_i) - タスクの成功