Project HydraFusion: マルチモデルオーケストレーションによる最先端品質

Project HydraFusion: マルチモデルオーケストレーションによる最先端品質の実現

開発者にとって、そのタスクに最適なモデルを提供することは常に私たちの目標でした。今年の初めには、タスクをレビューし、それに最も適したモデルにマッチングさせる自動モデル選択をリリースし、その目標を達成しやすくしました。

本日、私たちはランタイムオーケストレーションを通じて最先端のインテリジェンスを提供する研究プレビューであるProject HydraFusionを発表します。これは、複数のプロバイダーのモデルから選択して、ドラフト作成、レビューと改訂、あるいはより強力なモデルへのカスケード処理を行う完全な実行プランを作成します。

HydraFusionは、ローカル、クラウド、および複合モデル間の自動セマンティックルーティングを提供するという、私たちの全体的な戦略において重要な役割を果たします。開発者にとって、その複雑さは舞台裏に隠されたままです。HydraFusionを他のモデルと同様に選択するだけで、各タスクのパフォーマンス、コスト、レイテンシのバランスを取るワークフローが選択されます。

HydraFusionは、ワークフロー選択を最適化問題として扱います。これは、推論、コード生成、デバッグ、およびツール使用のための機能シグナルを使用して、品質基準を満たす最も効率的な実行パターンを選択します。

現在、HydraFusionはリクエストごとに3つの実行パターンのいずれかを選択します。

• シングル (Single): 1つの選択されたモデルがタスクを直接解決します。
• カスケード (Cascade): 効率的なモデルがソリューションをドラフトし、品質ゲートがそれを承認するか、より強力なモデルにエスカレートするかを決定します。
• レビュー (Critique): 1つのモデルが結果をドラフトし、異なるモデルファミリーからの独立した読み取り専用の批評家がそれをレビューします（Rubber Duckと同じレビューパターンに従います）。その後、ドラフトモデルが一度だけ改訂します。

［画像: Figure 1. HydraFusion architecture］

各パターンは、品質とコストの異なるトレードオフに対処します。「シングル」は、1つのモデルがタスクを直接解決できる場合に、速度と効率を維持します。「カスケード」は、候補が承認ゲートをクリアしない場合に、より強力な推論へのパスを維持しながら、効率的なモデルに最初の試行を許可します。「レビュー」は、単独での試行よりもレビューが有用なタスクに、独立した視点を追加します。

3つのエージェンティックコーディングベンチマーク全体でのオフライン評価において、HydraFusionは大幅な推定コスト削減とともに、一貫して最先端レベルの品質を示しました。TerminalBench 2.1では、Claude Opus 5と比較して、推定コストを67%削減しながら、検証済みタスク品質を4.9パーセンテージポイント向上させました。

アプローチ、結果、およびベンチマークについて詳しく見ていきましょう。

適応型マルチモデルオーケストレーション

開発者はすでに手動でモデルを調整しています。タスクに1つのモデルを選択し、別のモデルに作業をレビューさせたり、困難な問題をより有能なモデルにエスカレートしたりします。HydraFusionは、その馴染みのあるプロセスをランタイムにもたらします。HydraFusionを一度選択すれば、舞台裏でモデルとワークフローを管理しながら、タスクに集中できます。

鍵は選択性です。一部のコーディングタスクは直接解決できますが、他のタスクはレビュー、改訂、またはエスカレーションから恩恵を受けます。HydraFusionは各リクエストを評価し、そのニーズを満たすと予想される最も単純なワークフローを選択します。追加のモデル呼び出しは、結果を改善する可能性が高い場合にのみ使用されます。この適応型アプローチは、モデル間の品質、コスト、およびレイテンシのバランスを取ります。

モデルのフロンティアが進歩するにつれて、HydraFusionも進化します。GitHub Copilotで新しいモデルが利用可能になった場合、それらを評価してモデルプールに組み込むことができ、それらの強みを最も適したタスクにもたらすことができます。

HydraFusionの構築

適応型マルチモデルオーケストレーションを、信頼性の高い単一のコーディングエクスペリエンスに変えるには、実行、レビュー、コスト、およびリポジトリの状態を慎重に制御する必要があります。HydraFusionは5つの運用原則を中心に構築されています。

• 完全なアカウンティング: ドラフト作成、レビュー、改訂、エスカレーション、リトライ、フォールバックを含む、すべてのワークフローレグのコストと使用状況を集計します。
• 制限付き実行: 各レグに明示的なタイムアウトとキャンセル動作を与え、実行とコストを実行可能な制限内に保ちます。
• 分離されたレビュー: レビュー手順は分離されたツールなしのコンテキストで実行し、ソルバー手順は共有ワークスペースと通常の権限認識エージェントループを使用します。これにより、モデルはリポジトリを変更せずに作業を独立して評価できます。
• フェイルセーフアプリケーション: ワークフローがキャンセルされたり、検証に失敗したりした場合にパッチを適用せず、不完全な変更がリポジトリに到達するのを防ぎます。
• 検証済みルーティング: 実行が開始される前に、ワークフロー定義、モデルバインディング、フォールバック動作、およびモデルの可用性を検証します。

これらの原則は together、リポジトリレベルの作業にマルチモデルオーケストレーションを実用的なものにします。内部的には、ランタイムは各レグの役割、結果、コスト、レイテンシ、および診断を記録するため、実行後にワークフローを理解できます。外部的には、開発者は1つのまとまった応答と1つの権限認識変更セットを受け取ります。

ベンチマーク結果

固定されたHydraFusionポリシーは、Claude Opus 5とGPT-5.6 Solを比較ベースラインとして使用し、3つのエージェンティックコーディングベンチマーク（TerminalBench 2.1、DeepSWE、および実際のGitHub Copilotセッションに基づいた内部ベンチマークであるCheckpointBench）で評価されました。各ポリシーは、同じタスク入力、ツール、実行制限、価格設定の仮定、評価条件、および欠落結果の処理を使用しました。評価では、正しく回答されたタスクの割合である検証済みタスク品質と、完全な推定ワークフローコストを測定しました。コストアカウンティングには、ドラフト作成、レビュー、改訂、エスカレーション、リトライ、フォールバックなどのすべての呼び出されたレグが含まれていました。以下の結果は、最適に調整されたHydraFusion構成を示しています。

［画像: Table 1. HydraFusion quality and cost across three agentic benchmarks, relative to Opus 5.］

これらの制御されたオフライン結果は、評価されたベンチマークの改訂、ワークフロー構成、モデルプール、および価格設定の仮定に固有のものであり、すべてのモデルは同じ中程度の推論レベルで評価されました。この研究プレビューを通じて、これらの結果が実際の開発者ワークロードにどのように変換されるかを検証し、その発見を使用して、本番品質、レイテンシ、信頼性、キャッシュ効率、コスト、および安全性のためにHydraFusionをさらに最適化します。

TerminalBench 2.1

TerminalBench 2.1は、ターミナル環境における複雑なマルチステップタスクでコーディングエージェントを評価します。

Figure 2は、検証済みタスク品質と推定ワークフローコストにおけるHydraFusionとOpus 5を比較しています。

DeepSWE

DeepSWEは、大規模なコードベースのナビゲーション、ファイル間の依存関係の理解、およびエンドツーエンドの修正の生成を必要とする、挑戦的なリポジトリレベルのソフトウェアエンジニアリングタスクを評価します。このベンチマークでは、HydraFusionはOpus 5に1.5パーセンテージポイントまで迫りながら、コストを36%削減し、複雑な現実世界のエンジニアリングタスクに対して魅力的な品質とコストのトレードオフを示しています。

CheckpointBench

CheckpointBenchは、実際のGitHub Copilotエージェンティックコーディングセッションからキュレートされた内部マルチターンベンチマークです。各会話は特定の公開リポジトリと不変のコミットにアンカーされており、すべてのセッションが再生可能であることを保証します。ベンチマークは言語、タスクタイプ、難易度でバランスが取れており、品質のためにスクラブされており、本番のエージェンティックセッションを密接に反映する現実的な評価セットとなっています。このベンチマークでは、HydraFusionはOpus 5に0.1パーセンテージポイントまで迫りながら、コストを65%削減しています。

初期の内部テストでも同様の結果が報告されています。

これまでのところ、推論とタスク解決能力はOpusと同等かそれ以上です。

Microsoftのプリンシパルソフトウェアエンジニア

Hill-climbing HydraFusion

HydraFusionのルーティングポリシーは、開発者が実際のコーディングタスクでGitHub Copilotをどのように使用するかに基づいて形成されました。これらのワークフローを再現可能にするために、CheckpointBenchを実際のCopilotコーディングセッションの軌跡からキュレートしました。CheckpointBench、DeepSWE、およびTerminalBench 2.1全体でHydraFusionを繰り返し洗練し、単一のベンチマークではなく、評価セット全体で最適化しました。

HydraFusionの各機能スコアは、候補ルーティングポリシーを比較するための安定した基盤を提供しました。しきい値を手動で調整する代わりに、ビームサーチを使用して最適な決定ポリシーを構築しました。各候補は、品質、コスト、および障害モードについて凍結されたベースラインに対して測定されたため、改善は安定した基盤で評価されました。

TerminalBench 2.1は、最も完全な実行シーケンスを提供し、この反復的な改善の最も明確なビューを提供します。進行は直線的ではありませんでした。8月11日から8月25日の間に、評価ハーネスでの2回の運用上の障害により、無効な実行が発生しました。これらの障害はパフォーマンスの傾向から除外され、修正され、その後HydraFusion構成での継続的な改善が続きました。8月25日までに、HydraFusionは記録されたシリーズで最も強力な運用ポイントに達していました。

この開発記録は、ポリシーが繰り返し実験によってどのように改善されたかを示しています。TerminalBench 2.1は、開発中に使用されたいくつかのベンチマークの1つでした。その相対的な飽和状態により、より広範な検証が重要であるため、3つのベンチマーク評価には、DeepSWEのより要求の厳しいリポジトリレベルのタスクも含まれています。研究プレビューは、その学習ループを実際の開発者ワークロードに拡張します。

研究プレビューを試す

このプレビューでは、最初のターンで単一プロンプトのコーディングタスクが開始するのに最適です。次に、長い反復セッションでの強力なマルチターンパフォーマンスに焦点を当てます。

このプレビューは、どのタスクが複合ワークフローから恩恵を受けるか、そしてオーケストレーションが実際にレイテンシとコストにどのように影響するかを学習するように設計されています。今日の最良のエクスペリエンスを得るには、単一のプロンプトでCopilotにオートパイロットモードで渡せる、実質的で十分にスコープされたコーディングタスクから始めてください。Copilot CLIの/feedbackまたはGitHub Community discussionで、その得意な点、不得意な点、そして次に何を見たいかを含め、発見したことを共有してください。

HydraFusionはアクティブな研究努力であり続けます。結果、モデル、ワークフロー、可用性、名前、および製品の動作は、プレビューから学習するにつれて変更される可能性があります。コーディングエージェントの次の実際の進歩は、最先端のインテリジェンスとランタイムオーケストレーションを組み合わせることから来ると信じています。HydraFusionは、そのアイデアに対する私たちの最初の賭けです。つまり、最良のモデルを選択することから、各タスクを解決するための最良の方法を動的に構築することへと移行します。

謝辞

トレーニングデータを作成し、トレーニングパイプライン、評価スイート、クライアントエクスペリエンス、およびサービングスタックを構築した、GitHubとMicrosoftのすべての研究者、エンジニア、プロダクトマネージャー、およびデザイナーに心から感謝します。この研究プレビューを顧客に提供するために数多くの課題を克服したGitHub Copilot CLI、Copilot API、およびVS Codeチームに特に感謝しています。

チーム紹介

［画像: Aashna Garg, Principal Applied Scientist, Code AI］
［画像: Shengyu Fu, Partner Applied Science Manager, Code AI］
［画像: Carlos Castro, Partner Architect, GitHub Copilot］
［画像: Siddharth Singha Roy, Research Scientist II, Code AI］
［画像: Andy Salerno, Principal Software Engineer, GitHub Copilot］

執筆者

［画像: GitHub Staff］

GitHubは世界最高の開発者エクスペリエンスであり、セキュリティがすべてのステップに組み込まれた唯一のAI搭載プラットフォームであるため、自信を持ってイノベーションを推進できます。