システム最適化はCI/CDの一部であるべきだ
Systems optimization should be part of CI/CD (ucbskyadrs.github.io)
要約
AI駆動型システム研究(ADRS)はアルゴリズム発見に有望ですが、現在のフレームワークはコストが高すぎます。LEVIは、費用対効果の高い小さなモデルを主に活用し、多様性を維持することで、ADRSのコストを大幅に削減するフレームワークです。これにより、ADRSの成果をCI/CDプロセスに組み込み、各デプロイメントの特定のワークロードやハードウェアに合わせてアルゴリズムを継続的に最適化できるようになります。
全文翻訳
LEVI: コストの数分の一でより良いADRSの結果を
この投稿は、AIを用いて実世界のシステム問題に対するより良いアルゴリズムを自動的に発見する「AI駆動型システム研究(ADRS)」のケーススタディシリーズの一部です。
OpenEvolveやGEPAのようなアルゴリズム発見フレームワークは、ADRSが強力なアルゴリズムを生み出すことを示してきました。しかし、今日のフレームワークは、ADRSが次に進むべき方向には高すぎます。未来は、単発のベンチマーク結果ではなく、継続的かつカスタムな最適化にあります。システムは、デプロイメントの正確なワークロード、ハードウェア、SLOに合わせたソリューションを生成し、それらが変化しても適応する必要があります。これは、すべての最適化に莫大な費用がかかる場合には不可能です。
LEVIは、アルゴリズム発見のコストを下げることに焦点を当てて構築されたフレームワークです。すべてのステップで最も強力で高価なモデルを使用するのではなく、検索ハーネスに投資します。小規模で安価なモデル(例: QWEN 30B)がほとんどの突然変異を行い、大規模モデルはより稀なパラダイムシフトのために予約されます。これは、LEVIがコード構造(例: ループ数)と実際の動作(例: サブセットxでのパフォーマンス)の両方で多様性を維持することで可能になります。これにより、検索アーカイブが単一のソリューションファミリーに収束するのを防ぎます。
その結果、従来よりも大幅に低コスト(主要なベンチマーク比較でベースラインの約3〜7倍安価)で、より強力なADRS結果が得られるフレームワークが実現しました。
LLMアルゴリズム発見フレームワークは、ADRSに対して強力な結果をもたらす可能性を示しています。しかし、依然として重要なボトルネックはコストです。このブログでは、コストがADRSにおいてなぜ重要なのかを論じ、そしてコストの数分の一で他のフレームワークを上回るアルゴリズム発見フレームワークであるLEVIを紹介します。
既存のフレームワークは、高価で大規模なクローズドソースLLMの使用を必要とします。これは明白な理由から問題があります。例えば、ほとんどの研究者はそのような実験を行う余裕がないため、参入障壁が高くなります。しかし、より重要な問題は広範です。ADRSは、単一の強力な結果を生み出すために一度実行するものではなく、継続的に実行されるべきものです。
野蛮人を広げようか?
コストを桁違いに低く抑えることが、ADRSの自然な次のステップとなるはずです。なぜなら、ADRSからの結果は、一般的なシステム論文のような単発の研究成果として扱われるべきではないからです。特定の課題に対して、研究者はアルゴリズムやヒューリスティックを改善してより良い結果をもたらします。その後、業界はこれらのアルゴリズムをポートして自身のセットアップに適応させます。
代わりに、完全にカスタムなソリューションへと移行すべきです。各ソリューションは、各デプロイメントの正確なセットアップと環境に合わせて調整され、最大限のパフォーマンスを引き出します。
[画像: Figure 1: 全員のための高価なADRS実行(上) vs. デプロイメントごとの安価でカスタムな最適化(下)。]
Figure 1: 全員のための高価なADRS実行(上) vs. デプロイメントごとの安価でカスタムな最適化(下)。
Figure 1: 全員のための高価なADRS実行(上) vs. デプロイメントごとの安価でカスタムな最適化(下)。
論理的な結論として、ADRSはより洗練されたCI/CDの形態と見なされるべきです。ユーザーはスコアリング関数とデプロイメントセットアップを定義し、リンターやフォーマッターがスタイルやフォーマットを自動的に修正するだけでなく、アルゴリズム自体が自動的に最適化されます。リソース(例: 新しいGPU)や優先順位(異なるSLO)が変化すると、対応するアルゴリズムも自動的に最適化されます。今日、マルチリージョンクラウドスケジューラーを実行している企業は、他のすべての企業と同じアルゴリズムを使用しています。より安価なADRSがあれば、実際のトラフィックパターン、実際のSLO、実際のハードウェアミックスに対して、毎晩再最適化することができます。
LEVIの紹介: コストの数分の一でLLMベースの最適化を
上記を踏まえ、このブログではLEVIを紹介します。これは、ADRS問題において、コストの数分の一で最先端のパフォーマンスを生み出すLLMベースの進化フレームワークです。その基盤となるのは、多くのフレームワークが最大の最先端モデルへのアクセスを前提としており、その周りにハーネスを構築しているという考え方です。
主要な洞察: モデルではなくハーネスに投資する
最大のモデルへのアクセスを前提とすべきではありません。実際、オリジナルのFunSearch論文では、より大きなモデルから利益を得ることができなかったと報告されており、AlphaEvolveで初めて成功しました。オープンソースコミュニティはしばしばこの点を無視し、すべてのステップで最も強力なモデルを投入します。LEVIは、2つの主要コンポーネントを通じて、ハーネスファーストのアプローチを採用します: 階層化されたモデル割り当てと多様性維持の改善。
[画像: Figure 2: LEVIのアーキテクチャ: 多様なシードがCVT-MAP-Elitesアーカイブを初期化します。小規模モデルがほとんどの突然変異を処理します。フロンティアモデルがK回の評価ごとにパラダイムシフトを注入します。]
Figure 2: LEVIのアーキテクチャ: 多様なシードがCVT-MAP-Elitesアーカイブを初期化します。小規模モデルがほとんどの突然変異を処理します。フロンティアモデルがK回の評価ごとにパラダイムシフトを注入します。
Figure 2: LEVIのアーキテクチャ: 多様なシードがCVT-MAP-Elitesアーカイブを初期化します。小規模モデルがほとんどの突然変異を処理します。フロンティアモデルがK回の評価ごとにパラダイムシフトを注入します。
階層化されたモデル割り当て
フロンティアモデルは役立ちますが、すべての突然変異に使用すると無駄になります。小規模LLMは、タイトな予算の下では実際に好まれるかもしれません。なぜなら、それらが生成するソリューションの量が、大規模モデルの品質上の利点を上回る可能性があるからです。しかし、小規模モデルは事前学習分布が狭いため、アイデアの範囲や根本的に異なるアプローチを提案する能力が制限されます。どちらのモデルクラスも厳密に優れているわけではありません。それぞれ異なる強みを持っています。
既存のフレームワークの中には複数のモデルをサポートしているものもありますが、それらを交換可能に扱い、アンサンブルから均一にサンプリングしたり、突然変異が実際に何を要求しているかに関係なく呼び出しをルーティングしたりします。これは自然な非対称性を無視しています。全く新しいアルゴリズムの方向性を提案するには広範な知識と創造的な推論が必要ですが、既存のアプローチを洗練する(定数を調整する、操作を並べ替える、エッジケースを調整する)にはそれほど必要ありません。ハーネスはこの区別を認識し、それに応じて割り当てるべきです。
LEVIは階層化されたモデル割り当てを導入し、モデルの能力をタスクの要求に一致させます。小規模で安価なモデルは、確立されたアルゴリズムファミリー内での局所的な洗練と段階的な改善など、検索の大部分を処理します。大規模モデルは、頻度の低いパラダイムシフトのために予約されます。これは、既存のアプローチを磨くのではなく、構造的に異なるアプローチを提案することを目的とした突然変異です。原則は単純です。各モデルをその強みに合わせて割り当てることです。小規模モデルは幅とスループットのために、大規模モデルは創造的な飛躍のために使用します。
しかし、これには2つの疑問が生じます。第一に、パラダイムシフトのための意味のあるコンテキストを大規模モデルに提供するために、各アルゴリズムファミリーから代表的なソリューションをどのように選択するか? 第二に、小規模モデルとその出力量への依存度が高まったため、アーカイブが収束するのを防ぐための、より堅牢なメカニズムが必要になります。
LEVIは、モデルの能力をタスクの要求に一致させます。安価なモデル(例: ローカルのQWEN 30B)は洗練のために、高価なモデルはパラダイムシフトのために使用します。
多様性維持の改善
構造的および行動的多様性の統合。 既存のフレームワークがフロンティアモデルを必要とするあまり知られていない理由は、それらのモデルが二重の役割を果たしていることです。それらのより大きな出力空間は暗黙的に多様性を維持します。GPT-5やClaude Opusは、アーカイブ自体に強力な収束防止メカニズムがないという事実を無視して、30Bモデルよりも自然に幅広いソリューションを生成します。多様性が崩壊した場合の対応は、さらに複雑さを追加することでした。LLM呼び出しをさらに使用する拒否サンプリングから、埋め込みモデルの使用まで。これらは、根本的な問題への解決策ではなく、弱い基盤の補償です。
根本的な問題は、既存のフレームワークが多様性を1つの軸、しかも狭い軸に沿ってしか維持していないことです。OpenEvolveはコード長のような構造的特徴を考慮します。GEPAは、Paretoフロントを通じてインスタンスごとのパフォーマンスのトレードオフを考慮します(実際にはしばしば前者よりも強力です)。どちらも現実を捉えていますが、どちらも全体像を捉えていません。構造だけでは行動の違いを見落とします。ループ数が異なる2つのプログラムでも、問題は同じように解決される可能性があります。そして、インスタンスごとのスコアだけでは、個々のインスタンスで同様のパフォーマンスを発揮するが、根本的に異なる方法で動作するソリューションを見落とします。
どちらか一方の軸を選択するのではなく、LEVIは両方を単一の行動記述子の次元として使用します。各ソリューションはフィンガープリントにマッピングされます。これは、コード構造的特徴(コード長のような単純な次元を超えて、ループ数、サイクロマティック複雑度などの測定値を含む)とインスタンスごとの行動結果を組み合わせたベクトルであり、すべて正規化され[0, 1]に投影されます。フレームワークはここでも柔軟性があります。デフォルトが問題に合わない場合、ユーザーは独自の次元を定義できます。
このフィンガープリントはCVT-MAP-Elitesアーカイブに格納され、結合空間上のボロノイ分割が、どちらの軸も単独では提供しない幾何学的構造を維持します。アーカイブは、さまざまな次元に異なる値を持つ多様なソリューションセットを保持します。これは、前のセクションの最初の質問にも直接答えます。ボロノイ領域はソリューションをアルゴリズムファミリーに自然にクラスタリングし、パラダイムシフトのための代表的なソリューションを提供します。
アーカイブの初期化。 従来のCVT-MAP-Elitesは、記述子空間全体に均一にセントロイドを初期化します。私たちが使用する高次元(6〜10次元)では、これはほとんどの領域が決して訪問されない非常に疎な分割につながります。LEVIはデータ駆動型アプローチを採用します。意図的にユニークなソリューションセット(スコアに関係なく)を逐次生成によって作成し、それらを使用して初期セントロイドを作成します。これにより、アーカイブが既知の異なるソリューションに基づいていることが保証されます。
LEVIは、構造と行動の両方にわたる共有フィンガープリント空間を通じて多様性を維持するため、アーカイブ自体が、より強力なモデルや補助的なヒューリスティックに過度に依存するのではなく、多様性の負担をより多く担います。
LEVIの開始方法(Python API)
以下は、ダミーのビンパッキング問題を最適化するLEVIプログラムの例です。フレームワークの詳細はすべて抽象化されており、ユーザーは問題の定義に集中できます。
import levi
def score_fn(pack):
bins = pack([4, 8, 1, 4, 2, 1], 10)
wasted = sum(10 - sum(b) for b in bins)
return {"score": max(0.0, 100.0 - wasted)}
result = levi.evolve_code(
"Optimize bin packing to minimize wasted space",
function_signature="def pack(items, bin_capacity):",
score_fn=score_fn,
model="openai/gpt-4o-mini",
budget_dollars=2.0,
)
LEVIをgithub.com/ttanv/leviでぜひ試してみてください!
ADRSベンチマーク結果
LEVIは、改善が可能なすべての問題で最高のスコアを達成しており、平均76.5点です。これは、次点のフレームワーク(GEPA)の71.9点を上回る、過去の最先端を+4.6点改善したものです。Cloudcastでは、LEVIは満点の100.0点に達し、ベンチマークのスコアリング関数の下で問題が完全に解決されたことを示しています。最大の改善はLLM-SQL(+5.8)とSpot Multi(+5.7)に見られ、Spot Single(+0.3)とTransaction Scheduling(+1.1)では、決定空間が小さいか、最適化ランドスケープがより困難な問題のため、改善は控えめです。Prismはすべてのフレームワークで87.4点で横ばいであり、現在の問題定式化には単一の支配的な解が存在することを確認しています。
| フレームワーク | 平均 | Cloudcast | EPLB | LLM-SQL | Prism | Spot Multi-Reg | Spot Single-Reg | Txn Sched |
|---|---|---|---|---|---|---|---|---|
| GEPA | 71.9 | 96.6 | 70.2 | 67.7 | 87.4 | 62.2 | 51.4 | 67.7 |
| OpenEvolve | 70.6 | 92.9 | 62.0 | 72.5 | 87.4 | 66.7 | 42.5 | 70.0 |
| ShinkaEvolve | 67.4 | 72.0 | 66.4 | 68.5 | 87.4 | 63.6 | 45.6 | 68.2 |
| LEVI | 76.5 | 100.0 | 74.6 | 78.3 | 87.4 | 72.4 | 51.7 | 71.1 |
表1: ADRSベンチマークスコア(%)。太字は問題ごとの最高値を示します。LEVIは、改善が可能なすべての問題で最高のスコアを達成しています。
コスト
[画像: Figure 3: 問題ごとのコスト: LEVI vs. 最も安価な報告ベースライン。節約額は1.5倍から6.7倍。合計100ドル以上節約。]
Figure 3: 問題ごとのコスト: LEVI vs. 最も安価な報告ベースライン。節約額は1.5倍から6.7倍。合計100ドル以上節約。
Figure 3: 問題ごとのコスト: LEVI vs. 最も安価な報告ベースライン。節約額は1.5倍から6.7倍。合計100ドル以上節約。
LEVIの階層化された割り当ては、コスト削減の主な要因です。突然変異の大部分を軽量モデルにルーティングすることで、すべての呼び出しにGPT-5やGemini-3.0-Proを使用するベースラインと比較して、世代あたりのコストが約1桁低下します。これにより、LEVIは大幅に多くの世代を実行しながら、総支出を抑えることができます。ほとんどのタスクで問題あたり4.50ドル(Transaction Scheduling: 13ドル)、ベースラインでは15ドルから30ドルでした。
コスト削減は、ハーネスファーストのアプローチが機能している証拠です。アーカイブが多様性を維持する場合、安価なモデルで検索の大部分を賄うことができます。
制御されたアーキテクチャ比較
同じモデル、同じ予算、3つのシード: 検索アーキテクチャの貢献を分離します。
主要な結果は、モデル選択、予算、アーキテクチャが同時に異なるフレームワークを比較しています。検索アーキテクチャの貢献を分離するために、LEVI、OpenEvolve、GEPAを同一条件で実行します。ローカルで提供される単一のQwen3-30B-A3Bモデル、750回の成功した評価、および2つの代表的な問題に対する3つのランダムシードを使用します。OpenEvolveは、小規模モデルのために親の数を5から2に減らす必要があり、それでも多くの失敗を生成しました。OpenEvolveに公平な比較を与えるために、合計ではなく成功した評価を報告します。
Transaction Schedulingは、複数のアルゴリズムファミリー(貪欲法、焼きなまし法、遺伝的アルゴリズム)が実行可能ですが、パフォーマンスは単一のインスタンスで測定され、Paretoベースの多様性が活用できるトレードオフがないNP困難な順序付け問題のバリアントです。LEVIは最初の100回の評価で62のスコアに達し、これはベースラインのどちらもどの時点でも達成できないレベルです。最終スコア: LEVI 64.9、OpenEvolve 59.9、GEPA 54.4。両方のベースラインは急激にプラトーに達し、単一のアルゴリズムファミリーへの早期収束と一致しています。LEVIの曲線は、評価500を超えても上昇し続けます。
[画像: Figure 4: Transaction Scheduling、制御下(Qwen3-30B、750評価、3シード)。LEVIは100評価以内に62に到達します。ベースラインのどちらもどの時点でもそのレベルに達しません。]
Figure 4: Transaction Scheduling、制御下(Qwen3-30B、750評価、3シード)。LEVIは100評価以内に62に到達します。ベースラインのどちらもどの時点でもそのレベルに達しません。
Figure 4: Transaction Scheduling、制御下(Qwen3-30B、750評価、3シード)。LEVIは100評価以内に62に到達します。ベースラインのどちらもどの時点でもそのレベルに達しません。
Can't Be Lateは、Paretoベースのアプローチに豊富な信号を与える1,080回のシミュレーション全体でスコアリングされます。最終スコアのギャップは狭まります(LEVI 44.9、OpenEvolve 43.2、GEPA 37.5)が、効率のギャップは劇的に拡大します。LEVIは評価600回以上で同レベルに近づくOpenEvolveと比較して、約50回の評価でピークに近いパフォーマンスに達します。これはサンプル効率で約12倍のアドバンテージです。
[画像: Figure 5: Can't Be Late、同じ制御下設定。LEVIは評価50までにピークに近いレベルに達し、OpenEvolveより約12倍高速です。]
Figure 5: Can't Be Late、同じ制御下設定。LEVIは評価50までにピークに近いレベルに達し、OpenEvolveより約12倍高速です。
Figure 5: Can't Be Late、同じ制御下設定。LEVIは評価50までにピークに近いレベルに達し、OpenEvolveより約12倍高速です。
これらの制御された結果は、パフォーマンスの向上はモデル選択や予算ではなく、検索アーキテクチャに起因することを確認します。LEVIの検索レジーム下での30Bモデルは、代替選択メカニズム下で同じモデルが達成するものと同等かそれ以上です。
教訓と今後の展望
小規模モデルとの作業は、フロンティアモデルを中心に構築されたフレームワークが決して直面しない実際のトレードオフを浮き彫りにします。
- エラー率が高いが、再試行は安価。 小規模モデルは壊れたコードを生成する頻度が高いですが、呼び出しが非常に安価なため、多くの試行を行うことができ、総支出で有利になります。
- 報酬ハッキング。 小規模モデルは、問題を真に解決するよりも、評価者の弱点を悪用しやすい傾向があります。しかし、これはモデルの問題であると同時に評価者の問題でもあり、評価者の修正はすべてのフレームワークに利益をもたらします。
- コードがテキストより優れる。 小規模モデルに役立つアイデアを表現する場合、コードは自然言語よりも優れています。「焼きなまし法を試して」というプロンプトは解釈の余地を大きく残しますが、受容基準と冷却スケジュールを実装したコードスケルトンは、モデルに具体的なものを提供します。これが、LEVIのパラダイムシフトステップがテキストの提案ではなく、コードスケルトンを生成する理由です。
- 量 vs. 評価時間。 小規模モデルの主な利点は量です。上記で示したように、より多くの安価な呼び出しは、より少ない高価な呼び出しよりも優れる可能性があります。しかし、この利点は評価が速いことに依存します。単一の評価に1時間かかる問題では、すべての呼び出しが貴重であり、大規模モデルの方が理にかなっています。LEVIは、非同期分散プロデューサー・コンシューマーモデルを通じてほとんどの問題でこれを緩和しますが、長時間の評価ドメインでは、これは考慮すべきトレードオフの異なる次元です。
これらはLEVI固有の発見ではありません。これらは、単一のフロンティアモデルを超えて機能することを目指す進化フレームワークを構築するすべての人に適用されます。この分野がADRSをアクセス可能で継続的なものにする方向へ進むにつれて、ハーネスは安価なモデルが欠いているものを補う必要があります。LEVIの結果は、これが可能であるだけでなく好ましいことを示唆しています。検索アーキテクチャに投資し、多様性を適切に維持すれば、モデルはボトルネックではなく、コモディティ入力になります。コストの低下により、実際のプロダクションワークロードに対する毎晩の再最適化が実用的になり始めます。
ADRSブログシリーズに貢献する!
AI駆動型システム研究(ADRS)イニシアチブは、アルゴリズムの進化から実世界のシステムの最適化まで、AIが科学的発見自体をどのように加速できるかを探索する、オープンで協力的な取り組みです。
AI駆動型研究ツールを構築、最適化、または実験したことがある場合は、ぜひお聞かせください。あなたの経験、洞察、またはケーススタディをADRSブログシリーズで共有してください。
👉 メールでお問い合わせください: ucbskyadrs@gmail.com
💬 参加しましょう: join.slack.com/t/adrs-global および Discord
🗞️ フォローしてください: x.com/ai4research_ucb