コードとしてのモデルトレーニング
Model Training as Code (aleph-alpha.com)
要約
モデルトレーニングは複雑さを増し、多くの専門的なステージとチームが必要とされており、手作業による連携では限界がある。Aleph Alpha社は、トレーニングパイプライン全体をコードで実装するモデルファクトリー「Savanna」を開発した。これにより、モデルトレーニングが協調的なソフトウェアプロジェクトとなり、再現性、効率性、チーム間の連携が大幅に改善される。
全文翻訳
Model Training as Code
[画像: モデルトレーニングの複雑化を示すイラスト]
Research
Michael Barlow
2026/05/22
TL;DR: モデルトレーニングは、多くの専門的なステージとチームを必要とするほど複雑化しており、それらの間の手動での調整はスケールしません。Aleph Alphaでは、トレーニングパイプライン全体をコードで実装するモデルファクトリー「Savanna」を構築し、モデルトレーニングを共同開発可能なソフトウェアプロジェクトに変えました。Savannaでは、エンドツーエンドのトレーニング実行は分離されており、ワンクリックで起動可能です。この記事では、Savanna、その必要性、そしてそれを効果的にするエンジニアリング文化について説明します。
はじめに
モデルトレーニングは急速に進歩しています。パイプラインに新しいステージが追加され続け、既存のステージはますます複雑化しており、モデルトレーニングは3つの主要な理由からエンジニアリング上の課題となっています。第一に、複雑さが増すほど、エラーの余地が増えます。データ、コード、または設定のバグや一貫性の欠如は、トレーニング全体を失敗させたり、結果を収束させなくしたりする可能性があります。第二に、失敗のコストは上昇し続けています。モデルは大きくなり、GPU価格は上昇し、実行ごとに処理されるデータ量は増え続けています。数千時間のGPU時間を消費している場合、「うっかり」は高価な言葉です。
第三の、そして最も困難な課題は組織的なものです。複雑さはすでに単一の頭脳の能力を超えて久しく、そのため、私たちのラボのような場所では、大規模で専門的なチームが構築されています。問題は、それらのチームを調整することになります。メンバーは、自分の専門分野における最新の研究を自律的に探求しながら、本番パイプラインを壊したり、互いの作業を妨害したりすることなく、その変更を統合するにはどうすればよいでしょうか?そして、個々のステージの改善が、最終的にモデルの向上につながることをどのように保証できるでしょうか?
従来の、手動のモデルトレーニングプロセスでは、これらの質問に対する良い答えがありません。
手動モデルトレーニングの隠れたコスト
従来の С手動プロセスを分解してみましょう。大まかに言うと、モデルトレーニングはシンプルに見えます。インターネットを吸収するための事前トレーニング、それに続く指示追従を学習するための事後トレーニングです。実際には、最初の試みで良いモデルをトレーニングすることはできません。良いデータミックス、アーキテクチャ、およびトレーニングレシピに到達することは、評価によって導かれる計算集約型の反復プロセスであり、以下の各矢印は相対的なGPUコストで重み付けされています。
[画像: モデルトレーニングの反復プロセスを示す図]
これらのコンポーネントのそれぞれは、複数の専任チームを正当化するほど複雑です。例えば、現代の事後トレーニングは、教師ありファインチューニング(SFT)ステージと、それに続く強化学習(RL)ステージで構成されます。SFTとRLは異なるスキルセットとツールを必要としますが、モデルをトレーニングするためには統合されなければなりません。
手動のラボで、単一モデルがパイプラインを通過する様子を想像してみてください。
データチームが新しいミックスを完成させ、Slack経由で事前トレーニングチームにデータベースパスを送信し、彼らが数週間にわたる実行を開始します。2週間後、ストレージクォータがいっぱいになり、トレーニング実行がクラッシュします。ファイルシステムは手動で管理されているため、ファイル名にdo_not_deleteが含まれる30TBのデータセットを削除しても安全かどうかは誰にもわかりません。そして、事前トレーニングチームがこの問題を解決している間、GPUはアイドル状態になります。彼らが最終的に再起動するとき、彼らは記憶とSlackスレッドから元のセットアップを再構築し、フラグを設定し忘れていないことを願っています。これが最初の隠れたコストです。あらゆる手動ステップは、人的エラーの機会となります。
事前トレーニングが最終的に完了すると、事前トレーニングチームはチェックポイントをSFTチームに引き渡します。良いレシピを見つけるために、SFTチームは異なる設定とデータミックスの並列トレーニングのスイープを手動で開始します。チェックポイントがロールインするにつれて、チームはそれぞれに対して評価スクリプトを実行し、Slackで結果と分析を共有します。いくつかのレシピは有望に見え、他はそうではありません。そして、数週間かけてこのプロセスを繰り返し、良いものに絞り込みます。気づかないうちに、チームは数ヶ月前に前の事前トレーニング済みチェックポイントのためにすでに完了した実験をいくつか繰り返していました。
これが2番目の隠れたコストです。チームは学習を忘れます。 ハイパーパラメータの現在の値の背後にある理由の耐久性のある記録がなく、データミックスとその構成データセットとの正式なリンクがなく、モデルを生成したトレーニングレシピにアタッチする明確な帰属もありません。手動のラボでは、この系統はSlack、ファイルシステム、実験マネージャー、さまざまなWikiページに散らばっており、時間の経過とともに簡単に失われます。
SFTチームはチェックポイントをRLチームに引き渡します。RLチームはこれをベースとしてトレーニング実行を開始します。最終モデルのパフォーマンスが低下します。先月のSFTチェックポイントにRLレシピが過学習したのか、それともSFTチェックポイント自体に問題があるのか?2週間のデバッグの後、RLチームは後者であることを確認します。どちらのチームも相手のステージを実行できないため、それぞれがパイプラインの自分のスライスに最適化し、最終的なモデルには最適化しませんでした。そして、統合は手動での引き渡しであるため、まれにしか発生せず、そのたびに調整するために1ヶ月分の乖離が残ります。これが3番目の隠れたコストです。手動で頻繁でない引き渡しは、チームの所有権を断片化します。
手動モデルトレーニングがスケールしないことは明らかであり、自動化だけが欠けているわけではありません。これらの隠れたコストのそれぞれは、同じ根本的な問題に起因しています。パイプラインは、共有された耐久性のある成果物ではなく、チームの心の中に存在します。スケールするには、パイプライン自体が、チームが共同作業できる扱いやすいものである必要があります。
導入: Model Training as Code
私たちのモデルファクトリー、コードネーム「Savanna」は、モデルトレーニングパイプラインとプロセス全体を命令型コードで実装しています。これをModel Training as Code(MTaC)と呼びます。以下は、単純なSavannaの事後トレーニングパイプラインが擬似コードでどのように見えるかです。
async post_train(config: PostTrainConfig) -> PostTrainEvaluation:
sft_checkpoint = await sft(config.sft)
sft_eval = spawn evaluate(config.eval, sft_checkpoint)
rl_checkpoint = await rl(config.rl, sft_checkpoint)
rl_eval = spawn evaluate(config.eval, rl_checkpoint)
return PostTrainEvaluation(await sft_eval, await rl_eval)
パイプラインをコードに引き上げることで、3つの利点が得られます。コンポーザビリティ、コンセンサス、およびプロビナンスです。
- コンポーザビリティ: 手動ステップを型付きの入力と出力を持つ関数として表現することからコンポーザビリティが得られます。これにより、それらを抽象化して構築し、ワンクリックで実行されるエンドツーエンドのパイプラインに構成できます。パイプラインの変更は、関数の編集と同じくらい簡単になり、中間チェックポイントの評価のような反復的な作業はforループで自動化でき、サブセットまたはダウンサイジングされたパイプラインの異なるパラメータ設定で実行できるため、テストは簡単です。
- コンセンサス: バージョン管理からコンセンサスが得られます。メインブランチは、モデルをトレーニングする方法に関するチームの集合的な最良の理解を表します。コードには完全なトレーニングレシピが含まれているため、トレーニング実行を開始する際に再構築するセットアップがなく、フラグを忘れることもありません。
- プロビナンス: コードコメントとコミット履歴からプロビナンスが得られます。これらは、メインにつながった学習と決定をエンコードします。過去のトレーニング実行は、それらを生成したコードがチェックアウトして再実行できるコミットにピン留めされているため、再現可能であり続けます。
どのチームでも完全なパイプラインを自分で起動できるため、他のチームのステージを実行し、自分のスライスだけでなくモデル全体を反復処理できます。ラボは通常、スケールする際にモデルトレーニングを時間的に分解し、各チームがパイプラインのステージを所有します。MTaCは、チームが代わりに多言語対応のようなモデルの動作をエンドツーエンドで所有する、機能ベースの分解への扉を開きます。
小さく統合し、頻繁に統合する
パイプラインがコードになったら、標準的なコード共同開発のベストプラクティスが適用されます。MTaCを最大限に活用するには、それらに従う必要があります。その中で最も重要なのは、トランクベース開発です。変更は可能な限り早く、小さな増分でmainにコミットされ、チームは最も早い機会に互いの作業を構築でき、アプローチが間違っている場合は迅速に失敗できます。代わりに、長期間続くブランチに変更を蓄積すると、以前と同じ統合の借金を支払うことになります。
Savannaの使用
SavannaはGitHubにあり、そのCIがモデルトレーニングのエントリポイントです。ブランチへのプッシュによってこのCIをトリガーするか、GitHub UIから手動で実行を起動できます。私たちの最高のモデルをトレーニングすることは、mainでCIをトリガーするのと同じくらい簡単です。また、CIをプルリクエストで使用して、小規模なエンドツーエンドのトレーニング実行でパイプラインを迅速に検証しています。これは5分未満で完了するため、Savannaへの貢献は決して遅く感じられず、変更に対する自信を与えてくれます。パイプラインのセマンティックなリグレッションを検出するために、毎日、より大規模なエンドツーエンドのトレーニングテスト実行を実行しており、結果のモデルが評価スイートで測定可能な改善を達成することを確認することで、トレーニングロジックを検証しています。
MTaCはgit blameを介して意思決定の系統を提供し、Savannaはこれを成果物の系統で拡張します。実行は分離されており、すべての非コード成果物(例: データ、モデル、トークナイザー)はレジストリで不変かつバージョン管理されているため、毎回同じものを取得していることを確実にできます。実行を起動すると、参照されている成果物、トレーニングログ、メトリクス、および評価結果はすべてその実行と結果のチェックポイントにリンクされているため、出力を入力に簡単に帰属させることができます。特定のデータセットでトレーニングされたモデルを判断するには、Slack検索ではなく、成果物の系統グラフを使用します。
Savannaはフルスケールの実行を容易にしますが、それらの実行の外観を進化させるには、データ、ハイパーパラメータ、パイプラインステップ、環境、シャーディングトポロジなど、パイプラインのあらゆる側面を小規模で実験的に変更する能力が必要です。Savannaでは、実験はブランチに変更をプッシュしてそこからCIを実行するのと同じくらい簡単です。新しいデータセットを試したい場合は、それをアブレーショントレーニング設定に追加してCIを実行できます。結果の評価で改善が見られた場合は、この変更をmainにマージして、次のフルスケール実行の一部にすることができます。
ハイパーパラメータのスイープも簡単です。パイプラインは単なる関数であるため、異なるパラメータ設定でプログラム的に複数回呼び出すことができます。たとえば、以下は、前述の事後トレーニングパイプラインでどのSFTおよびRL学習率が最適かを見つけるための実験です。
async post_training_learning_rate_experiment(config: PostTrainConfig) -> str:
post_train_runs = []
for sft_learning_rate in (1e-4, 1e-5):
for rl_learning_rate in (1e-4, 1e-5):
run_config = config
.with_sft_learning_rate(sft_learning_rate)
.with_rl_learning_rate(rl_learning_rate)
post_train_runs.append(spawn post_train(run_config))
post_train_evaluations = gather post_train_runs
experiment_report_url = create_report(post_train_evaluations)
return experiment_report_url
Savannaはスイープをオーケストレーションし、最終結果を分析用のレポートに集約します。この実験は、SavannaのワークフローエンジンのUIで視覚化されています。
[画像: SavannaのワークフローエンジンのUIで視覚化された実験]
青いノードは「実行中」、オレンジ色のノードは「キャッシュ待ち」です。post_trainを4回呼び出していますが、SFTステージは2回しか実行されません。Savannaのワークフローエンジンは、ステージが同じ入力を持つ場合にそれを認識し、対応する実行中のステージが完了したときにキャッシュからその出力を読み取ります。これにより、冗長な計算の組み合わせ爆発を心配することなく、複数の側面を変更するスイープを起動できます。
事前トレーニング実行や長期間実行されるRLジョブの場合、トレーニング中にモデルがどのように変化するかをよりよく理解できるように、チェックポイントを増分的に発行して評価します。トレーニング後、Savannaは自動的にベンチマークスイートでモデルを評価し、すべての結果とメトリクスを実行レポートに収集します。Savannaはモデルリーダーボードも自動的に更新し、ハイデルベルク本社の大型スクリーンに表示して、新しい最高のモデルをトレーニングしたときに全員が興奮を共有できるようにしています。
[画像: モデルリーダーボードのスクリーンショット]
Savannaの仕組み
実行をトリガーすると、SavannaはKubernetesで実行されているワークフローエンジンであるFlyteでジョブを起動します。Flyteは、任意のタスク、耐久性のある実行、シーケンス、並列処理、再試行、キャッシュ、および実行を視覚化するためのUIを実行するための便利な方法を提供します。
モデルとデータ成果物は、オンプレミスのオブジェクトストアに不変に保存し、Weights & Biasesでバージョンを追跡しています。これにより、ストレージシステムを整理したままにするためのクリーンアップポリシーを簡単に割り当てることができ、成果物の系統をインタラクティブに探索するためのUIが得られます。その後、このデータをKubernetes GPUクラスターにストリーミングしてトレーニングします。トレーニング中、ジョブはメトリクスを監視システムにログ記録して、リアルタイムで進捗とパフォーマンスを追跡し、介入が必要な場合はアラートを送信します。
Savannaは実際にどのように役立ったか?
モデルトレーニングの複雑さは、分野が進歩するにつれて増加し、組織的な課題もそれに伴って増加することを知っています。MTaCにより、この組織的な複雑さをコードに引き上げることができ、私たちの働き方を根本的に変えました。
日々の業務では、より速くイテレーションできます。私たちの作業のほとんどは小規模な実験とスイープであり、Savannaはそれらに以前必要だった手動での起動と評価を自動化します。その労力は現在、結果の分析と次の実験の設計に費やされています。
単一の大規模実行のステークは異なります。最近の大規模な事前トレーニング実行中、自動化された中間評価を通じてモデルの動作についてさらに学習したため、セットアップを調整するために数回トレーニングを再開しました。MTaCが提供するコンセンサスにより、再構築するセットアップがなく、忘れるフラグもなかったため、各再起動は迅速かつ低リスクでした。そして、再起動が容易だったため、同じ人が2回行う必要はなく、手元にいる人が安全に引き継ぐことができました。
より高レベルでは、MTaCにより、モデルの動作の統合と改善をエンドツーエンドで所有する、複数の機能指向の事後トレーニングチームをセットアップできるようになりました。たとえば、私たちの多言語対応チームは、モデルをドイツ語と文化において優れたものにするために、これに必要なSFTデータセット、RL環境、および評価スイートを構築しています。
Savannaを採用し、エンジニアリング文化を受け入れて以来、組織としての学習率が大幅に増加し、パイプラインが深くなり、チームが大きくなるにつれて、このアプローチはますます価値が高まっています。
さらに将来を見据えると、MTaCは自動リサーチの主要なイネーブラーになると考えています。パイプライン全体がコード化されているため、LLMエージェントはそれを自律的に読み取り、変更し、実行できます。現在、これを探索し始めています。いつの日か、私たちのモデルがSavannaを介して自己改善できるようになることを願っています。
謝辞
Michael Barlowによる執筆。この作品は、Savannaを実現したAleph Alpha Researchの多くの貢献者の集合的な努力を反映しています。このブログを形作った有益なフィードバックを提供してくれたMartin Reinhardt、Dominik Kellner、Jordan Sassoon、そしてそれを分かりやすくしてくれたPaige ReddingtonとNoé Beckerle Vallejoに感謝します。