HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

モデルを焼く:LLMトレーニングの比喩

Baking a Model: A Metaphor for LLM Training (newsletter.kentbeck.com)

27 pointsby KentBeck3 コメント

要約

この記事は、大規模言語モデル(LLM)のトレーニングプロセスを、パン生地をこねて焼く「ベーキング」に例えて説明しています。著者は、モデルの構築プロセスを、初期条件を設定し、時間をかけて変化を待つ「プレトレーニング」(コールドプルーフに相当)と、特定の課題に対処するために微調整を行う「ポストトレーニング」(成形と調理に相当)の2つの段階に分けて解説しています。この比喩を通して、モデル構築の複雑さと、その背後にある機械的な仕組みへの魅力を伝えています。

全文翻訳

モデルを焼き上げる

高校を卒業してバス停まで歩きながら、モトローラの6800命令セットのマニュアルを眺めていたのを覚えています。それが何を意味するのかはよく理解していませんでしたが――ブール式、命令エンコーディング、タイミングテーブル――その仕組み全体に夢中になっていました。理解すれば力とコントロールが得られる、複雑な機械がそこにあったのです。

今、私はAIモデルについても同じように感じています。まだ詳細を理解しているとは主張しませんが、その仕組み全体に魅了されています。私が興味を持っているのは、次の両方です。

  • モデルがどのように機能するか、そして
  • モデルを作るための機械。

この記事(および今後のフォローアップ記事)で探求を始めるのは、この後者のトピック、つまりモデルがどのように構築されるかです。

[画像の説明:土曜日のフォカッチャ]

私はパン作りが大好きです。ある形の材料を、全く異なる形に変容させます。材料そのものはそのままでは美味しくありませんが、それらから作り上げたものは美味しいのです。ああ、そしてパン作りは初期条件に敏感です――プロセスの早い段階で小さな変化を加えると、後で大きな結果をもたらす可能性があります。

私はコールドプルーフ(生地を冷蔵庫で一晩発酵させること)を試しています。モデルを理解しようとしているうちに、モデルを作成することにも類似性があることに気づきました(私がこれまでに理解しているプロセスでは、もし何か間違っていたらコメントで訂正してください)。

まず、モデルという言葉が何を意味するのか、段階的に明らかにしていく物語をお話しします。最初は単純化し、その後、少しずつ複雑さを明らかしていきます。

ズームアウト

「モデル」とは、人間と会話できるコンピュータシステムのことです(ほら、単純化すると言ったでしょう――もう少し付き合ってください、すぐに終わります)。

[画像の説明:モデルの概念図]

実際には、もう少し複雑です。モデルは2つの部分に分かれています。

  • 入出力のフォーマット、シーケンス、認証などを担当するユーザーインターフェース。
  • 魔法が起こる、モデル本体。

[画像の説明:モデルのアーキテクチャ図]

ユーザーインターフェースは、従来のプログラミング技術(「従来」が過去2年間で劇的に変化したとしても)を使用して構築されます。しかし、モデル本体(探求のトピック)は、根本的に異なる技術を使用して構築されます。

[画像の説明:モデルの内部構造の概念図]

モデル

モデルとは、数字の袋です。今日の目的にはそれで十分です(いつか、モデルが有用な言葉を生成する際にそれらの数字がどのように使われるかについて触れることになるかもしれませんが、それはまず私がそれを少し理解してからです)。

[画像の説明:モデルのパラメータを表す数字の集合]

これらの数字はどうやって得られたのでしょうか?プログラミングでは、プログラムの結果として一連のステートメントを配置しますが、AIモデルはトレーニングから生まれます。

[画像の説明:トレーニングプロセスの概念図]

トレーニングはプログラミングにいくらか似ています――成果物を変更して将来の動作を修正しますが、同時にいくつかの大きな違いもあります。

事前トレーニングと事後トレーニング

一度に正しい数字を魔法のように推測することはできません。いいえ、いいえ。まず、おおよそ正しい数字を取得し、それからさらに良い数字を得るために調整します。この2つのプロセスは全く異なります。

[画像の説明:事前トレーニングと事後トレーニングの比較図]

(私の知る限りでは、事前トレーニング、事後トレーニング、そして中間トレーニング(これについては何も知りません)がありますが、「トレーニング」というものは、事前・中間・事後の組み合わせ以外にはありません。語彙が進化することを願っています。)

事前トレーニングは大きなバッチ処理です。チーム全体が初期条件――データと空のモデル――を設定します。モデルにデータを何兆回も通します。クラッシュに備えて途中でスナップショットを撮ります。事前トレーニングが道を外れて調整や再起動が必要な兆候がないか確認します。事前トレーニングは大きな賭けです――数億ドルと(より高価な)数ヶ月の遅延がかかります。

(事前トレーニングの協力方法についてもっと学ぶ必要があります。)

事前トレーニングは、モデルトレーニングのコールドプルーフです。

  • いくつかの材料を混ぜ合わせます。
  • いじれない場所に置いておきます。
  • ただ、それが自然に展開するのを待ちます。
  • 結果はすぐには使えませんが、後続のプロセスの前駆体となります。

事後トレーニングは、たくさんの小さなバッチ処理です。人々(「研究者」と呼ばれますが、私の素朴で率直な言い方では「モデルエンジニア」と呼びたい)は、生のモデルがうまく扱えない特定の問題を見て、パフォーマンスを向上させる可能性のある調整を模索します。結果として、既存のモデルに適用されるコードとデータの小さな断片(生き残った実験)がたくさん生まれます。

事後トレーニングは、元のモデルを補完します。「珍しいフォカッチャのトッピングを5つ教えて」というリクエストに応えられるモデルにするには、十分な補完を適用します。

事後トレーニングは、モデルトレーニングの成形と調理です。可能性を秘めたものを取り、人間にとって美味しいものにします。(この比喩は、事後トレーニングの協調的、反復的、かつ可逆的な性質をカバーしていません――ああ、ため息。)

結論

フォローアップ記事では、このプロセス全体に関わるさまざまなチームと役割を探求する予定です。彼らは、インセンティブ、ツール、リズム、短期 vs 長期、機能 vs 未来、背景、文化において、興味深い違いを持っています。

しかし、まず、プロセスの理解を再確認したかったのです。上記で何か間違っていたら教えてください。

ほとんどのチームは戦略の問題を抱えているのではなく、適応の問題を抱えています。

あなたの計画は、現実との接触に耐えることは決してありませんでした。問題は、それがうまくいかなかったときに、あなたの組織が曲がるか壊れるかということです。

私はチームが曲がるのを助けます。適応して繁栄する。

現在、少数のカスタム講演とアドバイザリー契約を予約中です。私はあなたのチームのメンバーにインタビューし、実際のソフトウェアフローを測定し、真実とその対処法をお伝えします。

それが合うかどうか興味がありますか?あなたのチームについて教えてください。