8ドルのマイクロコントローラーで2890万パラメータのLLMを実行する
Running a 28.9M parameter LLM on an $8 microcontroller (github.com)
要約
約8ドルのESP32-S3マイクロコントローラー上で、2890万パラメータを持つ大規模言語モデル(LLM)を実行することに成功しました。このモデルはサーバーに接続せず、チップ上で直接動作し、毎秒約9トークンの速度でテキストを生成します。これは、従来の同等チップで実行できたモデル(26万パラメータ)の約100倍の規模です。
全文翻訳
マイクロコントローラー上で2890万パラメータのLLMを実行する
[画像: ESP32-S3上で動作する28.9MパラメータLLM]
これはESP32-S3マイクロコントローラー上でテキストを生成する2890万パラメータの言語モデルです。モデルはチップ上で直接動作し、サーバーへの通信は一切行いません。また、チップに接続された小型ディスプレイに毎秒9.88トークンの速度で生成されたテキストを表示します。これは、モデルの大部分がRAMではなくフラッシュメモリに格納されるPer-Layer Embeddings(GoogleのGemma 3nのアイデア)を使用しているため、実現しています。
同じチップでは、実際のハエの脳から抽出された48,311個のニューロンと946万個の接続を持つコネクトームの一部も動作させ、画面上でスパイから逃れるシミュレーションを行っています。詳細はESP32へのハエのコネクトームの一部移植を参照してください。
数値
| パラメータ数 | 28.9M (うち25Mはフラッシュのルックアップテーブルに格納) |
| チップ | ESP32-S3, 512KB SRAM, 8MB PSRAM, 16MB フラッシュ |
| 速度 | エンドツーエンドで9.88 トークン/秒、計算で94.9 ms/トークン |
| 接続性 | なし、すべてデバイス上で実行 |
| モデルサイズ | 4ビットで14.9MB |
なぜ難しいのか、そしてどうやって収まったのか
マイクロコントローラーには高速メモリが非常に少ないです。ESP32-S3は512KBのSRAMを提供しますが、トークンあたり何度もアクセスされる値(アクティベーションや正規化重み)のみがそこに配置できます。密なコアと出力ヘッドは、位置ごとに一度だけスキャンされ、PSRAMに配置されます。残るのは埋め込みテーブルですが、そのサイズが通常、モデルの大きさを決定します。
このモデルでは、ほとんどのパラメータが埋め込みテーブルに配置されており、モデルはそれを計算するのではなく読み取ります。そのため、2500万パラメータのテーブルは低速なフラッシュメモリに配置され、各トークンが必要とする数行のみがそこから読み込まれます(約450バイト)。したがって、モデルの大部分は実行時にロードされることはなく、フラッシュメモリに配置され、少しずつサンプリングされます。
このアイデアはGoogleのPer-Layer Embeddingsで、Gemma 3nから来ています。ここでは、電話やGPUではなく、マイクロコントローラーのメモリレイアウト上で実行されます。
各階層は、自身の頻度で読み取られるものを保持します。
SRAM (高速、微小) アクティベーションと正規化重み、トークンあたり何度もアクセスされる
PSRAM (中程度) コアと出力ヘッド、位置ごとに一度読み取られる
FLASH (巨大、低速) 25Mパラメータテーブル、トークンあたり約6行読み込まれる(約450 B)
何ができるか、何ができないか
このモデルはTinyStoriesで学習されたため、短くシンプルな物語を書き、ほとんどの場合一貫性を保ちます。質問に答えたり、指示に従ったり、コードを書いたり、事実を知ったりすることはできません。この限界は、推論を行うモデルの小さな部分に起因しており、メモリトリックはこの点を変更しません。ここで興味深いのは、大規模モデルを小型チップに収めるアーキテクチャであり、2890万パラメータモデルが何を言えるかではありません。
ESP32へのハエのコネクトームの一部移植
これは、実際の脳の一部を同じボードに移植したものです。男性のハエのコネクトーム、MaleCNS v1.0から抽出された48,311個のニューロンと9,462,135個の接続を保持しており、すべての接続のシナプス接触数も正確に維持されています。グラフはフラッシュメモリに圧縮されて13.5MiBですが、すべてのシミュレーションステップで、チップのSIMD命令を使用して両方のコアで全接続を処理します。
脳の一部のみである理由は、神経系全体が収まらないためです。見つかった最小のロスレスエンコーディングは24.49MiBですが、それに対して約14MiBのフラッシュメモリしか残っていません。なぜ一部だけなのかを参照してください。
数値
| ニューロン | 48,311: 中枢脳、視覚投射ニューロン、下行ニューロン |
| 接続 | 9,462,135、49,481,754個のシナプス接触を伝達 |
| グラフサイズ | フラッシュメモリに圧縮されて13.5MiB、ブロックはPSRAMにキャッシュ |
| 決定 | 約1.7秒ごとに新しい決定 |
| 学習 | なし:デモはハエ自身の逃避ニューロンを読み取る |
スパイからの逃避、学習なしで
これが何らかの計算を行っていることを示すために、OLED上でスパイから逃れるシミュレーションを行います。スパイのサイズが大きくなるにつれて、ハエ自身のローミング検出器(LC4およびLPLC2)が、スパイが来る側で駆動されます。その側の逃避ニューロン(DNp01を含む)が十分に活性化すると、実際のハエをジャンプさせる巨大神経線維が作動し、ハエはその側から飛び退きます。
このためにモデルは学習されていません。移植されたコードは、これらの入力および出力ニューロンと1つの閾値を指定する小さなテキストファイルを含んでおり、その挙動はハエ自身の配線に由来します。私はそれを最初に確認しました:ローミング検出器を刺激すると、これらの逃避ニューロンはランダムな視覚ニューロンよりも30〜100倍活性化し、1,316個の下行ニューロンすべてを特異性でランク付けすると、既知の逃避ニューロンが上位に来ます。
これは神経系の一部が選択されたものであり、ハエ全体ではありません。何が移植され、何が除外され、どのように実行されるかは、docs/fly-connectome/に記載されています。
自分で実行する
モデル
- Barista - エスプレッソの質問応答
- TinyStories - 物語生成
- Fly - スパイから逃れるハエのコネクトーム
コマンド
ダウンロードとデプロイは別々の操作です。一方はネットワークに到達し、もう一方はボードに触れます。
scripts/fetch_model.sh barista # ダウンロード、検証、artifacts/にインストール
scripts/deploy.sh barista # ヘッダー生成、ゲート実行、コンパイル、フラッシュ
tinystoriesとflyも同じ2つのコマンドを使用します。それぞれモデル名を指定する必要があります。なぜなら、ボードは一度に1つのモデルしか保持できず、デプロイするとそれが置き換わるからです。
fetch_model.shは、スクリプトにピン留めされたSHA-256およびバイトサイズに対して推論アセットをチェックし、リリース自体のmetadata.jsonをそれらのピンと比較します。すべてのチェックがパスしない限り何もインストールしないため、ダウンロードが失敗しても既存のものは変更されません。deploy.shはモデルをダウンロードしません。artifacts/<model>/にあるものをそのまま使用します。ただし、初めてキャッシュされていないマシンで実行する際には、2つのヘッダーツールをuv経由で実行します。
ファームウェアの詳細と期待されるブート出力は、firmware/esp32_barista/README.md、firmware/esp32_tinystories/README.md、およびfirmware/esp32_fly/README.mdにあります。再利用可能なアーキテクチャはsrc/にあります。公開された数値を再現するトレーニング、アブレーション、量子化コードはresearch/tinystories/にあり、ハエのグラフ内の回路を見つけてエクスポートするツールはresearch/fly/にあります。言語モデルの完全な手法、そのアブレーション、およびオンチップ測定はRESULTS.mdにまとめられており、ハエの測定値はfirmware/esp32_fly/README.mdにあります。
謝辞
TinyStoriesは、このモデルが学習するデータセットです。短くシンプルな合成ストーリーであり、小型モデルでも一貫性のある文章を学習できるほどです(Ronen EldanとYuanzhi Li、Microsoft Research、arXiv:2305.07759)。もう半分はPer-Layer Embeddingsで、Gemma 3nにおけるGoogleのデザインであり、これが大規模モデルを小型チップに収めることを可能にしています。
Andrej Karpathyのllama2.cは、小型言語モデルをトレーニングし、プレーンCで実行するためのリファレンスです。
ハエのグラフは、HHMI JaneliaのFlyEM Project、ケンブリッジ大学、MRC分子生物学研究所、およびGoogle Researchによる男性ショウジョウバエの中枢神経系のコネクトームであるMaleCNS v1.0から来ており、CC BY 4.0ライセンスで使用されています。選択および変更された部分はdocs/fly-connectome/ATTRIBUTION.mdにあります。
測定
詳細な測定とアブレーションはRESULTS.mdに記載されています。