8ドルのESP32-S3で学習させたSLM
An SLM trained on $8 ESP32-S3 (github.com)
要約
この記事は、わずか8ドルのESP32-S3マイクロコントローラー上で、ゼロから小規模言語モデル(SLM)を学習させる実験について解説しています。通常、モデル学習には高性能なGPUやデータセンターが必要と考えられていますが、本プロジェクトでは、限られたメモリと計算能力を持つ安価なチップで、言語の構造を学習させる可能性を示しています。学習対象には、構造が明確でコーパスが比較的小さいクリンゴン語が選ばれました。
全文翻訳
Qapla'プロジェクト
8ドルのESP32-S3でトランスフォーマーをゼロから学習させる方法
(クリンゴン語の)誰も求めていなかったが、誰もが必要としていたGPT。
なぜこれが必要だったのか? モデルの学習にはGPUやデータセンターが必要だと、私たちは当たり前のように考えています。しかし、常にそうである必要はありません。時には、8ドルのような小さくて安価なマイクロコントローラーでも、ゼロから学習させるのに十分なのです。
もう一度読み直してください:学習です。ゼロから。 事前に調理されたモデルを実行するのではなく、学習です。フォワードパス、バックプロパゲーション、そしてチップ内部での重み更新。
Qapla'とは何か?
エッジAIは新しいものではありません。TinyMLは何年も前からマイクロコントローラーで推論を行ってきました。Andrej Karpathyのミニマリストプロジェクトであるllama2.cのコミュニティポートは、ESP32に約26万パラメータのトランスフォーマーを搭載し、最近では素晴らしいプロジェクトが8ドルのESP32-S3で約2900万パラメータのモデルを実行できるようにしました。これらはすべて優れた成果ですが、この実験と時期が重なったとはいえ、私たちが追っていたモデルではありません。
Slava S. (slvDev) によるesp32-aiプロジェクトや、それに類するものはすべて一つの共通点を持っています。それは推論であるということです。モデルはどこか別の場所(GPU、データセンター)で生まれ、データで学習され、量子化されてからチップにロードされ、それを実行できるようになります。脳は外部で調理され、チップ上で提供されるのです。
私たちは異なる問いを立てました:モデルが外部で生まれることができない場合、どうなるのか? モデルが事前に学習された状態で提供できない場合、どうなるのか? — そのデバイスが設置されるまで学習に必要なデータが存在せず、そのデータを持ち運べず、ダウンロードするためのインターネットもない場合、どうなるのか?
皆さんが考えていることは分かっています:「なるほど、でも…なぜ誰かがESP32でトランスフォーマーを学習させる必要があるのか?」それはもっともな質問です。おそらく答えは「全く理由はない」でしょう。しかし…創造的になるなら、こう想像してみてください。広大な畑の真ん中にある農機具にボルトで固定されたセンサーが、その特定の機械の通常の振動(他のどの機械とも異なる)を学習し、何かがおかしくなったときに検知して、壊れる前にメンテナンスをスケジュールする必要がある(そして、私が間違っていると思わないでください。インターネットはないと言いましたが…LoRaは?)。あるいは、土地の一区画にあるセンサーが、その特定の土壌がどのように乾燥していくか(その土、その太陽、その排水)を学習し、植物が苦しむ前に水やりが必要になる時期を予測する。これらの場合(そして他にも考えられること)では、デバイスが設置されるまでデータは存在しませんでした。誰も事前に学習させることはできなかったのです。チップは、その場で、一人で、まさに立っている場所で学習しなければなりません。
実験するために農機具はありません。そこで、ESP32の真の学習能力を試すために、私たちは持っていた唯一のもの、言語を中心に実験を設計しました。8ドルのチップは、誰の助けも借りずに、ゼロから言語を学習してどこまで到達できるでしょうか?
マイクロコントローラーでの学習とは具体的に何を意味するか?
8ドルのマイクロコントローラー内部での学習は、データセンターにはないルールを課します。そして、それらのルールが他のすべてを決定します:
再び、メモリが支配する。 ESP32-S3には数MBのRAM/PSRAMしかなく、ギガバイトはありません。これによりモデルのサイズが制限されます。数百万ではなく、ここでは数십万パラメータの話です。チップ上でフィットし、学習できるモデルは、必然的に小さいのです。
小さなモデルがタスクを支配する。 このサイズのモデルは、言語の構造(単語の作り方、音韻論、文法の一部)を学習できますが、言語全体の深い意味論は学習できません。タスクはモデルのサイズに合わせてカットする必要があります。
そしてコーパスが結果を支配する。 小さなモデルではギガバイトのテキストは必要ありません。コンパクトで、クリーンで、構造化されたコーパスが必要です。そして、公開するのであれば、著作権の問題がないものが必要です。
これら3つの制約 — 小さなモデル、狭いタスク、クリーンでコンパクトなコーパス — を組み合わせると、質問は具体的になります。「どの言語がこれらすべてを同時に満たすのか?」
この最初の段階でどの言語で実験するかを決めるためにブレインストーミングセッションを行ったと言えますが、時には「最初のアイデアが通常は良いアイデアだ」という古い格言に従う方が良いこともあります…そしてこの特定のケースでは、最初に思いついた言語は…クリンゴン語でした。
クリンゴン語
はい、クリンゴン語です。『スター・トレック』の戦士たちの言語です。そして、読み進めれば、この選択は思っているよりもオタク的ではなく、エンジニアリング的であることがわかるでしょう。
クリンゴン語は、エイリアンが発するような音を吐き出して終わりというような、でたらめな言語ではありません。1984年に言語学者マーク・オクランドによって創造された、体系的な音韻、文法、形態論を持つ人工言語です。珍しい語順(目的語-動詞-主語)と厳格な規則を持つ形態論を持っています。つまり、学習すべき本当の構造があり、これは小さなモデルが単にノイズを記憶しているのではなく、本当に学習していることを証明するために必要なものなのです。
そして、それは私たちの制約に適合します:
- 豊かな構造、限定された語彙。 モデルが捉えるべきものがあるだけの文法ですが、マイクロコントローラーのルールに収まるほどコンパクトなコーパスです。
- 縮小されたアルファベット。 文字単位で作業する場合、約30のシンボルの語彙はモデルを非常に小さく保ちます — ESP32のメモリが要求するまさにそれです。
- クリーンで無料のコーパス。 オープンライセンス(boQwI')の下にあるコミュニティ辞書があるので、法的な領域を踏むことなく学習し、共有できます。
別の言い方をすれば、クリンゴン語は理想的なテストベッドです。実際の言語、実際の文法を持ちながら、手のひらに収まるサイズです。このエンジンを絞り出し、おそらくプロジェクトの別の段階で、実際の少数言語、実際の話者へと移行させるための完璧な実験室です。サーミ語?ケチュア語?ナワトル語?それは…また別の話です。
ああ、そしてはい:間違いなくクールです。1.3インチのOLEDでクリンゴン語を囁く低コストチップには、オタク的な要素もありますが、魔法のような要素もあります。しかし、それは…単なるボーナスです。
qapla'. (「成功」を意味するクリンゴン語。適切な名前だと思いました。)
これは何ではないか(正直に言いましょう)
誰も誤解しないように、そして厳密さが重要なので:
ポケットChatGPTではありません。 チャットしたり、質問に答えたり、推論したりしません。言語の形を学習する、ごく小さな生成モデルであり、その意味ではありません。
意味論的に完璧なクリンゴン語を生成するわけではありません。 接頭辞、接尾辞、語順、フレーズの響き方など、構造を学習し、クリンゴン語のように見え、その多くの規則を尊重するテキストを生成します。しかし、クリンゴン語の学者でも文句なしに署名するような、完全に意味のある文章を期待しないでください(エンタープライズ号の誰かがESP32からのメッセージを受け取った場合、それはおそらく外交問題を引き起こすでしょう)。いずれにせよ、それを実現するのに十分なクリンゴン語はこの世界にはありませんし、それを行うために必要なモデルはチップに収まりません。
推論の隠れ蓑ではありません。 どこにも事前学習済みモデルは隠されていません。チップはランダムな重みとクリンゴン語に関する事前の知識なしに開始し、ゼロから学習します。あなたが見ているのは、どこか別の場所で調理されてここで提供されたモデルではなく、真の学習です。
速くはありません。 真面目に話しましょう:何度も言いましたが…これは8ドルのマイクロコントローラーであり、GPUではありません!学習には数時間かかります。それがまさにポイントです:遅くても、それでも機能することです。
それが何であるか:謙虚なマイクロコントローラーが、メーカーの精神を持って、完全にオンボードで、ゼロから言語モデルを学習できることの証明。それ以上でも、それ以下でもありません。これは決して小さなことではありません。
仕組み
本当に重要なこと、そして自分でコードで確認できることは次のとおりです。学習サイクル全体がオンボードで実行されます:
ESP32-S3内部:
- ✓ 重みのランダム初期化(シードに注意、あーむ)
- ✓ コーパスの読み込みとトークン化
- ✓ フォワードパス
- ✓ 損失計算(クロスエントロピー)
- ✓ バックプロパゲーション(勾配は手動で導出)
- ✓ 重み更新(SGD with momentum + コサインLR)
- ✓ フラッシュへのチェックポイント保存(LittleFS)
- ✓ 学習済み重みによるテキスト生成
ESP32-S3外部:
- ✗ なし。
アーキテクチャ
ここには新しいものはありません。これは小さくても完全なトランスフォーマーです:1つのブロック、単一ヘッドの因果的アテンション、重みの共有、ReLU FFN、およびLayerNorm。約31シンボルの語彙で、文字ごとに動作します。合計で、約319,000パラメータです。
手動でのバックプロパゲーション
ここにはPyTorchもautogradもありません。フォワードパスのすべての導関数はCで明示的に書き出されています。間違いがないことを確認するために、各勾配はフォワードパスの中心有限差分と比較してチェックされます — 最悪の相対誤差は1.07e-08で、しきい値は1e-4です。カーネルはESP-IDFでビルドされ、実際のシリコンに触れる前にQEMUのxtensaエミュレーション下で実行されました。
両方のチェックはtests/にあり、このリポジトリが公開しているヘッダーに対して実行されるため、私たちの言葉を鵜呑みにする必要はありません:
cc -O2 -DHANDGPT_DOUBLE -DNV=11 -DNC=16 -DNT=8 tests/gradcheck.c -lm -o gradcheck && ./gradcheck
これは最も繊細な部分であり、動作するのを見るのが最も楽しい部分です。
C言語の実装自体は、前述の通り、私の指示の下でAI(Claude)によって生成されました。アーキテクチャ、設計上の決定、メモリ予算、および検証は私によるものです。
長時間の実行
モデルが改善しなくなるまで学習するには、チップ上で約11日かかります。そのため、ファームウェアはその期間、生存する必要があります。重み、オプティマイザーのモーメンタム、ステップ番号をチェックポイントし、リセット後に最初からやり直すのではなく、中断したところから再開します。また、1週間もシリアルポートを監視する人はいないため、損失曲線もフラッシュに書き込みます。動作中にシリアル経由でいくつかの単一キーコマンドに応答します:
L 学習ログをCSV形式でダンプする M メモリ使用量
F フラッシュ内のファイルをリストする G テキスト生成
以前の実行では、ステップ3,000でのリセットにより20時間を失いました。両方の原因はtests/に記載されています。
スピードに関する注意
学習ステップはハードウェアでプロファイルされ、フォワードパスがバックワードパスよりも遅いことが判明しました。これは逆の順序です。原因は、重み行列乗算のループ順序でした。内側のループが行列を下方向(列ごと)にウォークしていたため、すべてのアクセスがキャッシュミスになっていました。ループを入れ替えることで、フォワードパスは6.2倍、ステップ全体は2.3倍高速になり、損失と勾配は同一でした。以下の数値は、その変更前のものです。tests/を参照してください。
偉業はパラメータではなく、メモリにある
319Kパラメータのモデルは「わずか」約1.3MBしか占めません。しかし、学習は単に重みを保持するだけではありません。重み、勾配用の同等のコピー、オプティマイザーのモーメンタム用の別のコピー、最良のモデルを保持するための別のコピー、さらにバックワードパスが必要とするすべての途中アクティベーション、そしてコーパスを、すべて同時にメモリ内に必要とします。合計で、チップのPSRAMで数MBです。
これが推論(重みだけで十分)と学習(重み+勾配+モーメンタム+アクティベーション)の真の違いです。そして、まさにこのプロジェクトをユニークにしているのは、モデルを実行するためにモデルを保存するのではなく、それに伴うすべてを伴って、それを学習することです。
再現する
学習に使用したコーパスは箱に入っています(corpus/klingon.txt、Apache 2.0、corpus/build_corpus.pyで再生成可能)ので、データを探し回ることなくクローンして実行できます。しかし、興味深い実験は、私たちの実験を繰り返すことではなく、これをあなたのテキストに向けることです。
必要なもの: PSRAM搭載のESP32-S3(N16R8)、I2C経由のSH1106 OLED(オプションですが、楽しさの半分です)、およびPlatformIO。
# 1. 公開された結果を再現するためのもの...
python tools/gen_header.py corpus/klingon.txt src/corpus_klingon.h
# ...拡張コーパス、30倍の素材(約40,000ステップが必要)
python tools/gen_header.py corpus/klingon-extended.txt src/corpus_klingon.h --holdout 10
# ...またはあなたのもの、新しい発見のために
python tools/gen_header.py your_text.txt src/corpus_klingon.h
# 2. ビルドとフラッシュ
pio run -t upload
# 3. 学習の様子を見る:ライブで低下する損失
pio device monitor
これで完了です。チップはランダムな重みで開始し、学習し、定期的に見た中で最も低い移動平均損失のチェックポイントを保存します(検証セットがないため、これは厳密な意味での「最良のモデル」ではなく、学習損失のチェックポイントです)。次回の起動時にそれをロードして生成します。途中でプラグを抜くと、最後のチェックポイント以降に学習した内容は失われます。完了後にプラグを抜けば、脳はまだそこにあります。
注意: これには何時間もかかります。何日も。これはバグではありません。8ドルのESP32-S3でトランスフォーマーをゼロから学習させているのです。
数値
これらすべてが、電話の充電器で動くチップの中で起こりました。
これらの数値はv1の実行からのものです、
corpus/klingon.txtで、フォワードパスが最適化される前に学習されました。これらはまだ再現可能です:そのコーパスと5,000ステップを使用してください。後で公開された拡張コーパスは異なる実験であり、異なる数値であり、その実行はまだ進行中です。
| パラメータ数 | 約319,000 |
| 語彙数 | 31文字 |
| コンテキスト長 | 32文字 |
| オプティマイザー | SGD with momentum (0.9) + コサインLR |
| ステップ数 | 5,000 |
| 期間 | 充電器に接続して約2日間 |
| ハードウェア | ESP32-S3 N16R8 + SH1106 OLED |
そして、画面に表示された通りの損失の低下:
| ステップ | バッチ損失 | 移動平均 |
|---|---|---|
| 1,495 | 2.193 | 2.137 |
| 2,549 | 1.982 | 2.035 |
| 4,905 | 1.996 | 1.871 |
(最初の起動の写真は残っていません。記録しようと思った時には、チップはすでにかなりの時間作業していました。)
移動平均が重要です。各バッチの損失は大きく変動しますが(どの文に遭遇したかによります)、平均は着実に低下します。チップは〜1.87で終了しました。
そして、これが吐き出すもの
(はい、画面にはKlinGPTと表示されています。プロジェクトはQapla'に落ち着く前にいくつかのひどい名前を経て、KlinGPTはOLEDに残りました。なぜなら、それが連鎖の最初のリンクだからです。)
hIngan motlh puS ruq tuq DujDaq SISwI' nge'vI'
vIn SuvwI' yIvwI' qarghtaHvIS SIchoH
これは完全に意味のあるクリンゴン語ではありません — 警告しました — しかし、形態論を見てください:
SuvwI'は戦士です:Suv(戦う)という語根に接尾辞-wI'(~する者)が付いたものです。正しい作り方の、実際の単語です。DujDaqは船上でです:Duj(船)に場所を示す接尾辞-Daqが付いています。qarghtaHvISは-taHvIS(~しながら、継続+副詞)という複合接尾辞を、まさに正しい場所に付けています。- そして
hInganは、文字通り「クリンゴン」を意味するtlhInganから2文字足りないだけです。
他の単語は正しく形成されていますが存在しません。モデルには規則、文法ラベル、形態論的セグメンテーションは与えられていません — ただ生のテキストが、文字ごとに与えられただけです。そこから、語根と接尾辞を組み合わせてまとまりのある形を作るのに十分な規則性を拾い上げました。
そのうちどれだけが本物の一般化で、どれだけがコーパスの統計的な反響なのかは、2つのサンプルからは分かりません。これは小さなコーパスで学習された319Kパラメータのモデルです。混合を期待してください。疑問の余地がないのは、それがどこで起こったか — 8ドルのマイクロコントローラーの中で、誰の助けも借りずに — ということです。
これからどこへ?
時間、好奇心、そして十分な意志力があれば、誰でも手動でバックプロパゲーションを書き、マイクロコントローラーで小さなモデルを学習させることができます。それが難しい部分ではありません。
興味深いのは次の段階です:エンジンを実際のタスク — 実際の言語、実際の話者、そしてクリンゴン語が提供できるよりもはるかに大きなコーパス — に限界まで押し上げることです。そこが実験室の終わりであり、実際のエンジニアリングの始まりです。より高性能なモデルを、成長していないチップに適合させ、学習させることです。
私たちはいくつかのアイデアを持っています。しかし、それは、もし起こるなら、また別の話です。
フォークに関する注意
唯一の公式リポジトリはgithub.com/Carloscodix/qaplaです。このプロジェクトはESP32-S3用のファームウェアソースコードを出荷します。Windows実行可能ファイル、インストーラー、またはシミュレーションモードはありません。Qapla'を謳う.exe、.bat、またはダウンロード可能なバイナリを見つけた場合、それは私からのものではありません。実行しないでください。
ライセンス
コードはApache 2.0ライセンスです。取って、ハックして、あなた自身の言語をフィードしてください。
すべての学習コーパスは、フリーライセンスのソース(boQwI' / klingon-assistant-data、Apache 2.0)から来ています。クリンゴン語はマーク・オクランドによって作成されました。クリンゴン語、スター・トレック、および関連マークは、それぞれの所有者(CBS Studios / Paramount)の財産です。これはオープンソースの教育および研究プロジェクトであり、それらとは提携しておらず、承認されていません。ソースとライセンスの詳細については、CORPUS.mdを参照してください。
ああ、そして乱数生成器のシードは1701です。なぜか分からないなら…もしかしたら、このリポジトリはあなた向けではないかもしれません ;)