AI・機械学習
ESP32S3クラスタで1.58ビット(BitNet)言語モデルを実行
ESP32S3 cluster running 1.58-bit (BitNet) Language model (github.com)
要約
本プロジェクトは、7つのESP32S3マイクロコントローラクラスタ上で、スライスされた0.5B(5億パラメータ)の言語モデルを実行する分散パイプライン推論エンジンです。マスターノードがトークナイザと埋め込みを担当し、他のノードがアテンション層とMLPを実行し、SPIデイジーチェーンで通信します。これにより、限られたリソースのマイクロコントローラ上で大規模言語モデルの実行が可能になります。
全文翻訳
ESP32s3-LLM-Cluster
複数のESP32S3で1.58ビット(BitNet)言語モデルを実行する分散パイプライン推論エンジン。
アーキテクチャ
このプロジェクトでは、スライスされた0.5B LLMを7つのESP32S3クラスタで実行します。1つがマスターとして機能し、他はノードとして機能します。マスターノードはトークナイザと埋め込みを実行し、他のアテンション層とMLPはノードで実行されます。マスターとノードは高速SPIデイジーチェーンを介して通信します。
┌─────────────────────────────────────────────────────────┐
│ MASTER NODE │
│ │
│ [ Prompt ] ---> BPE Tokenizer │
│ │ │
│ Token Embedding │
│ (INT4, ~14MB in Flash) │
│ │ │
│ (SPI CH A - TX to Node 1) │
└───────────────────────┬─────────────────────────────────┘
│ Hidden State Vector (FP32)
▼
┌─────────────────────────────────────────────────────────┐
│ COMPUTE NODE 1 │
│ (SPI CH B - RX from Master) │
│ │
│ ► Layer 0 to 3 (4x Transformer Blocks) │
│ • RMSNorm (FP16 scaled to FP32) │
│ • 1.58-bit Attention (Q, K, V, O proj) + RoPE │
│ • KV Cache (PSRAM)
│ • 1.58-bit MLP (Gate, Up, Down proj) │
│ │
│ (SPI CH A - TX to Node 2) │
└───────────────────────┬─────────────────────────────────┘
│
... (Nodes 2 to 5)
│
▼
┌─────────────────────────────────────────────────────────┐
│ COMPUTE NODE 6 │
│ (SPI CH B - RX from Node 5) │
│ │
│ ► Layer 20 to 23 (4x Transformer Blocks) │
│ • Same 1.58-bit Architecture │
│ │
│ (SPI CH A - TX back to Master) │
└───────────────────────┬─────────────────────────────────┘
│
▼
┌─────────────────────────────────────────────────────────┐
│ MASTER NODE │
│ (SPI CH B - RX from Node 6) │
│ │
│ Final RMS Norm │
│ (FP16, 64KB in 'fnorm' partition) │
│ │ │
│ LM Head (Tied to INT4 Embeddings) │
│ │ │
│ Greedy Sampling │
│ │ │
│ [ Output ] <--- Next Token ID │
└─────────────────────────────────────────────────────────┘
始め方
プロジェクトの開始方法については、ワークフローガイドを参照してください。
プロジェクト構造
.
├── README.md # プロジェクトドキュメント
├── workflow.md # ステップバイステップのフラッシュ、モデル準備、配線ガイド
├── .gitignore # ビルドファイルとバイナリのGit無視ルール
│
├── docs/
│ └── images/ # アーキテクチャ図とハードウェア写真
│
├── master_board/ # マスターノード用ファームウェア (ESP-IDF)
│ ├── main/
│ │ ├── main.cpp # マスターオーケストレーター、ユーザーI/O、BPEトークナイザ
│ │ ├── embedding.cpp # INT4埋め込みルックアップロジック
│ │ ├── lm_head.cpp # LMヘッドマッピングと貪欲サンプリング
│ │ └── spi_bus.cpp # マスターデュアルチャンネルSPIドライバ
│ ├── partitions.csv # カスタムパーティションテーブル(トークン、モデル、fnorm)
│ └── CMakeLists.txt
│
├── node_firmware/ # コンピュートノード用ファームウェア (ESP-IDF)
│ ├── main/
│ │ ├── main.cpp # ノードワーカーのエントリポイントと推論ループ
│ │ ├── bitlinear.cpp # 1.58ビット三項線形レイヤー実装
│ │ ├── bitlinear_forward.S # 1.58ビット用アセンブリ最適化MAC演算
│ │ ├── qwen_attention.cpp # Qwenアテンション、RoPE、KVキャッシュランタイム
│ │ ├── lut_table.cpp # 極端な最適化のためのルックアップテーブル
│ │ └── spi_bus.cpp # デイジーチェーンSPI DMAレシーバー/トランスミッター
│ ├── partitions.csv # ノードのレイヤーパーティションレイアウト
│ └── CMakeLists.txt
│
├── python_tools/ # PC側量子化&前処理スイート
├── crop_token.py # ボキャブラリのプルーニング(32Kトークンにスケールダウン)
├── crop_model_weight.py # 埋め込み行列のスライス
├── qat_158.py # BitNet QAT(Quantization-Aware Training)ファインチューニング
├── bit4_embedding.py # 埋め込み用のINT4ウェイトパッカー
├── pack_tokenizer_bin.py # トークナイザルールをESP32 .binにシリアライズ
├── pack_model_bin.py # 物理配置のための1.58ビットレイヤーチャンクをパック
├── look_model_structure.py # .safetensorsを検査するためのデバッグツール
└── flash_*.bat # マルチスレッド高速フラッシュスクリプト
ライセンス
このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。
謝辞
インスピレーション、関連作品、および参照:
- ESP-32-s3-Story-maker-LLM - ESP32-S3でのシングルノード量子化LLMデプロイメントのインスピレーション。
- esp32s3-distributed-ai - マイクロコントローラ上でのマルチノード分散AIアーキテクチャのインスピレーション。
- BitNet - 1.58ビット三項量子化の概念とアーキテクチャ。