HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

ESP32S3クラスタで1.58ビット(BitNet)言語モデルを実行

ESP32S3 cluster running 1.58-bit (BitNet) Language model (github.com)

150 pointsby nkko31 コメント

要約

本プロジェクトは、7つのESP32S3マイクロコントローラクラスタ上で、スライスされた0.5B(5億パラメータ)の言語モデルを実行する分散パイプライン推論エンジンです。マスターノードがトークナイザと埋め込みを担当し、他のノードがアテンション層とMLPを実行し、SPIデイジーチェーンで通信します。これにより、限られたリソースのマイクロコントローラ上で大規模言語モデルの実行が可能になります。

全文翻訳

ESP32s3-LLM-Cluster

複数のESP32S3で1.58ビット(BitNet)言語モデルを実行する分散パイプライン推論エンジン。

[画像: ESP32S3ボード]

アーキテクチャ

このプロジェクトでは、スライスされた0.5B LLMを7つのESP32S3クラスタで実行します。1つがマスターとして機能し、他はノードとして機能します。マスターノードはトークナイザと埋め込みを実行し、他のアテンション層とMLPはノードで実行されます。マスターとノードは高速SPIデイジーチェーンを介して通信します。

┌─────────────────────────────────────────────────────────┐
│                     MASTER NODE                         │
│                                                         │
│  [ Prompt ] ---> BPE Tokenizer                          │
│                       │                                 │
│                 Token Embedding                         │
│             (INT4, ~14MB in Flash)                      │
│                       │                                 │
│             (SPI CH A - TX to Node 1)                   │
└───────────────────────┬─────────────────────────────────┘
                        │ Hidden State Vector (FP32)
                        ▼
┌─────────────────────────────────────────────────────────┐
│                    COMPUTE NODE 1                       │
│             (SPI CH B - RX from Master)                 │
│                                                         │
│  ► Layer 0 to 3 (4x Transformer Blocks)                 │
│    • RMSNorm (FP16 scaled to FP32)                      │
│    • 1.58-bit Attention (Q, K, V, O proj) + RoPE        │
│    • KV Cache (PSRAM)
│    • 1.58-bit MLP (Gate, Up, Down proj)                 │
│                                                         │
│             (SPI CH A - TX to Node 2)                   │
└───────────────────────┬─────────────────────────────────┘
                        │
                       ... (Nodes 2 to 5)
                        │
                        ▼
┌─────────────────────────────────────────────────────────┐
│                    COMPUTE NODE 6                       │
│             (SPI CH B - RX from Node 5)                 │
│                                                         │
│  ► Layer 20 to 23 (4x Transformer Blocks)               │
│    • Same 1.58-bit Architecture                         │
│                                                         │
│             (SPI CH A - TX back to Master)              │
└───────────────────────┬─────────────────────────────────┘
                        │
                        ▼
┌─────────────────────────────────────────────────────────┐
│                     MASTER NODE                         │
│             (SPI CH B - RX from Node 6)                 │
│                                                         │
│                 Final RMS Norm                          │
│             (FP16, 64KB in 'fnorm' partition)           │
│                       │                                 │
│         LM Head (Tied to INT4 Embeddings)               │
│                       │                                 │
│               Greedy Sampling                           │
│                       │                                 │
│  [ Output ] <--- Next Token ID                          │
└─────────────────────────────────────────────────────────┘

始め方

プロジェクトの開始方法については、ワークフローガイドを参照してください。

プロジェクト構造

.
├── README.md                   # プロジェクトドキュメント
├── workflow.md                 # ステップバイステップのフラッシュ、モデル準備、配線ガイド
├── .gitignore                  # ビルドファイルとバイナリのGit無視ルール
│
├── docs/                       
│   └── images/                 # アーキテクチャ図とハードウェア写真
│
├── master_board/               # マスターノード用ファームウェア (ESP-IDF)
│   ├── main/
│   │   ├── main.cpp            # マスターオーケストレーター、ユーザーI/O、BPEトークナイザ
│   │   ├── embedding.cpp       # INT4埋め込みルックアップロジック
│   │   ├── lm_head.cpp         # LMヘッドマッピングと貪欲サンプリング
│   │   └── spi_bus.cpp         # マスターデュアルチャンネルSPIドライバ
│   ├── partitions.csv          # カスタムパーティションテーブル(トークン、モデル、fnorm)
│   └── CMakeLists.txt
│
├── node_firmware/              # コンピュートノード用ファームウェア (ESP-IDF)
│   ├── main/
│   │   ├── main.cpp            # ノードワーカーのエントリポイントと推論ループ
│   │   ├── bitlinear.cpp       # 1.58ビット三項線形レイヤー実装
│   │   ├── bitlinear_forward.S # 1.58ビット用アセンブリ最適化MAC演算
│   │   ├── qwen_attention.cpp  # Qwenアテンション、RoPE、KVキャッシュランタイム
│   │   ├── lut_table.cpp       # 極端な最適化のためのルックアップテーブル
│   │   └── spi_bus.cpp         # デイジーチェーンSPI DMAレシーバー/トランスミッター
│   ├── partitions.csv          # ノードのレイヤーパーティションレイアウト
│   └── CMakeLists.txt
│
├── python_tools/               # PC側量子化&前処理スイート
    ├── crop_token.py           # ボキャブラリのプルーニング(32Kトークンにスケールダウン)
    ├── crop_model_weight.py    # 埋め込み行列のスライス
    ├── qat_158.py              # BitNet QAT(Quantization-Aware Training)ファインチューニング
    ├── bit4_embedding.py       # 埋め込み用のINT4ウェイトパッカー
    ├── pack_tokenizer_bin.py   # トークナイザルールをESP32 .binにシリアライズ
    ├── pack_model_bin.py       # 物理配置のための1.58ビットレイヤーチャンクをパック
    ├── look_model_structure.py # .safetensorsを検査するためのデバッグツール
    └── flash_*.bat             # マルチスレッド高速フラッシュスクリプト

ライセンス

このプロジェクトはMITライセンスの下でライセンスされています。詳細はLICENSEファイルを参照してください。

謝辞

インスピレーション、関連作品、および参照:

  • ESP-32-s3-Story-maker-LLM - ESP32-S3でのシングルノード量子化LLMデプロイメントのインスピレーション。
  • esp32s3-distributed-ai - マイクロコントローラ上でのマルチノード分散AIアーキテクチャのインスピレーション。
  • BitNet - 1.58ビット三項量子化の概念とアーキテクチャ。