純粋なC言語で書かれたMicroGPTがApple M5で10M tpsを達成
Microgpt in pure C hits 10M tps on Apple m5 (github.com)
要約
依存関係のない純粋なC言語で書かれたMicroGPTは、文字レベルのTransformerモデルであり、フォワードパス、バックプロパゲーション、Adamオプティマイザ、サンプリング機能をすべて1つのCファイルに収めています。Apple M5 ProのNEON最適化により、毎秒10,168,430トークンという驚異的な処理速度を達成し、パラメータ数が少ないながらも優れた汎化能力を示しています。
全文翻訳
microGPT-C
GPTを純粋で依存関係のないC言語でトレーニングおよび推論するための最も基本的な方法。
libc以外は何も必要としない、1つのCファイルに収められたフォワードパス、バックプロパゲーション、Adam、サンプリング機能を備えた文字レベルのトランスフォーマーです。約32kの名前データで数秒でトレーニングを行い、新しい名前を生成します。
ビルドと実行
make run
または、1行に1つのアイテムがある任意のコーパスで直接実行します。
./microgpt data/names.txt
macOS、Linux、Windows(MSYS2)で、ARM64(NEON対応)およびx86-64(AVX2対応)でビルドできます。Makefileがホストに合わせたフラグを選択します。
step 5000 / 20000 | loss 2.6036 (avg 2.2940)
step 10000 / 20000 | loss 1.9639 (avg 2.2564)
step 15000 / 20000 | loss 2.7007 (avg 2.2151)
step 20000 / 20000 | loss 2.3463 (avg 2.2201)
inference
sample 1: kayley
sample 2: maria
sample 3: arana
sample 4: shayan
sample 5: jayden
sample 6: saria
sample 7: kaylen
sample 8: amari
sample 9: alina
sample 10: mailyn
c fp32+NEON 10168430 tok/sec
メモ
このモデルは4192個のパラメータを持ち、記憶するのではなく一般化します。32033個の名前のうち20000個でトレーニングされたモデルは、それらのデータに対して1文字あたり2.2054nats、一度も見たことのない残りの12033個のデータに対しては1文字あたり2.2039natsのスコアを記録し、パラメータ数がほぼ5倍ある補間されたトリグラムモデルを上回っています。
トレーニングと推論では、別々のフォワードパスを使用します。gpt_forwardはバックプロパゲーションのためにアクティベーションを保存し、gpt_forward_inferはFP32の丸め誤差の範囲内でロジットが一致する、特殊化されたシングル・トークン・パスです。docs/PERFORMANCE.mdでは、そのパスがどのように機能し、何がそれを制限しているかについて説明しています。
| マシン | バックエンド | tok/sec |
|---|---|---|
| Apple M5 Pro | NEON | 10,168,430 |
| AMD Ryzen 5 5600H | AVX2 | 6,927,775 |