HN 日本語サマリー

← 一覧へ戻る
プログラミング

純粋なC言語で書かれたMicroGPTがApple M5で10M tpsを達成

Microgpt in pure C hits 10M tps on Apple m5 (github.com)

112 pointsby dhorthy37 コメント

要約

依存関係のない純粋なC言語で書かれたMicroGPTは、文字レベルのTransformerモデルであり、フォワードパス、バックプロパゲーション、Adamオプティマイザ、サンプリング機能をすべて1つのCファイルに収めています。Apple M5 ProのNEON最適化により、毎秒10,168,430トークンという驚異的な処理速度を達成し、パラメータ数が少ないながらも優れた汎化能力を示しています。

全文翻訳

microGPT-C

GPTを純粋で依存関係のないC言語でトレーニングおよび推論するための最も基本的な方法。

libc以外は何も必要としない、1つのCファイルに収められたフォワードパス、バックプロパゲーション、Adam、サンプリング機能を備えた文字レベルのトランスフォーマーです。約32kの名前データで数秒でトレーニングを行い、新しい名前を生成します。

ビルドと実行

make run

または、1行に1つのアイテムがある任意のコーパスで直接実行します。

./microgpt data/names.txt

macOS、Linux、Windows(MSYS2)で、ARM64(NEON対応)およびx86-64(AVX2対応)でビルドできます。Makefileがホストに合わせたフラグを選択します。

step 5000 / 20000 | loss 2.6036  (avg 2.2940)
step 10000 / 20000 | loss 1.9639  (avg 2.2564)
step 15000 / 20000 | loss 2.7007  (avg 2.2151)
step 20000 / 20000 | loss 2.3463  (avg 2.2201)

inference
sample  1: kayley
sample  2: maria
sample  3: arana
sample  4: shayan
sample  5: jayden
sample  6: saria
sample  7: kaylen
sample  8: amari
sample  9: alina
sample 10: mailyn
  c fp32+NEON       10168430 tok/sec

メモ

このモデルは4192個のパラメータを持ち、記憶するのではなく一般化します。32033個の名前のうち20000個でトレーニングされたモデルは、それらのデータに対して1文字あたり2.2054nats、一度も見たことのない残りの12033個のデータに対しては1文字あたり2.2039natsのスコアを記録し、パラメータ数がほぼ5倍ある補間されたトリグラムモデルを上回っています。

トレーニングと推論では、別々のフォワードパスを使用します。gpt_forwardはバックプロパゲーションのためにアクティベーションを保存し、gpt_forward_inferはFP32の丸め誤差の範囲内でロジットが一致する、特殊化されたシングル・トークン・パスです。docs/PERFORMANCE.mdでは、そのパスがどのように機能し、何がそれを制限しているかについて説明しています。

マシンバックエンドtok/sec
Apple M5 ProNEON10,168,430
AMD Ryzen 5 5600HAVX26,927,775