iPhoneのNeural Engine上でQwen 3.8-27Bが15-70トークン/秒（1.5 bpw）で動作
Qwen3.8-27B on the iPhone 18 Neural Engine at 15–70 tok/s (1.5 bpw) (twitter.com)
要約
iPhoneのApple Neural Engine上で大規模言語モデルQwen 3.8-27Bが効率的に動作することが報告されています。このモデルは、1.5 bpw（bits per weight）という低ビット幅で量子化され、24Kトークンのコンテキストウィンドウを処理しながら、最大70トークン/秒のデコード速度を達成しています。これは、モバイルデバイス上での高度なAIモデルの実行可能性を示すものです。
全文翻訳
Log in or sign up for X
Anemll on X: "Confirmed 24K context on iPhone with both K/V on int8. Delta net stays FP16. Decoding also peaks at 70 tok/s with easy to predict context. Apple Neural Engine on A20 is fast 🚀"
Confirmed 24K context on iPhone with both K/V on int8. Delta net stays FP16. Decoding also peaks at 70 tok/s with easy to predict context. Apple Neural Engine on A20 is fast 🚀
[動画]
[画像]
00:00
Qwen 3.8- 27B on iPhone 18 Apple Neural Engine. Added draft model , dflash-2 at ~ 2.8 bpw ( mixed 2-4 vector quantization with small drop in acceptance rate) Base is @PrismML Bonsai-2, 1.585 bpw requantized to 1.5 bpw ( VQ 6 bits per 4 weights) Decoding speed is 15-60 tps.
[動画]
[画像]
00:00