AI・機械学習
104GBのQwen3.8-Flash-Nextを48GBのMacで約12トークン/秒で実行するShow HN
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s (github.com)
要約
slotstreamは、エキスパートオフロードとSSDストリーミングにより、16GBから実行可能な低メモリMacで100GB超を必要とするQwen3.8-Flash-Next 4ビットモデルを実行する方法です。MLXとSwiftを使用したMacネイティブのツールで、メモリ使用量と速度のバランスを取る自動モードを備えています。開発者は次にスペキュラティブデコーディングのためのMTPモジュールの実装とポートを予定しています。
全文翻訳
slotstreamを構築しました。これは、エキスパートオフロード/SSDストリーミングのおかげで、16GBから始まる低メモリMacで、100GB以上のメモリ/RAMを必要とする125BパラメータモデルであるQwen3.8-Flash-Next 4ビットを実行する方法です。
MLXとSwiftを使用した、インストール/アップデートが簡単なMacネイティブのツールです。
メモリ使用量と速度の間の良いトレードオフを実現する自動モードが搭載されています。次にスペキュラティブデコーディングのためのMTPモジュールを実装し、ポートする予定です。