AI・機械学習
Show HN: Maple-Preview – iPhone上で120トークン/秒で動作する20B MoEモデル
Show HN: Maple-Preview – ternary 20B MoE running at 120 tok/s on a iPhone (deepgrove.ai)
要約
iPhone上で動作する200億パラメータのMixture-of-Experts (MoE) モデル「Maple-Preview」を紹介するShow HN投稿です。このモデルは、iPhoneというリソースが限られたデバイス上で、120トークン/秒という驚異的な速度でテキスト生成を実現します。
全文翻訳
iPhone上で動作する200億パラメータのMixture-of-Experts (MoE) モデル「Maple-Preview」を紹介するShow HN投稿です。このモデルは、iPhoneというリソースが限られたデバイス上で、120トークン/秒という驚異的な速度でテキスト生成を実現します。