Show HN: 小さくて古いデバイスでLLMを動作させる方法
I'm making LLMs work on small and old devices (github.com)
要約
このプロジェクトは、Xiaomi TV Boxや初代iPad Airのような古い、あるいは低スペックなデバイス上で大規模言語モデル(LLM)を効率的に実行することを目指しています。カスタムカーネル、メモリ管理の最適化、ウェイトストリーミングなどの技術を駆使し、限られたリソースでモデルの性能を最大限に引き出す方法を実験・記録しています。
全文翻訳
🤏 smolmaxxing
[画像: 🤏 smolmaxxing: run the biggest model you can on the smallest hardware you own]
あなたの周りのあらゆるデバイスは、見た目以上に高性能です。 テレビボックス、古いスマートフォン、シングルボードコンピュータ、ルーターなどは、一日の大半をアイドル状態で過ごすCPU、RAM、フラッシュメモリを搭載しています。smolmaxxing は、その能力を解き放つことを目的としています。各デバイスで実際に実行できる最大の言語モデルを見つけ、カスタムカーネル、スマートなメモリ使用、ウェイトストリーミングでさらに性能を向上させます。すべての主張は、ハードウェア上で直接測定されています。
デバイス #1 は Xiaomi TV Box S (第3世代) です:Amlogic S7D、4× Cortex-A55 @ 2.5 GHz、RAM 1.9 GB(約 1 GB 使用可能)、eMMCフラッシュ、Android 14、root化なし。このリポジトリでは、260 K から 16 B パラメータのモデルを実行できます:
- Qwen3.5-0.8B: 16.8 tok/s(ストックの 7.5 tok/s の 2.2 倍。2024年5月11日夜に測定、§17参照)。
- Qwen3.5-2B: 7.7 tok/s(リアルチャット)。ボックスの速度は1日あたり約10%変動するため、各ステップは連続して測定されます。§16 では +11%、§17 ではさらに +7% の改善が見られました。
- 8B の混合エキスパートモデル (Moon-Beam-8B-A1B): 7.2 tok/s(リアルチャット)。エキスパートはオンデマンドでフラッシュからページングされ、1レイヤー先をプリフェッチします(§19)。
- 8B の密な1ビットモデル (Bonsai-8B): 5.2 tok/s(リアルチャット)。「ヘッドレス」モードとルックアップテーブルカーネルで、1.2 tok/s から向上しました(§19)。
- 16B の混合エキスパートモデル (Ling-mini-2.0): 5.1 tok/s(リアルチャット)。600ワードの回答でも一貫性を保ち、同じエキスパートページャーが変更なく適用されました(§20)。Moon-Beam の2倍のサイズですが、バイトあたりの性能は同等ではありません。このボックスでは、モデルがより優れている場合にのみ、サイズが大きいことが役立ちます。
- 9B の密なモデル: 0.27 tok/s、ウェイトの大部分をフラッシュからストリーミングします。
デバイス #2 は初代 iPad Air (2013) です:Apple A7、2コア、NEON(dotprodなし)、RAM 1 GB、iOS 12.5.7、ジェイルブレイク済み、CPUのみ。13年前のタブレットで、1.7B パラメータのモデルを 24-26 tok/s(長文チャットでは 18-22 tok/s)、4B モデルを 約 10 tok/s、8B の混合エキスパートモデルを約 3.5 tok/s(品質を犠牲にして半分のエキスパート使用時で 5 tok/s)、そして 16B モデルを 2.6-4.5 tok/s で実行できます。エキスパートはフラッシュからページングされ、Safari の自身のチャットページから実行されます。デバイス #2 の結果 を参照してください。
すべてのステップは、EXPERIMENT.md(E1-E160)に実験ごとに詳細に記述されています。
[画像: TVボックス上のllama-serverから配信されるライブトークンストリームページ]
デバイス
| デバイス | 状態 |
|---|---|
| Xiaomi TV Box S (第3世代): Amlogic S7D, Cortex-A55, 2 GB | ✅ 完了: 260K → 16B パラメータ、8B で 5-7 tok/s、16B で 5 tok/s |
iPad Air (2013): Apple A7, 2コア, 1 GB, iOS 12.5.7, ジェイルブレイク済み (ipad-air/) | ✅ 実行中: Bonsai-1.7B (1ビット) で 24-26 tok/s、長文チャットで 18-22 tok/s; Bonsai-4B で約 10 tok/s; Moon-Beam-8B-A1B (MoE) で約 3.5 tok/s; Ling-mini-2.0 (16B MoE) で 2.6-4.5 tok/s; CPUのみ |
| その他のTVボックス、スマートフォン、シングルボードコンピュータ、ルーター… | 🔜 近日公開予定 |
これらの技術は特定のボックスに限定されません。1ビットルックアップテーブルカーネルは、iPadが示すように、ベースNEONのみを必要とします。dotprodを持つ任意のARMチップは他のカーネルを使用でき、RAMよりも多くのモデルを持つ任意のLinuxまたはAndroidデバイスはストリーミングエンジンを使用できます。
スコアボード
| クラス | 最速モデル | 初回実行 → 現在 (tok/s) | 増加 | ビット/バイト | 達成要因 | ダウンロード |
|---|---|---|---|---|---|---|
| 0.8B | Qwen3.5-0.8B | 7.5 → 16.8 ベンチ | ×2.2 | ≈1.00 | 全Q4_K、パディングされた65Kヘッド、fp16 DeltaNet状態 | HF |
| 2B | Qwen3.5-2B | 0.1 → 7.7 チャット | ×77 | 0.909 | 全Q4_K、パディングされた65Kヘッド、融合DeltaNet | HF |
| 4B | Ternary-Bonsai-4B | 2.2 → 4.3 チャット | ×2.0 | ≈0.965 | 2ビットフィールドの三項ウェイト、マージされたスケール | HF |
| 8B 密 | Bonsai-8B (1ビット) | 1.21 → 5.2 チャット | ×4.3 | 0.974 | 1ビットLUTカーネル、ヘッドレスモードで完全に常駐 | HF |
| 8B MoE | Moon-Beam-8B-A1B | 1.87 → 7.2 チャット | ×3.9 | 0.996 | Q2_Kエキスパートをフラッシュからページング、キャッシュアウェアルーティング、プリフェッチ | HF |
| 9B | Qwen3.5-9B | 0.16 → 0.27 チャット | ×1.7 | 0.885 | ウェイトストリーミングと独自のMTPヘッド | 再構築 (q9) |
| 16B MoE | Ling-mini-2.0 | 4.1 → 5.1 チャット | ×1.2 | 1.054 | Moon-Beamのレシピ、変更なし | HF |
「初回実行」とは、各モデルがボックス上で初めて実行された時のことです:
- 0.8B: ストックの Q4_K_M ファイル。
- 2B: ストックファイル。RAMに収まらなかったためフラッシュからストリーミングされました。最初にフィットしたビルドは 4.8 tok/s で実行されたため、そこからの増加率は ×1.6 です。
- 4B: ストックファイル。スロットリングが発生しました。
- 8B 密: 最後の 0.1 GB をフラッシュからストリーミングしました。
- 8B MoE: 初めてのエキスパートページャー実行、ルーティングバイアスなし。
- 9B: ストリーミング。
- 16B: Moon-Beam レシピから開始したため、増加率は小さいです。
このボックスでは、2B モデルが速度と品質のバランスで最良です。Ling-mini-2.0 は、大きければ自動的に優れているわけではないことを示しています。Moon-Beam の2倍のサイズですが、バイトあたりの性能は劣り、実行速度も遅いです。
ボトルネックごとに分類して構築したもの(詳細と数値は What's in here を参照):
| ボトルネック | イノベーション | 最大の成果 |
|---|---|---|
| 計算 (インオーダー A55, 10項目) | Q2_K および vdotq_laneq 用の三項リパック、1ビットビットプレーン、1ビットルックアップテーブルカーネル、2ビットフィールドの三項、スキップしきい値付き Q8_0 アテンション、融合 Gated-DeltaNet、IDによる DeltaNet 状態読み取り / fp16、高速カーネル上の LM ヘッド、ガイド付き行列乗算スケジューリング | Q2_K 7.8 → 13.9 G ウェイト/s; 生成速度 +41%、プロンプト 2.4倍 |
| RAM (~1 GB, 5項目) | 枝刈りされた LM ヘッド、ロスレス 1.875ビット三項、ヘッドレスモード、フォークフリーメモリガード、フラッシュ上のリパックキャッシュ | モデルあたり -0.2 ~ -0.5 GB; フリーRAM 約 1,000 → 約 1,300 MB; カーネル作業前 Bonsai-8B 1.2 → 3.6 |
| フラッシュ (278 MB/s, 5項目) | O_DIRECT 付きウェイトストリーミング、フラッシュバウンド時のMTP予測、エキスパートページャー、キャッシュアウェアルーティング、プリゲート付きプリフェッチ | 9B +69%; エキスパートミス 13% → 約 2%; Moon-Beam 4.4 → 7.2 |
| 出力品質 (2項目) | 長文回答劣化テスト、256トークンにわたる1.15の繰り返しペナルティ | 長文回答の劣化 12/13 → 1/13 |
デバイス #1 の結果
品質は、固定された 22 KB のテキストに対する英語のパープレキシティを、モデル間でトークナイザーが公平に比較できるように ビット/バイト に変換したものです(低いほど良い)。速度は TV での生成速度で、llama-server を使用したリアルチャットリクエスト(「チャット」)または llama-bench(「ベンチ」)で測定されました。
| モデル | ボックス上のサイズ | 品質 (ビット/バイト) | 生成 | プロンプト | メモ |
|---|---|---|---|---|---|
| stories260K (llama2.c) | 1 MB | N/A | ~650 tok/s | N/A | 最初に実行されたもの (§1-8) |
| Gemma 3 270M Q4_K_M | 253 MB | N/A | 22 tok/s | 73 tok/s | |
| Qwen3.5-0.8B Q4_K_M (ストック) | 497 MB | N/A | 7.5 ベンチ | 28 tok/s | |
| Qwen3.5-0.8B, 全Q4_K + 65K ヘッド | 442 MiB (566 MB RSS) | ≈1.00* | 16.8 ベンチ | 33 tok/s | 現在までの品質に対する最速速度(§15-17) |
| Qwen3.5-2B, 全Q4_K + 65K ヘッド | 0.99 GB | 0.909 | 7.7 チャット | 17.8 | デフォルト: 最も全体的に優れている(§11, §16, §17) |
| Ternary-Bonsai-4B, マージされたスケール + 2ビットフィールド | 1.03 GB | ≈0.965 | 4.3 チャット (4.8 ベンチ) | 9.6 | 最良の 4B: 同じビルドで 3.2 チャット / 7.0 プロンプトでした(§18) |
| Moon-Beam-8B-A1B (MoE), Q2_K エキスパート + 60K ヘッド | 0.48 GB GGUF + 2.6 GB フラッシュ上のリパックキャッシュ, ~1.1 GB RSS | 0.996 | 最速の 8B: 7.2 チャット | N/A | 128 エキスパート、6 使用; エキスパートページャー、キャッシュアウェアルーティング、プリゲート付きプリフェッチ、長文回答ループに対する繰り返しペナルティ(§19, ヘッドレスモード) |
| Ling-mini-2.0 (MoE, 16.3 B), Q2_K エキスパート + 60K ヘッド | 0.47 GB GGUF + 5.3 GB フラッシュ上のリパックキャッシュ, ~1.13 GB RSS | 1.054 | 実用的な速度で最大のモデル: 5.1 チャット | N/A | 256 エキスパート (1 MB)、8 使用、プール 43/レイヤー、バイアス 0.3(§20) |
| Bonsai-8B, 1ビット, LUT カーネル | 0.96 GB, 全て常駐 | 0.991 (ヘッドで 0.974) | 5.2 チャット (5.1-5.4 ベンチ), 4.0 (約 900 トークンのコンテキストで) | 5.8-6.1 | 最良の密な 8B: ヘッドレスモード、Q8_0 アテンション(§19) |
| Bonsai-8B, 1ビット + コンパクトスケール | 0.84 GB + 0.12 GB ストリーミング | 0.991 | 1.21 チャット (2.2 ベンチ) | 4.9 | §14、ヘッドレスモード前 |
| Ternary-Bonsai-8B | 0.89 GB + 0.80 GB ストリーミング | 0.919 | 0.31 ベンチ | 3.45 | §14 |
| Qwen3.5-9B UD-IQ2_XXS + MTP | 0.63 GB + 1.6 GB ストリーミング | 0.885 | 0.16 チャット, 0.27 MTP 付き | 0.8 | 最良の品質; フラッシュバウンド(§14) |
- プルーンされたヘッドの位置(トークンの 1.3% が範囲外)で測定されたため、厳密には比較できません。ストックのフルボキャブラリ Q4_0 ファイルは 1.024 をスコアします。
その他の小規模モデル、ストックファイル(スクリーニング、§15 E54):
| モデル | 生成 (ベンチ) | プロンプト | ビット/バイト |
|---|---|---|---|
| LFM2.5-350M (QAD Q4_0) | 23.7 tok/s | 104 tok/s | 1.805 |
| LFM2-700M (Q4_0) | 11.5 tok/s | 52.8 tok/s | 1.169 |
| Qwen3-0.6B (Q8_0) | 9.35 tok/s | 50.6 tok/s | 1.059 |
| LFM2.5-1.2B (QAD Q4_0) | 8.3 tok/s | 31.6 tok/s | 1.133 |
| Llama 3.2 1B (Q4_0) | 7.0 tok/s | 29.5 tok/s | 0.998 |
| Ternary-Bonsai-2-2B (Q2_0) | 5.9 tok/s | 15.8 tok/s | 1.124 |
| Gemma 3 1B (Q4_K_M) | 5.7 tok/s | 11.1 tok/s | 1.260 |
| Granite 4.0 H 1B (Q4_0, ~1.5 B) | 出荷時のままでは大きすぎる | 0.916 | |
| ↳ 再構築: 全Q4_K, Q8_0 エンベディング, 48K ヘッド (E62) | 5.29 tok/s (RAM解放後のみフィット、950 MB RSS) | 0.919 | |
| LFM3-1.7B (QAD Q4_0) | フィットしない |
Granite 4.0 H 1B は、2B クラスの品質に近い唯一のモデルでした。我々の方法で再構築すると(E62)、5.29 tok/s で実行され、わずかに品質が低い 2B モデルの 6.55 tok/s より遅くなります。これは 0.8B モデルの約2倍のウェイトバイト/トークンを消費します。
ボックスの物理的制約: 1つのプロセスは、Android がプロセスを終了し始める前に約 0.96 GB を保持できます(ヘッドレスモードではランチャーと Google サービスを強制停止すると約 1.15 GB)。フラッシュの読み取り速度は 278 MB/s が上限で、単一の約 1 MB のランダム読み取りには約 6 ms かかります。トークンあたり X MB をストリーミングする必要があるモデルは、278 / X tok/s を超えることはできません。CPU ではなく、これが 2B を超えるすべてのモデルを制限する要因であり、混合エキスパートモデル(トークンあたり約 1 B のウェイトにアクセスする)がそれを乗り越える方法である理由です。
8B で 10 tok/s? 測定済み、推測ではない(E98):Moon-Beam はトークンあたり2エキスパートで 10.4 tok/s に達しますが、テキストは支離滅裂になります。一貫性のある最良の設定は約 7-8 tok/s です。密な Qwen3-8B は 1ビットの Bonsai-8B であり、最小の Qwen MoE (35B-A3B) は Moon-Beam の3倍のウェイトにトークンあたりアクセスします。
デバイス #2 の結果
2013 年製 iPad Air: Apple A7, 2 コア, NEON (dotprod なし), RAM 1 GB, iOS 12.5.7, Amethyst でジェイルブレイク済み。すべて CPU 上で 2 スレッドと 1,024 トークンのコンテキストで実行され、Mac からクロスコンパイルされています。詳細な記述は EXPERIMENT.md の §21 にあり、ビルド手順は ipad-air/README.md にあります。
| モデル | ファイル | 生成 (tok/s) | ピーク RSS | 3つの質問テスト |
|---|---|---|---|---|
| Bonsai-1.7B Q1_0 (1ビット) | 237 MiB | 23.7-25.8, 長文チャットで 18-22 | 605 MB | 3つすべて正解、正しいコードも記述: 使用すべきモデル |
Bonsai-4B Q1_0 (1ビット), -c 512 -b 64 | 546 MiB | 9.4-11.4, 長文チャットで 9.2-10.3; サーバーとして、iOS は数分でリセットします | 615-682 MB | フランスについては正解、潮汐はほぼ正解、リコールは毎回失敗; バイトあたりでは良好 (1.073 vs 1.158 ビット/バイト) |
Moon-Beam-8B-A1B (MoE, Q2_K エキスパート), エキスパートページャー, -c 512 -b 64 | 2.6 GiB (474 MB マップ済み) | 長い回答で 3.5-3.6; --experts 4 で 4.9-5.1 (+27% パープレキシティ) | ~600-625 MB | 3つすべて正解; セッションモデルであり、常時稼働サーバーには大きすぎる |
| SmolLM2-360M-Instruct Q4_K_M | 258 MiB | 10.9-12.5 | 269-316 MB | 3つすべて正解; 最も軽量で良好なオプション |
| Gemma 3 270M-it Q4_K_M | 241 MiB | 15.4-19.0 | 248-294 MB | 潮汐については誤り、リコールについては空の返信 |
| SmolLM2-135M-Instruct Q4_K_M | 101 MB | 18.6-29.3 | 141 MB | フランスとリコールについては正解、潮汐については弱い |
| Qwen3.5-0.8B Q4_K_M | 508 MiB | 約 0.2 | 506 MB | ページキャッシュをスロットリング、手動で停止 |
Bonsai と Moon-Beam の行のみが最新のビルドで測定されました。他の行は以下の注意点とサンプラー作業より前のものです。
| クラス | 最速モデル | 初回実行 → 現在 (tok/s) | 増加 | 達成要因 |
|---|---|---|---|---|
| 1.7B | Bonsai-1.7B (1ビット) | 2.75 → 23.7-25.8 | ×8.6 | dotprodなしの乗算フリーおよびルックアップテーブル1ビットカーネル、高速カーネル上のLMヘッド、行順アテンション(枝刈り付き)、ワンパスサンプラー |
| 4B | Bonsai-4B (1ビット) | 9.4-11.4 | 1.7B のカーネル、4つのKヘッドあたりの4つのQヘッドのアテンション、約700MBの制限内に収まるための -c 512 -b 64 | |
| 8B 密 | Bonsai-8B (1ビット) | 0.08 | RAMに収まらない; ファイルの大部分がトークンごとにフラッシュから再読み込みされる | |
| 8B MoE | Moon-Beam-8B-A1B | ロード不可 → 1.6 → 3.5 (エキスパート4つで 5.0, +27% パープレキシティ) | ×2.2 | エキスパートページャー、Q2_K ルックアップテーブルカーネル、プリフェッチ、キャッシュバイアス 0.03、周波数ベースの除外 |
| 16B MoE | Ling-mini-2.0 | ロード不可 → 2.6 (バイアス 0.3 で 3.3, 4.5) | 新規 | Moon-Beam レシピ、およびHTTPレンジリクエストでアセンブルされiPadに直接ストリーミングされたモデルファイル |
「ロード不可」: iOS 12 ではプロセスは最大約 1.7 GB のアドレス空間をマップできます(Webサーバーのユーザーは 1.3 GB)。そのため、ストックの llama.cpp は 2.6 GB および 5.5 GB のファイルをマップできず、トークンを実行する前に失敗します。「初回実行」は、エキスパートページャーの最初の実行(プール 8、バイアスなし)を指します。
iPad 上で構築したもの、ボトルネックごとに分類:
| ボトルネック | イノベーション | 最大の成果 |
|---|---|---|
| 計算 (2コア A7, dotprodなし, 6項目) | 乗算フリー1ビットカーネル、ベースNEONに移植されたTVの1ビットルックアップテーブルカーネル、タイインされたLMヘッドのルックアップテーブルコピー、行順アテンション(枝刈り付き、Kヘッドあたり2または4 Qヘッド)、ワンパスサンプラー(40エントリヒープ付き)、Q2_Kルックアップテーブルカーネル(エキスパート用) | Bonsai-1.7B 2.75 → 3.45 → 約11 → 23.7-25.8 tok/s; サンプリング 3 → トークンあたり 0.23 ms; Moon-Beam 2.94 → 3.06 (Q2_Kカーネルのみ) |
| アドレス空間とRAM (~1.7 GB マップ可能, ~700 MB 使用可能, 4項目) | エキスパートページャー(非エキスパート部分のみをマップ、エキスパート後置ファイル)、枝刈りされたLMヘッド(bailingmoe2 および bailingmoe3 用)、小バッチ (-c 512 -b 64)、iOS 12 用にコンパイルアウトされた std::filesystem | 8B および 16B MoE モデルがロード可能、556-625 MB で; Bonsai-4B がフィット |
| フラッシュ (~260 MB/s, 5項目) | キャッシュなし pread (4リーダー付き)、必要に応じてキューイングされた読み取り、プリゲート付きプリフェッチ、キャッシュアウェアルーティングバイアス、減衰周波数除外 | Moon-Beam 1.6 → 3.5 tok/s (品質コストなし); ミス 42% → 38% (除外のみ) |
| ツール (5項目) | ページフォールト数付きオペレーションプロファイラー、エキスパートトレースとキャッシュシミュレータ、オンデバイスパープレキシティ (tinyppl)、HTTPレンジリクエスト経由のモデルアセンブリ、孤立した実行を終了するベンチ |
Bonsai-1.7B が 2.75 tok/s から約 25 tok/s になった方法(モデルファイルはすべて同じ):
| ステップ | tok/s | 変更内容 |
|---|---|---|
| ストック llama.cpp, 2 スレッド | 2.75 | ワイドニング乗算で dotprod をエミュレート |
| 乗算フリー NEON カーネル | 3.45 | ウェイトは ±1 なので乗算は不要; 出力は同一 |
| デバイス #1 のルックアップテーブルカーネル、ベース NEON に移植 | 約 11 | dotprod 要件は単なる仮定であることが判明 |
| そのカーネル上の出力ヘッド | 18-22 | 151,669 行は 32 の倍数ではないため、タイインされたヘッドはそこに到達していませんでした: トークンあたり 45/72 ms |
| 行順アテンション(枝刈り付き)、および語彙をソートしないサンプラー | 23.7-25.8 | KVキャッシュは行ごとにすべてのヘッドを並べて格納するため、1つのヘッドがキャッシュミスを頻繁に起こしていました |
長文チャット(400 トークン回答)では、アテンション作業のみで3回のターンが 15.4 / 7.6 / 8.2 から 21.8 / 17.9 / 18.4 tok/s になりました。1,024 トークンのコンテキストで 17 以上を維持する枝刈りしきい値は、パープレキシティに +0.42% のコストがかかります(ノイズフロア ±0.3% 付近)。GGML_FA_EPS=0.0001 は、約 15 tok/s の代わりにそれを元に戻します。
8B モデル、エキスパートページャー経由。 iOS 12 はプロセスを約 1.7 GB のマップ済みアドレス空間に制限するため(Webサーバーのユーザーは 1.3 GB)、Moon-Beam-8B の 2.6 GB ファイルはマップすらできず、フィットさせるためにエキスパートを減らすとパープレキシティが2倍以上に増加します(§21.7)。密な Bonsai-8B はフラッシュから 0.08 tok/s で実行されます。そのため、モデルファイルはエキスパートを最後に配置するように書き換えられ、それより前の 474 MB のみがマップされ、各レイヤーは RAM に14個のエキスパートを保持し、ルーターがそれらを選択する際に pread で他のエキスパートをフラッシュから読み取ります。結果は非ページングモデルと全く同じです。小さなルーティングバイアス(RAM内のエキスパートを優先、+0.3% パープレキシティ、ノイズ範囲内)により、約 600 MB で 2.4-2.8 tok/s になりました(§21.8)。ラウンド2(§21.9)は、必要に応じてフラッシュ読み取りをキューイングし、次のレイヤーの可能性のあるエキスパートをプリフェッチし、Q2_K 用のルックアップテーブルカーネルでエキスパートを実行します:3.4 tok/s、密な 8B の 40 倍、フル評価テキストで +0.7% パープレキシティ。フラッシュが依然としてボトルネックです。各トークンは約 53 MB を 266 MB/s で読み取ります。RAM にウェイトを配線すると、16個のプールでもそうであったように、iPad がカーネルパニックを起こしました。ラウンド3(§21.10)は、品質コストなしで 3.5 tok/s を達成するために、最近使用したものより減衰した使用頻度で除外します。エキスパートをトークンあたり4つ使用すると 5 tok/s になります(8つ使用時より +27% パープレキシティ)。トークンあたりのエキスパート数を適応的に選択することは、固定数よりも優れていないことが判明しました。16B モデル(§21.11):Ling-mini-2.0、256個の小さなエキスパート/レイヤーを持つ 16.3B パラメータが、同じページャーを介して 2.6 tok/s(ルーティング変更なし)、3.3 tok/s(+2.6% パープレキシティ)、4.5 tok/s(バイアス 0.3 付き) で実行され、580 MB 未満に収まります。その 5.5 GB のファイルは、HTTPレンジリクエスト経由で2つの公開された量子化からアセンブルされ、Mac にはスペースがなかったため直接 iPad にストリーミングされました。Moon-Beam の2倍のサイズで同じ速度ですが、モデルとしては優れていません(+3% パープレキシティ)。
知っておくべき制限。 Bonsai は1ビットモデルであり、依然として事実を誤ることがあります(あるテストでは、水星を地球に最も近い惑星と呼びました)。約 700 MB が実用的なメモリ上限です。1ビットウェイトは圧縮されないため、iOS はそれを超えるとプロセスを終了し始めます。これが 4B モデルが 512 トークンのコンテキストを必要とする理由です。ジェイルブレイクは再起動を生き残りません。高速出力ヘッドは、起動後の最初のプロンプトに 2-3 秒追加されます。
ここにあるもの
Cortex-A55 用カーネル (ARMv8.2 dotprod, i8mm なし)、llama.cpp v0.8.0 へのパッチとして、それぞれスカラー参照に対する正確性テスト付き:
| カーネル | 前 → 後 | 場所 |
|---|---|---|
Q2_K, 8行 × 4バイトにリパック (vdotq_laneq 用) (アップストリームは x86 / RISC-V のみ Q2_K をリパック) | 7.8 → 13.9 G ウェイト/s; 生成速度 +41%、プロンプト 2.4倍 | E34 |
| TQ1_0 / TQ2_0 三項、リパック | 9.5 → 14.4 / 11.9 → 19.1 G ウェイト/s | E38 |
| 三項 Q2_0 → RAM でロスレス 1.875 ビット/ウェイト (64 ごとにスケールを保持するベース3パッキング) | 三項 Bonsai-4B が「スロットリング」から 3.2 tok/s へ | E39, E42 |
Q1_0 ビットプレーン: vtst がビットプレーンを直接マスクに変換して vdot に使用、テーブルルックアップなし; 8ビット行アフィン スケール (−5.6%、0.07% エラー) | Bonsai-4B 3.02 → 4.22 tok/s; Bonsai-8B が 0.96 GB にフィット | E44, E52 |
| 融合 Gated-DeltaNet ステップ(直接状態書き込み付き)(Qwen3.5) | 2B 6.0 → 6.3-6.7 tok/s | E28 |
DeltaNet 状態 ID でインプレース読み取り、1 MB/レイヤーの収集ではなく; fp16 状態 (LLAMA_STATE_F16=1、UI ではデフォルトで有効) | 0.8B 11.9 → 12.9 tok/s; 2B +2.5% で +0.15% パープレキシティ | E56, E61, E65 |
| 高速カーネル上の LM ヘッド: 65,668 行のヘッドはリパックされていなかった(ggml は 8 の倍数のみリパック)ため、4 トークン行が追加されました; エンベディング行はフラッシュから読み取るのではなく、リパックされたヘッドから再構築されます(逆 8 行インターリーブ); 1 トークン DeltaNet conv ステップが 4 ノードから 1 NEON オペレーションに融合 | 2B +7% (ベンチとチャット); 0.8B +9.5% | E69-E72 |
| 2ビットフィールドの三項ウェイト、128 ごとにスケールをマージ: インオーダー A55 では、1つのベース3桁は16ウェイトあたり約5 NEON オペレーション、2ビットフィールドは2コストがかかるため、RAM を 13% 多く使用すると速度が向上します。隣接するスケールをマージするとパープレキシティが +0.18% 追加されます | 三項 Bonsai-4B がチャットで 3.2 → 4.3 tok/s、プロンプト 7.0 → 9.6 | E76, E77 |
| 1ビットルックアップテーブルカーネル (Four-Russians / T-MAC スタイル): グループあたり 32 行、浮動小数点アクティベーションから直接構築された 16 エントリテーブル、128 乗算加算あたり約 8 NEON オペレーション + 2 ロード vs 16 + 4 | Bonsai-8B 3.77 → 5.1-5.4 tok/s (E82, E88 と共に) | E81 |
しきい値付き Q8_0 アテンション: すべての K ドットをまず sdot で計算するため、ソフトマックスの最大値が事前にわかります。その後、expf と V の作業は max + ln(1e-4) より下の行はスキップされます | 1,000 トークンの回答で速度が半分になることがなくなりました (末尾で 2.50 → 約 4 tok/s) | E86 |
| ガイド付き行列乗算スケジューリング: 各スレッドは残りの / (2 × スレッド) 行を取得するため、遅いまたはプリエンプトされたスレッドはアイドルコアの約 28 ms/トークンではなく、短いテールを残します; 列ごとに分割された単一行要素ごとのオペレーション (ggml はすべてスレッド0に残していました) | 2B 6.26 → 6.54 tok/s; 0.8B +1.4% | E63, E64 |
メモリトリック:
- 枝刈りされた LM ヘッド: トークン頻度(英語、コード、その他7言語)に基づいて選択された、最も有用な語彙行(約49-66 K)のみを保持します。他のロジットは -inf に散布されます。0.2-0.5 GB を節約し、英語トークンの約 1% を見逃します。
- フラッシュ上のリパックキャッシュ (
GGML_REPACK_CACHE): リパックされたウェイトは一度ファイルに書き込まれ、その後マップされます。モデルは数秒でロードされます。
ヘッドレスモード (tools/tv-llm-mode.sh on|off): 小さなフォアグラウンドアクティビティの後、ランチャー、Google サービス、その他の重いアプリを強制停止し、svc power stayon でアニメーションスクリーンセーバー(コアの 17% を消費)をオフにします。永続的なものはステイアウェイクのみで、off で元に戻されます。MemAvailable 約 1,000 → 約 1,300 MB。フォークフリーガード (tools/tv-watch.c) は、毎秒約 25 プロセスを開始し、速度の 10% を消費していたシェルループを置き換えました。
混合エキスパートモデル用エキスパートページャー (ggml-cpu/moe-pager-tv.inc):
- エキスパートはフラッシュ上に存在: 各エキスパートテンソルは空の匿名メモリでオーバーレイされ、レイヤーのルーティング直後に、欠落しているエキスパートが並列
O_DIRECTで直接自身のメモリ位置に読み込まれます。レイヤーごとの LRU プール(128 エキスパート中 43 個)が残りを保持します。カーネルは通常のテンソルとして認識します。GGUF のエキスパートバイトは、リパックキャッシュがそれらを保持した後、一度だけパンチされます。そのため、モデルはフラッシュ上のウェイトの1つのコピーで済みます。 - キャッシュアウェアルーティング (
GGML_MOE_BIAS): RAM 内のエキスパートに対する小さなボーナスは、ミスを 13% から約 2% に削減します(品質コストは測定済み。arXiv 2412.00099 に他のモデルでのアイデアがあります)。トークンあたりのエキスパート数(LLAMA_MOE_USED=6)を減らすことももう一つの調整項目です。 - ウォームスタート: 各レイヤーで最も使用されるエキスパートのリストから開始し、プリゲート付きプリフェッチ: レイヤー L+2 のルーターをレイヤー L の隠れ状態に適用し、ルーターが実際に選択するものを予測します(シグモイド、モデル自身の選択バイアス、キャッシュボーナス)。これにより、ミスのおよそ 60% が必要になる前にロードされます。
- 回答がループした理由と修正: 2ビットエキスパートは、約250-300ワード後に長文の一貫性を破壊し、ルーティングバイアスがそれを増幅します。DRY サンプリングはそれを隠すだけです(モデルはループを言い換えます)。256 トークンにわたる 1.15 の繰り返しペナルティは、TV での長文回答の劣化を 12/13 から 1/13 に減らしました(E99, E100)。
RAM より大きいモデルのウェイトストリーミング (ggml-cpu/stream-tv.inc):
- RAM に残るもの: ウェイトの一部を選択して常駐させます。残りは「ストリームゾーン」に配置されます。
- プリフェッチ: 各行列乗算のフックがウェイトの使用順序を記録します。リーダー スレッドは、フラッシュの全速 278 MB/s で、ゾーンウェイトを並列 8 MB
O_DIRECT読み取りで、ウェイト自身のメモリ位置に事前にフェッチします。 - 正確性: 各計算スレッドは、ウェイトが完全にロードされるまで待機するため、誤った予測は時間コストはかかりますが、正確性を損なうことはありません。
- ドロップビハインド: 各ゾーンウェイトは、使用直後に解放されます。
- 検証モード:
GGML_STREAM_VERIFY=1は、ストリーミングされた各テンソルをファイルと比較します。これにより、2つのサイレント破損バグが発見され、修正され、E48 および E50 に文書化されています。 - 予測デコーディング: モデル自身の MTP ヘッドを使用すると、2 トークンの検証は、パスがフラッシュバウンドの場合、ウェイトの1パスとほぼ同じコストで済むため、効果があります(+69%)。RAM 上の 2B では効果がありませんでした(E31)。
プロファイリング(パッチ内の環境変数スイッチ):GGML_OPPROF=1(オペレーションごとのテーブル)、GGML_OPPROF=2(1つのグラフのノードごとのスレッド別トレース、tools/optrace.py)、LLAMA_UBATCH_PROF / GGML_CPU_PROF(フェーズタイミング)。これらは、小規模モデルの時間がどこで消費されるかを示しました(E57):約 71% が Q4_K の行列乗算、わずか約 2 ms/トークンがバリアとスケジューリングでした。
ツール:
- ストリーミング GGUF リライター: プルーンされたヘッド、追加テンソル、メタデータを1つのシーケンシャルパスで追加するため、Hugging Face → Mac → TV のパイプラインで Mac 上にモデルを保存する必要がありません。
- MTP フェッチャー: safetensors から MTP テンソルのみをレンジ読み込みします。
- メモリガード: TV 上の各重い実行をラップします。
- ベンチマークとパープレキシティハーネス、任意の Hugging Face GGUF を TV にストリーミングしてスコアリングするモデルスクリーナー(
tools/screen-small.sh)、およびライブトークンストリーム Web UI。
クイックスタート
必要物:TV ボックス(または他の ARMv8.2 Android デバイス)、ネットワーク ADB、adb、zig(aarch64 musl 静的ビルド用)、cmake + ninja、python3、および uv(numpy 用)。
export ADB_SERIAL=<tv-ip>:5555 # すべてのスクリプトはこの変数を通じてボックスと通信します
adb connect $ADB_SERIAL
# 1. llama.cpp v0.8.0 + パッチ、TV 用クロスコンパイル
git clone https://github.com/ggml-org/llama.cpp third_party/llama.cpp
cd third_party/llama.cpp && git checkout 8642541 && git apply ../../patches/llama.cpp-v0.8.0-tvbox.patch
cmake -S . -B build-tv -G Ninja -DCMAKE_SYSTEM_NAME=Linux -DCMAKE_SYSTEM_PROCESSOR=aarch64 \
-DCMAKE_C_COMPILER=$PWD/../../zigcc/cc -DCMAKE_CXX_COMPILER=$PWD/../../zigcc/c++ -DCMAKE_BUILD_TYPE=Release \
-DCMAKE_EXE_LINKER_FLAGS=-static -DBUILD_SHARED_LIBS=OFF -DGGML_NATIVE=OFF \
-DGGML_CPU_ARM_ARCH=armv8.2-a+dotprod+fp16 -DGGML_OPENMP=OFF -DLLAMA_OPENSSL=OFF -DLLAMA_BUILD_TESTS=OFF
ninja -C build-tv llama-server llama-cli llama-bench llama-perplexity llama-quantize
cd ../..
adb -s $ADB_SERIAL shell mkdir -p /data/local/tmp/llm/patched25 /data/local/tmp/llm/patched
adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-{server,cli,bench,perplexity} /data/local/tmp/llm/patched25/
adb -s $ADB_SERIAL push third_party/llama.cpp/build-tv/bin/llama-quantize /data/local/tmp/llm/patched/ # tools/tv-quant.sh で使用
zig cc -target aarch64-linux-musl -O2 -static -o gguf_recut tools/gguf-recut/gguf_recut.c && adb -s $ADB_SERIAL push gguf_recut /data/local/tmp/llm/
# 2. モデル: Hugging Face ソースから直接 TV 上で再構築 (下記参照)
tools/rebuild-models.sh 2b # 他にも: 08 4b b8 tb8 q9 mb lm caches
# 3. ライブチャットページ (デフォルト: patched25 上の 2B モデル、fp16 状態付き)、その後ネットワーク上の任意のデバイスから http://<tv-ip>:8090 を開きます
tv-llm-ui/start.sh
tv-llm-ui/start.sh stop
ボックス上のすべては /data/local/tmp/llm に配置され、adb shell ユーザーとして実行されます。唯一変更されるシステム設定は、ヘッドレスモードでのステイアウェイク (svc power stayon) であり、tv-llm-mode.sh off で元に戻されます。adb shell rm -rf /data/local/tmp/llm で全て削除できます。
モデルファイル: git には含まれておらず、再構築可能
モデルファイル(各 0.5-4 GB)はこのリポジトリには含まれていません。tools/rebuild-models.sh は、公開されている Hugging Face ファイルから TV 上にストリーミングして、各モデルを再作成します。以下の SHA-256 は、実験で使用されたファイルのもので、4B、Bonsai-8B、9B ファイルの再構築はバイト同一であることが確認されています。
すぐに使えるダウンロード。 各サイズクラスの最良のファイルは Hugging Face に、TV で実行されるものと全く同じ状態で提供されています。これらには上記のパッチ適用済み llama.cpp が必要です。ストックの llama.cpp ではプルーンされたヘッドをロードできません。各カードには実行コマンドと測定された数値が含まれています:
| モデル | Hugging Face | ファイル |
|---|---|---|
| Qwen3.5-0.8B, 16.8 tok/s | hyperionaidev/Qwen3.5-0.8B-tvbox-GGUF | q08-q4k-h65p8.gguf |
| Qwen3.5-2B, 7.7 tok/s | hyperionaidev/Qwen3.5-2B-tvbox-GGUF | w-q4k-h65p8.gguf |
| Ternary-Bonsai-4B, 4.3 tok/s | hyperionaidev/Ternary-Bonsai-4B-tvbox-GGUF | tb4-q20-hml.gguf |
| Moon-Beam-8B-A1B (MoE), 7.2 tok/s | hyperionaidev/Moon-Beam-8B-A1B-tvbox-GGUF | mb-q2-h60.gguf + moe-warm-moonbeam.txt |
| Bonsai-8B (1ビット), 5.2 tok/s | hyperionaidev/Bonsai-8B-tvbox-GGUF | b8-q1-hml.gguf |
| Ling-mini-2.0 (16B MoE), 5.1 tok/s | hyperionaidev/Ling-mini-2.0-tvbox-GGUF | lm2-q2-h60.gguf + moe-warm-ling.txt |
hf download hyperionaidev/<repo> --local-dir models/ でダウンロードし、ファイルを /data/local/tmp/llm/ に adb push します。moe-warm-*.txt ファイルは隣接させます。8B および 16B モデルの場合、初回起動時にリパックキャッシュが書き込まれます。
iPad Air ダウンロード。 iPad で実行されたすべてのモデル、入手先、およびその速度。3つの MoE ファイルは自作ビルドで、iPad のエキスパートページャーとルックアップテーブルカーネル用に配置されています。これらには iOS 12 パッチ(ipad-air/)が必要です。他の llama.cpp はこれらをロードできますが、エキスパートが破損します。残りは公開されたそのまま使用されます。Bonsai モデルの高速レイアウトはロード時に RAM 上で構築されます。全53実験(E108-E160, §21):
| モデル | ダウンロード | iPad 速度 (tok/s) | ピーク RSS | 実験 |
|---|---|---|---|---|
| Ling-mini-2.0 (16B MoE) | hyperionaidev/Ling-mini-2.0-ipad-GGUF: lm2-q2-h60-lut.gguf (SHA-256 3e464310…4e50bd) | 2.6 バイアスなし; 3.3 バイアス 0.1 付き (+2.6% パープレキシティ); 4.5 バイアス 0.3 付き; 5.2 --experts 6 追加時 | 556-576 MB | 4 (E157-E160) |
| Moon-Beam-8B-A1B (MoE) | hyperionaidev/Moon-Beam-8B-A1B-ipad-GGUF: mb-q2-h60-lut.gguf (SHA-256 acf1cb56…94b976); リパックなしのエキスパート後置ファイル(約4%遅い)は hyperionaidev/Moon-Beam-8B-A1B-ipad-xl-GGUF: mb-q2-h60-xl.gguf (aa919400…871d7e) | 3.5-3.6; エキスパート7つで 3.7-4.0 (+0.4-1.9%); エキスパート4つで 5.0 (+27%) | 600-625 MB | 19 (E138-E156) |
| Bonsai-8B (1ビット, 密) | prism-ml/Bonsai-8B-gguf | 0.08: RAM に収まらず、フラッシュから読み込み | 629 MB | 4 (E134-E137, 初期の Moon-Beam 実験と共に) |
Bonsai-4B (1ビット), -c 512 -b 64 | prism-ml/Bonsai-4B-gguf | 9.4-11.4; 長文チャットで 9.2-10.3 | 615-682 MB | 5 (E129-E133) |
| Bonsai-1.7B (1ビット), デフォルト | prism-ml/Bonsai-1.7B-gguf | 23.7-25.8; 長文チャットで 18-22 | 605 MB | 11 (E118-E128) |
| SmolLM2-360M-Instruct Q4_K_M | bartowski/SmolLM2-360M-Instruct-GGUF | 10.9-12.5 | 269-316 MB | 10 (E108-E117: 初回実行、小規模モデル、Webチャット) |
| Gemma 3 270M-it Q4_K_M | unsloth/gemma-3-270m-it-GGUF | 15.4-19.0 | 248-294 MB | |
| SmolLM2-135M-Instruct Q4_K_M | ストック Q4_K_M | 18.6-29.3 | 141 MB | |
| Qwen3.5-0.8B Q4_K_M | unsloth/Qwen3.5-0.8B-GGUF | 約 0.2: スロットリング | 506 MB | |
| stories15M q4_0 | ストック | llama-simple で約 290 |
| TV 上のファイル | ターゲット | ビルド元 | SHA-256 |
|---|---|---|---|
w-q4k-h65.gguf (Qwen3.5-2B) | 2b | unsloth/Qwen3.5-2B-GGUF BF16 + imatrix_unsloth, Qwen/Qwen3.5-2B からの MTP ブロック、TV 上で量子化、ヘッド data/head-ids-ml60k.txt | 16057be3…3285b |
w-q4k-h65p8.gguf (Qwen3.5-2B, デフォルト) | 2b | 上記ファイル、TV 上で data/head-ids-ml60k-p8.txt (65,672 行、ヘッドがリパックされる、§17) で再カット | 631a27ae…54fd11 |
w-q4k-h45.gguf (オプション) | 2b45 | 同上、45,654 行ヘッド data/head-ids-ml40k.txt (E29 の H45 ファイルとバイト同一) | a50eadc5…664d5b |
q08-q4k-h65.gguf (Qwen3.5-0.8B) | 08 | unsloth/Qwen3.5-0.8B-GGUF BF16 + その imatrix_unsloth, 純粋な Q4_K, ヘッド data/head-ids-ml60k.txt, Mac 上で量子化 | 901f3838…8523a6b |
q08-q4k-h65p8.gguf | 08 | 上記ファイル、Mac 上で data/head-ids-ml60k-p8.txt (§17) で再カット | 7dd2aac5…52fc232 |
tb4-q20-hml.gguf | 4b | prism-ml/Ternary-Bonsai-4B-gguf Q2_0_g64, ヘッド data/head-ids-qwen3-ml64k.txt | a02d805f…3fe24 |
b8-q1-hml.gguf | b8 | prism-ml/Bonsai-8B-gguf Q1_0, 同様のヘッド | fc297cb3…0d42a |
tb8-q20-hml.gguf | tb8 | prism-ml/Ternary-Bonsai-8B-gguf Q2_0_g64, 同様のヘッド | 01b1e0ef…93e06 |
mb-q2-h60.gguf | mb | tablinum/Moon-Beam-8B-A1B-GGUF-Preview Q8_0, Mac 上で再量子化: エキスパート Q2_K, 残りは Q4_K, data/corpus からの独自 imatrix, ヘッド data/head-ids-ling-60k.txt; リパックキャッシュ (cache/mbq2.*) が書き込まれた後 TV 上でエキスパートバイトをパンチ | 2d78fcdd…1c34ee |
lm2-q2-h60.gguf | lm | bartowski/inclusionAI_Ling-mini-2.0-GGUF Q4_K_M + その imatrix: エキスパートは Mac 上で Q2_K に再量子化、残りは Q4_K, ヘッド data/head-ids-ling-60k.txt; リパックキャッシュ (cache/lmq2.*) が書き込まれた後 TV 上でパンチ | c089aeb0…e8d7 |
q9-iq2-h65-mtp.gguf | q9 | unsloth/Qwen3.5-9B-GGUF UD-IQ2_XXS, Qwen/Qwen3.5-9B (Q4_0) からの MTP ブロック, 65K ヘッド | 7766478e…8dcbc |
cache/b8c.*, cache/tb8.* | caches | GGML_REPACK_CACHE 付きの初回実行で書き込み |
data/ ディレクトリのヘッドIDリストは、tools/vocab_select.py (Qwen3.5 トークナイザー) および tools/head_select_tok.py (任意のトークナイザー、llama-tokenize 経由) によって、tools/fetch_corpus.py がダウンロードしたコーパス(Wikipedia + Project Gutenberg)から作成されました。
レイアウト
| パス | 内容 |
|---|---|
EXPERIMENT.md | 完全な記述: §1-8 最初の小さなモデル、§9-10 llama.cpp と最初のフラッシュストリーミング、§11 2B のプッシュ、§13 4B のプッシュ、§14 9B のプッシュ、§15 0.8B の速度プッシュ、§16-17 2B のラウンド3-4、§18 4B のラウンド2 (arXiv / GitHub スキャン、2ビット三項レイアウト)、§19 8B のプッシュ (ヘッドレスモード、LUT カーネル、エキスパートページャー付き Moon-Beam MoE、長文回答がループする理由)、§20 9B より大きいモデル (Ling-mini-2.0 16B、および LFM2.5-24B と Qwen3.6-35B がフィットしない理由) |
patches/llama.cpp-v0.8.0-tvbox.patch | llama.cpp のすべての変更: Qwen3 / Qwen3.5 / Granite 4.0 H 用のプルーンヘッド (output_ids)、上記のカーネル (ggml-cpu/repack-*-tv.inc)、融合 DeltaNet (ID による状態読み取り、オプションの fp16 状態、1トークン conv ステップ)、1ビット LUT カーネル、Q8_0 アテンション、ルーティングバイアスとプリフェッチ付き MoE エキスパートページャー (ggml-cpu/moe-pager-tv.inc)、bailingmoe3 用のプルーンヘッド、常駐ヘッドからのエンベディング行、リパックキャッシュとストリーミングエンジン (ggml-cpu/stream-tv.inc, ローダーフック)、パディングされた小バッチ、オペレーションプロファイラー、プルーンヘッド対応パープレキシティ、Mali 用 Vulkan チューニング |
tools/ | GGUF リライター / ヘッドプルナー / リカッター、語彙選択、コーパスと MTP フェッチャー、モデル再構築スクリプト、TV メモリガードと RAM ヘルパー、ベンチマークスイープ、カーネルベンチと正確性チェック (kbench/)、フラッシュベンチ |
tv-llm-ui/ | llama-server 用ライブトークンストリームページ(信頼度カラー、トップ3代替、速度、ボックス統計)、そのランチャー、およびベンチマークハーネス |
tiny-llm-web/ | llama2.c ストーリーサーバー + 最初の実験からの TV ページ |
bench/ | results.jsonl (すべてのチャットベンチマーク: プロンプト、出力、速度) と raw/ (すべての実験ログ) |
data/ | ヘッドIDリストと2つの評価テキスト |
zigcc/ | aarch64 静的バイナリのクロスコンパイル用 zig ラッパー |
ipad-air/ | デバイス #2: iOS 12 用クロスコンパイル、smolchat (ターミナルチャットと Safari Web ページ)、デプロイとベンチマークスクリプト (README, §21) |
screenshots/ | TV 上で実行されている Web ページ |
教訓
- このボックスでは、4ビットの 2B モデルが、1-2ビットのどのより大きなモデルよりも優れています。 トレーニング後の量子化が 2.5 ビットを下回ると、通常のモデルは壊れます(E22, E23, E35)。1ビットまたは三項用にトレーニングされたモデルは持ちこたえますが、4-8B ではストリーミングなしではフィットしません。
- RAM を超えると、フラッシュ帯域幅が速度を決定します。 カーネルの LRU は、キャッシュより大きい循環スキャンにとって最悪のポリシーです。すべてをトークンごとに再読み込みします。固定の常駐セットを維持し、残りは自分でストリーミングしてください。
- フラッシュバウンドの場合、バッチ処理は無料です。 プロンプトと予測検証は、サイズに関わらず、約1回のウェイトパスで済みます。
- 測定し、検証する。 2つのストリーミングバグはもっともらしい速度と間違った数値をもたらしました。ファイルとのテンソル比較、および Mac リファレンスとのパープレキシティ比較のみがそれらを検出しました。
- 小規模モデルは主に語彙です。 Qwen3.5-0.8B の 248K 行ヘッドは、そのウェイトの3分の1を占めます。それを 65K 行にプルーンし、全 Q4_K と組み合わせることで、7.5 tok/s から 12.1 tok/s になりました(E55)。小規模モデルは 4 ビットでもより多くの品質を失います(2B の +2.3% に対して +7%)。
- カーネルを記述する前にシミュレートする。 アクティベーションのスパース性(E58)と低ランクヘッド(E60)は、どちらも紙の上では有望に見えました。Mac 上での品質シミュレーションは、それぞれ1時間以内に却下しました。
- インオーダーコアでは、バイト数だけでなく NEON オペレーション数も数える。 よりタイトなパッキングはバイト数を 20% 節約し、オペレーション数を 2.5 倍にしました。それを元に戻すと、4B モデルのチャット速度が 33% 向上しました(E76, E77)。4ビットカーネルは逆のケースで、RAM によって制限されるため(E27)、このトリックは 2B または 0.8B には役立ちません。
- すべての大きな行列が高速カーネルに到達することを確認する。 2B モデルのヘッド(65,668 行、各トークンウェイトの約 10%)は、ggml が 8 の倍数のみをリパックするため、数週間サイレントに汎用カーネルで実行されていました。4 行追加するだけで +5.8% になりました(E71, E72)。ロードログのリパックバッファサイズがそれを物語っています。
- RAM の大部分はモデルではなく Android のものでした。 ランチャーと Google サービスを一時的に強制停止した(永続的なものはない)ことで、Bonsai-8B が RAM に完全に収まり、カーネル作業なしで 1.2 → 3.6 tok/s になりました(E80)。アニメーションスクリーンセーバーと 25 回/秒フォークするガードは、それぞれさらに 10-15% を消費しました(E82, E88)。
- 混合エキスパートモデルの場合、フラッシュはストリームではなくキャッシュミスです。 エキスパートあたり約 6 ms のミスは、プールヒット率が速度を決定することを意味します。キャッシュされたエキスパートへのルーティングと、次のルーターが選択するものをプリフェッチすることで、4.4 tok/s が 7.2 tok/s になりました。
- パープレキシティはループを見抜けない。 クリーンなテキストに対して1トークンずつスコアリングしますが、2ビットモデルは問題なくスコアを付け、長文回答では 13 回中 12 回ループに陥りました。長文のフリーランニング生成もスコアリングし(
tools/loop_stats.py)、異なるトークナイザーを持つモデルをバイトあたりのビットで比較し、パープレキシティでは決して比較しないでください。 - 9B を超えると、パラメータ数ではなく常駐バイト数を数える。 ここでの混合エキスパートモデルの天井は、RAM に常駐する必要がある非エキスパートウェイトと、有用なエキスパートプールの合計です。Ling-mini-2.0 (16B) は 279 MB を常駐させ 5 tok/s で実行されます。Qwen3.6-35B-A3B は、エキスパートを1つキャッシュする前に約 870 MB を必要とするでしょう(§20)。
- ボックスを保護する。 2回の初期カーネルパニックの後、すべての重い実行は、空きメモリ 180 MB 未満で終了するラッパーを介して行われます。
ライセンス
MIT。llama.cpp パッチは llama.cpp (MIT) の派生です。モデルウェイトは独自のライセンスを維持し、評価テキストは Wikipedia の抜粋(CC BY-SA 4.0)です。
クレジット
llama.cpp と llama2.c を基盤としています。モデルは Qwen、unsloth (GGUF と重要度行列)、PrismML (Bonsai)、Google (Gemma)、および stories260K から提供されています。評価テキストは Wikipedia の抜粋(CC BY-SA 4.0)です。🤏 ロゴは Google の Noto Emoji (Apache 2.0) のピンチングハンド絵文字です。
[2] タイトル: Show HN: CMS、e-commerceなどを組み合わせたセルフホスト型PHPプラットフォーム、組み込み
URL: https://getvale.org
本文:
WordPress を自身で使用していましたが、継続的なメンテナンスに苦労しました。そこで、ニーズに合った内部代替 CMS を構築しました。2 年の開発期間を経て、オープンソース化することを決定しました。
ライブデモを試したり、ソースコードを探索したり、ドキュメントを読んだりできます。
ライブデモを試す: https://getvale.org/try-vale ソース: https://github.com/MIDILLI-Tech/vale/ ドキュメント: https://docs.getvale.org
フィードバック、コメント、質問があれば、喜んでお答えします!