AI・機械学習
Llama-modchip: 64GB RAMで284B DeepSeek、GPU不要
Llama-modchip: 284B DeepSeek on 64GB RAM, no GPU (github.com)
要約
Llama-modchipは、64GBのRAMのみで284BパラメータのDeepSeekモデルや、30BモデルをGPUなしで高速に実行できるプロジェクトです。高度な量子化技術、CPU最適化、および特殊なキャッシュ戦略により、大規模言語モデルのローカル実行の敷居を大幅に下げています。
全文翻訳
♟️🐋 llama-modchip (v2.4.0)
64 GB RAMの壁を破る：284B DeepSeek-V4-Flash（< 59 GiB RAM）と30B MoE（最大111 tok/s）をGPU不要のピュアCPUで実行 — GPUは一切不要。
［画像: リリース］ ［画像: ライセンス］ ［画像: arXivプレプリントPDF］ ［画像: 技術論文］ ［画像: RouteCrack + Stockfish］ ［画像: ベンチマーク提出］
⚡ クイックスタート · 🧩 サポートモデル · 🖥️ サポートチップ＆プラットフォーム · 🏆 リーダーボード · 📄 プレプリントPDF (paper/) · 📐 アーキテクチャ · ❓ FAQ
| 284.33B Frontier MoEパラメータ | 56.56 GiB ディスク上のチェックポイント | 57.61 GiB 256KコンテキストでのピークVmRSS | 44.36 tok/s 284B CPUプリフィル | 60.4–111.6 tok/s 30B MoE CPUデコード | 13.1 ms Claude Code復元 | 0 GPU不要 |
リアルタイムのFrontier＆Agentic MoE推論を、お持ちのCPUワークステーションで — RAM内100%、NVMeスワップゼロ：
| お持ちのマシン | RAM | 推奨モデル | スピード（GPU 0基） | 何が起こっているか |
|---|---|---|---|---|
| 開発者向けラップトップ/ミニPC | 16–32 GB | Nemotron-3.5-30B-A3B (14.35 GiB) | 25.0–60.4 tok/s | 46 Mamba-2 SSMレイヤー + 1.64 MB L3 Stockfish-PVSドラフター; 6 GiB KVでの256Kコンテキスト |
| 64 GBデスクトップ/サーバー | 64 GB | DeepSeek-V4-Flash 284B (56.56 GiB) | 44.4 tok/s pp · 9.1–14.7 tok/s tg | SwiGLU-H2が20.31 GiBを削減; 284Bモデル全体+256KコンテキストがRAM（57.61 GiB VmRSS）に収まる |
| ハイブリッドデスクトップ（CPU + 16 GB GPU） | 32–64 GB | Nemotron-30B / Qwen3-30B | 80.80 tok/s | GPU上のホットアテンショントランク（-ngl 99）、CPU DDR5上のコールドルーティングMoEエキスパート |
| 8チャネルワークステーション（Threadripper） | 128 GB+ | DeepSeek-284B / Nemotron-30B | 111.62 tok/s (30B) | 8-CCD AVX-512BW _1x8レジスタタイリングが8チャネルDDR5メモリ帯域幅を飽和 |
TL;DR —
llama-modchipの3つのパラダイムを打ち破る柱：
- 🐋 64 GB CPUボックス内の284.33B Frontier MoE:
DeepSeek-V4-Flashをディスク上の7.687 GiB（64 GB LinuxでOOMクラッシュ）から、フル256Kコンテキストでディスク上56.56 GiB/VmRSS57.61–58.9 GiBに縮小（プリフィル44.36 tok/s、ピュアCPUデコード9.06–10.74 tok/s、PVS使用時11.5–14.7 tok/s） — 閉形式の解析的SwiGLU-H2二次ヘッセ行列圧縮 +Fractal-64（Q2_0、3.75 bpw）MLAトランスコーディング + 4レベルレジスタ（ZMMAVX-512BW）+ L1D（32 KB）+ L2（1 MB）+ L3（64 MB）全体モデルタイリング + $L_2$
-Quadrature MoEプルーニングを使用。- ⚡ ピュアCPUでGPU速度の30B MoE:
NVIDIA-Nemotron-3.5-30B-A3Bを16コアZen 5で14.35 GiBで25.0–60.4 tok/sで実行（Threadripperで111.6 tok/s、AMD Vulkanハイブリッドで80.8 tok/s、AWS Graviton3 ARM64で44.97 tok/s） —1.64 MBStockfish-PVS v2 + RouteCrackL2/L3ドラフター（96.4%受容率）と_MM_HINT_NTAL3キャッシュ分離（HARPCache）を介して。- 🤖 API不要のClaude Code（
./modchip claude）:/dev/shmスロット0 KVウォームリストア（Nemotron-30Bで18.9 ms/ DeepSeek-284Bで13.1–32.6 ms）により、45秒のCPUエージェントプロンプトリエバリュエーションボトルネックを排除し、アクティブな40のClaude Codeツールすべてを使用。
［画像: llama-modchip v2.4.0 — 57.61 GiB RAMで284.33B DeepSeek-V4-Flash、ピュアCPUで60.4 tok/sのNemotron-30B］
⚡ クイックスタート
🐧 Linux & 🍎 macOS（1コマンド自動セットアップ＆チャット）
git clone https://github.com/synchopate/llama-modchip.git
cd llama-modchip
./modchip chat
⚡ コンパイル不要ダイレクト実行（プリコンパイル済みLinux x86_64バイナリ + Hugging Face .gguf）
⚠️ 重要互換性注意（
GGML_TYPE_Q2_0 = 40）： 当社のFractal-64モデルはカスタムブロック-64BF16スケールグレイコードテンソル（GGML_TYPE_Q2_0、タイプID40）とカスタムdeepseek4/Stockfish-PVSカーネルを使用しています。パッチされていないllama.cpp、Ollama、またはLM Studioで開くと、unknown tensor type 40エラーが発生します。パッチされた./modchipまたはHugging FaceリポジトリおよびGitHubリリースv2.4.0に直接バンドルされているスタンドアロン単一ファイルプリコンパイルバイナリ（llama-server-modchip-linux-x86_64、.so依存関係なし）を使用してください：
# 1. 30B Nemotron-3.5-A3B用（14.35 GiB — 16–32 GB RAMで25–60.4 tok/sで実行）：
hf download Synchopate/NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64-CPU-GGUF \
llama-server-modchip-linux-x86_64 NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf --local-dir .
chmod +x llama-server-modchip-linux-x86_64
./llama-server-modchip-linux-x86_64 -m NVIDIA-Nemotron-3.5-30B-A3B-Fractal-64.gguf -c 262144 -t 16 --port 8080
# 2. 284B DeepSeek-V4-Flash用（56.56 GiB — 64 GB RAMに9.1–14.7 tok/sで収まる）：
hf download Synchopate/DeepSeek-V4-Flash-0731-Fractal-64GB-CPU-GGUF --local-dir ./dsv4
chmod +x ./dsv4/llama-server-modchip-linux-x86_64
./dsv4/llama-server-modchip-linux-x86_64 -m ./dsv4/DeepSeek-V4-Flash-0731-Fractal-00001-of-00003.gguf -c 32768 -t 16 -fa on --port 8080
🪟 Windows 10/11（1クリックハイブリッドGPU + CPU MoEパック）
windows/ を開き、windows/AVVIA_MODCHIP.bat をダブルクリックします（またはGit Bashで./modchip startを実行します）。CPUコア、空きRAM、GPU VRAM（nvidia-smi）を自動検出します。公式llama.cpp CUDA 12.4 / Vulkanバイナリをダウンロードし、最適な--n-cpu-moe分割を計算し、WebチャットUI（http://127.0.0.1:8080）を開きます。
./modchip コマンド | 実行内容 |
|---|---|
./modchip chat | 💬 ライブtok/s、TTFT、Stockfish-PVS受容テレメトリ付きインタラクティブターミナルチャット |
./modchip web | 🌐 ダークモードWebチャット＆ライブテレメトリHUD（http://127.0.0.1:8787）を開きます |
./modchip bench | 📊 30秒間の2ステージ速度テストを実行し、共有可能なCPUベンチマークスコアカードを表示します |
./modchip claude | 🤖 Claude Code CLI（40ツール）をローカル256Kエンジン（18.9–32.6 msウォームリストア）に接続して起動します |
./modchip eval | 🧪 再現可能な100ポイント品質、ツール呼び出し、コーディング、8.5Kニードルゲートを実行します |
./modchip quantize | 🗜️ BF16/Q4_0/IQ2_XXS GGUFをFractal-64（3.75 bpw）またはFractal-MXFP4（4.25 bpw）にトランスコードします |
./modchip status / stop | 🔍 CPU準備状況、2MB HugePages、/dev/shm IPCを検査するか、バックグラウンドサービスを停止します |
🏆 あなたのCPUは64 GB RAMで284B Frontier MoEを実行できますか？2秒でテスト（ダウンロード不要）：
curl -sL https://raw.githubusercontent.com/synchopate/llama-modchip/main/scripts/check_cpu_readiness.py | python3
👉 ターミナルスコアカードを📊 1クリックGitHubベンチマーク問題またはGitHubディスカッションに貼り付けて、公式コミュニティCPUリーダーボードに追加してください！
🧩 サポートモデル＆モデル固有最適化
各モデルファミリーには、正確な数学的証明、オペレーターレベルのレイテンシ内訳、品質ゲートベンチマークを含む専用のディープダイブ最適化ガイドがあります：
| モデルファミリー | 合計 / アクティブパラメータ | ディスク（GGUF）＆256K RAM（VmRSS） | 主要実装最適化 | 検証済み速度（16C Zen 5 / ハイブリッド） | 詳細ガイド |
|---|---|---|---|---|---|
🚀 NVIDIA-Nemotron-3.5-30B-A3B （Fractal-64 / MXFP4 / Q4_0） | 30.2B / 3.0B （23 SSM + 23 MoE + 6 GQA） | 14.35 – 17.59 GiB （15.4 – 21.7 GiB RSS） | • ブロック-64 Fractal-64（3.75 bpw）＆ MXFP4（4.25 bpw）（100/100品質ゲート） • Stockfish-PVS v2 (M=7) + RouteCrack（1.64 MB L2/L3 Zobrist TT） • 432 MB 256K EAKV（Q8_0/Q4_0） + _MM_HINT_NTA L3分離 • 18.9 ms /dev/shm Slot-0復元（~6,800x高速ウォームターン） | 25.0 – 60.4 tok/s（0 GPU） 80.8 tok/s（Vulkanハイブリッド） 111.6 tok/s（Threadripper） | 📖 Nemotronガイド |
🐋 DeepSeek-V4-Flash-0731-Fractal （SwiGLU-H2 + Fractal-64） | 284.33B / 13.17B （43L MLA + 256+1s MoE） | 56.56 GiB （-20.3 GiB）（58.9 GiB RSS — 64 GBに収まる！） | • 解析的二次SwiGLU-H2 MoE + Fractal-64 MLAトランスコーディング • 4レベルレジスタ（ZMM AVX-512BW）+ L1D（32KB）+ L2（1MB）+ L3（64MB）マルチカラム（{8,4,3,2}）プリフィルタイリング（25.0 -> 44.36 tok/s、+77%） • レジスタステーションアビリティAVX-512 MQA8 FlashAttention（2.0x）+ AVX-512 quantize_row_q8_K • **$L_2$ | ||
-Quadrature MoEプルーニング + L1-ローカルゲートファーストSwiGLU（10.74 tok/s）** • wo_b * wo_aの正確なSVD（-25%ランクで99.82% CosSim）＆ $O(1)$ロールバック修正 | 43.2–44.4 tok/s（プリフィル） 9.06–9.95 tok/s（ロスレス） 9.87–10.15 tok/s（Top-5 L2） 10.41–10.74 tok/s（Top-4+SwiGLU） 11.5–14.7 tok/s（PVS） | 📖 DeepSeek-V4ガイド | |||
⚡ Qwen3-30B-A3B & Qwen3-14B （Q3_K_M / Q4_K_M） | 30.5B / 3.3B -> 1.7B （48L GQA、128 exp） | 13.70 – 17.28 GiB （14.5 – 19.4 GiB RSS） | • 正規化維持動的MoE Top-K（8 -> 4、+38.5%デコード） • 3:1インターリーブSWA安全ロック（LLAMA_SWA_STRIDE=4） • Windows 11 GB VRAM + 16 GB RAMハイブリッド分割（--n-cpu-moe N） | 34.80 tok/s（0 GPU Top-4） 50–58 tok/s（14B RTX 2080 Ti） | 📖 アーキテクチャ §3.9 |
🏎️ NVIDIA-Nemotron-H-8B-128K （Q8_0 / Q4_K_M） | 8.0B密 | 4.60 – 8.00 GiB （128Kで210 MB KV） | • 48レイヤーMamba-2 SSM定数メモリバックボーン • 8–11 GBカードでの100% GPU VRAM常駐（0 GBシステムRAM） | 100+ tok/s（RTX 2080 Ti） 147.6 tok/s（CPU pp512） | 📖 Nemotronガイド |
🖥️ サポートチップ＆プロセッサ固有最適化
すべてのサポートされているプロセッサおよびGPUハイブリッドの完全なマイクロアーキテクチャ詳細とチューニングフラグは、docs/HARDWARE_OPTIMIZATIONS.mdに文書化されています：
| プロセッサ / プラットフォーム | 検証済みハードウェア | ハードウェア固有最適化アクティブ | プラットフォームガイド＆スクリプト |
|---|---|---|---|
| AMD Zen 5（デスクトップ / モバイル / サーバー） | Ryzen 9 9955HX、9950X、EPYC 9005 Turin | • シングルサイクル512ビットAVX-512（VPDPBUSD、VPRORVQ、VBMI、BF16） • マルチヘッドwo_a射影における48 KB L1D 3Dタイリング（TILE_I0=64） • _MM_HINT_NTAビクティムL3分離（64 MB） + 2MB THP（6.14 GB L2 STLB） | 📖 ハードウェアガイド §2.1 install.sh |
| AMD Zen 4 マルチCCD（Threadripper / EPYC） | Threadripper PRO 7985WX（64C/128T、8 CCDs、256 MB L3） | • 動的sysfs L3 CCDトポロジ検出（scripts/llama_modchip.py） • 決定論的4C/CCDストライド（-t 32）: Infinity Fabric飽和を回避（-t 64より+54%高速） | 📖 ハードウェアガイド §2.2 Issue #1 |
| AMD 3D V-Cache + Radeon Vulkan ハイブリッド | Ryzen 9 7945HX3D（128 MB L3） + RX 9070 XT 16GB（RADV） | • テンソルロール分割（-ngl 99 --n-cpu-moe N --load-mode none） • ネイティブVulkan SSM_SCAN + Fractal-MXFP4（15.2 GB）GPUシェーダー（80.8 tok/s @ 256K） | 📖 ハードウェアガイド §2.3 FAQ.md Q8 |
| Intel / AMD + NVIDIA RTX（Windows 10/11） | Core i9-9900K / 14900K + RTX 2080 Ti 11GB / 3090 / 4090 | • シングルサイクルAVX2 vpsllvd + vpmaddwdサブスケールフュージョン • ライブVRAM --n-cpu-moeソルバー（550 MB WDDM予約） + _WIN32 CreateFileMappingA | 📖 Windowsガイド windows/modchip_win.ps1 |
| Apple Silicon（M1 / M2 / M3 / M4） | Apple M4 Pro（14C CPU + 20C GPU、24 GBユニファイド） | • ゼロコピーユニファイドメモリMetalシェーダー + ARM64 NEON/AMX • 0スワップ128Kコンテキストバジェット（384 MB KV） + Stockfish-PVS v2 | 📖 Apple Siliconガイド apple-silicon/ |
| ARM64クラウド＆エッジ（AWS Graviton / Ampere） | AWS Graviton3 m7g.2xlarge（8 vCPU Neoverse-V1、32 MB L3） | • ARMv8.4-A DotProd（SDOT）+ 256ビットSVE + 1 vCPU/コアピニング（-t 8） • 32 MBシステムレベルキャッシュ（SLC）保持（44.97 tok/sデコード） | 📖 ハードウェアガイド §1 Issue #2 |
| AMD Zen 4 コンパクトミニPC（Fedora / Linux） | Ryzen 7 8745HS（GEEKOM A8、8C/16T、16 MB L3 + 780M） | • AVX-512 VNNI + 16 MB L3ウィンドウ自動チューニング（LLAMA_KV_L3_WINDOW=1024） • オプションRadeon 780M UMA iGPUオフロード | 📖 Fedoraガイド fedora/nemotron.sh |
📊 主要ベンチマーク：ピュアCPU＆ハイブリッド概要
1. DeepSeek-V4-Flash 284B（13.17Bアクティブ）を64 GB Zen 5 CPU（AMD Ryzen 9 9955HX、0 GPU）で実行
完全なオペレーターレベルのプロファイリングと数学的証明はdocs/DEEPSEEK_V4_OPTIMIZATIONS.mdにあります：
DeepSeek-V4-Flash-0731-Fractal（256Kコンテキストで56.56 GiB） | プリフィル（pp512） | ピュアデコード（N=1） | Stockfish PVS使用時 | プロットコサイン類似度 | KLダイバージェンス（$\Delta$ PPL） | トップ1 / トップ3一致 |
|---|---|---|---|---|---|---|
標準IQ2_XXS（76.87 GiB、パッチなし） | 🔴 64GBでOOM | 5.91 tok/s（169.3 ms） | N/A（ロールバックバグ） | 1.00000 | 0.0000（0.00%） | 100% / 100% |
1. v2.4.0 ロスレス（全レイヤーTop-6、デフォルト） | 43.16 – 44.36 tok/s（+77.1%） | 9.06 – 9.95 tok/s | 11.5 – 14.7 tok/s | 1.00000 | 0.0000（ビット単位で正確） | 100% / 100% |
2. v2.4.0 スイートスポット（il >= 3でTop-5、$L_2$Quadrature） | 43.16 – 44.36 tok/s | 9.68 – 9.87 tok/s | 12.2 – 15.1 tok/s | 0.99714 | 0.0042 nats（+0.42% PPL） | 95.8% / 100% |
3. v2.4.0 Top-5 L2 + ゲートファーストSwiGLU（80/128 $L_2$） | 43.16 – 44.36 tok/s | 10.15 tok/s（98.5 ms） | 12.8 – 15.6 tok/s | 0.99385 | 0.0531 nats | 100% / 100% |
4. v2.4.0 ターボ10+（Top-4 L2 + ゲートファーストSwiGLU） | 43.16 – 44.36 tok/s | 10.12 – 10.74 tok/s（93.2 ms） | 13.0 – 16.0 tok/s | 0.99126 | 0.0281 – 0.0694 nats | 100% / 100% |
2. NVIDIA-Nemotron-3.5-30B-A3B（3.0Bアクティブ）を256Kコンテキストで実行（AMD Ryzen 9 9955HX、0 GPU）
完全なアブレーションテーブルと100/100品質ゲートレポートはdocs/NEMOTRON_OPTIMIZATIONS.mdにあります：
| 量子化プロファイル | ディスクサイズ | アイドルVmRSS（256K） | 品質ゲート（100点） | プリフィル（pp512） | ベースデコード（N=1） | Stockfish-PVS v2 (M=7) リファクタリング |
|---|---|---|---|---|---|---|
ベースラインQ4_0（公式GGUF） | 17.59 GiB | 21.41 GiB | 100.0 / 100.0 | 241.0 – 306.8 tok/s | 19.54 tok/s | 40.91 avg / 45.43 peak tok/s |
Fractal-MXFP4（4.25 bpw） | 15.95 GiB | 17.46 GiB | 100.0 / 100.0 | 241.0 – 306.8 tok/s | 26.08 tok/s（+33.5%） | 48.39 avg / 60.40 peak tok/s（80.8 Vulkan） |
Fractal-64-BF16（3.75 bpw） | 14.35 GiB | 15.40 GiB（-6.01 GiB） | 100.0 / 100.0 | 241.0 – 306.8 tok/s | 25.02 tok/s（+28.0%） | 48.39 avg / 60.40 peak tok/s（96.4% acc） |
🏆 コミュニティCPU＆ハイブリッドリーダーボード
./modchip bench（またはWindowsでwindowsenchmark_pc.bat）を実行し、➕ スコアカードを提出（1クリックGitHub問題）！
| ハードウェアプラットフォーム（CPU / SoC / ハイブリッド） | コア / キャッシュ | メモリ | プリフィル（tok/s） | デコード — プロット / C++20 | デコード — Stockfish M=7 バースト | 設定＆貢献者 |
|---|---|---|---|---|---|---|
AMD Threadripper PRO 7985WX（Zen 4） | 64C/128T（8 CCDs、256 MB L3） | 256 GB 8ch DDR5-6000（0 GPU） | 386.00（-t 32） | 73.84 – 80.14 tok/s（70.0% acc） | 111.62 tok/s ウォーム / 80.14 コールド（-t 32 4C/CCD） | @aifartist (Issue #1) |
| AMD Ryzen 9 7945HX3D + RX 9070 XT（ハイブリッド） | 16C/32T（128 MB 3D V-Cache） + 16 GB Vulkan | 94 GB DDR5 + 16 GB VRAM | 563.00（256Kコンテキスト） | 75.10 tok/s（MXFP4 15.2GB） | 80.80 tok/s（Vulkan SSM_SCAN + MXFP4 MoE） | コミュニティ（RADV/Vulkan） (FAQ.md) |
AMD Ryzen 9 9955HX / 9950X（Zen 5） | 16C/32T（2 CCDs、64 MB L3） | 64 GB DDR5（0 GPU） | 241.0（ピーク 306.8） | 25.02 – 34.5 tok/s（Fractal-64 / MXFP4） | 48.39 avg / 60.40 peak（len 6.90） | @synchopate (docs/NEMOTRON_OPTIMIZATIONS.md) |
| Apple M4 Pro（14コアSoC） | 14C CPU + 20C Metal | 24 GB ユニファイド（0 Swap） | 256.0 – 549.0 | 47.0 – 48.0 tok/s（128K） | 49.0+ tok/s | @jarorosFork (apple-silicon/) |
AWS Graviton3 m7g.2xlarge（ARM64 Neoverse-V1） | 8 vCPU（32 MB L3、SVE-256） | 31 GB DDR5（0 GPU） | 101.67（-t 8） | 41.05 tok/s（C++20） | 44.97 tok/s（リファクタリング） | @gerchik (Issue #2) |
| Windows 11 ハイブリッド（i9-9900K + RTX 2080 Ti 11GB） | 8C/16T（16 MB L3） + 11 GB CUDA | 16 GB DDR4 + 11 GB GDDR6 | 自動 CUDA 12.4 | 50–58 tok/s（14B）/ 30B ハイブリッド | 100+ tok/s（Nemotron-H-8B 128K） | windows/ |
| AMD Ryzen 7 8745HS（GEEKOM A8） | 8C/16T（16 MB L3） | 64 GB DDR5-5600 | 検証済みFedora 44 | 検証済み（ngram） | 検証済み（CPU & 780M） | @jarorosFork (fedora/) |
🐋 DeepSeek-V4-Flash 284B on Ryzen 9 9955HX | 16C/32T（2 CCDs、64 MB L3） | 64 GB DDR5（256Kで58.9 GiB RSS） | 43.16 – 44.36 tok/s（32.6 ms Slot-0） | 9.06 – 10.74 tok/s（13.17Bアクティブ） | 11.50 – 14.69 tok/s（94.5% PVS acc） | @synchopate (docs/DEEPSEEK_V4_OPTIMIZATIONS.md) |
🛠️ クリックして展開：リポジトリ構造と手動CMakeビルド手順
lama-modchip/
├── modchip # 統合CLI（setup | start | chat | bench | eval | quantize | web | claude | stop）
├── install.sh # 1コマンド自動インストーラー（Linux）
├── README.md / ARCHITECTURE.md / FAQ.md # クリーン概要、完全数学論文＆エンジニアリングFAQ
├── RELEASE_NOTES.md # v2.4.0 リリースノート
├── docs/
│ ├── NEMOTRON_OPTIMIZATIONS.md # Nemotron-3.5-30B-A3B & Nemotron-H-8B最適化の詳細
│ ├── DEEPSEEK_V4_OPTIMIZATIONS.md # DeepSeek-V4-Flash 284Bプロファイリング、SVD & L2-quadrature MoEの詳細
│ └── HARDWARE_OPTIMIZATIONS.md # チップ別最適化（Zen 5、Threadripper、Vulkan、CUDA、Metal、ARM64）
├── patches/
│ ├── deepseek-v4-flash-fractal-256k.patch # 統合v2.4.0パッチ（DeepSeek-V4-Flash 284B + Nemotron-3.5 30B、Linux/macOS/Windows）
│ └── zen5-nemotron-256k-optimizations.patch # Nemotron-3.5用スタンドアロンggml/llamaコアパッチ
├── windows/ # 1クリックWindows 10/11ハイブリッドGPU+CPU MoEパック（AVVIA_MODCHIP.bat、modchip_win.ps1）
├── apple-silicon/ # Apple M4 Pro（24 GB）Metalセットアップ＆128Kベンチマーク
├── fedora/ # Fedora 44 / AMD Ryzen 7 8745HS（GEEKOM A8）オールインワンスクリプト
├── speculative/ # RouteCrack + Stockfish-PVS v2（rc_stockfish.h、ngram-map.cpp、96+テクニック）
├── benchmarks/ # eval_quality_and_tools.py（100-pt品質ゲート）＆ results/*.json
├── gateway/sse_gateway.py # Agentic SSEプロキシ + コンパクトツールテーブル + ダークモードWebチャットHUD（:8787）
└── scripts/ # build_fractal_moe_gguf.sh、transcode_dsv4.{c,py}、chat.py、llama_modchip.py
🏢 エンタープライズ＆ハードウェアスポンサーシップ
llama-modchipは、最新のマルチコアCPUとコンパクトなミニPC（64–128 GBのDDR5 RAM搭載）が、284B Frontier MoE（DeepSeek-V4-Flash）と30BハイブリッドMoE（Nemotron-3.5-30B-A3B）を、フル256Kコンテキストでローカル実行できることを実証しています。これにより、エアギャップエンタープライズコードインテリジェンス、セキュリティ監査、および自律エージェントフリート向けの30,000ドル以上のマルチGPUハードウェア要件が不要になります。
私たちは、ハードウェアメーカー、クラウドシリコンチーム、AI研究ラボと積極的に提携し、アーキテクチャ固有のカーネルパッチを構築・検証しています：
- 🖥️ CPU＆ワークステーションOEM（
AMD Ryzen AI / Threadripper / EPYC、Minisforum、Framework、System76、Apple、Intel）: L1D/L2/L3キャッシュタイリング＆SIMDカーネルの専用提供と、公式README CPUリーダーボードでの永続的な検証のために、物理テストユニットまたはワークステーションをスポンサーしてください。 - ☁️ クラウド＆ARM64シリコンチーム（
AWS Graviton4、AmpereOne、Google Axion、Azure Cobalt）:SVE2/SME/ マルチソケットNUMAカーネルの検証のために、クラウドコンピューティングクレジットをスポンサーしてください。 - 🤝 エンタープライズサポート＆カスタムモデルトランスコーディング: GitHub IssuesまたはGitHub Sponsorsを通じて連絡し、カスタム
SwiGLU-H2 + Fractal-64モデルトランスコーディングとオンプレミス展開をスポンサーしてください。