Redisの作者から:ds4でLLMをローカルで実行
From the creator of Redis; run LLM locally with ds4 (dwarfstar.sh)
要約
Redisの作者が開発したds4は、ローカル環境で大規模言語モデル(LLM)を実行するための新しいツールです。このツールは、非対称2ビット量子化、KVキャッシュのディスクへの永続化、そしてチャット、ローカルAPI、永続的なコーディングセッションのための3つのインターフェースを提供し、リソースの制約がある環境でもLLMの利用を可能にします。
全文翻訳
DS4 · LOCAL FRONTIER INFERENCE
ds4で最先端のオープンウェイトをローカル実行。
DwarfStar 4は、高メモリMac、CUDA、ROCmマシン向けのコンパクトなC言語推論エンジンです。DeepSeek V4およびV4.1 Flash、GLM 5.x、Qwen3.8 Flash Nextをサポートし、テキストおよびビジョンモデル、ローカルAPI、CLI、ネイティブエージェントを1つのスタックで提供します。
サポート対象: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT LICENSE · C / METAL / CUDA / ROCM · QWEN ON 64GB
ds4 · local session
PRINCIPLE · LOCAL MODEL STACK
PHASE 1 · THE GIANT
2840億パラメータの星
DeepSeek V4 Flashは、大規模なMixture-of-Experts(MoE)モデルです。通常はリモートサービングが一般的ですが、ds4は逆の制約から出発します。
PHASE 2 · THE COLLAPSE
圧縮はされているが、機能を損なってはいない
非対称量子化は、ルーティングされたエキスパートをターゲットにし、クリティカルパスを維持します。これにより、モデルは高メモリマシンで実用的になります。
PHASE 3 · THE DWARF STAR
高密度、常駐、そしてあなたのもの
ローカルエンジンは、CLI、HTTP API、ネイティブエージェントを公開し、すべてが同じモデル状態とキャッシュを共有します。
SCROLL ▾
DESIGN CHOICES
ローカル最先端推論、意図的にコンパクトに
汎用的なGGUFランナーではありません。ds4は、少数精鋭のモデルファミリーを厳選し、サポートする各レイアウトをエンドツーエンドで検証します。
CORE 01
非対称2ビット量子化
ルーティングされたエキスパートを圧縮し、クリティカルな共有パスを正確に保ちます。これにより、サポートされるルーティングMoEビルドがターゲットマシンに適合します。
CORE 02
KVキャッシュをディスク市民として扱う
長いプレフィックスをSSDに保存し、プロンプトハッシュで再開します。再起動が必ずしも完全な再プレフィルを意味する必要はありません。
CORE 03
1つのエンジン、3つのインターフェース
チャットには./ds4、ローカルAPIには./ds4-server、永続的なコーディングセッションには./ds4-agentを使用します。
- SSD STREAMING
- TENSOR PARALLELISM
- SESSION BATCHING
- DSPARK + MTP
- VISION INPUT
ARCHITECTURE
ds4スタックはどのように連携するか
プロジェクトGGUF、自己完結型エンジン、エージェント向けインターフェースは、公式モデル出力に対してチェックされています。
MODEL DeepSeek V4 / V4.1 GLM 5.x · Qwen3.8 サポートされるGGUFレイアウトのみ 非対称2ビット + imatrixロード ENGINE C言語で書かれたds4エンジン metal · cuda · rocm 並列 · バッチ · 推測 KVキャッシュ RAM ⇄ SSD · 再起動後も持続 serve ./ds4 インタラクティブCLI ./ds4-server OpenAI + Anthropic API ./ds4-agent ネイティブコーディングエージェント 個人 → 分散 メモリクラス
RUNTIME MAP · SIMPLIFIED. SEE ARCHITECTURE NOTES FOR THE FULL DRAWING.
RUN IT
ds4を3ステップで実行
プロジェクトGGUFをダウンロードし、バックエンド用にビルドしてから、CLIまたはサーバーを開始します。汎用GGUFファイルはターゲットではありません。
STEP 1 · WEIGHTSの取得
ds4 · zsh
$ git clone https://github.com/antirez/ds4
$ cd ds4 && ./download_model.sh ds4f-q2
STEP 2 · バックエンド用のビルド
ds4 · zsh
$ make
$ make cuda-spark
STEP 3 · 対話
ds4 · zsh
$ ./ds4
$ ./ds4-server --ctx 100000
FIT CHECK
ds4ハードウェア適合性: ローカル、ストリーミング、分散
プラットフォームとメモリを選択してください。保守的な開始パスを取得し、どの実行モードが適用されるかを理解してください。
PLATFORM MEMORY
✓ 良好に実行
V4 Flash Q2がベースラインです。128 GBでは、GLM 5.3 Q2とQwen Q4も適合します。V4.1 Q2はSSDからストリーミングします。
./download_model.sh ds4f-q2 && make
REF · M5 MAX 128GB · 32K CTX: 34.4 T/S GEN · 557 T/S PREFILL
ds4ベンチマークテーブルからの推定値。完全なガイドはHardwareおよびInstallationにあります。
BENCHMARKS
ds4ベンチマーク: プレフィルと生成
アップストリームからの参照行。特に長いコンテキストのエージェントワークロードでは、プレフィルと生成を別々に読んでください。
| Machine | Context | Prefill t/s | Generation t/s |
|---|---|---|---|
| M5 Max, 128 GB | q2 · 2,048 tok | 790.2 | 39.4 |
| M5 Max, 128 GB | q2 · 65,536 tok | 398.5 | 27.6 |
| DGX Spark, 128 GB | q2 · 2,048 tok | 825.8 | 18.1 |
| DGX Spark, 128 GB | q2 · 65,536 tok | 823.0 | 13.8 |
API & AGENTS
Codex, Claude Code, OpenCodeからds4を使用
ds4-serverはOpenAIおよびAnthropicスタイルのAPIを話すため、ローカルコーディングエージェントはベースURLで独自の機械に接続できます。
ローカルAI推論を所有する。
クイックスタートから始め、ハードウェアマトリックスを確認し、エディタ、エージェント、またはAPIクライアントをローカルサーバーに接続してください。