HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Redisの作者から:ds4でLLMをローカルで実行

From the creator of Redis; run LLM locally with ds4 (dwarfstar.sh)

312 pointsby fibo90 コメント

要約

Redisの作者が開発したds4は、ローカル環境で大規模言語モデル(LLM)を実行するための新しいツールです。このツールは、非対称2ビット量子化、KVキャッシュのディスクへの永続化、そしてチャット、ローカルAPI、永続的なコーディングセッションのための3つのインターフェースを提供し、リソースの制約がある環境でもLLMの利用を可能にします。

全文翻訳

DS4 · LOCAL FRONTIER INFERENCE

ds4で最先端のオープンウェイトをローカル実行。

DwarfStar 4は、高メモリMac、CUDA、ROCmマシン向けのコンパクトなC言語推論エンジンです。DeepSeek V4およびV4.1 Flash、GLM 5.x、Qwen3.8 Flash Nextをサポートし、テキストおよびビジョンモデル、ローカルAPI、CLI、ネイティブエージェントを1つのスタックで提供します。

サポート対象: DEEPSEEK V4 / V4.1 + GLM 5.x + QWEN3.8 · MIT LICENSE · C / METAL / CUDA / ROCM · QWEN ON 64GB

ds4 · local session

PRINCIPLE · LOCAL MODEL STACK

PHASE 1 · THE GIANT

2840億パラメータの星

DeepSeek V4 Flashは、大規模なMixture-of-Experts(MoE)モデルです。通常はリモートサービングが一般的ですが、ds4は逆の制約から出発します。

PHASE 2 · THE COLLAPSE

圧縮はされているが、機能を損なってはいない

非対称量子化は、ルーティングされたエキスパートをターゲットにし、クリティカルパスを維持します。これにより、モデルは高メモリマシンで実用的になります。

PHASE 3 · THE DWARF STAR

高密度、常駐、そしてあなたのもの

ローカルエンジンは、CLI、HTTP API、ネイティブエージェントを公開し、すべてが同じモデル状態とキャッシュを共有します。

コラプスがどのように機能するか →

SCROLL ▾

DESIGN CHOICES

ローカル最先端推論、意図的にコンパクトに

汎用的なGGUFランナーではありません。ds4は、少数精鋭のモデルファミリーを厳選し、サポートする各レイアウトをエンドツーエンドで検証します。

CORE 01

非対称2ビット量子化

ルーティングされたエキスパートを圧縮し、クリティカルな共有パスを正確に保ちます。これにより、サポートされるルーティングMoEビルドがターゲットマシンに適合します。

CORE 02

KVキャッシュをディスク市民として扱う

長いプレフィックスをSSDに保存し、プロンプトハッシュで再開します。再起動が必ずしも完全な再プレフィルを意味する必要はありません。

CORE 03

1つのエンジン、3つのインターフェース

チャットには./ds4、ローカルAPIには./ds4-server、永続的なコーディングセッションには./ds4-agentを使用します。

  • SSD STREAMING
  • TENSOR PARALLELISM
  • SESSION BATCHING
  • DSPARK + MTP
  • VISION INPUT

ARCHITECTURE

ds4スタックはどのように連携するか

プロジェクトGGUF、自己完結型エンジン、エージェント向けインターフェースは、公式モデル出力に対してチェックされています。

MODEL DeepSeek V4 / V4.1 GLM 5.x · Qwen3.8 サポートされるGGUFレイアウトのみ 非対称2ビット + imatrixロード ENGINE C言語で書かれたds4エンジン metal · cuda · rocm 並列 · バッチ · 推測 KVキャッシュ RAM ⇄ SSD · 再起動後も持続 serve ./ds4 インタラクティブCLI ./ds4-server OpenAI + Anthropic API ./ds4-agent ネイティブコーディングエージェント 個人 → 分散 メモリクラス

RUNTIME MAP · SIMPLIFIED. SEE ARCHITECTURE NOTES FOR THE FULL DRAWING.

RUN IT

ds4を3ステップで実行

プロジェクトGGUFをダウンロードし、バックエンド用にビルドしてから、CLIまたはサーバーを開始します。汎用GGUFファイルはターゲットではありません。

STEP 1 · WEIGHTSの取得

ds4 · zsh

$ git clone https://github.com/antirez/ds4
$ cd ds4 && ./download_model.sh ds4f-q2

STEP 2 · バックエンド用のビルド

ds4 · zsh

$ make
$ make cuda-spark

STEP 3 · 対話

ds4 · zsh

$ ./ds4
$ ./ds4-server --ctx 100000

FIT CHECK

ds4ハードウェア適合性: ローカル、ストリーミング、分散

プラットフォームとメモリを選択してください。保守的な開始パスを取得し、どの実行モードが適用されるかを理解してください。

PLATFORM MEMORY

✓ 良好に実行

V4 Flash Q2がベースラインです。128 GBでは、GLM 5.3 Q2とQwen Q4も適合します。V4.1 Q2はSSDからストリーミングします。

./download_model.sh ds4f-q2 && make

REF · M5 MAX 128GB · 32K CTX: 34.4 T/S GEN · 557 T/S PREFILL

ds4ベンチマークテーブルからの推定値。完全なガイドはHardwareおよびInstallationにあります。

BENCHMARKS

ds4ベンチマーク: プレフィルと生成

アップストリームからの参照行。特に長いコンテキストのエージェントワークロードでは、プレフィルと生成を別々に読んでください。

MachineContextPrefill t/sGeneration t/s
M5 Max, 128 GBq2 · 2,048 tok790.239.4
M5 Max, 128 GBq2 · 65,536 tok398.527.6
DGX Spark, 128 GBq2 · 2,048 tok825.818.1
DGX Spark, 128 GBq2 · 65,536 tok823.013.8

すべてのベンチマーク →

API & AGENTS

Codex, Claude Code, OpenCodeからds4を使用

ds4-serverはOpenAIおよびAnthropicスタイルのAPIを話すため、ローカルコーディングエージェントはベースURLで独自の機械に接続できます。

ローカルAI推論を所有する。

クイックスタートから始め、ハードウェアマトリックスを確認し、エディタ、エージェント、またはAPIクライアントをローカルサーバーに接続してください。