AI・機械学習
Redisの作者から：ds4でLLMをローカルで実行
From the creator of Redis; run LLM locally with ds4 (dwarfstar.sh)
要約
Redisの作者が開発したds4は、ローカル環境で大規模言語モデル（LLM）を実行するための新しいツールです。このツールは、非対称2ビット量子化、KVキャッシュのディスクへの永続化、そしてチャット、ローカルAPI、永続的なコーディングセッションのための3つのインターフェースを提供し、リソースの制約がある環境でもLLMの利用を可能にします。
全文翻訳
CORE 01 非対称2ビット量子化
ルーティングされたエキスパートを圧縮し、重要な共有パスを正確に保ちます。これにより、サポートされているルーティングされたMoEビルドはターゲットマシンに適合します。
CORE 02 KVキャッシュをディスク市民として扱う
長いプレフィックスをSSDに保存し、プロンプトハッシュで再開します。再起動が必ずしも完全な再プレフィルを意味する必要はありません。
CORE 03 1つのエンジン、3つのインターフェース
チャットには./ds4、ローカルAPIには./ds4-server、永続的なコーディングセッションには./ds4-agentを使用します。