M1 MacでKimi K3を実行する
Running Kimi K3 on a M1 Mac (github.com)
要約
Deltafinは、Apple Silicon Mac上で大規模なKimi K3 Mixture-of-Expertsモデルを実行可能にするプロジェクトです。記事では、インストール手順、ストレージ容量とダウンロード時間に応じて選択できるフルダウンロードモードとストリーミングモード、パフォーマンスのトレードオフ、int8スパインのような最適化、そしてOpenAI互換サーバー機能について解説しています。これにより、高性能なモデルをコンシューマーハードウェアで利用可能にすることを目指しています。
全文翻訳
____ _ _ __ _
| _ \ ___| | |_ __ _ / _(_)_ __
| | | |/ _ \ | __/ _` | |_| | '_ \
| |_| | __/ | || (_| | _| | | | |
|____/ \___|_|\__\__,_|_| |_|_| |_|
消費者向けハードウェアで、可能な限り「高速」に、完全な、枝刈りされていない 2.8兆パラメータのKimi K3を実行する
Deltafinは、完全なKimi K3を実行する単一のネイティブバイナリです。枝刈りもスキップもありません。K3が全てのトークンを決定します。
全ての16個のエキスパート、全てのトークン。近道なし、妥協なし。「ほぼ十分」などというものはありません。これはMoonshotが出荷したものと全く同じです。
品質のルールはシンプルです:K3自身が全てのトークンを決定し、他の誰も決定しません。小さなドラフトモデルは先読みを許されます(それが速度の大部分を生み出す理由です)が、K3は全ての推測をチェックし、その公式の承認なしには何もあなたに届きません。
M1 Maxラップトップでの最新ベンチマーク
- 0.2901 トークン/秒(3.447 秒/トークン) — 前回のアップデートからスループットが1.9%向上
過去のM1ベンチマーク:
- 0.2847 トークン/秒(2026年8月2日) — スループットが7.0%向上
- 0.2660 トークン/秒(2026年7月30日) — スループットが102.9%向上
- 0.1311 トークン/秒(2026年7月28日) — スループットが829.8%向上
- 0.0141 トークン/秒(2026年7月27日)
[画像: model] [画像: platforms] [画像: accelerators] [画像: experts] [画像: runtime] [画像: license]
ミッションステートメント
K3の純粋な生のカットされていない品質を、可能な限り高速に。 速度はモデルの品質を低下させることから決して来てはなりません。Deltafinは、全ての16個のルーティングされたエキスパートと、全てのトークンに対する唯一の権威としてのフルK3ターゲットを維持します。
私たちの目標は、K3のような巨大なモデルを実行する際に、可能な限りの効率を絞り出すことです。その際、品質を下げること以外の全ての選択肢を検討します。
しかし、なぜか!?
Deltafinは製品の売り込みではありません。これは、消費者向けハードウェアをどこまでプッシュできるか、そしてそのような困難なことに挑戦することで何を学べるかについての実験です。
Kimi K3は、16ノード規模のインフラストラクチャと約4.8TBの集約VRAMをターゲットとしています。これは、フル2.8兆パラメータと100万トークンのコンテキストウィンドウ、エキスパートバンクの枝刈りなしを意味します。家庭用セットアップでは、これは極端な制約です。1%の改善でさえ非常に苦労して獲得されます。しかし、それぞれの進歩は何かを教えてくれる可能性があります。
研究と探求が目的です。 それが私たちのミッションです。ベンチャーキャピタリストを感心させるために、全てが「最小実行可能製品」である必要はありません。Deltafinが、Kimiが推奨する200万ドルのインフラストラクチャではなく、15,000ドルの家庭用セットアップで最先端モデルを利用可能にすることに役立つなら、私たちは自己ホスト型AIの旅において価値ある進歩だと信じています。さらに、その過程で学んだことは、予期せぬ方法で他のプロジェクトにも役立つ可能性があります。
「私たちは、それが容易だからではなく、困難だからこそ、フル2.8兆パラメータモデルをローカルで実行し、他のことを行うことを選択します。」 — ジョン・F・ケネディ(おそらく)
他のプロジェクトは、なぜかより高速にフルK3を実行しているように見えます。しかし、よく見てください:それらはK3のエキスパートバンクを約3ビットに再エンコードしています。これは、適合し「ほぼ十分」な最小のK3という異なる目標に向けた巧妙なエンジニアリングです。それらの重みはもはやMoonshotがリリースしたものとは異なり、それらをリリースした者たちでさえ、それらの妥協がどれほどのコストをもたらしたかを測定していません。
Deltafinは別の実験です:Moonshotが出荷したそのままのエキスパートバイトを、物理法則が許す限り高速に実行します。
1. 新規インストール
Deltafinは必要なもののほとんどをインストールします。何か不足している場合は、要件を参照してください。
# 1. 取得
git clone https://github.com/gavamedia/deltafin.git
cd deltafin
# 2. ビルド
cargo build --locked --release
# 3. フル 1.7 TB K3モデルをディスクにダウンロード(オプション、最も高速)
./target/release/deltafin setup --full
または、ディスク容量が十分でない場合:
# 3. 使用中にK3をストリーム(低速だが、開始時に215 GB)
./target/release/deltafin setup --stream
setup --streamは常駐モデルをインストールし、オンデマンドで正確なエキスパートを取得します。最初はローカルキャッシュがないルートで大幅に遅くなります。時間とともにキャッシュを構築するにつれて、使用するモデルの部分のみを保存し、ディスク上のキャッシュから完全に実行することで、スペースを節約する方法となります。
デフォルトのDSpark(およびオプションのQwen)
通常のセットアップにはInferactのKimi-K3-DSparkが含まれます。ディスク上で6.635 GiB、実行時にロードされると約4.49 GiBを消費します。DeltafinはDSparkのK3埋め込みの冗長なコピーを具体化することを避けます。チャットおよびサーバーリクエストは、有益な場合に自動的にDSparkを使用します。失敗、ヘッドルーム不足、またはライブ経済状況が悪い場合は、フルK3のみを実行します。
Qwenは、より高速な生のテキスト継続のための別のアドオンです:
# 4. 後でオプションでQwenをインストール
./target/release/deltafin setup-qwen
Qwenは生の完了のみを高速化します:小さなモデルが次に何が来るかを推測し、K3がその推測をチェックし、より短い時間で同じ出力を得られます。これはコードの自動補完やその他の/v1/completionsトラフィック、およびdeltafin run --prompt ...に役立ちます。ある測定では、17トークンの完了が同じ出力IDで2.7倍高速でした。
これはディスク上に4.337 GiBを追加します。Qwenはチャット速度を向上させないため、オプションのアドオンとしています。deltafin setup --full --include-qwenで新規インストールに追加するか、上記のコマンドで後から追加できます。
2. アップグレード
Deltafinフォルダから:
./target/release/deltafin upgrade
upgradeは必要なものを取得し、バイナリを再ビルドします。モデル、変換された重み、キャッシュはそのままです。セットアップを再実行したり、K3を再ダウンロードしたりすることはありません。
注意:古いPythonバージョンからアップグレードする場合?まず確認してください:
git status --short
# ⬆️何も返ってこない場合にのみ続行
git pull --ff-only
cargo build --locked --release
./target/release/deltafin upgrade
git status --shortが何も表示しない場合にのみ続行してください。ファイルが表示される場合は、アップグレード手順が推測するのを許可するのではなく、その作業を自分で保存またはコミットしてください。既存のモデルデータは、同じリポジトリルートディレクトリに残ります。
upgradeはクリーンで分岐していないブランチを必要とし、バイナリがどのようにビルドされたかを記憶しているため、NVIDIA/CUDAビルドはCPUに静かにフォールバックするのではなく、CUDAビルドのままになります。予期しないことはすべてアップグレードを安全に停止させます。
upgradeはビルド環境変数を無視します — バイナリが既にビルドされていた構成を再利用します。したがって、設定を変更する場合(例えばCPUからCUDAへ、またはLibTorchツリーを移動した場合)、新しい変数を設定してcargo build --locked --releaseを一度実行してください。詳細は要件を参照してください。これが記録されたセットアップとなり、後続のアップグレードはこの設定を維持します。
3. コマンドラインからの使用
# チャット:K3の監査済みチャットテンプレートを適用し、モデルの終了マーカーで停止します。
./target/release/deltafin run --chat \
--prompt "What are the three largest moons of Saturn?"
# 生の継続:出力を制限します。生のテキストにはチャット終了境界がありません。
./target/release/deltafin run \
--prompt "The capital of France is" --max-new 17
# 累積スループットとネイティブトランザクション統計を追加します。
./target/release/deltafin run \
--prompt "The largest planet in our solar system is" --max-new 17 --stats
--statsなしでは、生成されたテキストはトークンごとに診断行を表示するのではなく、通常通りストリームされます。--max-new Nは新しいトークンを制限します。プロンプトやコンテキストは変更しません。チャット出力はK3の制御境界で停止しますが、生の継続は通常境界を使用する必要があります。
長い会話は短い完了よりもはるかに遅くなります — 事前処理とキャッシュは履歴とともに増加し、起動時に実際の使用可能なコンテキスト境界が表示されます。
4. OpenAI互換サーバー経由での使用
./target/release/deltafin serve --host 127.0.0.1 --port 8000
curl http://127.0.0.1:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"deltafin-kimi-k3","stream":true,"messages":[{"role":"user","content":"Hello!"}]}'
ネイティブサーバーは、サーバーセントイベントストリーミングを含む/v1/chat/completions、/v1/completions、および/v1/modelsを実装しています。OpenAI互換クライアントをhttp://127.0.0.1:8000/v1に向け、そのクライアントが期待する任意の非空のローカルAPIキーを使用してください。
サーバーは、 deliberately 小さく、厳密にチェックされたOpenAI APIのサブセットを実装しています — テキストのみ、一度に1つの生成、常に貪欲で再現可能 — そして、それを無視せずに、通常のOpenAI形式のエラーで、正常に処理できないものはすべて拒否します。成長するチャットは、正確な会話状態の再利用、ドラフト検証済みDSparkの高速化、および正確な応答メモから自動的に恩恵を受けます。受け入れられたフィールド、拒否ルール、およびキャッシングの詳細は、サーバーリファレンスに記載されています。
デフォルトのサーバー応答上限は100万トークンです。クライアントを統合する際は--max-tokens Nでこれを下げ、フルK3の応答は遅いためクライアントのタイムアウトを上げてください。リクエストJSONは--max-request-bytes(デフォルト128 MiB)によって制限されます。サーバーはループバック上で実行してください。独自の認証とネットワーク境界を追加しない限り。
ドキュメント
- ネイティブランタイムの仕組み — 単一バイナリのインプロセス設計:Rustコア、C-ABIプロバイダー、ルータートレーシング、エキスパートプリフェッチ、ネイティブトークン化。
- OpenAI互換サーバーリファレンス — 受け入れられる、または拒否されるAPIフィールド、自動チャット高速化、正確な応答メモ。
- ヘルスチェック — インストール、アップグレード、または問題の後にランタイムと各インストール済みコンポーネントを検証する、読み取り専用でネットワークフリーの監査ツール。
- ネイティブストレージ準備 — セットアップが準備するデフォルトの行整数8ビット常駐スパイン。元のBF16を明示的に選択し、いずれかを連続したDFSPファイルにパックし、ロスレスなscale4エキスパートサイドカーを作成します。
- パフォーマンスリファレンス — ベンチマークハーネスで測定値を再現する方法、および確立されたM1 Max参照結果。
- 設定 — 重要なフラグと環境変数、およびそれらの背後にある品質ガード。
- サポートされているプラットフォーム — 各ホストクラスが実行するもの(MPS/Metal、CUDA、ネイティブCPU)、およびプラットフォームごとの証拠ステータス。
- 開発者向け参照資料 — なぜ履歴の
tools/*.pyファイルが、ネイティブランタイムが実行しない凍結された参照資料としてツリーに残っているのか。
謝辞
Deltafinは、他の人々が素晴らしい仕事を発表してくれたおかげで存在しています:
- Moonshot AIは、K3の重み、アーキテクチャ、および読みやすいモデルセマンティクスをリリースしました。
- Inferactは、変更されていないK3固有のDSparkチェックポイントをリリースしました。TorchSpecはそのトレーニングフレームワークを文書化し、vLLMチームはK3統合とリカレント/アテンションキャッシュの研究を発表しました。Deltafinのネイティブランタイム、検証ツール、スケジューリング、および状態トランザクションは独自のものであると述べています。
- GigaToken by Marcel Rødは、大規模サーバー履歴のためのDeltafinの自動安定順序並列トークン化パスにインスピレーションを与えました。
- Maurice Brown (
trumb)は、Linux、aarch64、x86 SIMD、およびNVIDIAに関する調査結果、さらにプルリクエスト #2でのDGX Spark測定値に貢献しました。Deltafinは、レビューされた機能とABIゲートの背後にこれらの調査結果を保持しました。 - colibriは、積極的なMoEストリーミングとルーターのルックアヘッドのアイデアを実証しました。ds4 / DwarfStarは、正確なエキスパートストリーミング、キャッシュ所有権、および正確性第一の測定について、特に明確な先行事例を提供しました。
- Qwenは、オプションの0.6B/1.7B提案のみの生の継続モデルを提供します。
- flash-linear-attention、PyTorch、llama.cpp/ggml、tiktokenおよびより広範なローカルモデルコミュニティは、不可欠なセマンティクスと先行事例を提供しました。
正確な出所と配布境界は、サードパーティの出所と通知に記録されています。
ライセンス
Deltafinの追跡されたプロジェクトコードはMITです。Kimi K3の重み、DSparkチェックポイント、オプションのQwenチェックポイント、およびその他のすべてのサードパーティ資料は、アップストリームの条件を保持します。DeltafinはMoonshot AIとは無関係の独立したプロジェクトです。