Kimi K3 (2.8兆パラメータ) がMacBook ProでSSD4台からストリーミングし、1トークン/秒で動作

ARGODRIVE Deltafin MITライセンスのgavamedia/deltafinをフォークし、ARGODRIVEストレージワークを組み込んで、Apple Silicon上のSSDからKimi K3を実行します。ベンチマークパッケージ、配置マニフェスト、および結果はk3-public-bench/にあります。測定ツールはARGODRIVEとして別途公開されています。クレジットとこのフォークが変更した点はCREDITS.mdに記載されています。アップストリームのREADMEはベンチマークセクションの下に続きます。 ARGODRIVE Deltafinベンチマーク — M5 Max, 128 GB, 専門家が4台のSSDからストリーミング 記録された設定（k3-public-bench/env.sh）で2026-09-08に測定。各数値はコールドランで正確なプロンプトを使用しており、実行ごとのログはk3-public-bench/results/にあります。 テスト ドラフター オン ドラフター オフ 安定デコード、512トークン生成 0.9232 tok/s 1.0015 tok/s 安定デコード、128トークン生成 0.9261 1.1252 17トークンプロンプト（issue #15より、アップストリームでは0.684と報告）中央値3回 0.9631 約376秒 約375秒 ドライブ数によるスケーリング（同じプロンプトで）: 1ドライブ ≈ 4ドライブ速度の52% 2台のフルミラー ≈ 73% 3台 ≈ 90% (results/SCALING.md) プリフィルが遅い理由とそれを修正する方法: results/PREFILL.md 定義、IDスコープ、精度ステートメント: k3-public-bench/README.md ____ _ _ __ _ | _ \ ___| | |_ __ _ / _(_)_ __ | | | |/ _ \ | __/ _` | |_| | '_ \ | |_| | __/ | || (_| | _| | | | | |____/ \___|_|\__\__,_|_| |_|_| |_| フル、一切枝刈りされていない2.8兆パラメータのKimi K3を、コンシューマーハードウェアで可能な限り「高速」に実行します。 Deltafinは、フルKimi K3を実行する単一のネイティブバイナリです。枝刈りなし。スキップなし。K3が各トークンを決定します。全16の専門家、すべてのトークン。ショートカットなし、「ほぼ十分」もなし。これはMoonshotが出荷したものと全く同じです。品質のルールはシンプルです。K3自身がすべてのトークンを決定し、他の誰も決定しません。小さなドラフトモデルは先読みを許されます（それが速度の大部分を占める理由です）。しかし、K3はすべての推測をチェックし、その公式の承認なしに何もあなたに届きません。 アップストリームベンチマーク（M1 Maxラップトップ、gavamedia/deltafin、変更なし — このフォークの数値ではありません） 0.2901 token/s (3.447 s/token) — 前回のアップデートよりスループットが1.9%向上 アップストリームの過去のM1ベンチマーク: 0.2847 token/s (2026年8月2日) — スループットが7.0%向上 0.2660 token/s (2026年7月30日) — スループットが102.9%向上 0.1311 token/s (2026年7月28日) — スループットが829.8%向上 0.0141 token/s (2026年7月27日) — スループットが7.0%向上 ミッションステートメント 純粋で生のカットK3品質を、可能な限り高速に。速度はモデル品質の低下から来るべきではありません。Deltafinは、すべてのルーティングされた専門家16名と、各トークンに対する唯一の権威としてのフルK3ターゲットを維持します。私たちの目標は、K3のような巨大なモデルを実行する際に、品質を低下させることを除いて、可能な限りの効率を絞り出すことです。 しかし、なぜ？ Deltafinは製品の売り込みではありません。これは、コンシューマーハードウェアをどこまでプッシュできるか、そしてそのような挑戦的なことを試みることで何を学べるかについての実験です。Kimi K3は、16ノード規模で約4.8 TBの集約VRAMを必要とするインフラストラクチャをターゲットとしています。それは、フル2.8兆パラメータと100万トークンのコンテキストウィンドウを意味し、専門家バンクは決して枝刈りされません。家庭用セットアップでは、これは極端な制約です。1%の改善でさえ非常に苦労して獲得されます。しかし、それぞれのゲインは何かを教えてくれます。研究と探求が目的です。それが私たちのミッションです。すべてがベンチャーキャピタリストを感心させるための「最小実行可能製品」である必要はありません。Deltafinが、Kimiが推奨する200万ドルのインフラストラクチャの代わりに、15,000ドルの家庭用セットアップで最先端モデルを利用可能にするのに役立つなら、私たちは自己ホスト型AIの旅における価値ある進歩だと信じています。さらに、その過程で学んだすべてが、予期せぬ方法で他のプロジェクトにも役立つ可能性があります。 「私たちは、それが簡単だからではなく、それが困難だからという理由で、フル2.8兆パラメータモデルをローカルで実行し、他のことをすることを選択します。」 — ジョン・F・ケネディ（おそらく） 他のプロジェクトは、どういうわけか、フルK3をより速く実行しているように見えます。しかし、よく見てください。それらはK3の専門家バンクを約3ビットに再エンコードしています。異なる目標に向けた巧妙なエンジニアリングです。それは、適合し、「ほぼ十分」な最小のK3です。それらの重みはもはやMoonshotがリリースしたものではなく、それらを含め、誰もそれらの妥協がどれだけのコストをかけたかを測定していません。Deltafinは別の実験です。Moonshotが出荷した通りの各専門家のバイトを、物理法則が許す限り速くします。 1. 新規インストール Deltafinは必要なもののほとんどをインストールします。不足しているものがあれば要件を確認してください。 # 1. 取得 git clone https://github.com/gavamedia/deltafin.git cd deltafin # 2. ビルド cargo build --locked --release # 3. フル1.7TB K3モデルをディスクにダウンロード（オプション、ただし最速） ./target/release/deltafin setup --full または、ディスク容量が不足している場合: # 3. 使用中にK3をストリーミング（遅いが、開始時は215GB） ./target/release/deltafin setup --stream setup --streamは常駐モデルをインストールし、オンデマンドで正確な専門家を取得します。最初は、ルートにローカルキャッシュがない場合に大幅に遅くなります。時間の経過とともにキャッシュを構築すると、使用するモデルの部分のみを保存し、ディスク上のキャッシュから完全に実行することで、スペースを節約する方法になります。 デフォルトのDSpark（およびオプションのQwen） 通常のセットアップには、InferactのKimi-K3-DSparkが含まれます。ディスク上で6.635 GiB、実行時にロードされると約4.49 GiBかかります。Deltafinは、K3の埋め込みのDSparkの冗長なコピーを具体化することを避けます。チャットとサーバーリクエストは、有益な場合に自動的にDSparkを使用します。失敗、ヘッドルーム不足、またはライブ経済状況が悪化した場合、フルK3は単独で実行されます。 Qwenは、より高速な生のテキスト継続のための個別の追加機能です: # 4. 後でQwenをオプションでインストール ./target/release/deltafin setup-qwen Qwenは生の完了のみを高速化します。小さなモデルは次に何が来るかを推測し、K3はその推測をチェックし、あなたは同じ出力IDで同じ結果をより短い時間で得ます。これはコードの自動補完やその他の/v1/completionsトラフィックに役立ちます。また、deltafin run --prompt ... — 17トークンの完了を同じ出力IDで2.7倍速く実行した例もあります。これはディスクに4.337 GiBを追加します。Qwenはチャット速度を向上させないため、オプションの追加機能としています。fresh installにdeltafin setup --full --include-qwenで追加するか、上記のコマンドで後から追加できます。 2. アップグレード Deltafinフォルダから: ./target/release/deltafin upgrade upgradeは必要なものを取得し、バイナリを再ビルドします。モデル、変換された重み、キャッシュはそのままです。セットアップを再実行したり、K3を再ダウンロードしたりすることはありません。 注意: 古いPythonバージョンからアップグレードしますか？まず確認してください: git status --short # ⬆️何も返ってこない場合にのみ続行 git pull --ff-only cargo build --locked --release ./target/release/deltafin upgrade git status --shortが空になるまで続行してください。ファイルがリストされている場合は、アップグレード手順が推測するのを許可するのではなく、その作業を自分で保存またはコミットしてください。 既存のモデルデータは同じリポジトリルートディレクトリに残ります。 upgradeはクリーンで分岐していないブランチを必要とし、バイナリがどのようにビルドされたかを記憶しているため、NVIDIA/CUDAビルドはCPUに静かにフォールバックするのではなく、CUDAビルドのままになります。予期しないことはすべてアップグレードを安全に停止させます。 upgradeはビルド環境変数を無視します。バイナリが既にビルドされていた構成を再利用します。したがって、構成を変更するには（たとえば、CPUからCUDAへ、またはLibTorchツリーを移動した場合）、新しい変数を設定してcargo build --locked --releaseを一度実行してください。要件を参照してください。それが記録されたセットアップになり、後続のアップグレードはその設定を維持します。 3. コマンドラインからの使用 # チャット: K3の監査済みチャットテンプレートを適用し、モデルの終了マーカーで停止します。 ./target/release/deltafin run --chat \ --prompt "What are the three largest moons of Saturn?" # 生の継続: 出力をキャップします。生のテキストにはチャット終了境界がないため。 ./target/release/deltafin run \ --prompt "The capital of France is" --max-new 17 # 累積スループットとネイティブトランザクション統計を追加します。 ./target/release/deltafin run \ --prompt "The largest planet in our solar system is" --max-new 17 --stats --statsなしの場合、生成されたテキストはトークンごとに1つの診断行を出力するのではなく、通常どおりストリーミングされます。 --max-new N