Kimi K3をRAM 29 GBで0.50トークン/秒で実行する
Run Kimi K3 using 29 GB of RAM at 0.50 tok/s (github.com)
要約
この記事は、WASTE(Weight-Aware Streaming Tensor Engine)という、大規模言語モデル(LLM)を限られたリソースで実行するための新しい推論エンジンを紹介しています。特に、2.78兆パラメータを持つKimi K3モデルを、64 GB RAMのコンシューマーラップトップで、ディスクからストリーミングしながら実行することに成功しました。この技術は、モデル全体をメモリにロードする必要がなく、必要な部分だけをディスクから読み込むことで、低速なストレージと限られたRAMを効率的に活用します。これにより、ネットワーク接続や高価なハードウェアなしで、大規模モデルをローカルで実行する可能性が開かれます。
全文翻訳
WARP — Weight-Aware Runtime and Paging (旧 WASTE)
WARPは、サードパーティのランタイム依存関係を持たない、C言語で書かれた組み込み可能な推論エンジンです。モデルのトランクをメモリに保持し、選択されたエキスパートをディスクから直接ストリーミングし、残りのRAMを境界付きエキスパートキャッシュとして使用します。
このプロジェクトは人間によって推進されています。アイデア、仮説、優先順位、テスト、決定は人間が行います。コードはLLMによって書かれます。この規模では、新しいアルゴリズムを反復処理し、仮説を十分に速くテストできる唯一の方法です。
目標は、Kimi K3のような巨大な最先端モデルをコンシューマーハードウェアで実行することです。現在、2.78兆パラメータのKimi K3全体は、64 GBのMacBook Proで約0.6トークン/秒、5520億パラメータのDeepSeek-V4.1-Flashは約3.8トークン/秒、3130億パラメータのGLM-5.3-Flash(テキストと画像)は約3.9トークン/秒で実行されます。
最終的には、WARPがKimi K3をローカルで実行して自己改善できるようにしたいと考えています(現在、追加の思考のためにOpus 5を使用しています)。
WARPは意図的に狭い範囲に特化しており、モデルの重みが主にRAMではなく高速ストレージに格納されている場合に、ローカル推論をどこまで押し進めることができるかを見つけるために存在します。
$ waste run ~/models/k3.waste 'What is the capital of Italy?'
waste: no --budget, using 46.39 GB of 64.00 GB (expert cache 17.56 GB)
The capital of Italy is **Rome**.
[16 tokens, 26.87 s, 0.60 tok/s | experts 9000 hit / 14552 miss = 38%]
これは完全なモデルであり、蒸留またはプルーニングされたバージョンではありません。 公開されている重みは1.42 TBを占めます。変換されたWARPコンテナは982 GBです。
仕組み
Kimi K3は混合エキスパート(Mixture-of-Experts)モデルです。2.78兆のパラメータを持っていますが、各トークンに対してアクティブになるのは約4%にすぎません。WARPはモデルの共有部分をRAMに保持し、選択されたエキスパートのみをディスクから読み取ります。
コンテナは、1つのエキスパートが1つのアラインされた読み取りを必要とするように配置されています。これらの読み取りは計算とオーバーラップし、未使用のRAMは境界付きエキスパートキャッシュになります。ルックアヘッドルーターは、次のレイヤーで必要とされるエキスパートを予測し、それらを早期に読み取りを開始します。実際のルーターが決定を行うため、結果ではなくタイミングが変更されます。エキスパートは3ビットの残差ベクトル量子化を使用し、より感度の高い共有重みは4ビットまたは8ビットのままです。
K3の線形アテンションと圧縮されたKVキャッシュも重要です。4Kコンテキストで、KVキャッシュは約0.21 GBであり、11.25 GBではありません。その結果、K3を開くのに29.19 GBを必要とし、残りのメモリを使用して繰り返しディスク読み取りを回避するエンジンが実現します。
完全な設計と測定については、docs/ENGINE.mdおよびdocs/EFFICIENCY.mdを参照してください。ディスク上のレイアウトはdocs/FORMAT.mdで文書化されており、docs/KDA.mdはKimi Delta Attentionについて説明しています。
パフォーマンス
M5 Proを搭載した64 GB MacBook Proで、内部SSDにモデルコンテナを配置して測定:
| モデル | コンテナ | 最小RAM | 64 トークン | 200 トークン |
|---|---|---|---|---|
| Kimi K3 2.78T | 982 GB | 29.19 GB | 0.45–0.62 tok/s | — |
| DeepSeek-V4.1-Flash 552B | 299 GB | 4.86 GB | 3.77 tok/s | 3.71 tok/s |
| GLM-5.3-Flash 313B | 112 GB | 5.14 GB | 3.32 tok/s | 3.86 tok/s |
| Kimi-Linear 48B | 19 GB | 1.32 GB | 14.29 tok/s | 17.22 tok/s |
長い実行の方が速いのは、最初の数十トークンの間にエキスパートキャッシュがまだ満たされているためです。両方の列は同じコマンドが出力するものであり、そこから外挿された定常状態ではありません。K3には200トークンの列がありません。これは、1回の実行に10分かかり、4.6 TBを読み取るためです。
DeepSeek-V4.1は最初の文の例外です。64トークンで3.77、200トークンで3.71と、上昇するのではなく平坦です。これは、64番目のトークンまでにキャッシュがすでに93%に達しており、長い実行で勝つものがなくなったためです。docs/DS41.mdには、その背後にあるキャッシュサイズ曲線があります。ニーは9.6 GBにあり、自動予算の41.74 GBはトップをわずかに超えており、もはや時間購入につながらないヒット率を購入しています。
K3の場合、64 GBが実用的な最小値です。32 GBのマシンはモデルを開けますが、ヘビーなページングが発生します。テストマシンでのデフォルトのメモリ予算は46.39 GBで、17.56 GBのエキスパートキャッシュが含まれています。
Kimi-Linearの数値は変化したものです。自動予算は以前はマシンの作業セット3つ手前で停止していたため、19 GBのコンテナは64 GBラップトップで1.65 GBのキャッシュを得ていました。現在、マシンに十分な空きがある場合、コンテナ全体の専門セット(18.48 GB解決、すべての専門家常駐)まで上昇し、これは64トークンで11.13 → 12.60 tok/sに相当し、読み取られたバイト数は66.3 GBから17.7 GBに減少します。さらに、スレッドプールは、コストが約54 µsと小さいジョブのために効率コアのウェイクアップを停止し、これはさらに14.41 → 16.74(150トークン)です。K3はどちらにも変更されていません。その962.83 GBのエキスパートはここにあるどのマシンにも収まらず、20トークンあたり465 GBの読み取りでは、常駐もディスパッチも時間の使いどころではありません。docs/LEARNED.md §66、§67。
その要件のほとんどは、キャッシュではなく、常駐トランクの27.28 GBです。エキスパートキャッシュを17.32 GBから3.32 GBに縮小すると、スループットの約10%が失われます。デフォルトを超えて拡大すると、すべてを失います。1つのプロセスで4つのキャッシュサイズにわたって測定:
| エキスパートキャッシュ | ヒット率 | デコード |
|---|---|---|
| 3.32 GB | 29.1% | 0.56–0.58 tok/s |
| 17.32 GB | 36.2% | 0.63 tok/s |
| 23.32 GB | 38.4% | 0.07–0.09 tok/s |
| 29.32 GB | 41.3% | 0.07–0.08 tok/s |
最後の2行は知っておくべき失敗モードです。ヒット率は上昇し続け、読み取られるバイト数は減少し続けますが、スループットは8倍に低下します。エンジンは予算内ですが、マシンはそうではありません。そのため、キャッシュヒットはページフォールトになります。プロセスにメモリを多く与えても、常に速くなるとは限りません。
各トークンあたりのエキスパート数が少ないデコードは、再構築ではなくノブです。コンテナマニフェストのnum_experts_per_token。K3は16で出荷されます。このマシンで測定された、アームがインターリーブされた1回のロード:
| エキスパート/トークン | デコード | トップ16からのKL | 作業セット |
|---|---|---|---|
| 16 | 0.59 tok/s | — | 17.01 GiB |
| 12 | 0.70 tok/s | 0.007 | 12.76 GiB |
| 8 | 0.89 tok/s | 0.037 | 8.50 GiB |
| 4 | 1.06 tok/s | 0.118 | 4.25 GiB |
トップ8は、このプロジェクトが他の場所で却下した量子化の2倍のダイバージェンスで1.49倍ですが、テストされたプロンプトでのトップ16のグリディ継続を再現します。トップ4はそうではありません。その次のトークン分布はまだ近く見え、数トークン以内にプロンプトに従うのを停止します。これがゲートが継続でありKLではない理由です。これは品質のトレードオフであり、デフォルトは16のままです。
ストレージが主な制約です。コールドK3トークンは約17 GBのエキスパートを読み取ります。内部SSDは12.78 GB/sを維持します。テストされたUSBエンクロージャは0.94 GB/sを管理しました。変換されたコンテナを内部NVMeストレージに配置してください。
複数のドライブがある場合、0.7.2以降、エキスパートバンクをそれらに分散できます。WASTE_BANK_SHARDS=/mnt/a,/mnt/bは、エキスパートeをシャードe % Nから読み取るため、1つのトークンがルーティングするkエキスパートは、1つをキューに入れるのではなく、異なるデバイスに着地します。tools/split_banks.pyはシャードセットを書き込み、バイト検証します。ロジットはどちらの方法でも同じです。ここでは速度向上は主張されていません。それには同等の速度を持つ2つのドライブと実際のコンテナが必要です。内部SSDと上記のUSBエンクロージャにストライピングすると、ストライピングではなくエンクロージャが測定されます。メカニズムは出荷されますが、測定は出荷されません。
すべてのレイヤーはPyTorchリファレンスに対してチェックされます。最終ロジットは3.6e-06以内で一致し、ビジョンタワーはオラクルと2.3e-06以内で一致します。
追加の測定、プロファイリングデータ、ルーターのルックアヘッド結果、量子化実験はdocs/TECHNICAL.mdに収集されています。
ビジョン
Kimi K3とGLM-5.3-Flashはどちらもマルチモーダルであり、WARPは1つ以上の画像をテキストと組み合わせて使用できます。DeepSeek-V4.1のタワーは実装され、オラクルに対してチェックされていますが、そのコンテナは現在のところテキストのみに変換されています。画像ごとに--imageを1回渡します:
./waste run ~/models/k3.waste "Describe this image" --image photo.jpg
./waste run ~/models/k3.waste "Compare these images" \
--image before.png --image after.png
インタラクティブモードでは、/image FILEが画像を次のメッセージにアタッチします。画像は多くのプロンプト位置に展開されます。896×896の画像は、デフォルトのパッチ予算で256位置を使用します。ビジョンタワーはテストマシンで1024パッチあたり約15.7秒かかりますが、コストの大部分はその後にかかります。これは、各画像位置がテキスト位置のように言語モデルを通過するためです。現在のK3測定では、画像位置あたり約2.8秒です。
GLMのタワーは異なるもので、フィードするのが安価です。GLMセクションの200×140の画像は40プロンプト位置を消費し、その後の生成はそれなしの場合と同じ速度で実行されます。そのタワーはK3の434 MBに対して282 MBであり、どちらも画像が要求された場合にのみロードされます。
2つのビジョンアーキテクチャとその測定についてはdocs/K3.mdとdocs/GLM.mdを参照してください。CLI、C、HTTPマルチモーダル例についてはexamples/README.mdを参照してください。
その他のモデル
K3はターゲットであり、最もよくテストされたモデルです。Kimi-Linearは開始用の小さいモデルです。0.6.8以降、コンバーターとエンジンはDeepSeek-V3ファミリー(V3、R1、Kimi K2)も処理します。これには1つの変更ではなく2つの変更が必要でした。
convert.pyは現在、fp8ブロックスケールウェイトを読み取り、これらのチェックポイントがコンパニオンテンソルで出荷するタイルごとのスケールを適用し、DeepSeekのMoEテンソルと設定名をエンジンが読み取る単一のスペルに正規化します。また、MLAはロータリーをそのロープディムに適用します。エンジンは何も実装していませんでした。Kimiモデルはmla_use_nopeを設定し、それらのディムを回転せずに渡します。これはKimiモデルにとっては正しいですが、MLAではそれらのディムが唯一の位置信号であるV3ファミリーのすべてにとっては間違っています。これより前にビルドされたコンテナは劣化していませんでしたが、順序が狂っていました。会話のどのターンが最初に来たかを判断できませんでした。
ここにはスループットの数値はありません。このプロジェクトの誰もK2コンテナを持っていないためです。@fab2sが両方の変更に貢献し、測定したものです。Kimi-K2-Instruct変換(61レイヤー、トップ8エキスパート384、VQ3R、354 GBエキスパートセット、6.9 GBトランク)は開かれ、合計1.03 Tパラメータ、トークンあたり31.69 Bアクティブと報告されます。ロータリー算術は、DeepSeekリリースの独自のmodeling_deepseek.pyからそのまま取得したYaRNヘルパーを使用して、オラクルに対して相対L2で0.000023%一致します。
Kimi K3とKimi-Linearは影響を受けません。それらのフォワードパスは、ランタイムブランチではなく、構築により0.6.7とバイト単位で同一です。
GLM-5.3-Flash
zai-org/GLM-5.3-Flash — 313 Bパラメータ、公開されている328 GBのfp8 — は変換され、実行されています。テキストと画像の両方です。
$ waste run ~/models/glm53.waste "What is the capital of Italy? Answer in one sentence."
waste: no --budget, using 46.37 GB of 64.00 GB (expert cache 41.36 GB)
The user is asking a simple factual question: What is the capital of Italy?
They want the answer in one sentence.
The capital of Italy is Rome. This is a well-established fact. I should
answer in one sentence as requested.</think>The capital of Italy is Rome.
[56 tokens, 12.79 s, 4.38 tok/s | experts 17327 hit / 1489 miss = 92%]
</think>の前のすべては、モデルの推論です。GLMの生成プロンプトは常にそのチャネルを開き、モデルが自分で閉じます。CLIは両方を出力し、HTTPではreasoning_contentとcontentとして別々に返されます。
| パラメータ | 値 |
|---|---|
| パラメータ数 | 313.89 B 総数、トークンあたり17.31 Bアクティブ |
| コンテナ | 112 GB — 5301 MB トランク、2598 MB のエキスパートバンク 42個 |
| 最小RAM | 5.14 GB、画像有効時は追加で805 MB |
| ここでのデフォルト予算 | 46.37 GB、うち41.36 GBがエキスパートキャッシュ |
| デコード | 64 トークンで3.32 tok/s、200 トークンで3.86 |
同じコンテナから構築されたPyTorchオラクルと比較して、相対L2 2.41e-5、argmaxとトップ10は同一です。
これはこのクラスのマシンに適合するモデルです。 K3はキャッシュが1つのエキスパートをキャッシュする前に29.19 GBを必要とし、その後トークンあたり1.5倍の作業セットを取得します。GLMのフロアは5.14 GBなので、64 GBラップトップはエキスパートセット全体の36%をキャッシュします。さらに小さいマシンでも実行できます。64トークンで測定し、--budgetのみを変更:
| バジェット | エキスパートキャッシュ | ヒット率 | 読み取り | デコード |
|---|---|---|---|---|
| 9 GB | 4.0 GB | 66.0% | 228 GB | 2.82 tok/s |
| 12 GB — 16 GB マシンが解決するもの | 7.0 GB | 70.2% | 190 GB | 2.99 tok/s |
| 16 GB | 11.0 GB | 74.0% | 160 GB | 3.06 tok/s |
| 24 GB | 19.0 GB | 79.4% | 121 GB | 3.14 tok/s |
| 46 GB — ここでのデフォルト | 41.4 GB | 87.7% | 73 GB | 3.32 tok/s |
カーブは浅いです。読み取りが計算とオーバーラップするためです。キャッシュを6倍にしてもディスクトラフィックは3分の2に削減され、スループットは18%向上します。実際には、16 GBのマシンは313 Bモデルを64 GBのマシンのおよそ90%の速度で実行します。エンジンはOSにRAMの4分の1を残すため、そこで約12 GBを解決します。そして、より多くのRAMは主にディスクの静寂を買います。ディスクが遅くなるまで:このプロジェクトが測定した0.94 GB/sのエンクロージャでは、228 GB対73 GBは1分対4分の読み取り時間です。
新しい点
ほとんどがこのエンジン自体でした。K3と同じKDA再帰、kv_b_projを吸収した同じMLA、同じルーター、同じfp8リーダー、同じネストされた設定レイアウトです。3つの新しい要素があり、それぞれが他のどこにも存在しない設定キーの背後にあります。mHCは、1つではなく4つの並列残差ストリームを運び、各サブレイヤーでSinkhorn投影行列を介してそれらを混合します。クランプされたSwiGLU。そして、DeepSeek Sparse Attentionをk-pool形式で使用し、フルアテンションレイヤーが4つのキャッシュトークンのプールをスコアリングし、それらのベスト512とテールにアテンションをかけます。
再エンコードされたトークナイザーは、21の文字列すべてでリリース自身のものと一致し、VQ3RはGLMのエキスパートでK3のエキスパートと同じ0.195の相対誤差で着地します。
画像
そのビジョンタワーは2番目のもので、2Dロープ、ヘッドごとのq/k正規化、ゲート付きマージャーを持つ24ブロックで、独自のPyTorchオラクルにrel L2 3.3e-5で一致します:
$ waste run ~/models/glm53.waste "What does this image look like? One sentence."
--image x.png -n 200
[x.png: 40 image tokens]
The image is a colorful, abstract pattern. It consists of diagonal stripes
of various colors (green, blue, purple, pink, yellow, red) with some
vertical lines within them.</think>This image displays a vibrant, abstract
pattern of diagonal stripes in various colors like green, blue, purple, and
pink, overlaid with fine vertical lines.
[104 tokens, 24.98 s, 4.16 tok/s | experts 32067 hit / 2877 miss = 92%]
x.pngは(x*7+y*3, x*x+y, x+y*11) mod 256から生成された200×140のテストパターンで、実際には垂直構造を持つ対角色の帯です。説明はファイルのものであり、もっともらしい絵ではありません。
画像はテキストと同じ長さのコンテキストを消費します。その200×140の画像は40マージトークンを消費し、その後の生成はそれなしの場合と同じ速度で実行されます。タワー自体は282 MBで、画像が要求された場合にのみロードされます。
docs/GLM.mdには、アーキテクチャ、リリースで3つの異なる記述がある箇所、およびまだ含まれていないものがあります。
DeepSeek-V4.1-Flash
deepseek-ai/DeepSeek-V4.1-Flash — 552 Bバックボーンに加えて197 Bのn-gramメモリ、公開されている510 GBのfp4およびfp8 — は変換され、実行されています。テキストのみです。
$ waste run ~/models/ds41.waste "The capital of France is"
waste: no --budget, using 46.45 GB of 64.00 GB (expert cache 41.74 GB)
The capital of France is Paris.
[3 tokens, 0.84 s, 3.59 tok/s | experts 563 hit / 157 miss = 78%]
| パラメータ | 値 |
|---|---|
| パラメータ数 | 552.37 B 総数、トークンあたり16.62 Bアクティブ |
| コンテナ | 299 GiB — 4.00 GB トランク、エキスパートバンク 40個、190 GBのエキスパート |
| 最小RAM | 4.86 GB |
| ここでのデフォルト予算 | 46.45 GB、うち41.74 GBがエキスパートキャッシュ |
| デコード | 64 トークンで3.77 tok/s、200 トークンで3.71 |
同じコンテナから構築されたPyTorchオラクルと比較して、相対L2 0.0025%、トップ5は同一です。再エンコードされたトークナイザーは、コードポイント空間全体で24021/24021の文字列でリリース自身のものと一致します。
これはここでの最速の大型モデルです。その理由は、作業セットがGLMのものと1%以内の差であること(トークンあたり240のエキスパートレコード、2.97 GB)で、バンクは2倍のサイズです。モデルのより多くの部分が、トークンあたりの同じ量です。
新しい点
4つの点があり、いずれも既存のものとは異なります。
CSA2、これはMLAではありません。ヘッドあたり1つのKVベクトルではなく、トークンあたり1つ。128の生のポジションと最大512の圧縮されたポジションのスライディングウィンドウを単一のソフトマックスに連結。ヘッドごとにアテンションシンクがあり、分母にのみ現れます。クエリ自身の回転が出力から削除され、出力射影は低ランクかつブロック対角です。2つのロープスケジュールを同時に持ちます。ウィンドウのみのレイヤーは10000でYaRNオフ、圧縮レイヤーは160000でYaRNオンです。mscaleはどこにもありません。
Engram、2つのレイヤーにあるn-gramハッシュメモリで、197 Bのパラメータを保持します。圧縮トークンマップとチェックポイントが出荷しないプライムサイズの分離バケットを介してアドレス指定されます。これらは導出され、リリースが述べる2つの行数と比較されます。
シングルパスmHC。各サブレイヤーのミキシング射影が、次のレイヤーが折りたたむpreを生成します。GLMの2パスとは対照的です。
DSML、そのプロンプト形式。1から100までの数値的推論努力を伴います。|DSML|はタグ内の唯一の制御トークンです。そのため、<|DSML| calls>は3つのセグメントとツール結果であり、そのリテラルはブロックを開くことができません。serve/dsml.pyは、リリース自身のencoding.pyと21のチェックで一致し、5つのチェックインされたゴールデン出力を含みます。
そのビジョンタワーは実装されており、オラクルと6e-7で一致しますが、コンテナは現在のところテキストのみに変換されているため、--imageはこのモデルでは有効になっていません。
docs/DS41.mdには、アーキテクチャ、上記のスループットの背後にあるキャッシュサイズ曲線、および意図的に除外されたものが含まれています。
必要なもの
WARPをビルドしてテストするには:
- C11コンパイラと
make。 - macOS、Linux(arm64およびx86_64)、またはMinGW-w64経由のWindows — CIはこれらすべてでスイートをビルドおよび実行し、ASan/UBSanジョブも実行します。
- 現在のCPU推論パスでは、BLAS、Python、CUDA、またはその他の外部依存関係はありません。
GLM-5.3-Flashを実行するには(ほとんどのマシンで保持できるもの):
- 16 GBのRAMで十分。4Kコンテキストでのハードフロアは5.14 GBで、上記の測定は64 GBで行われました。
- 変換されたコンテナ用に112 GBの内部NVMeストレージ。
- 公開されている重みを自分で変換する場合、さらに306 GiBの一時ストレージ。このステージングストレージは外部でもよく、後で解放するか、変換が進むにつれて再利用できます。
DeepSeek-V4.1-Flashを実行するには(ここでの大型モデルの中で最速):
- 16 GBのRAMで十分。4Kコンテキストでのハードフロアは4.86 GBです。
- 変換されたコンテナ用に299 GiBの内部NVMeストレージ。
- 公開されている重みを自分で変換する場合、さらに475 GiBの一時ストレージ。これは外部でもよく、変換が進むにつれて再利用できます。
Kimi K3を実行するには:
- 64 GBのRAMを推奨。4Kコンテキストでのハードフロアは29.19 GBです。
- 変換されたモデル用に約1 TBの内部NVMeストレージ。
- 公開されている重みを自分で変換する場合、さらに1.42 TBの一時ストレージ。このステージングストレージは外部でもよく、後で解放できます。
エンジンを試すだけなら、Kimi-Linearから始めてください。そのコンテナは19 GBで、1.32 GBのRAMが必要で、同じマシンで約14.4 tok/sで実行されます。
Python、PyTorch、safetensorsは、モデルの変換と検証にのみ必要であり、推論には決して必要ありません。
始め方
エンジンをビルドし、モデルフリーのテストスイートを実行します:
git clone https://github.com/sqliteai/warp
cd waste
make
make check
makeはwaste CLIとlibwaste.aをビルドします。make checkは小さな合成モデルを作成するため、重みをダウンロードしません。
クイックスタート:GLM-5.3-Flash
ラップトップで動作する313 Bモデルへの最短パス。以下のすべての数値は、このファイルの先頭にあるマシンで測定されました。ダウンロードと変換はどちらも再開可能であり、どちらも安全に停止できます。
開始する前に、2つのものを同時に配置するスペースが必要です。ステージングディスクに306 GiBの公開済み重み、コンテナ用に112 GB。コンテナは内部NVMeに配置する必要があります。外部ディスク上のコンテナは正しく動作しますが遅く、差はテスト済みエンクロージャで12.78 GB/s対0.94です。ステージング重みはどこにでも置くことができます。
# 1. ビルド。1分未満で完了。重みは関係ありません。
git clone https://github.com/sqliteai/warp
cd waste
make
# 2. 開始前にダウンロードを確認: シャード数、サイズ、空き容量。
tools/fetch_weights.sh --repo zai-org/GLM-5.3-Flash \
--dest /Volumes/staging/glm53 --dry-run
# 3. ダウンロード。62シャード、306 GiB。ここでは約2時間、速度は
# 36〜97 MB/sの間で変動しました。停止した場合は再実行してください。
# すでに取得されたものは2回取得されません。
tools/fetch_weights.sh --repo zai-org/GLM-5.3-Flash \
--dest /Volumes/staging/glm53
# 4. 変換。3つのワーカーで約45分: 42個のエキスパートレイヤー、各約160秒、
# その後トランク。出力を内部SSDに配置します。
uv run --with torch python tools/convert.py \
--src /Volumes/staging/glm53 \
--out ~/models/glm53.waste \
--jobs 3
# 5. 実行します。推論チャネルのためにスペースを空けてください。GLMは応答する前に思考し、
# -nは両方をカウントします。
./waste run ~/models/glm53.waste "What is the capital of Italy?" -n 200
./waste chat ~/models/glm53.waste
それがすべてです。GLM固有のフラグはありません。コンバーターはアーキテクチャを認識し、チャット形式とビジョン設定を書き込み、トークナイザーを再エンコードします。エンジンは独自のメモリ予算を選択し、選択したものを報告します。
$ ./waste chat ~/models/glm53.waste
waste: no --budget, using 46.37 GB of 64.00 GB (expert cache 41.36 GB)
chat format from ~/models/glm53.waste/chat.json
> What is the capital of Italy? Answer in one sentence.
The user is asking a simple factual question: What is the capital of Italy?
They want the answer in one sentence.
The capital of Italy is Rome. This is a well-established fact. I should
answer in one sentence as requested.</think>The capital of Italy is Rome.
</think>の前のテキストはモデルの推論チャネルであり、GLMは常に自分で開閉します。HTTPではreasoning_contentとして、回答とは別に返されます。-nは両方をカウントするため、思考が必要な質問は、回答のみを示唆するものよりも大きな予算が必要です。CLIはデフォルトで応答あたり128トークンであり、その制限が応答を切り詰めた場合に報告し、-nを増やすように促します(例: -n 2048)。インタラクティブチャットは起動時に制限も表示します。
途中で期待すること。最初の数十トークンは残りの部分よりも遅くなります(エキスパートキャッシュがまだ満たされているため)。そのため、短い応答は約3.3 tok/sで実行され、長い応答は約3.9に落ち着きます。プリフィルはデコードと同じ速度で実行されるため、2000トークンのプロンプトは最初の出力トークンが出るまでに数分かかります。これはエンジンの特性であり、このモデルの特性ではありません。
RAMが少ない場合、コマンドに変更はありません。エンジンは独自の小さい予算を解決し、それを報告します。上記のGLM-5.3-Flashセクションの表は、各予算が何を購入するかを測定しています。16 GBで十分で、3.32に対して3.06 tok/sです。
ディスクが不足している場合、--reclaim onはコンバーターが終了したソースシャードをそれぞれ削除するため、ピークはコンテナとまだ要求されているシャードの合計であり、両方を完全に保持するわけではありません。これは元に戻せず、tools/verify_container.pyは結果をソースと比較できなくなるため、最初に--reclaim dryでレシピを証明してください。docs/K3.mdには拒否と元帳規律があります。
クイックスタート:DeepSeek-V4.1-Flash
GLMレシピと同じ形状です。好む場合は、以下の1つのコマンドがすべてを自動で行います。
開始する前に:ステージングディスクに475 GiBの公開済み重み、コンテナ用に299 GiB。コンテナは内部NVMeに配置する必要があります。ステージング重みはどこにでも置くことができ、変換が消費するにつれて返却できます。
# 1. ビルド。
git clone https://github.com/sqliteai/warp
cd waste
make
# 2. 開始前にダウンロードを確認: シャード数、サイズ、空き容量。
tools/fetch_weights.sh --repo deepseek-ai/DeepSeek-V4.1-Flash \
--dest /Volumes/staging/ds41 --dry-run
# 3. ダウンロード。48シャード、475 GiB。再開可能 — 停止した場合は再実行してください。
# すでに取得されたものは2回取得されません。
tools/fetch_weights.sh --repo deepseek-ai/DeepSeek-V4.1-Flash \
--dest /Volumes/staging/ds41
# 4. 変換。40個のエキスパートレイヤー、その後トランク、その後2つのEngramテーブル。
uv run --with torch python tools/convert.py \
--src /Volumes/staging/ds41 \
--out ~/models/ds41.waste \
--jobs 3
# 5. 実行します。
./waste run ~/models/ds41.waste "The capital of France is" -n 200
./waste chat ~/models/ds41.waste
DeepSeek固有のフラグはありません。コンバーターはアーキテクチャを認識し、Engramトークンマップとチェックポイントが出荷しないバケットプライムを導出し、DSMLチャット形式を書き込み、トークナイザーを再エンコードします。--engram-bits 8はEngramテーブルを209 GBに倍増させ、トークンが読み取るものには何も変更しません。4がデフォルトです。
または、パイプラインにすべてを行わせます。これはステップ3から5に、ソース重みとのラウンドトリップチェックと、最後にPyTorchオラクル差分を追加したものです:
MODEL=ds41 SRC=/Volumes/staging/ds41 OUT=~/models/ds41.waste \
tools/pipeline.sh
すべてのステージは再開可能であり、失敗した先行処理の開始を拒否するため、いつでも停止および再起動できます。実行ログと最終的なREPORT.mdをコンテナの横に書き込みます。MODELはk3とglmも受け入れます。これは3つのレシピ間の唯一の違いです。RECLAIM=onを追加して、コンバーターが終了したソースシャードをそれぞれ削除します。ピークディスクはコンテナとまだ要求されているシャードの合計になり、両方を完全に保持するわけではありません。これは元に戻せないため、最初にRECLAIM=dryで証明してください。
Kimi K3を入手する(既に変換済み)
最も速い方法は、既に変換されたコンテナをBitTorrent経由でダウンロードすることです。これは1.42 TBのソースダウンロード、4.7時間の変換、一時ステージングストレージを完全にスキップします。982 GBのコンテナのみがディスクに配置されます。どのBitTorrentクライアントでも構いません。トレント自体のピースハッシュが、コンテナが到着するにつれて検証します。
magnet:?xt=urn:btih:54db69b0df8baf5e617744dda5d46c90a2d0f632&dn=k3.waste&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopen.demonii.com%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=https%3A%2F%2Ftracker.tamersunion.org%3A443%2Fannounce
aria2を使用すると、再開可能でGUI不要です:
aria2c --dir ~/models --seed-time=60 \
'magnet:?xt=urn:btih:54db69b0df8baf5e617744dda5d46c90a2d0f632&dn=k3.waste&tr=udp%3A%2F%2Ftracker.opentrackr.org%3A1337%2Fannounce&tr=udp%3A%2F%2Fopen.demonii.com%3A1337%2Fannounce&tr=udp%3A%2F%2Ftracker.torrent.eu.org%3A451%2Fannounce&tr=https%3A%2F%2Ftracker.tamersunion.org%3A443%2Fannounce'
これは~/models/k3.wasteを書き込みます。これは以下のコマンドが期待するディレクトリです。--dirを内部NVMeストレージにポイントしてください。外部ディスクにダウンロードされたコンテナは、フルスピードで利用可能になる前にコピーする必要があります。共有する余裕があれば--seed-timeを上げてください。
Kimi K3を入手する(公開済み重みから)
サードパーティのコピーを信頼したくない場合、または元の重みを既に保持している場合は、自分で変換してください。ダウンロードと変換は再開可能です:
# 必要なダウンロードスペースを確認します。
tools/fetch_weights.sh --dest /Volumes/staging/k3 --dry-run
# 元の重みをダウンロードします。
tools/fetch_weights.sh --dest /Volumes/staging/k3
# 変換します。出力を内部SSDに配置します。
uv run --with torch --with safetensors python tools/convert.py \
--src /Volumes/staging/k3 \
--out ~/models/k3.waste \
--jobs 3
テストマシンでの3つのワーカーによる変換には約4.7時間かかります。検証、リカバリ、ストレージの詳細についてはdocs/K3.mdを参照してください。
実行する
./waste plan ~/models/k3.waste
./waste run ~/models/k3.waste "The capital of France is" -n 32
./waste chat ~/models/k3.waste
理由がない限り--budgetを設定しないでください。デフォルトでは、WARPは安全なメモリ予算を選択し、それを報告し、モデルのフロア未満での開始を拒否します。コンテナ内では、ホストのRAMではなくcgroup制限に対してサイズ調整します。完全なコマンドリストについては、./waste --helpを使用してください。
評価、トークン化、保存されたセッション、マルチモーダルプロンプトを含むその他のCLI例は、examples/README.mdにあります。
提供する
オプションのサーバーはOpenAIのチャット補完APIを実装しています:
make libwaste.dylib # Linuxではlibwaste.soを使用
python3 -m serve ~/models/k3.waste --port 8000
curl localhost:8000/v1/chat/completions \
-H 'Content-Type: application/json' \
-d '{"model":"k3","messages":[{"role":"user","content":"Why is the sky blue?"}]}'
ストリーミング、ツール、構造化出力、思考制御、画像に対応しています。プロトコルについてはdocs/SERVE.md、完全なリクエストについてはexamples/README.mdを参照してください。
GLMコンテナも同様に提供されます。独自のchat.jsonから:プレーンな会話と画像、推論チャネルはcontentの隣にreasoning_contentとして返されます。ツールもここで機能します。GLMのトークナイザーは、独自のツールプロトコル(<tool_call>、<arg_key>、<arg_value>)を単一トークンとして持ちます。そのため、serve/glmtools.pyはリクエストをレンダリングし、GLM自身のchat_template.jinjaがスペルアウトする方法で応答を読み取ります。フラットXML、結果の<|observation|>ターンです。
Kimi-Linearも同様です。0.7.2以降、トークナイザーがKimiのネイティブツール呼び出しマーカー5つすべてを保持するコンテナは、HTTP経由でツール呼び出しをサポートします。これは、chat.jsonが通常のターンのみを記述している場合でも同様です。フォーマットはserve/kimitools.pyにあり、サーバーはコンテナが持つ3つの機能のいずれかを起動時に示します。どちらのプロトコルもすべてかゼロかです。そのレンダリングの半分は通常のテキストとしてエンコードされるため、部分的なセットは小さなプロトコルではなく、異なるプロトコルです。
python3 -m serve ~/models/glm53.waste --port 8000
ライブラリ
WARPは組み込み可能なCライブラリでもあります。CLIとサーバーはどちらもsrc/waste.hの公開APIを使用します。推論パスはlibcとpthreadsのみに依存します。テキスト生成、メモリ計画、セッション永続化、マルチモーダルC例はexamples/README.mdで利用可能です。
名前について
クラウドサービスによって回答されるすべてのトークンは2回支払われます。1回は請求書で、もう1回は、デスクに既に置かれているハードウェアに — ぎりぎりですが、実際に — 収まるモデルを実行するデータセンターの電力で支払われます。WARPは、そのトークンの無駄を終わらせるための最初の具体的なステップとなることを意味します。プロジェクトの最初の名前はそれを率直に述べており、改名はそれを変えていません。
プロジェクトステータス
フォーマットとAPIは凍結されていません。K3は主要なターゲットであり、最もよくテストされたモデルです。CPUパスは現在、このワークロードで測定された最速の実装ですが、最終的な答えとは想定されていません。CUDA、Metal、その他のハードウェア固有の最適化は、まだ調査されておらず、大幅な改善を提供する可能性があります。現在のバックエンド結果はdocs/BACKENDS.mdに文書化されており、オープンな方向性はdocs/RESEARCH.mdで追跡されています。最適化を提案する前にdocs/LEARNED.mdをお読みください。失敗したアイデアと否定的な結果は意図的にそこに記録されています。
貢献者は大歓迎です。新しい実験、追加ハードウェアのサポート、パフォーマンス改善に関するオープンな議論はすべて奨励されています。アイデアが否定的な結果を生んだ場合でも同様です。
ソフトウェアは現在非常に急速に変化しています。各リリース前に、大規模なQA実行が実行されます。しかし、不安定性は確実に起こり得ます。
測定値は、マーケティング数値ではなく、実験結果として扱われます。各結果は、それが取得されたハードウェア、コンテナ、構成、およびコミットに結び付けられています。不安定な測定値は範囲として報告され、後に誤りであることが判明した結果はそのまま記録されます。詳細なスナップショットはdocs/TECHNICAL.mdにあり、否定的な結果を含む完全な履歴はdocs/LEARNED.mdにあります。
検証は、成功した生成以上のものをカバーします。モデルフリーのスイートは合成コンテナをビルドします。実際のモデルチェックは、個々のレイヤーと最終ロジットをPyTorchと比較し、変換のラウンドトリップを検証し、ビジョンをオラクルと比較し、サーバープロンプトレンダラーをK3のリファレンスエンコーダーに対してセグメントごとに実行します。検証基準と現在の証拠はdocs/GATES.mdに文書化されており、サーバー固有の差分テストはdocs/SERVE.mdにあります。
混合エキスパートモデルでは、ロジット間の距離だけでは判断できません。トップKルーターは、任意に小さい算術差を離散的な差に変換します。最初のフリップしたエキスパートを過ぎると、2つのパスは異なる重みで実行されます。その場合、距離は、モデルが2つの区別できないエキスパートのどちらを使用したかをどれだけ気にしたかを測定するのであって、算術がどれだけ移動したかを測定するのではありません。0.7.1以降、スイートはロジットを比較し、それらが分かれる場所では、どの決定が移動したか、そしてそれを解決できたものはあったかを尋ねます。tests/route_diff.pyはエキスパートランキングについて、tests/dsa_diff.pyはスパースアテンションプールランキングについて、それぞれidentical、tie、またはdivergedと答えます。3つのチェックは1e-3の閾値に対して赤でしたが、エンジン欠陥はありませんでした。K3では、パスはフォワードパス全体で最も近い呼び出しで最初に意見が分かれます。相対マージンは7.3e-07で、中央値の決定は7.4e-03です。GLMでは、ゼロスコアのプールの間の正確なタイで意見が分かれます。結果は、緩いスイートではなく、より厳格なスイートです。リファレンスが解決できるマージンでのフリップは、トークンとレイヤーを名前付けして失敗するようになり、ルーティングの差はタイとプールされるのではなく、それ自体の判断となります。docs/LEARNED.md §71–§72には、閾値の背後にある分布があります。
その一般的な形式と、0.7.2が主にテストコードである理由:もの自体と比較するチェックは弱いオラクルではなく、オラクルではありません。Kimiのツールレンダリングは438の自己整合テストで出荷され、そのすべてが欠陥のあるテストで合格しました。これは現在、リリース自身のチャットテンプレートと比較されています(tests/serve/test_chatfmt_upstream.py)。K3のエンコーダーが常にencoding_k3.pyと比較されてきた方法と同様です。VQ4Pチェックが実行される合成index_bits 6コンテナは、コンバーター自身のレイアウトの2番目の実装によってパックされるため、これら2つは現在互いに実行されています([tests/test_vq4p_packing.py])。アーム自体は、両方のバックエンドが誤ってパックされたコンテナを同じように誤ってデコードするため、それに気づくことはできません。どちらの欠陥もコード内部からは見えず、どちらも外部の何かと比較することによって発見されました。
有用な参照:
- docs/FORMAT.md: コンテナフォーマット。
- docs/BACKENDS.md: CPU、SIMD、Metalバックエンド。
- docs/KDA.md: Kimi Delta Attention。
- docs/GATES.md: 正確性とパフォーマンスゲート。
- docs/RESEARCH.md: 現在の研究方向。
- docs/TECHNICAL.md: 詳細な測定と技術実験。
ライセンス
WARPは、許容度の高いApache 2.0ライセンスで配布されており、プロジェクトは常に許容度の高いライセンスの下でオープンソースであり続けます。LICENSEを参照してください。
Copyright 2026 SQLite Cloud, Inc.