Qwen3.5-122BをMac Studioで日常的に使えるようにした3つのバグ修正
Fixed three bugs that made Qwen3.5-122B a daily driver on Mac Studio (mrzk.io)
要約
著者はMac StudioでQwen 3.5 122Bという大規模言語モデルを日常的に使用するために、3つのバグを修正しました。特に、長文コンテキストでの応答速度低下やキャッシュの不具合を解消し、モデルの応答性を劇的に改善しました。これにより、ローカル環境でのAI開発やペアプログラミングが快適に行えるようになりました。
全文翻訳
qMLX: Mac Studioの最適化でAIの精神疾患を最大化
50,000トークンの会話に対するフォローアップの質問は、最初のトークンが表示されるまでに3〜5分かかりました。回答全体ではなく、最初のトークンです。それはチャットボットではなく、バッチジョブであり、思考中にコーヒーを淹れに行くようなものです。
Mac Studioを最大限に活用することに執着している他の十数人のギークたちに、良い知らせがあります。良い知らせとは、あなたがデバッグしなくて済むように、私がキャッシュリークを3週間かけてデバッグしたということです。
これは、コンシューマーハードウェアで大規模モデルを実行するという素晴らしい実験であるantirez/ds4から始まりました。2ヶ月前、私はM3 Mac Studio Ultraを衝動買いしました。RAMの価格が96GB構成の入手をすぐに不可能にするだろうと恐れていました(ネタバレ:その通りになりました)、そして育児休暇中にローカル推論スタックを深く掘り下げたいと思っていました。目標はシンプルでした:単一のマシンで最先端のモデルを実行し、それをウォーム状態に保ち、コンテキストを実際に理解する会話型AIを持つことです。
それはそれよりも複雑であることが判明しました。モデルはユニファイドメモリに収まり、首尾一貫した応答をしますが、数週間の日常使用の後、私はハードなピボットを行いました:DS4 Flashをドロップし、Qwen 3.5 122Bに切り替えました。その後、2つの別々のことが起こり、それらを分けておく価値があります。モデルの切り替えは、速度とフィット感の決定でした。新しいモデルを実際に使用可能にするためには、どのモデルを実行したかとは無関係な、私のサービングスタックにおける3つのバグを修正する必要がありました。
モデルを切り替えた理由
DS4 Flashは本当に優れたモデルであり、antirezのスタックは素晴らしい作品です。しかし、それは私の用途には適切なモデルではありませんでした。これはフィット感の話であり、欠陥の話ではありません。
私のユースケースは、ロングコンテキストのエージェントコーディングです。モデルが数千トークンの会話、コード、ツール出力を保持するペアプログラミングであり、フローを維持するためにはほぼ瞬時の応答が必要です。その特定のワークフローにとって、プリフィルレイテンシは決定的な要因でした。50kトークンを超えると、単純なフォローアップは最初のトークンが表示されるまでに3〜5分かかり、お茶を淹れるのを待たせるモデルではペアプログラミングはできません。追いつく頃には、私はすでに次の問題に移っていました。それはDS4が絶対的な意味で遅いのではなく、そのセットアップが私のハードウェアでロングコンテキストのプリフィルをどのように処理するかと、私のワークフローが必要とするものとのミスマッチです。
Qwen 3.5 122Bは、私が気にかけていたあらゆる軸でM3 Ultraに最適なフィット感があるように見えました:
- ほぼ最先端、完全にローカル。 APIコールなし、レート制限なし、データはマシンから出ません。プロプライエタリシステムに匹敵する122Bモデルが、完全にオフラインで動作します。
- Ultraの帯域幅に適したアクティブパラメータサイズ。 M3 Ultraのメモリ帯域幅は大きいです。約10Bのアクティブパラメータを持つ122B MoEは、GPUがストールせずにコンピートユニットに供給できるスイートスポットに収まります。
- ツール呼び出しと推論の良好なバランス。 複雑なコードロジックのための十分な推論深度、信頼性の高い関数呼び出しとエージェントオーケストレーションのための堅牢性。
- ユニファイドKVキャッシュに適したサイズ。 96GBのユニファイドメモリで、低ビット幅の122Bモデルは、スワップなしでロングコンテキストの保持に不可欠な、深いSSDバックのKVキャッシュのための十分なヘッドルームを残します。
見つけられた最も近いサービングスタックはrapid-mlxでした。しかし、それはハイブリッドアテンションで異なる方向性を取っていました。その分岐を考慮して、私はそれをフォークしました。その結果がqMLXであり、GitHubで利用可能です。このフォークは、ハイブリッドアテンションに特化しています(詳細は後述)。
本質的な作業:3つのバグの撲滅
モデルはフィットしましたが、モデル自体とは無関係な理由で、そのままでは使用できませんでした。すべてのフォローアップメッセージが、会話全体を最初から再処理していました。130kトークンのコンテキストでは、モデルが単語を1つ emit する前に数分かかる待ち時間です。
GatedDeltaNet (SSM) レイヤーと密なアテンションの混合であるハイブリッドアテンションアーキテクチャが原因です。SSMレイヤーのリカレント状態は巻き戻したり、より早い位置にトリミングしたりできないため、メモリリークを避けるためにインメモリキャッシュはそれらのレイヤーを含むエントリをすべてドロップします。このモデルでは、インメモリプレフィックスキャッシュは毎回ヒットしません。通常のウィンドウでは、109回のディスクヒットに対して0回のインメモリヒットを測定しました。モデルをウォーム状態に保つ唯一のものはディスクキャッシュです:アテンションKVをSSDにチェックポイントし、次のターンで復元します。ディスク復元はフォールバックではなく、キャッシュ全体です。そして、それは3つの異なる方法で壊れ続け、それぞれが前のバグの後ろに隠れていました。
バグ1:システムプロンプトのタイムスタンプ
KVの再利用はバイト単位で正確です。プロンプトがわずかに変更されただけでも、最初の違いでマッチが失敗し、それ以降すべてが再計算されます。
エージェントフレームワークは、ターンごとに一意のメッセージIDをシステムプロンプトにスタンプしていました。130kトークンのプロンプトの上部近くにあるその一意の値により、プロンプトはバイト単位で安定しませんでした。ターン2は、最初の数百トークン内でターン1と異なりました。キャッシュされたエージェントは破棄され、システムプロンプト全体が再構築され、マッチは早期に分岐しました。ターンごとに、コールド状態でした。
修正は、その行を削除することでした。メッセージIDは装飾的なもので、誰もそれを読み取らず、エージェントはすでにターンごとのユーザーメッセージを通じてIDを持っていました。ターンごとにユニークなものは、キャッシュされたプレフィックスに属しません。変更されるべきプロンプトの部分に入れます。
バグ2:起こらなかった返信
システムプロンプトは修正され、しばらくの間は機能しましたが、会話の奥深くで再び壊れました。
モデルがまだ応答中のメッセージを送信すると、エージェントは実行を中断します。正しい動作です。しかし、割り込みパスで、ストリームされた応答を保存せずにループを抜けました。推論サーバーはすでにそれらのトークンをKVキャッシュにデコードしていましたが、履歴にはアシスタントのターンが欠けていました。ディープなボディでの分岐、コールドフィル。
データベースに対してそれを証明しました:アシスタントのターンなしで、4つの私のメッセージが連続して保存され、画面にストリームされた応答が履歴に欠落していました。それは決して書き込まれませんでした。修正は、割り込みパスでストリームされた応答をブレークする前に永続化します。これは、ドロップしたネットワークストリームのためにコードがすでに実行していたのと同じリカバリです。ボーナスとして、エージェントは自分が言ったことを忘れなくなります。
一般的なルール:生成されたトークンがサーバーのキャッシュに到達できる場合、その生成は、乱雑なパスを含むすべての終了パスで履歴にコミットされなければなりません。
バグ3:チェックポイントストアの毒
最初の2つの修正の後、キャッシュはターンごとにウォーム状態を保ちましたが、ツールを使用したターンや割り込みが発生したターンで正確に1回コールド状態になり、その後回復しました。
2つのライターがチェックポイントストアにアクセスしていました。1つは本物を書き込みました:次のターンで復元される、プロンプトにキーが付けられたチェックポイントです。もう1つは、トークンキーなしで256トークンごとにフルチェックポイントを書き込むバックグラウンドフックであり、マッチしたり復元したりすることはできませんでした。デッドウェイトです。そして、それはディスクキャップに対してカウントされていました。長いツール使用ターンは大量のトークンを生成し、それらのジャンク書き込みを大量にトリガーし、ストアをキャップを超えさせ、エビクションポリシーは古いものから順にドロップし、ジャンクと一緒に1つの良いチェックポイントも取り下げました。ディスク上には、単一のディレクトリに130kトークン以上のマッチしないボディがあり、重要なチェックポイントを圧迫していました。修正は、エビクションにマッチしないチェックポイントを最初にドロップするように教え、復元がオンになっている場合はジャンクライターを完全に無効にします。良いチェックポイントは生き残り、次のターンで復元され、コールドフィルは停止します。
着地点
以前はターンごとに30kトークンをコールドフィルしていたのと同じ会話が、修正後、31kから57kトークンに増加しました:
uid=58 HIT cached=53267 prefill=670
uid=59 HIT cached=54009 prefill=33
uid=60 HIT cached=54113 prefill=1671
uid=61 HIT cached=55867 prefill=45
uid=62 HIT cached=55996 prefill=1869
すべてのターンで前のコンテキストが復元され、新しいメッセージのみがプリフィルされます。以前は数分かかっていたものが、サブ秒で完了します。チェックポイントディレクトリはクリーンな状態に落ち着き、すべてのチェックポイントがマッチ可能で、ジャンクはありません。
キャッシュは単に役立つだけでなく、問題の形状を変えます。キャッシュオンとオフでの同じ繰り返しプロンプトの例です。プリフィル時間は秒単位、低いほど良いです:
REPEATED-PROMPT PREFILL: CACHE ON VS OFF FIG. 01
同じ繰り返しプロンプトのプリフィル秒数。キャッシュオフはすべてのサイズで完全なコストを支払い、キャッシュオンは床に平らに座り、ギャップは1kで13倍、32kで137倍に広がります。
キャッシュオフでは、繰り返しの32kトークンプロンプトは、毎回まだ88秒のプリフィルコストがかかります。キャッシュオンでは、0.64秒です。キャッシュオンのバーはありますが、床に平らにあります。そのギャップはディスク復元サブシステムの全体的なポイントであり、コンテキストとともに増加します:1kで13倍、32kで137倍高速です。
この投稿のすべての数値は、1台のマシンから来ています:M3 Ultra、28コアCPU(20パフォーマンスコアと8エフィシエンシーコア)、60コアGPU、96GBのユニファイドメモリを搭載したMac Studio、macOS 26.4を実行しています。これはqMLXがテストされた唯一の仕様です。ビンニングされたUltra、Ultra帯域幅のないMシリーズ、または異なるメモリ構成では実行していません。そのため、ここでしきい値(ガードサイジング、デコードカーブの形状)は、誰かが他の場所で再現するまで、このボックスに固有のものとして扱ってください。
生のハードウェアがコンテキスト長全体で何をするか、プリフィルスループットとデコードスループットを別々に測定しました:
PREFILL TOK/S VS CONTEXT FIG. 02
生のハードウェアプリフィルスループット。短いコンテキストで約700 tok/sにピークし、アテンションKVの増加に伴い64kまでに386に低下します。
DECODE TOK/S VS CONTEXT FIG. 03
生成されたトークン/秒。64倍のコンテキスト増加で55から28にスライドします:密なアテンションレイヤーは各トークンごとにKVキャッシュ全体を再読み取りしますが、DeltaNet状態はそうしません。
プリフィルは短いコンテキストで約700 tok/sにピークし、アテンションKVの増加に伴い64kまでに386に低下します。デコードは64倍のコンテキスト増加で55 tok/sから28にスライドします。そのデコードカーブは、レイヤーの25%が密なアテンションであることの可視的なコストです:生成された各トークンはKVキャッシュ全体を再読み取りし、その読み取りはコンテキストとともに増加します。75%がDeltaNetであるものは、一定サイズのリカレント状態を運び、まったく遅くならないため、ドロップが64倍のコンテキスト増加でクリフではなく穏やかな2倍になるのです。ハイブリッド設計はここでは妥協ではなく、ロングコンテキストのデコードを使用可能にしているものです。
1つの粗いエッジがあります。これはアルファ版であり、隠すよりもフラグを立てたいからです。復元されたキャッシュをインストールする前に、デ量子化されたKVが利用可能なメモリに収まるかどうかを推定するメモリヘッドルームガードがあります。現在は保守的すぎます:一時的なデ量子化フットプリントを過大評価し、物理的な上限の下に広いマージンを残すため、実際には収まるはずの復元を拒否します。現在はデフォルトでオフにしており、推定値を正しくサイジングするための適切な再作業が必要です。安全への本能は正しいです。実際に収まらない復元は拒否されるべきですが、現在の数値は狼少年です。
正直な数字
もう1つ、これは小さな誇りの点です。このメトリクスを構築したとき、私は通常の「総トークン/壁時間」というスループットの嘘を拒否しました。これは、ほぼ瞬時のプリフィルを数値に折り込み、遅いデコーダーを速く見せます。
プリフィルとデコードは異なるフェーズであり、私はそれらを別々に測定します。デコードトークン/秒は、デコードウィンドウのみの生成トークンです。プリフィルスループットは、キャッシュから提供されたものは除外します。なぜなら、キャッシュはそのトークンを計算したのではなく、スキップしたからです。表面全体で守ったルール:デコード速度が一定で、長いプロンプトを送信したときに上昇する数値は、あなたを騙しています。
このモデルで実際に重要なキャッシュヒット数はディスク復元ヒット率です。なぜなら、インメモリキャッシュは構造的に死んでいるからです。それがダッシュボードの前面にあるものです。
ここで、警告ラベルなしでは印刷を拒否する数値を示します。ベンチマークがスライドに載せるであろう「スループット」です。処理済みおよび生成済みトークンを壁時間で割ったもの、そして実際に体感するデコードレートの隣にあります:
THE THROUGHPUT LIE: MARKETING NUMBER VS REAL DECODE FIG. 04
壁時間あたりの処理済みおよび生成済みトークン、応答がストリームする速度を決定するデコードレートの隣。長いプロンプト、同じデコード速度:マーケティング数値は上昇し、応答は上昇しません。
赤いバーは350〜600 tok/sと言っています。もう一方のバー、応答が実際にあなたにストリームする速度を決定するバーは、28〜55です。赤い数値は間違っているというよりは無意味です:一定のデコード速度で長いプロンプトを送信するとすぐに上昇します。なぜなら、ほぼ瞬時に着地するプリフィルトークンに支配されているからです。46kトークンプロンプトを送信し、128トークンを生成すると、ユーザーがテキストが表示されるのを38 tok/sで見ている間に、500 tok/sを広告できます。
会話で実際に重要な数値は、どちらか一方だけではありません。キャッシュはウォームターンでプリフィルを実質的に無料にするため、持続的な会話スループットはデコードレートにすぎません:短いコンテキストで約55 tok/s、64kでも約28を維持します。キャッシュがあるからこそ、実際の数値を引用しても速く聞こえるのです。
「実質的に無料」には1つの修飾語が必要です。なぜなら、復元は無料と同じではないからです。ディープターンでは、キャッシュはSSDからプロンプトの99%以上を直接提供するため、最初のトークンまでの時間はデルタ、つまり最後のチェックポイント以降の新しいトークンに追従し、プロンプト全体には追従しません。168kトークンで、短いフォローアップは67個の新しいトークンと最初のトークンまで2.6秒ですが、他の168,373個はディスクから取得されます。しかし、そのデルタは依然としてフルコストでプリフィルされ、この深さでは各新しいトークンは165k KV全体にアテンドする必要があるため、トークンあたり約10msかかります。1行の質問は速いままでです。長いツール結果やファイルを貼り付けると、会話の奥深くで1,800個の新しいトークンになり、最初のトークンまで17秒に戻ります。復元はコールドプリフィルのクリフを殺します。ディープコンテキストのプリフィルを無料にするわけではありません:深ければ深いほど、各デルタトークンのコストは高くなります。
設計原則
短いリストです。なぜなら、上記のほとんどの決定はそこから派生するからです。
- ポータビリティではなく、Mac Studioのために構築。 Apple Siliconとユニファイドメモリのために最適化。CUDAパスを維持するための抽象化税はありません。
- ハイブリッドアテンションとDeltaNetはファーストクラス。 リカレント状態はKVブロックのようにトリミングできないため、キャッシュパスはKVのみであるかのように見せかけるのではなく、それを明示的に扱います。
- SSDキャッシュストリーミングはフォールバックではなく、ファーストクラスのティア。 ユニファイドメモリは希少なので、再利用可能なコンテキストはNVMe上に存在し、ホードするのではなく、そこからストリームバックされます。
- 実行するモデルに特化。 Qwenファースト。幅広さはコストであり、機能ではありません。
- 並行性プロファイルについて正直に。 シングルユーザー、1つのシーケンス。ヒットがゼロのコンポーネントは、チューニングされるのではなく、削除されます。
- キャッシュパスでは、賢さよりも正確さ。 間違った復元はクラッシュせず、破損させます。トークンブロブをバイト単位で検証し、悪いチェックポイントを隔離し、実際のトラフィックで変更を証明します。
- 実際のボックスで測定。 M3 Ultraと実際のモデルからの数値。CIではなく、122Bをロードできないもの。
- デフォルトでリーン。 最小限の依存関係、くずはありません。
qMLXとツール
上記のすべてが出荷されます。qMLXはrapid-mlxの私のフォークであり、Apple Silicon上のハイブリッドQwen 3.5および3.6モデルに特化しており、投稿全体で話題になっているディスクKV復元サブシステムを備えています。これらはすべてraullenchai/rapid-mlxなしでは存在しませんでした。ベースエンジン、OpenAIおよびAnthropic APIサーフェス、MLXサービングパスはすべて彼らのものです。qMLXは、ハイブリッド対応のディスク復元、バグ3からのエビクションとメトリクス作業、Qwenの特化を追加するだけです。構築するための基盤に感謝します。
qMLXに落ち着く前に、私は非常に短く、非常に真剣な命名ラウンドを実行し、破棄して glad な3つの候補を生み出しました:
- QweMLX(発音:「Q-MLX」):タイプミスのように聞こえます。
- Qwengine(発音:「Q-engine」):配管供給業者に聞こえます。
- q-ml:既存の
mlx-lmに近すぎ、検索が不可能です。
勝者のqMLXは、少なくとも発音可能で、grepするのに十分なほど区別できます。
- qMLX(marzukia/qMLX):フォーク。ディスクKVチェックポイントと復元、バグ3からのマッチ可能認識エビクション、ハイブリッドキャッシュ認識アカウンティング、およびフェーズ分割メトリクスサーフェス。
- ベンチマークツール(リポジトリ内の
bench_qmlx.py):上記のチャートの背後にあるpp/tgスイープ。ユニークなプロンプトで実行中のサーバーにヒットするため、キャッシュはプリフィル番号を偽装できず、プリフィルとデコードをフェーズ分割し、コンテキストサイズごとにコールドとウォームを実行してキャッシュが実際に行うことを正確に示す比較モードを備えています。自分のボックスで再実行してください。
MacでハイブリッドMoEを実行していて、コールドプリフィルと戦っているなら、上記の3つのバグは最初に調べるべき場所です。
評決
これのどれもDS4 Flashに対する非難ではありません。スタックは素晴らしいエンジニアリング作品であり、コンシューマーハードウェアで巨大なモデルを実行できることを証明しました。しかし、それは私の特定のワークフローには適切なモデルではありませんでした。
Qwen 3.5 122Bは、それにフィットするモデルです。3つの厄介なバグを撲滅した後、それは私が常に求めていた、毎日のロングコンテキストペアプログラミングに十分な速度と安定性を持っています。それがアルファ版です。
図はenoki ui(私のWebコンポーネントUIキット)でレンダリングされました。その下の数値は、ちなみにbench_qmlx.pyスイープから来ています。