Qwen3.8 27Bをローカルで実行：Mac Studioでの実際の数値

過去10日間、Qwen3.8 27Bは私のMac Studioでバックグラウンドアシスタントとして静かに動作していました。RSSフィードを朝のダイジェストに要約し、スキャンしたPDFに検索可能な名前を付けて整理し、私が投げかけるあらゆる要約タスクを処理します。ありふれた作業です。それが魅力なのです。このモデルは、ありふれた作業を任せられるほど信頼できる最初のローカルモデルです。先週、このモデルがr/LocalLLaMAで突然話題になり、私のフィードはベンチマークチャートで溢れかえりました。そして、それらのスレッドのほとんどが欠いていた唯一のもの、つまりそれを適切に実行できるマシンと、それを測定する時間を持っていることに気づきました。そこで、ベンチマークを行いました。モデルごとに5回のタイム測定、同じプロンプト、同じマシン、そして私を二度驚かせた1ビット実験も行いました。測定したすべてと、このマシンを自分で実行するために必要なハードウェアについて説明します。 TL;DR: Qwen3.8 27B (Q4_K_M, 17GB) は、Ollama経由で私のMac Studio M3 Ultraで約14トークン/秒を生成します。その前世代のqwen3.6:27bは、同じマシンで約28.6トークン/秒を生成します。また、同じプロンプトに対して約3分の1のトークンで回答するため、完了までの実質的な時間はほぼ同等です。1ビット量子化（6.7GB）はllama.cppで27トークン/秒で実行され、事実を正しく答えますが、回答に確信を持てません。最新の（過去数週間以内の）llama.cppが必要です。古いビルドは、不明なモデルアーキテクチャ: 'qwen35' で失敗します。私もこれを経験しました。32GBのRAMがあればQ4は快適に実行できます。16GBではQ2が実行できます。以下のRAMテーブルに、量子化ごとの数値を示します。 Qwen3.8 27Bとは何でしょうか？ Qwen3.8-27Bは、27.3Bパラメータの密なモデルで、ハイブリッドアテンション設計（GGUFのアーキテクチャタグはqwen35で、これは後で重要になります）を備えています。マルチモーダルで、画像とビデオの理解機能を内蔵しており、262,144トークンのネイティブコンテキストウィンドウを持ち、Apache 2.0ライセンスで提供されています。公式モデルカードは、SWE-bench Proで61.7、GPQA Diamondで89.2と主張しており、これらの数値は1年前なら最先端の研究室レベルでした。コミュニティの反応は、そのベンチマークテーブルを飛び越えてしまいました。スレッドを盛り上げたのは、最初の週に人々がこのモデルで何をしたかでした。あるチームは、それをコーディングパイプラインに組み込み、有料APIモデルの代替として使用したところ、問題なく機能したと報告しました。OCRテスターは、一部の商用クラウドティアを超える品質だと主張しました。最も評価の高いスレッドからの「これはおもちゃ以上のものだと感じられる最初のローカルモデルだ」という一文が心に残っています。私の貢献は、それらのチャートのほとんどが欠いている唯一の測定値です。今日購入できるAppleシリコンでこのモデルが実際に何をするかです。 私の数値：同じマシンでの3.8対3.6 私の日常的なマシンは、DeepSeek V4 Flashガイドで使用したのと同じ、256GBのユニファイドメモリを搭載したMac Studio M3 Ultraです。Ollama経由で、モデルごとに5回のタイム測定を行い、技術的なプロンプトを多様化し、約200〜500語の回答で統計を平均化しました。両モデルともデフォルトのOllama Q4_K_M量子化で、ディスク上ではほぼ正確に17GBです。 qwen3.6:27b qwen3.8:27b 生成速度（5回平均） 28.6 tok/s 14.0 tok/s プロンプト処理 95.0 tok/s 93.1 tok/s 実行ごとのばらつき 28.5-28.8（非常に安定） 13.2-15.4 回答あたりの使用トークン数 1,950-3,340 890-1,090 まずヘッドラインの数値です。新しいモデルは、前世代の半分の速度で生成します。パラメータ数、量子化サイズ、マシンは同じです。ハイブリッドアテンションアーキテクチャは新しく、OllamaのMetalカーネルはまだ追いついていません。ランタイムが成熟するにつれて、このギャップは縮まると予想されます。他の新しいアーキテクチャでも同じことが起こりました。しかし、実際には時間の節約にはなりませんでした。Qwen3.8は、3.6が2,000〜3,300トークンを費やしたのに対し、約1,000トークンで同じプロンプトに回答しました。計算：28.6トークン/秒で2,058トークンは72秒、14.2トークン/秒で955トークンは67秒です。トークンあたりの速度は遅いですが、回答あたりの速度は速いです。生成中、CPUはほとんど認識しません。なぜなら、Appleシリコンでは推論がMetal経由でGPUで実行されるからです。この投稿のカバー画像は、まさにその瞬間をmacmonでキャプチャしたものです。GPUは100%で63.95Wを消費し、CPUは6Wを消費し、回答は常にストリーミングされていました。 1ビット実験：脳損傷、測定済み その週のQwen3.8に関する最も評価の高いスレッドは、Unslothの1ビット量子化を称賛していました。これは6.7GBのファイルで、投稿者は愛情を込めて「脳損傷量子化」と呼んでいました。7Bのメモリフットプリントで27Bのモデルです。試してみるしかありませんでした。実行でき、しかも高速でした。309トークン/秒のプロンプト処理、27.2トークン/秒の生成。RAM 8GB未満で、私のQ4のほぼ2倍の速度です。次に質問をしました。事実の記憶は本当に良好でした。オーストラリアの首都がキャンベラであることを知っており、シドニー・メルボルン妥協の理由を正しく説明しました。しかし、簡単なbashワンライナーを求めたところ、動作するコマンドを生成しましたが、最終的な回答にコミットすることなく、400トークンを費やして代替案を巡回し続けました。これはUnsloth自身が言っていることと一致しています。彼らの量子化ドキュメントは、1ビットはエージェント型またはツール呼び出し作業に使用すべきではないと率直に述べており、彼らのダイバージェンステストでは、長時間のタスクでの精度は1ビットで崩壊するものの、一般的な知識は生き残ると示されています。ツール呼び出しの最小要件として、9.8GBのQ2_K_XL量子化を挙げています。私の経験から言うと、1ビット量子化は、実際の教訓を教えてくれるパーティートリックです。量子化はモデルを均一に劣化させません。事実は生き残りますが、決断力は死にます。ユースケースが「ポテト（低スペックマシン）でトリビアを速く答える」なら、それは本当に機能します。エージェント的なものであれば、追加の3GBをQ2に投資してください。 各量子化に必要なRAM Unslothは完全なGGUFラダーを公開しているので、実用的なバージョンを示します。ファイルサイズに加えて、コンテキストとビジョンプロジェクター用に数GBを予算に含めてください。 Quant File size Realistic minimum RAM What runs it UD-IQ1_M (1-bit) 6.7GB 16GB Any modern mini PC UD-Q2_K_XL 9.8GB 16GB Any modern mini PC UD-Q4_K_XL / Q4_K_M 16-17.6GB 32GB Mid-range mini PC UD-Q6_K 22GB 32GB (tight) / 48GB High-RAM configs Q8_0 29GB 48-64GB Strix Halo, Mac unified memory BF16 54.7GB 96GB+ 128GB Strix Halo, Mac Studio 32GBティアの場合、Ryzen 7 6800Hと32GBを搭載したGEEKOM A6やGMKtec M6 Ultra（DDR5）のようなボックスは、私の上記のベンチマークが実行するのと同じようにQ4量子化を実行しますが、速度は遅くなります。CPU推論では、14ではなく毎秒数トークンというペースになります。このペースは私のもののようなバックグラウンドジョブに適していますが、インタラクティブなチャットでは忍耐力が試されるでしょう。Appleを購入せずにモデルを実際の速度で実行したい場合、コミュニティのコンセンサスターゲットはAMDのStrix Haloプラットフォームです。strix-halo-guideプロジェクトは、Ryzen AI Max+ 395上で公式Q4_K_Mを毎秒20.4トークンの生成と毎秒292トークンのプロンプト処理で測定しました。64GBのGMKtec EVO-X2は、そのプラットフォームへのエントリーレベルの価値があり1,999ドルです。128GB構成のBOSGAME M5のようなものは、テーブルのQ8およびBF16行、さらに大きなモデルを開きます。私はミニPCでローカルLLMを実行するためのベストに関する記事で、そのプラットフォーム全体について説明しました。 現在の市場からの警告が一つあります。RAM価格は依然として高騰しています。64GB DDR5 SODIMMキットは現在750〜870ドルです。ローカルLLM作業用にミニPCを購入する場合、RAMを既に搭載した状態で購入する方が、後でアップグレードするよりも現在安価です。これは、20年間のコンピュータ購入で培った私のすべての本能に反しています。 GPU所有者はスケールが異なります。コミュニティの報告によると、デュアルRTX 3090セットアップは約60トークン/秒、RTX 5090はランタイムに応じて75〜140トークン/秒であり、16GBカードは量子化KVキャッシュを使用してIQ4量子化を実行します。 実行方法（そして私を20分も無駄にさせた落とし穴） Ollamaが近道です。モデルページはollama.com/library/qwen3.8です。 # デフォルトのQ4_K_M、17GBをプルします ollama pull qwen3.8:27b # --verbose は、私のスクリーンショットで見られるようなトークン/秒の統計情報を表示します # --think=false は、迅速な回答のために推論のプレアンブルをスキップします ollama run qwen3.8:27b --verbose --think=false "あなたのプロンプト" --verbose を付けて実行すると、すべての回答は次のような統計ブロックで終わります。 Ollama 0.32.12以降が必要です。モデルメタデータはそれを最小値として宣言しています。llama.cppについては、go