Qwen 3.6 27B はローカル開発に最適なモデル

ブログに戻る Qwen 3.6 27B はローカル開発に最適なモデル Piotr Migdał 2026年6月29日 PNGをダウンロード 私はこれまでローカルモデルに失望してきました。しかし、Qwen 3.6 を試したところ、感銘を受けました。私にとって、これは汎用的な知能として実際に意味をなす最初のローカルモデルです。このモデルには2つのバリアントがあります。mixture-of-expertsモデルである Qwen 3.6 35B A3B と、密なQwen 3.6 27B です。後者は速度は劣るものの、より強力です。私が推奨するのはこちらです！私の感想を共有し、皆さんも実行できることを示しましょう。文字通り、熱いです。膝が溶け始めたとき、私は携帯電話に取り付けられたサーマルカメラをつかんで写真を撮りました。 Qwen 3.6 は、当然のことながらHacker Newsで多くの注目を集めました。Qwen 3.6 27B について最もよく言われるのは、「その重さ以上のパンチ力がある」というものです。Will it Mythos? を参照してください。そして、これは当然の評価だと思います。コンピューターは熱くなりますが、それだけの価値があります！ 様子見 Simon Willison は、スモークテストとして「自転車に乗ったペンギン」を使用しています（Qwen 3.6 35B A3B と Qwen 3.6 27B について参照）。私は通常、制約のある文章作成を行います。1年前、このようなことは最先端であり、ユニークで非常に高価なGPT-4.5が必要でした。vibe translating Quantum Flytrap を参照してください。私はまた、Zoukダンスと量子物理学に関する8行の詩を書くように依頼しました。トランスクリプトを参照してください。思考プロセスは、量子用語の熟慮と韻の両方において理にかなっていました。次に、OpenCode で pnpm を使って六角形のマインスイーパーを作成するように依頼しました。うまくいきました。 1回のプロンプトから、適切なNodeパッケージを使用して、最初から機能しました。mixture-of-experts の Qwen 3.6 35B A3B は速かったですが、パッケージを作成するという私の指示を無視し、単一の index.html で作成しました。 実際の作業 確かに、量子力学に関する創造的な文章作成や、もう1つのマインスイーパーのクローンは、日々の仕事になることはめったにありません。しかし、Qwen 3.6 27B は通常のタスクも十分にこなせます。友人である Maciej Cielecki によるプロンプトで、AI Tinkerers Warsaw で試しました。数分間機能し、これを作成しました。 現在のフロンティアモデルの基準からすると、これは特筆すべきことではありません。しかし、これはすでに実用的な仕事です。機能し、反応性があり、デフォルトも良く、すべて1つの短いプロンプトからでした。 llama.cpp で Qwen 3.6 をローカルで実行する ローカルモデルの実行はこれまで以上に簡単になりました。数行のCLIで起動できます。私は llama.cpp をお勧めします。これは、さまざまなデバイスでモデルを実行できる直接的でオープンソースのツールです。Ollama は必要ありません。正直に言って、倫理的な理由からOllamaの使用は推奨しません。 まず、Hugging Face にアクセスして、適切な量子化（つまり、サイズが削減されたモデル）を取得します。人気のあるものとしては、unsloth や bartowski などがあります。デフォルトのモデルは通常、BF16精度で提供されます。一般的な8ビット量子化は、品質をほとんど損なうことなくスペースを半分に節約します。さらに進むと、モデルは小さく（そして潜在的に高速に）なりますが、品質を犠牲にします。27B と 35B A3B の比較を参照してください。unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 を使用します。これは、マルチトークン予測（MTP）をサポートする8ビット量子化です。 llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ --spec-type draft-mtp -ngl 999 -fa on -c 65536 --jinja --port 8080 これが何をするか： -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 Hugging Face から取得し、次回の実行からは再利用します -m ~/models/Qwen3.6-27B-Q8_0.gguf すでに持っている場合は代わりにこれを使用します draft-mtp 高速モデルを使用して後続のトークンを予測し、高速化します -ngl 999 すべてのレイヤーをGPUに配置します -fa on flash attention をオンにします -c 65536 コンテキストサイズを64kトークンに設定します（Qwen 3.6 27B のネイティブコンテキストは256kなので、これは調整可能です） --jinja ツール呼び出しをサポートします --port 8080 他の構成で使用されるため、ポートを固定することをお勧めします http://127.0.0.1:8080 を開くと、直接チャットできます。まったく同じサーバーを vibe コーディングに使用できます。エージェントの選択は、目標と主観的な好みによって異なります。万能な OpenCode、ミニマリストな Pi、自己改善型の Hermes などがあります。OpenCode の場合、~/.config/opencode/opencode.jsonc に追加するだけで簡単です。 { "$schema": "https://opencode.ai/config.json", "provider": { "llama": { "name": "llama.cpp (local)", "npm": "@ai-sdk/openai-compatible", "options": { "baseURL": "http://127.0.0.1:8080/v1", "apiKey": "local" }, "models": { "qwen3.6-27b": { "name": "Qwen3.6-27B Q8 +MTP" } } } }, "model": "llama/qwen3.6-27b" } チャットだけをしたい場合で、Terminal の大ファンなら、llama-server の代わりに llama-cli を使用します。 llama-cli -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \ -ngl 999 -fa on -c 65536 --jinja パフォーマンスの測定 十分速いでしょうか？Macbook Max M5 128 GB でいくつかのテストを実行しました（ソースはこちら）。マルチトークン予測あり/なしで実行し、35B A3B モデルと量子化された DeepSeek V4 Flash バージョン DwarfStar4 と比較しました。 tokens / s RAM Qwen3.6-35B-A3B · 8-bit MLX 85 tok/s 85 37 GB RAM 37 GB llama.cpp 93 tok/s 93 44 GB RAM 44 GB llama.cpp + MTP 105 tok/s 105 45 GB RAM 45 GB Qwen3.6-27B · 8-bit MLX 17 tok/s 17 28 GB RAM 28 GB llama.cpp 18 tok/s 18 41 GB RAM 41 GB llama.cpp + MTP 32 tok/s 32 42 GB RAM 42 GB DeepSeek-V4-Flash · Q2–Q4 llama.cpp 33 tok/s 33 103 GB RAM 103 GB 30トークン/秒は悪くなく、一般的なフロンティアモデルAPIの範囲内です。mlx-lm は Apple Silicon デバイスに特化しており、AIエージェントはそれを強く推奨していますが、llama.cpp の方が高速であることが判明しました。GPUの95%を使用しており、利用可能なリソースを効率的に使用していることを意味します。Macbook Max M5 は（少なくともラップトップとしては）強力ですが、他のデバイスでも十分に機能するはずです。一般消費者向けのNvidia RTXカードでは、モデルを量子化する必要がある一方で、さらに高速です。 今日、Q6_K量子化とQ4_0 KVで私の5090にこれをセットアップしたところ、LM Studioを介して約28/32GBのVRAMを使用し、123kコンテキストで常に50トークン/秒を得ました。 - Hacker News の gfosco 35B A3B は3倍高速ですが、私は27Bを好みます。生成されるコードの量が3分の1になっても、品質が高い方が良いです。これらは以前の最先端モデルとどのように関連していますか？手動での検査は素晴らしいですが、ベンチマークは直感を裏付けるのに役立ちます。フロンティアモデルと比較した Artificial Analysis のスコアを以下に示します。 Gemma 4 31B 29 ≈ 2024年後半 o1 / Claude 3.5 Sonnet Qwen3.6-35B-A3B 32 ≈ 2025年初期 o3 / Claude 4 Sonnet Qwen3.6-27B 37 ≈ 2025年中期 GPT-5 / Claude Sonnet 4.5 DeepSeek-V4-Flash 40 ≈ 2025年後半 GPT-5.2 / Claude Opus 4.5 いくつかのベンチマークがこれらのノートにありますが、精神は似ています。Gemma 4 31B もここに追加しました。多くの人がこれをローカルコーディングのデフォルトとして使用しているからです。しかし、ベンチマークとオンラインの一般的な感情の両方で、Qwen 3.6 27B が大差で優位に立っています。ここで注意点があります。8ビット量子化は結果に大きな影響を与えない可能性が高いですが、DwarfStar4 は DeepSeek V4 Flash のためによりアグレッシブな2-4ビットの量子化を使用しています。間違いなくフルモデルよりは劣ります。私の個人的な印象としては、これらの量子化では Qwen 3.6 27B は DwarfStar4 と同等か、おそらくわずかに優れていると感じています。ただし、より長いコンテキストのプロジェクトでは DS4 が優位に立つとしても驚きません。 次は何が起こるのか 私は、自分自身のモデルを実行することが現実的になるという魅力的な時代に突入していると思います。この変化は、プロプライエタリなフロンティアモデルの現状によってさらに加速されるでしょう。Claude Fable 5 は停止されました。他のフロンティアモデルは巨額の補助金で運営されており、月100ドルを支払うことで数千ドル相当のトークンを得ることができます。この割引が続くうちに利用しましょう！ローカルに設定されたモデルは、私たちのニーズに合わせてファインチューニングでき、奪われることもありません。企業は、機密性の高いデータを扱うために利用できます。私たちは、個人的にオフラインプロジェクトで使用したり、私たちの深い秘密や医療データを米国や中国と共有することに抵抗がある場合に利用したりできます。フロンティアレベルのオープンウェイト GLM 5.2 のリリースにより、新しい時代が到来しました。Qwen 3.6 がその足がかりでしたが、フロンティア GLM 5.2 でさえローカルで実行できます。Macbook や単一の RTX 5090 では動作しませんが、それでも会社の予算で管理可能です。さらに、私は、現在の最先端よりもスマートなモデルが、ローカルデバイス、おそらくスマートフォンでも実行できるようになると強く信じています。現在のモデルは櫛