HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Qwen 3.6 27B はローカル開発に最適なモデル

Qwen 3.6 27B is the sweet spot for local development (quesma.com)

1094 pointsby stared696 コメント

要約

筆者はこれまでローカルモデルに失望してきましたが、Qwen 3.6 27Bに出会い、その汎用的な知能に感銘を受けました。このモデルは、遅いながらも強力なパフォーマンスを発揮し、限定された文章作成やコード生成といったタスクにおいて高い品質を示します。llama.cpp を使用してローカルで簡単に実行でき、特にAIエージェントの利用において、Macbook Max M5のようなデバイスで効率的に動作します。

全文翻訳

Qwen3.6 27Bはローカル開発に最適なモデル

過去のローカルモデルには失望させられてきましたが、Qwen3.6を試したところ、驚嘆しました。私にとって、これは汎用知能として実際に意味をなす最初のローカルモデルです。

2つのバリアントがあります。混合エキスパートモデルであるQwen3.6 35B A3Bと、密なQwen3.6 27Bです。後者は遅いですが、より強力です。こちらをおすすめします!

私の印象を共有し、皆さんもローカルで実行できることを示します。

更新 2026年7月27日 量子化に関するフォローアップ記事もご覧ください: Qwen3.6 27Bの量子化はペリカンを壊すか?

[画像: サーマルカメラ画像]

文字通り、熱いです。膝が溶け始めたとき、スマートフォン接続型のサーマルカメラを手に取り、写真を撮りました。

Qwen3.6は当然ながら、Hacker Newsで多くの注目を集めました。Qwen3.6 27Bについて最もよく言われるのは、そのサイズを超えた性能を発揮するという点です。これはWill it Mythos?で見ることができます。そして、それは十分に値する評価だと私は思います。あなたのコンピューターを熱くするかもしれませんが、それだけの価値はあります!

様子見

Simon Willisonは「自転車に乗るペリカン」をスモークテストとして使用しています(Qwen3.6 35B A3B、そしてQwen3.6 27Bを参照)。私は通常、制約のあるライティングを行います。

[画像: Qwen3.6との量子力学に関するチャット]

1年前、このようなことは最先端であり、ユニークで、信じられないほど高価なGPT-4.5を必要としました。vibe translating Quantum Flytrapを参照してください。

また、Zoukダンスと量子物理学についての8行詩を書くように頼みました。トランスクリプトをご覧ください。量子用語と韻の両方についての熟考という点で、思考プロセスは理にかなっていました。

次に、OpenCodeでpnpmを使用して六角形のマインスイーパを作成するように依頼しました。うまくいきました:

[画像: OpenCodeでQwen3.6 27Bを使用した六角形マインスイーパ]

単一のプロンプトから、適切なNodeパッケージで、最初の試行で動作しました。混合エキスパートモデルのQwen3.6 35B A3Bの方が高速でしたが、パッケージを作成するという指示を無視し、単一のindex.htmlで実行しました。

実務

確かに、量子力学に関する創作や、また別のマインスイーパのクローンは、日常業務とはほど遠いものです。しかし、Qwen3.6 27Bは通常のタスクでも優れています。

[画像: OpenCodeで実行されているMaciej Cieleckiのキャンドルショッププロンプト]

友人であるMaciej Cielecki氏がAI Tinkerers Warsawで作成したプロンプトです。

数分で動作し、以下を作成しました:

[画像: Qwen3.6 27Bによるランディングページ]

Qwen3.6 27Bによるランディングページ — ライブページを表示

現在の最先端モデルの基準からすると、注目に値するものではありません。しかし、すでに実用的な仕事です。動作し、応答性が良く、デフォルト設定も良好でした — これらすべてが、短く単一のプロンプトから実現しました。

llama.cppでQwen3.6をローカルで実行する

ローカルモデルの実行は、かつてないほど容易になっています。数行のCLIコマンドで開始できます。

私はllama.cppをおすすめします — 様々なデバイスでモデルを実行できる、直接的でオープンソースのツールです。Ollamaは必要ありませんし、率直に言って — 倫理的な理由からそれの使用は推奨しません。

まず、Hugging Faceにアクセスして、適切な量子化、つまりサイズが縮小されたモデルを取得します — 人気のあるものはunslothやbartowskiなどです。デフォルトモデルは通常BF16精度で提供されます。一般的な8ビット量子化は、品質への影響をほとんどなく、スペースを半分に節約します。さらに進むと、モデルは小さく(そして潜在的に速く)なりますが、品質とのトレードオフがあります。27Bのこの比較と、35B A3Bの別の比較を参照してください。

マルチトークン予測(MTP)をサポートする8ビット量子化であるunsloth/Qwen3.6-27B-MTP-GGUFを取得します。

llama-server -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \
    --spec-type draft-mtp -ngl 999 -fa on -c 65536 --port 8080

これは何をするか:

  • -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 Hugging Faceから取得し、次回の実行時には再利用します。
  • -m ~/models/Qwen3.6-27B-Q8_0.gguf すでに持っている場合は、代わりにこれを使用します。
  • draft-mtp 高速なモデルを使用して後続のトークンを予測し、速度を向上させます。
  • -ngl 999 すべてのレイヤーをGPUに配置します。
  • -fa on フラッシュアテンションをオンにします。
  • -c 65536 コンテキストサイズを64kトークンに設定します(Qwen3.6 27Bのネイティブコンテキストは256kなので、これは調整可能です)。
  • --port 8080 他の設定で使用されるため、ポートを固定するのが良いでしょう。

http://127.0.0.1:8080を開くと、直接チャットできます。

全く同じサーバーをvibeコーディングにも使用できます。エージェントの選択は、目標と主観的な好みの両方に依存します — 万能なOpenCode、ミニマリストなPi、自己改善型のHermesなどです。

OpenCodeの場合、~/.config/opencode/opencode.jsoncに以下を追加するだけです:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "llama": {
      "name": "llama.cpp (local)",
      "npm": "@ai-sdk/openai-compatible",
      "options": {
        "baseURL": "http://127.0.0.1:8080/v1",
        "apiKey": "local"
      },
      "models": {
        "qwen3.6-27b": { "name": "Qwen3.6-27B Q8 +MTP" }
      }
    }
  },
  "model": "llama/qwen3.6-27b"
}

ターミナルを愛用していて、チャットしたいだけであれば、llama-serverの代わりにllama-cliを使用してください:

llama-cli -hf unsloth/Qwen3.6-27B-MTP-GGUF:Q8_0 \
    -ngl 999 -fa on -c 65536

パフォーマンスの測定

十分な速度はありますか?

私のMacBook M5 Max 128 GBでいくつかのテストを実行しました(GitHubのソース)。マルチトークン予測の有無で実行し、35B A3Bモデルおよび量子化されたDeepSeek V4 FlashバージョンDwarfStar4と比較しました。

トークン/秒

RAM

Qwen3.6-35B-A3B · 8ビット

MLX

85 tok/s85

37 GB RAM37 GB

llama.cpp

93 tok/s93

44 GB RAM44 GB

llama.cpp + MTP

105 tok/s105

45 GB RAM45 GB

Qwen3.6-27B · 8ビット

MLX

17 tok/s17

28 GB RAM28 GB

llama.cpp

18 tok/s18

41 GB RAM41 GB

llama.cpp + MTP

32 tok/s32

42 GB RAM42 GB

DeepSeek-V4-Flash · Q2–Q4

llama.cpp

33 tok/s33

103 GB RAM103 GB

毎秒30トークンは悪くありません。典型的な最先端モデルのAPI範囲内です。mlx-lmはApple Siliconデバイスに特化しており、AIエージェントはそれを強く推奨していますが、llama.cppの方が高速であることが判明しました。GPUの95%を使用しており、利用可能なリソースを効率的に活用していることを意味します。

MacBook M5 Maxは(少なくともラップトップとしては)強力ですが、他のデバイスでもまともに動作するはずです。ご覧のとおり、Qwen3.6のバリアントは両方とも、Apple Siliconの共有RAM 48 GB内で動作します。4ビット量子化は18 GB未満で、32 GBデバイスで動作するはずです。コンシューマー向けNVIDIA RTXカードでは、積極的に量子化する必要がありますが、推論はさらに高速に実行されます。

私は今日、5090でQ6_K量子化とQ4_0 KVでこれをセットアップし、LM Studio経由で約28/32GBのVRAMを使用し、123kコンテキストで一貫して50トークン/秒を得ました。- gfosco on Hacker News

35B A3Bは3倍高速ですが、私は27Bを好みます。より高品質なコードを生成するために、生成量が3分の1になるとしても構いません。

以前の最先端モデルとの関係

手動での確認は素晴らしいですが、ベンチマークは直感を裏付けるのに役立ちます。Artificial Analysisからのスコアを、最先端モデルと比較したものを以下に示します:

Gemma 4 31B

29

≈ 2024年後半

o1 / Claude 3.5 Sonnet

Qwen3.6-35B-A3B

32

≈ 2025年初頭

o3 / Claude 4 Sonnet

Qwen3.6-27B

37

≈ 2025年中頃

GPT-5 / Claude Sonnet 4.5

DeepSeek-V4-Flash

40

≈ 2025年後半

GPT-5.2 / Claude Opus 4.5

さらにいくつかのベンチマークはこれらのノートにありますが、精神は同様です。多くの人がローカルコーディングのデフォルトとして使用しているGemma 4 31Bも追加しました。しかし、ベンチマークとオンラインでの一般的な感情の両方で、Qwen3.6 27Bが圧倒的に支持されています。

ここで注意点があります — Qwen3.6の8ビット量子化は結果にあまり影響しない可能性が高いですが、DwarfStar4はDeepSeek V4 Flashに2〜4ビットという、はるかに積極的な量子化を使用しています。確かに、それはフルモデルよりも劣ります。私の個人的な印象では、これらの量子化の範囲内では、Qwen3.6 27BはDwarfStar4と同等(あるいはわずかに優れている)です。ただし、長コンテキストのプロジェクトではDS4が優位性を持つとしても、驚きません。

次は何が?

私は、独自のモデルを実行することが現実的になる、魅力的な時代に突入していると考えています。

この変化は、プロプライエタリな最先端モデルの状態によってさらに推進されるでしょう。Claude Fable 5は停止されました。他の最先端モデルは、月額100ドルで数千ドル相当のトークンが得られるという、大規模な補助金で運営されています。それが続く間は、この割引を利用しましょう!

ローカルで実行されるモデルは、私たちのニーズに合わせてファインチューニングでき、取り上げられることはありません。企業は、独自の機密データに使用できます。私たちは個人的に、オフラインプロジェクトのため、または私たちの最も深い秘密や医療データを米国や中国と共有することに抵抗を感じる場合に、それらを使用できます。

最先端レベルのオープンウェイトGLM 5.2のリリースにより、新時代が到来しました。Qwen3.6は踏み台でしたが、最先端のGLM 5.2でさえローカルで実行できます。それはあなたのMacBookや単一のRTX 5090では動作しません。しかしそれでも、企業の予算で管理可能です。

さらに、私は現在の最先端よりも賢く、おそらくスマートフォンでさえローカルデバイスで実行可能なモデルが登場すると強く信じています。現在のモデルは、生の知性と事実知識を同じ重みで組み合わせています。将来のモデルは、それらを分離し、ツール呼び出しに多くの知識をオフロードする可能性が高いです。

Hacker News、LinkedIn、またはXで議論してください。