HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Qwen 3.8 27B は素晴らしいが、デフォルトで考えすぎる傾向がある

Qwen 3.8 27B is excellent, but it defaults to overthinking things (simonwillison.net)

733 pointsby bilsbie344 コメント

要約

AlibabaのQwen研究室がリリースしたApache 2ライセンスのLLM「Qwen 3.8 27B」は、ローカル環境での実行に適したサイズでありながら、デフォルトの「xhigh」設定により、単純なタスクでも過剰に推論し、生成に時間がかかりすぎるという問題がある。しかし、バウンディングボックスの検出やコード生成においては高い能力を示しており、特に「low」または「off」の推論設定で使用することが推奨されている。

全文翻訳

Qwen 3.8 27Bは素晴らしいが、デフォルトで考えすぎる傾向がある

2026年8月16日

金曜日の大きなリリースは、AlibabaのQwen研究室によるApache 2ライセンスの27Bパラメータ対応ビジョンLLMであるQwen 3.8 27Bでした。私はこれを楽しみにしていました。27Bは、そこそこスペックのあるラップトップでモデルを実行するのに最適なサイズであり、その前身であるQwen 3.6 27Bも印象的でした。

このモデルに関するQwenの自己申告ベンチマークは目を引くものです。Qwen 3.6 27Bと、今年の5月までQwenの全モデル中で最も強力なモデルの一つであったクローズドウェイトのQwen 3.7-Plusの両方からブーストが見られます。独立したベンチマークがこのモデルについて何を語るかを聞くのは興味深いでしょう。

私は2台の異なるマシンでこのモデルを実行しました。128GBのM5 Max MacBook Proと、NVIDIA DGX Sparkです。両方のマシンでLM Studioとその17GBのQ4_K_M量子化ビルドを実行しています。Sparkで直接llama-serverを使用することも試しました。

Qwenのドキュメントでは、モデルが推論努力(reasoning effort)のデフォルト値をxhighに設定していると説明されており、私が試しているLM StudioのGGUFもそのデフォルトを維持しています。

Qwen3.8は、推論の深さを調整し、コストを制御するために使用できるreasoning_effortの公式サポートを備えています。

  • xhigh(デフォルト):徹底的な分析を必要とする複雑なタスク向け
  • medium:精度と速度のバランス
  • low:速度とコストを最適化する効率的な推論

これはとてつもなくおかしなデフォルトです。特にコンシューマーハードウェアでモデルを実行するには、全く良い方法ではありません。私は結果に非常に楽しませられています。

LM Studioのデフォルトのコンテキスト制限である8,192トークンで問題にすぐに直面しました。Qwenは、最も些細な問題についてさえ、それらすべてを使い果たしていました。モデルを最大コンテキスト長262,144トークンでロードしたところ、その問題は解消しました。

これが、コンテキスト長を増やして初めて試したときのペリカンが自転車に乗っているSVGです。生成に21分かかり、3,223トークンの出力を生成するために22,276トークンの推論を使用しました。その推論トレースはこちらで読むことができます。

[画像: ペリカンが自転車に乗っている非常に満足のいく画像。自転車は赤く、正しいフレーム形状をしている。ペリカンはペリカンのように見え、翼をハンドルバーに伸ばしている。]

これは、ローカルマシンで実行できるモデルで生成できたペリカンのSVGの中で、これまでのところ最高です。そして、このQwenは非常に小さく、ディスク上ではわずか17GBのファイルです。これには多くの良い点があります。

  1. 自転車のフレームが正しい形状をしている
  2. 自転車の両側に足がある—これは非常に珍しい
  3. 良くてクリアなペリカンのポーチ
  4. 翼がハンドルバーに届いている!
  5. モーションラインが前ではなく後ろにある
  6. 上品な背景—素敵な太陽、雲、丘、花、草がある。

待った21分に見合う価値はあったでしょうか?絶対にありません。

推論をオフにして実行した同じプロンプトの結果を以下に示します—トランスクリプトはこちら。これは3,715トークンを生成し、137秒—2分強かかりました。

[画像: 自転車のフレームは今や悪い形状をしている。ペリカンは認識可能だが、ポーチはあまりはっきりしない。足はペダルに届かず、ハンドルバーを握ろうとする試みはない。] そして、完全を期すために、OpenRouterを使用して、はるかに大きなQwen 3.8 2.4T-A95B(先週リリース)で同じプロンプトを実行したところ、この派手なアニメーションSVGが得られました。

[動画: ブラウザはHTML5ビデオをサポートしていません。]

Qwenがxhighで物事を考えすぎる傾向があると言いましたが、実際にはどれほど悪いのでしょうか?

そのデフォルト設定で、さらに高い設定で、はるかに単純なプロンプトを試しました。

円のSVGを描画してください

Qwenの推論トレースは次のように始まりました。

ユーザーは円のSVG描画を求めています。簡単なリクエストですが、注意深く作成された作品にしたいです。単なる<circle>を超えたものを作成しましょう。キャラクターを持つ、単一の自己完結型SVGファイル—おそらく幾何学的な「円のスタディ」、微妙なアニメーション、レイヤー化されたリング、そして独特のパレットを備えたものです。

スコープを正しく保ちます。彼らは円のSVGを求めました。したがって、コアは円です。しかし、クラフトを追加できます。同心円ガイド(コンパス/幾何学的な描画のように)、目盛り、メイン円のソフトグラデーションフィル、控えめなアンビエントモーション(ゆっくり回転する破線リング、パルスグロー)。 prefers-reduced-motionを尊重しますか?それはCSSのためですが、SVG SMILまたはSVG内のCSSで十分です。

パレットオプション:暖かい紙の上に深いティールインク?それともオフホワイトの背景に大胆な朱色の円、ネイビーの構築線—バウハウス/コンパス描画の雰囲気。幾何学的なスタディの外観にしましょう:クールなスレートの背景、または明るい紙の白?クリームとテラコッタの組み合わせでなければ、紙の白で問題ありません。[...]

数分後、それは私が求めていたものとは全く異なる、絶対に美しいアニメーションの円を生成しました。

[動画: ブラウザはHTML5ビデオをサポートしていません。]

私の強い推奨:そのデフォルトは無視してください。まず、低または全く推論レベルなしでQwen 3.8 27Bを実行してください。それは素晴らしいモデルですが、そのデフォルト設定は開始点としては悪い場所です。

バウンディングボックスに非常に優れている

ビジョンモデルのテストに面白い方法の1つは、写真内のアイテムの周りにバウンディングボックスをどれだけうまく返せるかを確認することです。以前のQwenモデルがこれをうまく処理していたのを見てきたので、ペリカンの周りにバウンディングボックスを描画してテストすることにしました。

過去には0-1000スケールを要求すると良い結果が得られることがありました。これを試しました。

llm -a https://static.inaturalist.org/photos/714731804/large.jpg \ 
  -m lmstudio/qwen/qwen3.8-27b \ 
  'Return JSON bounding boxes for the pelicans in this photo, 0-1000 scale for each dimension'

これがその推論トレースで、以下を生成しました。

[
  {"bbox_2d": [195, 290, 370, 780], "label": "pelicans"},
  {"bbox_2d": [445, 320, 675, 850], "label": "pelicans"}
]

これは非常に良い一致です。これらのボックスを写真の上にレンダリングしたものがこちらです。

[画像: 岩の露頭にいる2羽のペリカンと、他の3羽の小さな鳥の写真。ペリカンは両方とも正確にそれらを囲むバウンディングボックスを持っており、それぞれにペリカンというラベルが付いている。]

バウンディングボックスをラベル付けするツールの構築

バウンディングボックスのその可視化は、私がQwen 3.8 27Bに構築させた新しいカスタムツールを使用して撮影されました。これは私のラップトップ上でオフラインで実行されました。

思考努力を減らすのを忘れたため、大規模に過剰設計されましたが、この単一プロンプトからこの完全なインターフェースを生成することに成功しました。

[
   {"bbox_2d": [195, 290, 370, 780], "label": "pelicans"},
   {"bbox_2d": [445, 320, 675, 850], "label": "pelicans"}
]

上記のスタイルのJSONを受け入れるためのテキストエリアと、画像を受け入れるための入力ボックスを備えたHTMLページを構築してください。

ページに画像を追加し、その幅と高さを測定してから、bbox_2dの座標を0-1000からスケーリングされたものとして扱い、実際の幅と高さに対してスケーリングし、画像の上にラベル付きボックスをレンダリングします。

このスクリーンショットは、私が要求しなかった機能の1つを示しています—写真がない場合にツールをテストするためのデモシーンです。

[画像: bbox·labのスクリーンショット。オブジェクト検出バウンディングボックスを画像にオーバーレイするダークテーマのWebツール。左側にインプットパネル、右側にスタイライズされたペリカンが夕日のイラストに描かれた2つのラベル付きボックスを表示するステージがある。ヘッダー:bbox·lab — 正規化された0–1000座標 → ピクセルオーバーレイ;ステータスインジケーター:RENDERED · 2 BOXES。パネル01 INPUT (URL + detections)には、IMAGE URLフィールド(data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAA+)、DETECTIONS — JSONテキストエリア({