Qwen 3.8 27B は素晴らしいが、デフォルトで考えすぎる傾向がある

Simon Willison’s Weblog Subscribe Sponsored by: WorkOS — auth.md by WorkOS: agents register users, no sign-up form. Try it! Qwen 3.8 27B は素晴らしいが、デフォルトで考えすぎる傾向がある 2026年8月16日 金曜日の大きなリリースはQwen 3.8 27Bでした。これはApache 2ライセンスの270億パラメータを持つビジョン対応LLMで、AlibabaのQwen研究室からのものです。私はこのモデルを楽しみにしていました。270億パラメータは、そこそこのスペックのラップトップでモデルを実行するのに適したサイズであり、その前身であるQwen 3.6 27Bも印象的でした。このモデルのQwenによる自己申告ベンチマークは驚くべきものです。それらは、2026年5月までQwenのどのサイズでも最も強力なモデルの一つであったQwen 3.6 27Bと、クローズドウェイトのQwen 3.7-Plusの両方からのブーストを示しています。独立したベンチマークがこのモデルについて何を語るかを聞くのは興味深いでしょう。 私は2台の異なるマシンでこのモデルを実行しています。128ギガバイトのM5 Max MacBook Proと、NVIDIA DGX Sparkです。どちらのマシンでも、LM Studioと、その17ギガバイトのQ4_K_M量子化ビルドを実行しています。Spark上で直接llama-serverを使用することも試しました。 Qwenのドキュメントでは、モデルが推論の努力（reasoning effort）をデフォルトでxhighに設定していると説明されており、LM StudioのGGUFもそのデフォルトを維持しています。Qwen3.8は、推論の深さを調整し、コストを制御するために使用できるreasoning_effortの公式サポートを備えています。 xhigh (デフォルト): 綿密な分析を必要とする複雑なタスク向け medium: 精度と速度のバランス low: 速度とコストを最適化する効率的な推論 これは面白いデフォルト設定です。特にコンシューマーハードウェアでは、モデルを実行するのに全く良い方法ではありません。私は結果が非常に面白いことに気づきました。 私はすぐにLM Studioのデフォルトのコンテキスト制限である8,192トークンで問題に直面しました。Qwenは、最も些細な問題について考えるためにも、それらすべてを使い果たしていました。モデルに最大262,144トークンのコンテキスト長をロードしたところ、その問題は解消しました。これは、コンテキスト長を増やして初めて試したときのペリカンが自転車に乗っているSVGです。生成には21分かかり、3,223トークンの出力を生成するために22,276トークンの推論を使用しました。推論トレースはここにあります。これは、ローカルマシンで実行できるモデルで生成できたペリカンSVGの中で最も優れたものです。そして、このQwenはディスク上でわずか17ギガバイトのファイルであり、かなり小さいです。 これには多くの良い点があります。 自転車のフレームは正しい形をしています 自転車の両側に脚があります — これは非常に珍しいです 良くてクリアなペリカンのポーチ 翼はハンドルバーに届くまで伸びています！ モーションラインは後ろにあり、前にありません 上品な背景があります — 素敵な太陽、雲、丘、花、草。 それだけの価値があって21分待ったでしょうか？全くありません。 ここに、推論をオフにして実行した同じプロンプトの結果があります — トランスクリプトはこちらです。これは3,715トークンを生成し、137秒 — 2分強かかりました。 そして、完全を期すために、OpenRouterを使用して、先週リリースされたはるかに大きなQwen 3.8 2.4T-A95Bで同じプロンプトを実行したところ、この派手なアニメーションSVGが得られました。 ブラウザはHTML5ビデオをサポートしていません。 私はQwenがxhighで物事を考えすぎる傾向があると言いましたが、実際にはどれほど悪いのでしょうか？私はさらに単純なプロンプトを、そのデフォルトのextra high設定で再度試しました。 SVGの円を描画してください Qwenの推論トレースは次のように始まりました。 ユーザーはSVGの円の描画を求めています。簡単なリクエストですが、注意深く作成されたものにしたいです。単なる<circle>以上のものを作成しましょう。単一の自己完結型SVGファイルにキャラクターを持たせる — 例えば、微妙なアニメーション、重ねられたリング、そして独特のパレットを持つ幾何学的な「円のスタディ」などです。スコープを正しく保ちます。彼らは円のSVGを求めました。したがって、コアは円です。しかし、私はクラフトを追加できます。同心円ガイド（コンパス/幾何学的な描画のような）、目盛り、メイン円のソフトグラデーションフィル、控えめなアンビエントモーション（ゆっくり回転する破線リング、パルスグロー）。Respect prefers-reduced-motion？それはCSSのためですが、SVG SMILまたはSVG内のCSSで十分です。パレットオプション：暖かい紙の上に深いティールインク？それとも、オフホワイトの背景に大胆な朱色の円とネイビーの構造線 — バウハウス/コンパス描画の雰囲気。幾何学的なスタディの外観にしましょう。クールなスレートの背景、それとも明るい紙の白？クリームとテラコッタのコンボでなければ、紙の白で問題ありません。[...] 数分後、それは私が求めていたものとは全く異なる、絶対に美しいアニメーション円を生成しました！ ブラウザはHTML5ビデオをサポートしていません。 私の強い推奨：そのデフォルトを無視してください。まず、lowまたはeven noの推論レベルでQwen 3.8 27Bを実行してください。それは素晴らしいモデルですが、そのデフォルト設定は開始点として悪いです。 バウンディングボックスに関しては非常に優れています ビジョンモデルをテストする楽しい方法は、写真内のアイテムの周りにバウンディングボックスをどれだけうまく返せるかを見ることです。以前のQwenモデルがこれにうまく対処していたのを見たことがあるので、いくつかのペリカンを描くことによってバウンディングボックスをテストすることにしました。過去には0-1000のスケールを要求すると良い結果が得られるのを見てきました。これを試しました。 llm -a https://static.inaturalist.org/photos/714731804/large.jpg -m lmstudio/qwen/qwen3.8-27b 'Return JSON bounding boxes for the pelicans in this photo, 0-1000 scale for each dimension' これが生成された推論トレースです。 [ {"bbox_2d": [195, 290, 370, 780], "label": "pelicans"}, {"bbox_2d": [445, 320, 675, 850], "label": "pelicans"} ] これは非常に良い一致です。ここに、写真の上にレンダリングされたそれらのボックスがあります。 バウンディングボックスをラベル付けするツールの構築 バウンディングボックスのその可視化は、私がQwen 3.8 27Bに構築させた新しいカスタムツールを使用して取得したもので、ラップトップ上でオフラインで実行されました。思考努力を減らすのを忘れたため、それは大幅に過剰に設計されていましたが、この単一のプロンプトからこの完全なインターフェースを生成することに成功しました。 [ {"bbox_2d": [195, 290, 370, 780], "label": "pelicans"}, {"bbox_2d": [445, 320, 675, 850], "label": "pelicans"} ] Build an HTML page which has an input box for accepting the URL to an image and a textarea for accepting the above style of JSON. It appends the image to the page, measures its width and height, then treats the coords in the bbox_2d as scaled from 0-1000 and scales them against the actual width and height, then it renders labelled boxes over the image. このスクリーンショットは、私が要求しなかった機能の一つ — 写真がない場合にテストするためのデモシーン — を示しています。 ここに、私がプロンプトで提供した例のJSONで「pelicans」というラベルを使用しただけで、独自のペリカンを描くことを決定した思考トレースの関連部分があります。 Also a “load sample” that uses a known image? Can’t depend on external images, but… the image URL input is user-provided; I could add a “try with sample” button [...] Hmm, I can draw a simple scene on canvas, export it as a data URL, and load it into the image — that’s self-contained and demo-able! [...] But the user’s coords are for an actual pelican image; a generated placeholder can still demo the scaling. Generate a 1000x1000 placeholder: gradient water + two blob-like “pelican” silhouettes placed at the given bboxes (using the same scale — cute: silhouettes at the exact 0-1000 positions, showing the boxes align). This makes for a fun, self-contained demo. Keep it simple: sky gradient, sun, water, two pelican-ish shapes (ellipse body, circle head, beak). Place at bbox centers. (I’m slightly nervous that models around the world might have a bias towards drawing pelicans at any chance they can get, brought on by nearly two years of exposure to my own stupid benchmark.) それだけの過剰な思考は必要でしょうか？おそらく必要でしょう、少なくとも少しは。推論をオフにして試したところ、このバージョンが得られました（トランスクリプトはこちら）。これはほぼ機能しますが、ボックスが間違った場所に表示されます。 したがって、推論なしでは、機能するツールを一度で取得することはできませんでした。追加のプロンプトでそこに至ることができると確信していますが、これは推論がどのように違いを生むかを示す良い例です。 はい、コーディングエージェントを駆動できます 最大の疑問の一つ