Qwen 3.8-27Bが2日でオープンウェイトに
Qwen 3.8-27B goes openweight in 2 days (huggingface.co)
要約
Qwen 3.8-27Bモデルが2日後にオープンウェイトとして公開される予定です。これは、大規模言語モデル(LLM)のオープンソース化の流れにおける重要な発表です。
全文翻訳
Qwen / Qwen3.8-27B
Qwen3.8-27B
このリポジトリには、Hugging Face Transformers形式のポストトレーニング済みモデルのモデルウェイトと設定ファイルが含まれています。
これらのアーティファクトは、Hugging Face Transformers、vLLM、SGLang、TokenSpeedなどと互換性があります。
インフラストラクチャのメンテナンスなしで、管理されたスケーラブルな推論を求めるユーザーのために、公式のQwen APIサービスがQwen Cloudによって提供されています。特に、Qwen3.8-27Bは、デフォルトで1Mのコンテキスト長、公式の組み込みツールなどの、より多くのプロダクション機能を持つホストバージョンとして利用可能になります。詳細については、Qwen3.8-27Bの概要を参照してください。サービスは近日公開予定です。最新情報にご期待ください。
Qwen3.5およびQwen3.6シリーズの広範なコミュニティ採用に続き、Qwenオープンモデルファミリーの中で最も高性能な世代であるQwen3.8を発表できることを嬉しく思います。
Qwen3.5のアーキテクチャ基盤上に構築されたQwen3.8は、コーディング、専門業務、研究、および長期的なエージェントタスク全体で大幅な進歩をもたらします。Qwen3.8-27Bは、これらの進歩をコンパクトでデプロイしやすい密結合モデルに統合したものです。これは、画像と動画を理解するネイティブなビジョン言語モデルであり、柔軟な思考制御を備え、複雑で多段階のタスクをより高い信頼性で完了できるように設計されています。
Qwen3.8のハイライト
Qwen3.8-27Bは以下の強化機能を備えています。
- コア機能: コーディング、専門業務、研究、および長期的なエージェントタスク全体にわたる包括的な改善。
- エージェント実行: より強力な自律計画と環境フィードバックのより良い処理により、エンドツーエンドのタスク完了の信頼性が向上。
- 下流互換性: 人気のあるハーネスや開発ツールへのサポートが拡大され、既存のスタックへの統合が容易に。
- 柔軟な思考制御: 思考モードはデフォルトでオンになっており、リクエストごとに無効化できます。
reasoning_effortで推論の深さを調整でき、preserve_thinkingを通じて過去のメッセージからの推論コンテキストが保持されます。 - ビジョン言語理解: STEM図やドキュメントから数時間の動画まで、画像と動画のネイティブサポート。
モデル概要
- タイプ: ビジョンエンコーダー付き因果言語モデル
- トレーニングステージ: 事前トレーニング & ポストトレーニング
- 言語モデル
- パラメータ数: 27B
- 隠れ次元: 5120
- トークン埋め込み: 248,320 (パディング済み)
- レイヤー数: 64
- 隠れレイアウト: 16 × (3 × (Gated DeltaNet → FFN) → 1 × (Gated Attention → FFN))
- Gated DeltaNet:
- 線形アテンションヘッド数: V用48、QK用16
- ヘッド次元: 128
- Gated Attention:
- アテンションヘッド数: Q用24、KV用4
- ヘッド次元: 256
- ロータリー位置埋め込み次元: 64
- フィードフォワードネットワーク:
- 中間次元: 17,408
- LM出力: 248,320 (パディング済み)
- MTP (マルチトークン予測): 複数ステップでトレーニング済み
- コンテキスト長: ネイティブで262,144、最大1,000,000トークンまで拡張可能。
ベンチマーク結果
テキストパフォーマンス
| Qwen3.8-27B | Qwen3.6-27B | Qwen3.7-Plus | Muse Glimmer-30B | Opus4.6 Max | |
|---|---|---|---|---|---|
| コーディング | |||||
| エージェント型ターミナルコーディング | Terminal Bench 2.1 (Terminus) | 73.0 | 63.4 | 64.0 | 51.7 |
| エージェント型コーディング | SWE-bench Pro | 61.7 | 53.5 | 57.6 | 51.2 |
| リポジトリレベルのコード生成 | NL2Repo-Bench | 42.3 | 36.2 | 41.1 | -- |
| エージェント型コーディング | DeepSWE 1.1 | 42.2 | 13.3 | 14.2 | -- |
| ソフトウェアエンジニアリング | QwenSWEBench | 79.0 | 49.3 | 59.2 | -- |
| エージェント | |||||
| 長期オフィスワーク | CoWorkBench | 70.7 | 61.0 | 65.1 | -- |
| プロフェッショナル業務タスク | JobBench | 33.4 | 21.8 | 27.6 | -- |
| 最先端エージェントタスク | Agents' Last Exam | Pass@1: 20.4<br>Score: 42.9 | Pass@1: 10.6<br>Score: 27.3 | Pass@1: 13.2<br>Score: 33.6 | -- |
| 一般 | |||||
| 指示追従 | IFBench | 79.5 | 69.1 | 79.1 | 77.0 |
| 科学的推論 | GPQA Diamond | 89.2 | 87.8 | 90.3 | 83.5 |
| 学際的推論 | HLE | 30.8 | 24.0 | 34.7 | 22.0 |
| 競技プログラミング | LiveCodeBench v6 | 90.3 | 83.9 | 89.6 | -- |
- SWE-bench Pro: Opus4.6 Maxを除き、公式発表のスコアを使用。他のモデルは Claude Code ハーネスで temp=1.0, top_p=0.95, 256Kコンテキストウィンドウで評価。問題のあるタスクは修正され、すべてのベースラインモデルは改良されたベンチマークで再評価されました。
- NL2Repo-Bench: Claude Code ハーネスで評価。報酬ハッキングを防ぐため、
pip download、pip install、git cloneなど、特定のリポジトリにアクセスしようとするBashコマンドは無効化されています。 - DeepSWE 1.1: Claude Code ハーネスで temp=1.0, top_p=0.95, 256Kコンテキストウィンドウで評価。
- QwenSWEBench: モデルのソフトウェアエンジニアリング能力を評価するための一社独自のコーディングベンチマーク。Claude Code ハーネスで評価。8時間のタイムアウト、max_tokens=32,768、temperature=1.0、256Kコンテキストウィンドウでavg@3を報告。
- CoWorkBench: コンピュータサイエンス、金融、法律、医療、その他の生産性ドメインにわたる長期タスクを評価するための一社独自の共同作業ベンチマーク。
- HLE: GPT-4oによって採点。
- 各行で最高のスコアは太字で表示されています。
- 空欄(--)は、結果がまだ利用できないか、適用されないことを示します。
VLパフォーマンス
| Qwen3.8-27B | Qwen3.6-27B | Qwen3.7-Plus | Muse Glimmer-30B | Opus4.6 Max | |
|---|---|---|---|---|---|
| エージェント型マルチモーダル知能 | |||||
| コンピュータ操作 | OSWorld-Verified | 84.3 | 63.9 | 73.3 | 65.9 |
| ブラウザ操作 | WebArena-Verified | 64.8 | 48.8 | 55.3 | -- |
| モバイル操作 | AndroidWorld | 81.9 | 70.3 | 81.0 | -- |
| アプリケーション再現 | RecreationBench | 47.1 | 29.8 | 30.2 | -- |
| マルチモーダルツール使用 | ClawEval-MM | Pass@3: 57.4<br>Average: 56.9 | Pass@3: 42.6<br>Average: 50.4 | Pass@3: 57.4<br>Average: 60.1 | Pass@3: 52.5<br>Average: 54.7 |
| マルチモーダルソフトウェアエンジニアリング | SWE-MM | 38.6 | 25.7 | 30.0 | -- |
| ビジュアルウェブ開発 | Vision2Web | 62.9 | 45.0 | 42.1 | -- |
| 一般マルチモーダル知能 | |||||
| 数学問題解決(視覚) | MathVision | Without CI: 90.0<br>With CI: 94.6 | Without CI: 85.1 | Without CI: 90.3 | -- |
| 一般的視覚推論 | BabyVision | Without CI: 65.7<br>With CI: 85.6 | Without CI: 28.9 | Without CI: 64.7<br>With CI: 70.4 | -- |
| 科学図表分析 | CharXiv (RQ) | Without CI: 83.7<br>With CI: 90.2 | Without CI: 78.4 | Without CI: 85.8<br>With CI: 85.9 | 78.8 |
| ドキュメントインテリジェンス | OmniDocBench 1.5 | 91.1 | 89.4 | 91.4 | 75.8 |
| 実世界認識 | RealWorldQA | 85.9 | 84.1 | 86.9 | -- |
| 身体知能 | ERQA | 65.5 | 62.5 | 69.8 | -- |
- MathVision, BabyVision, CharXiv (RQ): 両方の設定が利用可能な場合は、「Without CI」と「With CI」を個別に報告。それ以外の場合は、利用可能な設定のみを表示。MathVisionとCharXiv (RQ) の少数の誤った正解アノテーションは、手動検証後に修正され、これらのベンチマークの報告スコアはすべて修正されたアノテーションを使用して計算されました。
- MathVision: Qwen3.8-27Bは、固定プロンプト「Please reason step by step, and put your final answer within
oxed{}.」を使用して評価されます。他のモデルについては、2つのプロンプトバリアント(oxed{}フォーマット要件ありとなし)のうち高い方のスコアを報告します。 - WebArena-Verified: OSWorld スキャフォールドの下で、公式の WebArena-Verified グレイダーを使用してスコアが計算されます。
- RecreationBench: デスクトップ(Ubuntu、macOS、Windows)、モバイル(Android)、Webの5つのプラットフォームにわたるハイブリッドエージェントの能力を評価するために設計された、社内長期アプリケーション再現ベンチマーク。
- ClawEval-MM: スコアは「Pass@3 / 平均スコア」として報告されます。Pass@3は、3回の試行のうち少なくとも1回でタスクをパスした割合。平均スコアは、3回の試行における平均ベンチマークスコアです。
- Vision2Web: スコアは、フロントエンド、ウェブページ、ウェブサイトのカテゴリ全体で平均されます。評価は Claude Code ハーネスを使用し、
gpt-5.4-2026-03-05によって採点されます。 - SWE-MM: Claude Opus 4.7 システムカードの付録 8.3 に記載されている変更を加えて、SWE-bench Multimodal の公開開発スプリットを使用して Claude Code ハーネスで評価されます。
- 空欄(--)は、結果がまだ利用できないか、適用されないことを示します。
クイックスタート
統合を容易にするために、API経由でのQwen3.8の利用を推奨します。
Qwen3.8のサービング
推論効率とスループットは、フレームワークによって大きく異なります。最適なパフォーマンスと互換性を確保するために、最新のフレームワークバージョンを使用することを推奨します。プロダクションワークロードまたは高スループットシナリオでは、SGLang、vLLM、TokenSpeedなどの専用サービングエンジンを推奨します。
Qwen3.8は、以下のような一般的な推論フレームワークでデプロイできます。
APIの使用
Qwen3.8モデルはデフォルトで思考モードで動作し、最終的な応答を生成する前に`<think>
</think>
...
`で示される思考コンテンツを生成します。思考コンテンツを無効にして直接応答を取得するには、こちらの例を参照してください。
生成には以下のサンプリングパラメータセットの使用を推奨します。
- 思考モード:
temperature=1.0,top_p=0.95,top_k=20,min_p=0.0,presence_penalty=0.0,repetition_penalty=1.0- Instruct(または非思考)モード:
temperature=0.7,top_p=0.80,top_k=20,min_p=0.0,presence_penalty=1.5,repetition_penalty=1.0サンプリングパラメータのサポートは、推論フレームワークによって異なることに注意してください。
Qwen3.8には、推論の深さを調整しコストを制御するために使用できるreasoning_effortの公式サポートが付属しています。
xhigh(デフォルト): 綿密な分析を必要とする複雑なタスク向けmedium: 精度と速度のバランスlow: 速度とコストを最適化する効率的な推論
さらに、preserve_thinkingは、最高のすぐに使えるエクスペリエンスのために、すべてのワークロードでデフォルトで有効になっています。保持された思考を無効にするには、こちらの例を参照してください。
マルチターンエージェントタスクでは、低い推論努力が必ずしも全体のタスク完了時間を短縮するとは限りません。ターンごとの応答は速くなる可能性がありますが、不十分な分析、より多くの失敗、および繰り返しの再試行につながり、合計レイテンシとトークン消費が増加する可能性があります。
チャット補完API
チャット補完APIは、ほとんどの推論フレームワークおよびQwen Cloudで使用できます。開始する前に、OpenAI Python SDKがインストールされており、APIキーとAPIベースURLが設定されていることを確認してください。例:
pip install -U openai
# 以下を適切に設定します
export OPENAI_BASE_URL='your-base-url'
export OPENAI_API_KEY='your-api-key'
テキストのみの入力
from openai import OpenAI
# 環境変数で設定
client = OpenAI()
messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]
completion = client.chat.completions.create(
model="Qwen/Qwen3.8-27B",
messages=messages,
extra_body={
"chat_template_kwargs": {
"enable_thinking": True, # デフォルトでオン
"preserve_thinking": True, # デフォルトでオン
},
},
reasoning_effort="xhigh", # デフォルトはxhigh。サポートされるレベルはxhigh, medium, low
stream=True,
stream_options={"include_usage": True},
)
reasoning_content = ""
answer_content = ""
is_answering = False
print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")
for chunk in completion:
if not chunk.choices:
print("\nUsage:")
print(chunk.usage)
continue
delta = chunk.choices[0].delta
if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
if not is_answering:
print(delta.reasoning_content, end="", flush=True)
reasoning_content += delta.reasoning_content
elif hasattr(delta, "reasoning") and delta.reasoning is not None:
if not is_answering:
print(delta.reasoning, end="", flush=True)
reasoning_content += delta.reasoning
if hasattr(delta, "content") and delta.content:
if not is_answering:
print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
is_answering = True
print(delta.content, end="", flush=True)
answer_content += delta.content
messages.append({
"role": "assistant",
"content": answer_content,
"reasoning_content": reasoning_content,
"reasoning": reasoning_content,
})
画像入力
from openai import OpenAI
# 環境変数で設定
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/CI_Demo/mathv-1327.jpg"
}
},
{
"type": "text",
"text": "The centres of the four illustrated circles are in the corners of the square. The two big circles touch each other and also the two little circles. With which factor do you have to multiply the radii of the little circles to obtain the radius of the big circles?\nChoices:\n(A) $\frac{2}{9}$
(B) $\sqrt{5}$
(C) $0.8 \cdot \pi$
(D) 2.5
(E) $1+\sqrt{2}$"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.8-27B",
messages=messages,
)
print("Chat response:", chat_response)
動画入力
from openai import OpenAI
# 環境変数で設定
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "video_url",
"video_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/video/N1cdUjctpG8.mp4"
}
},
{
"type": "text",
"text": "How many porcelain jars were discovered in the niches located in the primary chamber of the tomb?"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.8-27B",
messages=messages,
)
# vLLMが `--media-io-kwargs '{"video": {"num_frames": -1}}'` で起動された場合、
# videoフレームサンプリングは `extra_body` を介して設定できます (例: `fps` を設定)。
# この機能は現在vLLMでのみサポートされています。
#
# デフォルトでは `fps=2` および `do_sample_frames=True` です。
# `do_sample_frames=True` を使用すると、`fps` の値をカスタマイズして希望のビデオサンプリングレートを設定できます。
# chat_response = client.chat.completions.create(
# model="Qwen/Qwen3.8-27B",
# messages=messages,
# extra_body={
# "mm_processor_kwargs": {"fps": 2, "do_sample_frames": True},
# },
# )
print("Chat response:", chat_response)
Instruct(または非思考)モード
Qwen3.8-27Bはデフォルトで思考してから応答します。APIパラメータを設定することで、思考なしの直接応答を取得できます。例:
from openai import OpenAI
# 環境変数で設定
client = OpenAI()
messages = [
{
"role": "user",
"content": [
{
"type": "image_url",
"image_url": {
"url": "https://qianwen-res.oss-accelerate.aliyuncs.com/Qwen3.5/demo/RealWorld/RealWorld-04.png"
}
},
{
"type": "text",
"text": "Where is this?"
}
]
}
]
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.8-27B",
messages=messages,
temperature=0.7,
top_p=0.8,
presence_penalty=1.5,
extra_body={
"top_k": 20,
"chat_template_kwargs": {"enable_thinking": False},
},
)
print("Chat response:", chat_response)
Qwen CloudのAPIを使用している場合、
modelを変更するのに加えて、"chat_template_kwargs": {"enable_thinking": False}の代わりに"enable_thinking": Falseを使用してください。
保持された思考の無効化
デフォルトでは、Qwen3.8はすべての過去のメッセージからの思考ブロックを保持し、会話全体で完全な推論トレースを維持します。この保持された思考と呼ばれる動作は、完全なコンテキスト継続性を保証し、特に意思決定の一貫性と冗長な推論の削減が重要なエージェントシナリオに有益です。また、思考モードと非思考モードの両方で推論効率を最適化するKVキャッシュの利用率も向上させます。
最新のユーザーメッセージからの思考ブロックのみを保持したい場合は、preserve_thinkingをFalseに設定することでこの動作を無効にできます。
from openai import OpenAI
# 環境変数で設定
client = OpenAI()
messages = [...] # ここにメッセージリストを設定
chat_response = client.chat.completions.create(
model="Qwen/Qwen3.8-27B",
messages=messages,
extra_body={
"chat_template_kwargs": {"preserve_thinking": False},
},
)
print("Chat response:", chat_response)
Qwen CloudのAPIを使用している場合、
modelを変更するのに加えて、"chat_template_kwargs": {"preserve_thinking": False}の代わりに"preserve_thinking": Falseを直接使用してください。
ベストプラクティス
最適なパフォーマンスを達成するために、以下の設定を推奨します。
-
サンプリングパラメータ: 以下のサンプリングパラメータセットの使用を推奨します。
- 思考モード:
temperature=1.0,top_p=0.95,top_k=20,min_p=0.0,presence_penalty=0.0,repetition_penalty=1.0 - Instruct(または非思考)モード:
temperature=0.7,top_p=0.80,top_k=20,min_p=0.0,presence_penalty=1.5,repetition_penalty=1.0
サポートされているフレームワークでは、
presence_penaltyパラメータを0から2の間で調整して、無限の繰り返しを減らすことができます。ただし、より高い値を使用すると、言語の混在やモデルパフォーマンスのわずかな低下が発生する可能性があります。 - 思考モード:
-
十分な出力長: エージェントタスクでのパフォーマンスを最適化するために、モデルが詳細で包括的な応答を生成できるように、十分な出力長を割り当てることを推奨します。内部推論と最終出力に対して個別のトークン制限をサポートするフレームワークでは、1Mコンテキスト長内で以下の構成を推奨します。
- 推論コンテンツ: 最大出力長を262,144トークンに設定します。
- 最終応答: 最大出力長を131,072トークンに設定します。
これらの設定は、高品質な最終成果物のための十分なスペースを確保しながら、複雑な推論に必要な容量を提供します。
-
超長文の処理: Qwen3.8-27Bは、ネイティブで最大262,144トークンのコンテキスト長をサポートしています。入力と出力の合計長がこの制限を超える長期タスクでは、RoPEスケーリング技術(例: YaRN)を使用して長文を効果的に処理することを推奨します。
YaRNは現在、vLLM、SGLang、TokenSpeedなどのいくつかの推論フレームワークでサポートされています。一般的に、サポートされているフレームワークでYaRNを有効にするには2つのアプローチがあります。
-
モデル設定ファイルの変更:
config.jsonファイルで、text_config内のrope_parametersフィールドを以下のように変更します。{ "mrope_interleaved": true, "mrope_section": [ 11, 11, 10 ], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144, } -
コマンドライン引数の指定:
vLLMの場合、以下を使用できます。
VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1000000SGLangの場合、以下を使用できます。
SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 python -m sglang.launch_server ... --json-model-override-args '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --context-length 1000000TokenSpeedの場合、以下を使用できます。
TOKENSPEED_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1 tokenspeed serve ... --hf-overrides '{"text_config": {"rope_parameters": {"mrope_interleaved": true, "mrope_section": [11, 11, 10], "rope_type": "yarn", "rope_theta": 10000000, "partial_rotary_factor": 0.25, "factor": 4.0, "original_max_position_embeddings": 262144}}}' --max-model-len 1000000すべての著名なオープンソースフレームワークは静的YaRNを実装しており、これはスケーリング係数が入力長に関係なく一定であることを意味し、短いテキストでのパフォーマンスに影響を与える可能性があります。 長いコンテキストの処理が必要な場合にのみ
rope_parameters構成を変更することを推奨します。必要に応じてfactorを変更することも推奨します。例えば、アプリケーションの一般的なコンテキスト長が524,288トークンの場合、factorを2.0に設定する方が良いでしょう。
-
-
長時間の動画理解: 通常のテキストと画像の推論効率を最適化するために、リリースされた
video_preprocessor_config.jsonのsizeパラメータは保守的に設定されています。数時間の動画に対するより高いフレームレートサンプリングを可能にし、それによって優れたパフォーマンスを達成するために、video_preprocessor_configファイル内のlongest_edgeパラメータを469,762,048(224kビデオトークンに相当)に設定することを推奨します。例:{"longest_edge": 469762048, "shortest_edge": 4096}または、エンジン起動パラメータを介してデフォルト値をオーバーライドします。実装の詳細については、以下を参照してください: vLLM / SGLang。
引用
私たちの研究が役立つと感じた場合は、お気軽に引用してください。
@misc{qwen38,
title = {{Qwen3.8-Max}: A New Bar for Coding and Cowork},
url = {https://qwen.ai/blog?id=qwen3.8},
author = {{Qwen Team}},
month = {August},
year = {2026}
}
先月のダウンロード数
7,586,857
Safetensors