HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Qwen3.8-2.4T

Qwen3.8-2.4T (huggingface.co)

48 pointsby mmastrac5 コメント

要約

Qwen3.8-2.4Tは、Hugging Face Transformers形式で提供される、ポストトレーニング済みのFP8量子化モデルです。このモデルは、コーディング、専門的な作業、研究、長期的なエージェントタスクにおいて大幅な性能向上をもたらし、特に自律的な計画と環境フィードバックの処理能力が強化されています。2.4兆パラメータ(アクティブ95B)を持ち、最大1,010,000トークンまで拡張可能なコンテキスト長を備えています。

全文翻訳

Qwen / Qwen3.8-2.4T-A95B-FP8

Qwen3.8-2.4T-A95B-FP8

[画像: Qwen Studio]

このリポジトリには、Hugging Face Transformers形式の後処理済みモデルのFP8量子化モデルウェイトと設定ファイルが含まれています。

これらのアーティファクトは、vLLM、SGLang、TokenSpeedなどと互換性があります。

量子化手法はブロックサイズ128のきめ細かいfp8量子化であり、そのパフォーマンスメトリクスは元のモデルとほぼ同等です。

インフラストラクチャのメンテナンスなしで、管理されスケーラブルな推論を求めるユーザーのために、Qwen Cloudによって公式Qwen APIサービスが提供されています。

特に、Qwen3.8-Maxは、ビジョン入力とノンシンキングサポート、デフォルトで1Mのコンテキスト長、公式組み込みツールなどの追加機能を備えた、Qwen3.8-2.4T-A95Bに基づいた公式バージョンです。詳細については、Qwen3.8-Maxの概要を参照してください。

Qwen3.5およびQwen3.6シリーズの広範なコミュニティ採用に続き、Qwenオープンモデルファミリーの中で最も高性能な世代であるQwen3.8を発表できることを嬉しく思います。

Qwen3.8は、初めてQwen-Maxクラスのモデルをオープンリリースに持ち込みました。Qwen3.5のアーキテクチャ基盤上に構築されたQwen3.8は、コーディング、専門的な作業、研究、および長期間にわたるエージェントタスク全体で大幅な向上をもたらします。より難しい質問に答えるだけでなく、Qwen3.8は複雑で多段階のタスクをより確実に完了できるように設計されています。

Qwen3.8のハイライト

Qwen3.8は以下の強化機能を備えています。

  • コア機能: コーディング、専門的な作業、研究、および長期間にわたるエージェントタスク全体での包括的な改善。
  • エージェント実行: より強力な自律計画と環境フィードバックのより良い処理により、エンドツーエンドのタスク完了がより信頼性が高まります。
  • 下流互換性: 人気のあるハーネスや開発ツールへのより広範なサポートにより、既存のスタックへの統合が容易になります。
  • 柔軟な思考制御: reasoning_effortで推論の深さを調整でき、preserve_thinkingを介して過去のメッセージからの推論コンテキストを保持できます。

詳細については、ブログ記事Qwen3.8-Maxを参照してください。

モデル概要

  • タイプ: 因果言語モデル
  • トレーニングステージ: 事前トレーニング & 後処理
  • 言語モデル
    • パラメータ数: 合計2.4兆、アクティブ950億
    • 隠れ次元: 8192
    • トークン埋め込み: 248,320 (パディング済み)
    • レイヤー数: 92
    • 隠れレイアウト: 23 × (3 × (Gated DeltaNet → MoE) → 1 × (Gated Attention → MoE))
    • Gated DeltaNet:
      • 線形アテンションヘッド数: Vに128、QKに16
      • ヘッド次元: 128
    • Gated Attention:
      • アテンションヘッド数: Qに64、KVに4
      • ヘッド次元: 256
      • ロータリー位置埋め込み次元: 64
    • Mixture of Experts (MoE):
      • エキスパート数: 512
      • アクティブなエキスパート数: 10ルーティング + 1共有
      • エキスパート中間次元: 2048
    • LM出力: 248,320 (パディング済み)
    • MTP (Multi-Token Prediction): 複数ステップでトレーニング済み
  • コンテキスト長: ネイティブで262,144、最大1,010,000トークンまで拡張可能

ベンチマーク結果

Opus 4.8Fable 5GPT 5.6 Sol (max)Qwen3.7-MaxQwen3.8-Max
コーディングエージェント
Terminal Bench 2.184.684.688.874.586.6
SWE-bench Pro69.280.064.660.667.7
DeepSWE 1.159.070.073.021.656.6
NL2Repo-Bench69.4----47.255.9
FrontierSWE70.088.8--40.773.5
MLS-Bench-Lite42.849.946.231.741.0
PaperBench80.388.890.564.893.0
AndroidBench69.884.574.056.575.1
QwenSWEBench84.086.373.563.480.7
QwenQoderBench62.763.153.836.858.4
QwenReactBench16941770156415381724
QwenSVGBench16481690175814991713
一般エージェント
CoWorkBench72.375.971.564.674.8
WorkSpaceBench66.868.765.661.467.7
JobBench48.457.445.431.353.4
SkillsBench65.170.973.561.270.2
Agents' Last Exam (Pass / Score)27.0 / 45.1-- / --30.6 / 53.611.8 / 31.127.0 / 52.4
Automation-Bench (Pass@1)27.229.129.714.227.3
Toolathlon Verified (Pass@1)76.277.974.949.772.5
WideSearch72.981.2--75.281.9
HLE w/ tools57.964.558.053.556.2
一般能力
GPQA Diamond92.092.694.192.492.6
HLE45.753.347.241.443.6
IFBench62.263.572.779.182.8
$OneMillion-Bench (expert score)41.855.953.844.452.5
HealthBench52.4--55.354.560.2
PLawBench69.670.272.358.973.2
PRBench-Legal52.757.657.648.557.6
PRBench-Finance51.955.855.546.858.3
MRCR v2 256K (8-needle)83.2--93.886.792.9
LongBench v269.1--67.165.366.3
  1. Fable5の結果にはフォールバックが含まれる場合があります。
  2. Terminal Bench 2.1: Claude Code (avg@10)、5時間のタイムアウト、max_tokens=131,072で評価。他のすべてのモデルについては、ハーネス全体で最良の公開スコアを報告します(Claude Opus 4.8およびClaude Fable 5はArtificial AnalysisのTerminus 2を使用: https://artificialanalysis.ai/evaluations/terminalbench-v2-1; GPT-5.6 SolはCodexを使用: https://openai.com/index/previewing-gpt-5-6-sol/)。
  3. SWE-bench Pro: Claude Codeハーネス、temp=1.0、top_p=0.95、256Kコンテキストウィンドウで評価。問題のあるタスクは修正され、すべてのベースラインが改良されたベンチマークで評価されました。
  4. DeepSWE 1.1: Claude Codeおよびmini-SWE-agentハーネス、temp=1.0、top_p=0.95、256Kコンテキストウィンドウで評価。両方のハーネスの中で最も高いスコアを報告します。特に、Qwen3.8-MaxはClaude Codeで最高のパフォーマンスを発揮します。
  5. NL2Repo-Bench: Claude Codeハーネスで評価。リワードハッキングを防ぐため、pip download、pip install、git cloneなど、特定のレポジトリにアクセスしようとするBashコマンドは無効にしています。
  6. FrontierSWE: Claude Codeハーネスで評価。他のすべての利用可能なMEAN@5の結果は、2026年8月3日時点の公式FrontierSWEリーダーボード(https://www.frontierswe.com)から取得しています。優位性スコアは、公式評価スクリプトを使用して生データから再計算されます。「--」は、その日付時点で公式のMEAN@5の結果が利用可能でなかったことを示します。
  7. MLS-Bench-Lite: Claude Codeを使用し、5時間のタイムアウトとmax_tokens=131,072で評価。他のすべてのモデルスコアは公式リーダーボードから取得しています。
  8. PaperBench: Code-DevモードのBasicAgent設定で評価され、Claude Opus 4.6によって採点され、3回の実行(各実行最大12時間)の平均です。
  9. AndroidBench: 95タスクの公開サブセットで評価され、avg@3スコアを報告します。
  10. QwenSWEBench: モデルのソフトウェアエンジニアリング能力を評価するための社内コーディングベンチマーク。Claude Codeハーネスで評価。8時間のタイムアウト、max_tokens=32,768、temperature=1.0、256Kトークンコンテキストウィンドウでのavg@3を報告します。
  11. QwenQoderBench: Qoderでのユーザーエクスペリエンスを評価するための社内コーディングベンチマーク。Claude Codeハーネスで評価。6時間のタイムアウト、max_tokens=32,768、temperature=1.0、256Kトークンコンテキストウィンドウでのavg@5を報告します。
  12. QwenReactBench: Claude Codeをハーネスとして使用した社内Reactプロジェクト構築ベンチマーク。バイリンガル(EN/CN)、7カテゴリ。自動レンダリング+マルチモーダルジャッジ。BT/Eloレーティング。
  13. QwenSVGBench: 社内SVGコード生成ベンチマーク。バイリンガル(EN/CN)、自動レンダリング+マルチモーダルジャッジ。BT/Eloレーティング。
  14. CoWorkBench: コンピュータサイエンス、金融、法律、医療、その他の生産性ドメインにわたる長期間タスクを評価するための社内共同作業ベンチマーク。
  15. SkillsBench: 87タスクにわたる公開SkillsBench v1.1ベンチマークで評価され、タスクごとの3回の実行の平均スコアを報告します。Opus 4.8とFable 5はClaude Codeで評価され、GPT-5.6 SolはCodexで評価され、QwenシリーズはOpenCodeで評価されます。すべての結果は当社のテストによるものです。
  16. Automation-Bench: 600タスクの公開サブセットで評価。
  17. WideSearch: 外部モデルはClaude Codeハーネスで、自社モデルはQwen-Agentハーネスで評価され、4回の実行の平均item-F1を報告します。
  18. $OneMillion-Bench: gemini-3.1-pro-previewを使用して評価。
  19. PLawBench: gemini-3.1-pro-previewを使用して評価。
  20. 空白セル(--): スコアはまだ利用できないか、適用できません。

クイックスタート

統合を簡素化するために、API経由でのQwen3.8の使用をお勧めします。

Qwen3.8のサービング

推論効率とスループットはフレームワークによって大きく異なります。最適なパフォーマンスと互換性を確保するために、最新のフレームワークバージョンを使用することをお勧めします。本番ワークロードまたは高スループットシナリオでは、SGLang、vLLM、TokenSpeedなどの専用サービングエンジンが推奨されます。

Qwen3.8は、人気のある推論フレームワークでデプロイできます。例:

APIの使用

Qwen3.8-2.4T-A95Bはテキストのみのモデルであり、すべての対話で思考モードが必要です。マルチモーダル入力はサポートされておらず、思考を無効にすることはできません。すべての応答は、最終出力の前に `<think>
...

</think>

` で囲まれた推論で自動的に開始されます。

生成には、以下のサンプリングパラメータセットの使用をお勧めします。

  • temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0

サンプリングパラメータのサポートは、推論フレームワークによって異なることに注意してください。

Qwen3.8にはreasoning_effortの公式サポートが付属しており、推論の深さを調整し、コストを制御するために使用できます。

  • xhigh (デフォルト): 綿密な分析を必要とする複雑なタスク向け
  • medium: 精度と速度のバランス
  • low: 速度とコストを最適化する効率的な推論

さらに、最高の初期エクスペリエンスのために、すべてのワークロードでデフォルトでpreserve_thinkingが有効になっています。

チャットコンプリーションAPI

チャットコンプリーションAPIは、ほとんどの推論フレームワークおよびQwen Cloudで使用できます。開始する前に、OpenAI Python SDKがインストールされており、APIキーとAPIベースURLが設定されていることを確認してください。例:

pip install -U openai

# 以下を適切に設定してください
export OPENAI_BASE_URL='your-base-url'
export OPENAI_API_KEY='your-api-key'
テキストのみの入力
from openai import OpenAI
# 環境変数で設定
client = OpenAI()

messages = [{"role": "user", "content": "Write a Python function to merge two sorted linked lists."}]

completion = client.chat.completions.create(
    model="Qwen/Qwen3.8-2.4T-A95B-FP8",
    messages=messages,
    extra_body={
        "chat_template_kwargs": {
            "enable_thinking": True,  # デフォルトでオン。オフにしないでください
            "preserve_thinking": True, # デフォルトでオン
        },
    },
    reasoning_effort="xhigh",  # デフォルトはxhigh。サポートされるレベルはxhigh、medium、lowです
    stream=True,
    stream_options={"include_usage": True},
)

reasoning_content = ""
answer_content = ""
is_answering = False
print("\n" + "=" * 20 + "Reasoning" + "=" * 20 + "\n")

for chunk in completion:
    if not chunk.choices:
        print("\nUsage:")
        print(chunk.usage)
        continue

    delta = chunk.choices[0].delta

    if hasattr(delta, "reasoning_content") and delta.reasoning_content is not None:
        if not is_answering:
            print(delta.reasoning_content, end="", flush=True)
        reasoning_content += delta.reasoning_content

    if hasattr(delta, "content") and delta.content:
        if not is_answering:
            print("\n" + "=" * 20 + "Answer" + "=" * 20 + "\n")
            is_answering = True
        print(delta.content, end="", flush=True)
        answer_content += delta.content

Qwen CloudのAPIを使用している場合、modelを変更するだけでなく、extra_body={"chat_template_kwargs": {"enable_thinking": True, "preserve_thinking": True}}の代わりにextra_body={"enable_thinking": True, "preserve_thinking": True}を渡してください。

ベストプラクティス

最適なパフォーマンスを達成するために、以下の設定をお勧めします。

  1. サンプリングパラメータ:

    • 以下のサンプリングパラメータセットの使用をお勧めします。
      • temperature=1.0, top_p=0.95, top_k=20, min_p=0.0, presence_penalty=0.0, repetition_penalty=1.0
    • サポートされているフレームワークでは、presence_penaltyパラメータを0から2の間で調整して、無限の繰り返しを減らすことができます。ただし、より高い値を使用すると、言語の混在やモデルパフォーマンスのわずかな低下が発生する可能性があります。
  2. 十分な出力長: エージェントタスクでのパフォーマンスを最適化するために、モデルが詳細で包括的な応答を生成できるように、十分な出力長を割り当てることをお勧めします。内部推論と最終出力に別々のトークン制限をサポートするフレームワークでは、1Mコンテキスト長内で以下の構成を推奨します。

    • 推論コンテンツ: 最大出力長を262,144トークンに設定します。
    • 最終応答: 最大出力長を131,072トークンに設定します。

    これらの設定は、複雑な推論に必要な容量を提供しつつ、高品質な最終成果物のための十分なスペースを確保します。

引用

私たちの作業がお役に立てば、お気軽に引用してください。

@misc{qwen38,
    title = {{Qwen3.8-Max}: A New Bar for Coding and Cowork},
    url = {https://qwen.ai/blog?id=qwen3.8},
    author = {{Qwen Team}},
    month = {August},
    year = {2026}
}