HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Qwen3.8 27B、Artificial Analysisで52点を獲得

Qwen3.8 27B scores 52 on Artificial Analysis (artificialanalysis.ai)

257 pointsby anana_114 コメント

要約

AlibabaのオープンウェイトモデルQwen3.8 27Bが、Artificial Analysisのインテリジェンスインデックスで52点を獲得し、同サイズの他のオープンウェイトモデルと比較して高い知能と優れた価格性能を示しました。このモデルはテキストと画像の入力をサポートし、256kトークンのコンテキストウィンドウを備えています。

全文翻訳

Qwen3.8 27B (Xhigh) 知能、パフォーマンス & 価格分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実施方法については、Intelligence Index methodology を参照してください。

Open Weights / Proprietary 別 Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実施方法については、Intelligence Index methodology を参照してください。

Open Weights

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは 'Commercial Use Restricted'、ライセンスが商用利用を禁止しているモデルは 'Non-commercial' と表示されます。

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

Pareto線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格をタスク数で割り、Intelligence Index の重みで加重して計算されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。各評価の詳細と実施方法については、Intelligence Index methodology を参照してください。

Capability Indexes

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません。

Evaluations

Artificial Analysis が個別に測定した知能評価 · 高いほど良い

公開されているAPIはありません。

Agentic knowledge work, (Elo-500)/2000

Agentic real-world work tasks, (Elo-500)/2000

GDP.pdf

Professional document reasoning, All-pass

Coding

Physics reasoning

Agentic scientific research workflows in a terminal

Agentic software engineering in open-source repositories

Legal agentic work, Hallucination-Gated All-Pass Rate

Agentic interactive 3D experiences, (Elo-500)/2000

Medical long context reasoning

Intelligence Evaluation Relevance

モデルの知能は一般的にユースケース全体に翻訳されますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。各評価の詳細と実施方法については、Intelligence Index methodology を参照してください。

AA-Briefcase v1.1Updated
AA-Briefcase Elo

AA-Briefcase Elo は、Artificial Analysis によって開発されたエージェンティックな知識作業ベンチマークです。AA-Briefcase Elo は、ルーブリックの合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません。

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリックの合格率を合計した複合指標であり、ルーブリックのパフォーマンスは合成的なヘッドツーヘッドマッチを通じて Elo に変換されます。Elo と 95% 信頼区間は 0 にクランプされます。

AA-Omniscience
AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性とハルシネーションを測定します。正解を報酬とし、ハルシネーションを罰し、回答を拒否することにはペナルティがありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません。

AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性とハルシネーションを測定します。正解を報酬とし、ハルシネーションを罰し、回答を拒否することにはペナルティがありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

AA-PersonalityBenchNew
Personality Indexes

各軸は8つのパーソナリティインデックスのいずれかです。これは、評価された全モデルにおけるトレイトの Elo z スコアの平均、1から100までのパーセンタイルランクです。

Openness Index

Artificial Analysis Openness Index: Score

Openness Index は、モデルのオープンさを 0 から 100 の正規化されたスケールで評価します(高いほどオープン)。

Intelligence Index Comparisons

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

Pareto線

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格をタスク数で割り、Intelligence Index の重みで加重して計算されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。各評価の詳細と実施方法については、Intelligence Index methodology を参照してください。

Token Use

Output Tokens per Intelligence Index Task

Artificial Analysis Intelligence Index のタスクあたり平均出力トークン数

公開されているAPIはありません。

Output Tokens per Intelligence Index Task

Intelligence Index タスクあたりに必要なトークン数。これは、評価あたりの出力トークン数に Intelligence Index における各ベンチマークの相対的な重みを掛け、タスク数(繰り返しを除く)で割って計算されます。

Cost

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト(USD) · トークンタイプ別 · 低いほど良い

Cost per Intelligence Index Task

Intelligence Index タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格をタスク数で割り、Intelligence Index の重みで加重して計算されます。

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の全評価を実行するためのコスト(USD)

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index の評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。

Pricing: Cache Hit, Input, and Output

価格(USD/M Tokens)

Cache Hit

キャッシュされたプロンプト(以前に処理されたもの)のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。USD/百万トークンで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格」を参照してください。

Context Window

Context Window

コンテキストウィンドウ:トークン制限 · 高いほど良い

公開されているAPIはありません。

Context Window for RAG

より大きなコンテキストウィンドウは、通常、大量のデータの推論と情報検索を伴う RAG (Retrieval Augmented Generation) LLM ワークフローに関連します。

Context Window

入力と出力トークンの合計の最大数。出力トークンは通常、モデルによって異なる大幅に低い制限があります。

Speed

出力速度(トークン/秒)で測定

Output Speed

出力トークン/秒 · 高いほど良い

Output Speed

モデルがトークンを生成している間に受信されるトークン/秒(つまり、ストリーミングをサポートするモデルの場合、最初のチャンクが API から受信された後)。

Model Performance Representation

数値は、モデルのファーストパーティ API のパフォーマンス、またはファーストパーティ API が利用できない場合のプロバイダー間のメディアンを表します。

Time per Intelligence Index Task

Intelligence Index タスクあたりの加重平均デコード時間(分) · TTFT とオーバーヘッド時間は除く · 低いほど良い

Time per Intelligence Index Task

Artificial Analysis Intelligence Index タスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークンを出力速度で割り、Intelligence Index における各ベンチマークの相対的な重みで加重して計算されます。

Latency

初回トークンまでの時間で測定

Latency: Time To First Answer Token

受信された最初の回答トークンまでの時間(秒) · 推論モデルの「思考」時間を含む

Time to First Answer Token

APIリクエスト送信後、受信された最初の回答トークンまでの時間(秒)。推論モデルの場合、これは回答を提供する前にモデルが「思考」する時間を含みます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。

End-to-End Response Time

500 トークンを出力するまでの時間。初回トークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

End-to-End Response Time

500 トークンを出力するまでの時間(秒)、推論モデルの「思考」時間を含む · 低いほど良い

End-to-End Response Time

500 トークンの応答を受信するまでの時間(秒)。主な構成要素:

  • 入力時間:最初の応答トークンを受信するまでの時間
  • 思考時間(推論モデルのみ):推論モデルが回答を提供する前に推論のためにトークンを出力するのに費やす時間。トークン数は、60個のプロンプトの多様なセットにおける平均推論トーク数に基づいています(methodology details)。
  • 回答時間:出力速度に基づいた、500 トークンを生成するまでの時間

Model Performance Representation

数値は、モデルのファーストパーティ API のパフォーマンス、またはファーストパーティ API が利用できない場合のプロバイダー間のメディアンを表します。

Model Size (Open Weights Models Only)

Model Size: Total and Active Parameters

推論中にアクティブなパラメータと総パラメータの比較(十億単位)

Total Parameters

モデルの学習可能な重みとバイアスの総数(十億単位)。これらのパラメータはトレーニング中に学習され、モデルの応答を処理および生成する能力を決定します。

Active Parameters at Inference Time

各推論フォワードパス中に実際に実行されるパラメータ数(十億単位)。Mixture of Experts (MoE) モデルの場合、ルーティングメカニズムがトークンごとにエキスパートのサブセットを選択するため、総パラメータ数よりもアクティブなパラメータ数が少なくなります。密なモデルはすべてのパラメータを使用するため、アクティブとトータルの数は等しくなります。