AI・機械学習

Stepfun Step 5 Preview (LLM): AA Pareto frontierについて

Stepfun Step 5 Preview (LLM): On AA Pareto frontier (artificialanalysis.ai)

8 pointsby AnodicElegy2026年9月19日2 コメント

要約

「Step 5 Preview」は、2026年9月にリリースされたArtificial AnalysisのプロプライエタリなLLMです。このモデルは、知能指数（Intelligence Index）で44/20044という高いスコアを記録し、平均を上回る知能と、同価格帯のモデルと比較して良好な価格設定が特徴です。また、平均よりも高速ですが、非常に冗長な出力傾向があります。テキストと画像の入力をサポートし、1Mトークンのコンテキストウィンドウを備えています。

全文翻訳

Step 5 Preview: 知能、パフォーマンス、価格分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Open Weights / プロプライエタリ別 Artificial Analysis Intelligence Index

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Open Weights

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは「Commercial Use Restricted」、ライセンスで商用利用が禁止されているモデルは「Non-commercial」と表示されます。

知能指数 vs. タスクあたりのコスト

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト（USD）

最も魅力的な象限

Pareto線

タスクあたりのコスト

知能指数タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能指数における重み付けがなされます。

Artificial Analysis Intelligence Index

Capability Indexes

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません。

評価

Artificial Analysis によって個別に測定された知能評価 · 高いほど良い

公開されているAPIはありません。

エージェントによる知識作業（Elo-500）/2000

エージェントによる実世界タスク（Elo-500）/2000

GDP.pdf

専門文書の推論、All-pass

コーディング

物理学の推論

ターミナルでのエージェントによる科学研究ワークフロー

オープンソースリポジトリでのエージェントによるソフトウェアエンジニアリング

法的エージェントワーク、Hallucination-Gated All-Pass Rate

エージェントによるインタラクティブな3D体験（Elo-500）/2000

医療分野における長文コンテキスト推論

知能評価の関連性

モデルの知能は一般的にユースケース間で転移しますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

AA-Briefcase v1.1 更新

AA-Briefcase Elo

AA-Briefcase v1.1 は、Artificial Analysis によって開発されたエージェントによる知識作業ベンチマークです。AA-Briefcase Elo は、ルーブリックの合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません。

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリックの合格率を集計した複合指標であり、ルーブリックのパフォーマンスは合成的な直接対決マッチを通じて Elo に変換されます。Elo と 95% 信頼区間は 0 にクランプされます。

AA-Omniscience

AA-Omniscience Index

AA-Omniscience Index（高いほど良い）は、知識の信頼性とハルシネーションを測定します。正しい回答を報酬とし、ハルシネーションを罰し、回答拒否にはペナルティがありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません。

AA-Omniscience Index

AA-PersonalityBench 新規

Personality Indexes

各軸は8つのパーソナリティインデックスの1つです。これは、ベンチマークで評価されたすべてのモデルを対象とした Elo zスコアの平均であり、1から100のパーセンタイルでランク付けされます。

Openness Index

Artificial Analysis Openness Index: スコア

Openness Index は、モデルのオープンさを 0 から 100 の正規化されたスケールで評価します（高いほどオープン）。

知能指数比較

知能指数 vs. タスクあたりのコスト

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト（USD）

最も魅力的な象限

Pareto線

タスクあたりのコスト

Artificial Analysis Intelligence Index

トークン使用量

知能指数タスクあたりの出力トークン数

Artificial Analysis Intelligence Index のタスク1つあたりの加重平均出力トークン数

公開されているAPIはありません。

知能指数タスクあたりの出力トークン数

知能指数タスクあたりのトークン数。これは、評価あたりの出力トークン数に知能指数における各ベンチマークの相対的な重みを掛け、タスク数（繰り返しを除く）で割って計算されます。

コスト

知能指数タスクあたりのコスト

知能指数タスクあたりの加重平均コスト（USD） · トークンタイプ別 · 低いほど良い

知能指数タスクあたりのコスト

Artificial Analysis Intelligence Index 実行コスト

Artificial Analysis Intelligence Index の全評価を実行するためのコスト（USD）

Artificial Analysis Intelligence Index 実行コスト

Artificial Analysis Intelligence Index の評価を実行するためのコストは、モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数（繰り返しを除く）を使用して計算されます。

価格: キャッシュヒット、入力、および出力

価格（USD/M トークン）

キャッシュヒット

キャッシュされたプロンプト（以前に処理されたもの）のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。USD/百万トークンで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格」を参照してください。

コンテキストウィンドウ

コンテキストウィンドウ：トークン制限 · 高いほど良い

公開されているAPIはありません。

RAG（Retrieval Augmented Generation）のためのコンテキストウィンドウ

より大きなコンテキストウィンドウは、大量のデータの推論と情報検索を伴う RAG (Retrieval Augmented Generation) LLM ワークフローに関連します。

コンテキストウィンドウ

入力と出力トークンの合計の最大数。出力トークンは通常、モデルによって大幅に低い制限があります。

速度

出力速度（トークン/秒）で測定

出力速度

出力トークン/秒 · 高いほど良い

出力速度

モデルがトークンを生成している間に受信されるトークン/秒（つまり、ストリーミングをサポートするモデルの場合、最初のチャンクがAPIから受信された後）。

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIまたは、ファーストパーティAPIが存在しない場合のプロバイダー間のメディアンを表します。

知能指数タスクあたりの時間

知能指数タスクあたりの加重平均デコード時間（分） · TTFTとオーバーヘッド時間は除く · 低いほど良い

知能指数タスクあたりの時間

Artificial Analysis Intelligence Index タスクあたりの加重平均時間（秒）。これは、タスクあたりの出力トークンを出力速度で割り、知能指数における各ベンチマークの相対的な重み付けをして計算されます。

レイテンシ

最初のトークンまでの時間（秒）で測定

レイテンシ: 最初の回答トークンまでの時間

受信された最初の回答トークンまでの時間（秒）。推論モデルの「思考」時間を含みます。

最初の回答トークンまでの時間

APIリクエスト送信後、受信された最初の回答トークンまでの時間（秒）。推論モデルの場合、これは回答を提供する前にモデルが「思考」している時間を含みます。ストリーミングをサポートしないモデルの場合、完了を受信するまでの時間を表します。

エンドツーエンド応答時間

最初のトークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算された500トークン出力までの時間（秒）

エンドツーエンド応答時間

推論モデルの「思考」時間を含む、500トークン出力までの時間（秒） · 低いほど良い

エンドツーエンド応答時間

500トークン応答を受信するまでの時間（秒）。主な構成要素：

入力時間：最初の応答トークンを受信するまでの時間
思考時間（推論モデルのみ）：推論モデルが回答を提供する前にトークンを出力して推論に費やす時間。トークン数は、60個の多様なプロンプトセットにおける平均推論トークンに基づきます（methodology details）。
回答時間：出力速度に基づいた500出力トークンを生成するまでの時間。

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIまたは、ファーストパーティAPIが存在しない場合のプロバイダー間のメディアンを表します。

モデルサイズ（オープンウェイトモデルのみ）

モデルサイズ: 総パラメータ数とアクティブパラメータ数

総パラメータ数と推論中にアクティブなパラメータ数（十億）の比較

総パラメータ数

モデルの学習可能な重みとバイアスの総数（十億単位）。これらのパラメータはトレーニング中に学習され、モデルの応答を処理および生成する能力を決定します。

推論時のアクティブパラメータ数

各推論フォワードパス中に実際に実行されるパラメータ数（十億単位）。Mixture of Experts (MoE) モデルの場合、ルーティングメカニズムがトークンごとに専門家のサブセットを選択するため、アクティブパラメータ数は総パラメータ数よりも少なくなります。Dense モデルはすべてのパラメータを使用するため、アクティブパラメータ数は総パラメータ数と等しくなります。