Opus 5がArtificial Analysisのインテリジェンスリーダーボードで現在1位
Opus 5 is currently #1 on Artificial Analysis Intelligence Leaderboard (artificialanalysis.ai)
要約
Artificial Analysisが公開したAIモデルのリーダーボードによると、Claude Opus 5がインテリジェンス部門でトップにランクインしました。このリーダーボードは、モデルの知能、速度、レイテンシ、価格、コンテキストウィンドウなどの主要なパフォーマンス指標を比較分析しています。Opus 5は、速度、レイテンシ、価格、コンテキストウィンドウといった他の指標でも上位に位置するモデルと比較され、総合的な性能が評価されています。
全文翻訳
モデルの比較:知能、性能、価格分析
知能
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を取り入れています。
公開されているAPIはありません。
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目とその実行方法の詳細については、知能インデックスの方法論を参照してください。
オープンウェイト / プロプライエタリ別 Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を取り入れています。
公開されているAPIはありません。
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価項目とその実行方法の詳細については、知能インデックスの方法論を参照してください。
オープンウェイト
モデルのウェイトが利用可能かどうかを示します。「Commercial Use Restricted(商用利用制限あり)」とラベル付けされているモデルは、条件によって商用利用が制限されており、「Non-commercial(非商用)」とラベル付けされているモデルは、ライセンスにより商用利用が禁止されています。
知能インデックス vs. タスクあたりのコスト
Artificial Analysis Intelligence Index ・ Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)
最も魅力的な象限
パレート線
タスクあたりの知能インデックスコスト
タスクあたりの加重平均知能インデックスコスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を取り入れています。各評価項目とその実行方法の詳細については、知能インデックスの方法論を参照してください。
機能インデックス
特定の機能や業界におけるモデルのパフォーマンスを測定します。
公開されているAPIはありません。
評価
Artificial Analysis によって個別に測定された知能評価 ・ 高いほど良い
公開されているAPIはありません。
エージェントによる知識労働、(Elo-500)/2000
エージェントによる実世界タスク、(Elo-500)/2000
専門文書の推論、全合格
コーディング
物理学の推論
ターミナルでのエージェントによる科学研究ワークフロー
オープンソースリポジトリにおけるエージェントによるソフトウェアエンジニアリング
エージェントによる法的業務、幻覚抑制全合格率
エージェントによるインタラクティブ3D体験、(Elo-500)/2000
医療分野における長文コンテキスト推論
知能評価の関連性
モデルの知能は一般的にユースケース全体にわたって転移しますが、特定の評価は特定のユースケースにより関連性が高い場合があります。
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を取り入れています。各評価項目とその実行方法の詳細については、知能インデックスの方法論を参照してください。
AA-Briefcase v1.1 更新
AA-Briefcase Elo
AA-Briefcase v1.1 は、Artificial Analysis によって開発されたエージェントによる知識労働ベンチマークです。AA-Briefcase Elo は、ルーブリック合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です ・ 高いほど良い
公開されているAPIはありません。
AA-Briefcase Elo
AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリック合格率を集計した複合指標であり、ルーブリックのパフォーマンスは合成的な直接対決マッチを通じて Elo に変換されます。Elo および 95% 信頼区間は 0 にクランプされます。
AA-Omniscience
AA-Omniscience Index
AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答を拒否することにペナルティはありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が正解より多いことを意味します。
公開されているAPIはありません。
AA-Omniscience Index
AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答を拒否することにペナルティはありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が正解より多いことを意味します。
オープンネスインデックス
Artificial Analysis Openness Index: スコア
Openness Index は、0 から 100 の正規化されたスケール(高いほどオープン)でモデルのオープン性を評価します。
知能インデックスの比較
知能インデックス vs. タスクあたりのコスト
Artificial Analysis Intelligence Index ・ Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)
最も魅力的な象限
パレート線
タスクあたりの知能インデックスコスト
タスクあたりの加重平均知能インデックスコスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。
Artificial Analysis Intelligence Index
Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10の評価項目を取り入れています。各評価項目とその実行方法の詳細については、知能インデックスの方法論を参照してください。
トークン使用量
知能インデックスタスクあたりの出力トークン数
Artificial Analysis Intelligence Index のタスク実行あたりの加重平均出力トークン数。
公開されているAPIはありません。
知能インデックスタスクあたりの出力トークン数
知能インデックスタスクあたりの必要トークン数。これは、評価あたりの出力トークン数に知能インデックスにおける各ベンチマークの相対的な重みを掛け、タスク数(繰り返しを除く)で割ることで計算されます。
コスト
タスクあたりの知能インデックスコスト
タスクあたりの加重平均コスト(USD) ・ トークンタイプ別 ・ 低いほど良い
タスクあたりの知能インデックスコスト
タスクあたりの加重平均知能インデックスコスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能インデックスの重みで加重されます。
Artificial Analysis Intelligence Index 実行コスト
Artificial Analysis Intelligence Index の全評価実行にかかるコスト(USD)
Artificial Analysis Intelligence Index 実行コスト
Artificial Analysis Intelligence Index の評価実行にかかるコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。
価格:キャッシュヒット、入力、および出力
価格(USD/M トークン)
キャッシュヒット
キャッシュされたプロンプト(以前に処理されたもの)のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。USD/百万トークンで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格」を参照してください。
コンテキストウィンドウ
コンテキストウィンドウ
コンテキストウィンドウ:トークン制限 ・ 高いほど良い
公開されているAPIはありません。
RAG(Retrieval Augmented Generation)のためのコンテキストウィンドウ
より大きなコンテキストウィンドウは、通常、大量のデータの推論と情報取得を伴う RAG(Retrieval Augmented Generation)LLM ワークフローに関連します。
コンテキストウィンドウ
入力および出力トークンの合計の最大数。出力トークンは、通常、モデルによって大幅に低い制限があります。
速度
出力速度(トークン/秒)で測定
出力速度
出力トークン/秒 ・ 高いほど良い
出力速度
モデルがトークンを生成している間に受信されるトークン数(つまり、ストリーミングをサポートするモデルの場合、APIから最初のチャンクを受信した後)。
モデルパフォーマンスの表現
数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが存在しない場合はプロバイダー間のメディアンを表します。
知能インデックスタスクあたりの時間
加重平均デコード時間(分)/ 知能インデックスタスク ・ TTFT(Time To First Token)とオーバーヘッド時間は除く ・ 低いほど良い
知能インデックスタスクあたりの時間
Artificial Analysis Intelligence Index タスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークン数を出力速度で割り、知能インデックスにおける各ベンチマークの相対的な重みで加重することで計算されます。
レイテンシ
最初のトークンまでの時間(秒)で測定
レイテンシ:最初の回答トークンまでの時間
受信した最初の回答トークンまでの秒数 ・ 推論モデルの「思考」時間を含む
最初の回答トークンまでの時間
APIリクエスト送信後、受信した最初の回答トークンまでの時間(秒)。推論モデルの場合、これは回答を提供する前にモデルが「思考」している時間が含まれます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。
エンドツーエンド応答時間
500 トークンを出力するまでの時間。最初のトークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。
エンドツーエンド応答時間
500 トークンを出力するまでの時間(推論モデルの「思考」時間を含む) ・ 低いほど良い
エンドツーエンド応答時間
500 トークンの応答を受信するまでの時間。主な構成要素:
- 入力時間:最初の応答トークンを受信するまでの時間
- 思考時間(推論モデルのみ):推論モデルが回答を提供する前にトークンを出力して推論に費やす時間。トークン数は、60個の多様なプロンプトにわたる平均推論トーク数に基づいています(方法論の詳細)。
- 回答時間:出力速度に基づいた、500 トークンを生成するまでの時間。
モデルパフォーマンスの表現
数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが存在しない場合はプロバイダー間のメディアンを表します。
モデルサイズ(オープンウェイトモデルのみ)
モデルサイズ:総パラメータ数とアクティブパラメータ数
総モデルパラメータ数と推論中にアクティブなパラメータ数(十億単位)の比較。
総パラメータ数
モデルの学習可能な重みとバイアスの総数(十億単位)。これらのパラメータはトレーニング中に学習され、モデルが応答を処理および生成する能力を決定します。
推論時のアクティブパラメータ数
各推論フォワードパス中に実際に実行されるパラメータ数(十億単位)。Mixture of Experts(MoE)モデルの場合、ルーティングメカニズムがトークンごとに専門家(expert)のサブセットを選択するため、総パラメータ数よりもアクティブなパラメータ数が少なくなります。密(Dense)モデルはすべてのパラメータを使用するため、アクティブパラメータ数は総パラメータ数と等しくなります。