HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Claude Opus 5.5の知能、パフォーマンス、価格分析(Max)

Claude Opus 5.5 Intelligence, Performance and Price Analysis (Max) (artificialanalysis.ai)

318 pointsby theanonymousone99 コメント

要約

Artificial AnalysisによるClaude Opus 5.5の分析によると、このモデルは知能指数でトップクラスに位置するものの、同価格帯のモデルと比較するとやや高価です。100万トークンあたりの入力コストは4ドル、出力コストは20ドルと、中央値よりも高めですが、1Mトークンのコンテキストウィンドウを持ち、テキストと画像の入力をサポートします。知能指数タスクあたりのコストは4ユニット中4ユニットと評価されています。

全文翻訳

Claude Opus 5.5 (Max, Default Fallback) の知能、パフォーマンス、価格分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含みます。

公開されているAPIはありません

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能指数方法論を参照してください。

オープンウェイト / プロプライエタリ別 Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 の10個の評価を含みます。

公開されているAPIはありません

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 が含まれます。各評価の詳細と実行方法については、知能指数方法論を参照してください。

オープンウェイト

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは「商用利用制限あり」、ライセンスで商用利用が禁止されているモデルは「非商用」と表示されます。

知能指数 vs. タスクあたりのコスト

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

タスクあたりの知能指数コスト

知能指数タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能指数で加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、知能指数方法論を参照してください。

能力指数

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません

評価

Artificial Analysis によって個別に測定された知能評価 · 高いほど良い

公開されているAPIはありません

エージェント型知識業務、(Elo-500)/2000

エージェント型実世界タスク、(Elo-500)/2000

GDP.pdf

専門文書推論、全合格

コーディング

物理学推論

ターミナルでのエージェント型科学研究ワークフロー

オープンソースリポジトリでのエージェント型ソフトウェアエンジニアリング

法的エージェント業務、幻覚抑制全合格率

エージェント型インタラクティブ3D体験、(Elo-500)/2000

医療長文コンテキスト推論

知能評価の関連性

モデルの知能は一般的にユースケース全体に翻訳されますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、知能指数方法論を参照してください。

AA-Briefcase v1.1 更新
AA-Briefcase Elo

AA-Briefcase v1.1 は、Artificial Analysis によって開発されたエージェント型知識業務ベンチマークです。AA-Briefcase Elo は、ルーブリック合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリック合格率を集計した複合指標であり、ルーブリックパフォーマンスは合成的な直接対決を通じて Elo に変換されます。Elo および 95% 信頼区間は 0 にクランプされます。

AA-Omniscience
AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答拒否には罰がありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません

AA-Omniscience Index

AA-Omniscience Index(高いほど良い)は、知識の信頼性と幻覚を測定します。正解を報酬とし、幻覚を罰し、回答拒否には罰がありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

AA-PersonalityBench 新着
パーソナリティ指数

各軸は8つのパーソナリティ指数のいずれかです。その特性の Elo z スコアの平均で、ベンチマークで評価されたすべてのモデルに対して 1 から 100 のパーセンタイルでランク付けされます。

知能指数比較

知能指数 vs. タスクあたりのコスト

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト(USD)

最も魅力的な象限

パレート線

タスクあたりの知能指数コスト

知能指数タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能指数で加重されます。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2 は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1 を含みます。各評価の詳細と実行方法については、知能指数方法論を参照してください。

トークン使用量

知能指数タスクあたりの出力トークン

Artificial Analysis Intelligence Index のタスク1つあたりの加重平均出力トークン数

公開されているAPIはありません

知能指数タスクあたりの出力トークン

知能指数タスクあたりに必要なトークン数。これは、評価ごとの出力トークン数に知能指数における各ベンチマークの相対的な重みを掛け、タスク数(繰り返しを除く)で割って計算されます。

コスト

タスクあたりの知能指数コスト

知能指数タスクあたりの加重平均コスト(USD) · トークンタイプ別 · 低いほど良い

タスクあたりの知能指数コスト

知能指数タスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、知能指数で加重されます。

Artificial Analysis Intelligence Index 実行コスト

Artificial Analysis Intelligence Index の全評価を実行するためのコスト(USD)

Artificial Analysis Intelligence Index 実行コスト

Artificial Analysis Intelligence Index の評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数(繰り返しを除く)を使用して計算されます。

価格:キャッシュヒット、入力、および出力

価格(USD/M トークン)

キャッシュヒット

キャッシュされたプロンプト(以前に処理された)のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。ここではキャッシュヒット価格を示します。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格」を参照してください。

コンテキストウィンドウ

コンテキストウィンドウ

コンテキストウィンドウ:トークン制限 · 高いほど良い

公開されているAPIはありません

RAG(Retrieval Augmented Generation)のためのコンテキストウィンドウ

より大きなコンテキストウィンドウは、通常、大量のデータの推論と情報検索を伴う RAG (Retrieval Augmented Generation) LLM ワークフローに関連します。

コンテキストウィンドウ

入力と出力トークンの合計の最大数。出力トークンは、モデルによって異なる、通常は大幅に低い制限があります。

速度

出力速度(トークン/秒)で測定

出力速度

出力トークン/秒 · 高いほど良い

出力速度

モデルがトークンを生成している間に受信したトークン数(つまり、ストリーミングをサポートするモデルの場合、最初のチャンクがAPIから受信された後)。

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが利用できない場合のプロバイダー間のメディアンを表します。

知能指数タスクあたりの時間

知能指数タスクあたりの加重平均デコード時間(分) · TTFT(Time To First Token)とオーバーヘッド時間は除く · 低いほど良い

知能指数タスクあたりの時間

Artificial Analysis Intelligence Index タスクあたりの加重平均時間(秒)。これは、タスクあたりの出力トークン数を出力速度で割り、知能指数における各ベンチマークの相対的な重みを掛けて計算されます。

レイテンシ

初回トークン受信までの時間(秒)で測定

レイテンシ:初回回答トークンまでの時間

初回回答トークン受信までの秒数 · 推論モデルの「思考」時間を含む

初回回答トークンまでの時間

APIリクエスト送信後、初回回答トークン受信までの時間(秒)。推論モデルの場合、これはモデルが回答を提供する前の「思考」時間を含みます。ストリーミングをサポートしないモデルの場合、完了を受信するまでの時間を表します。

エンドツーエンド応答時間

500トークン出力までの時間。初回トークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

エンドツーエンド応答時間

500トークン出力までの時間(推論モデルの「思考」時間を含む) · 低いほど良い

エンドツーエンド応答時間

500トークン応答を受信するまでの時間。主要な構成要素:

  • 入力時間:最初の応答トークンを受信するまでの時間
  • 思考時間(推論モデルのみ):推論モデルが回答を提供する前に推論のためにトークンを出力するのに費やす時間。トークン数は、60個の多様なプロンプトセットにわたる平均推論トーク数に基づきます(方法論詳細)。
  • 回答時間:出力速度に基づいた500出力トークンを生成するまでの時間。

モデルパフォーマンスの表現

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが利用できない場合のプロバイダー間のメディアンを表します。