AI・機械学習

Claude Fable 5.2、Artificial Analysisで65点を獲得、これまでの最高スコア

Claude Fable 5.2 Scores 65 on Artificial Analysis, Highest So Far (artificialanalysis.ai)

338 pointsby theanonymousone2026年11月10日244 コメント

要約

Claude Fable 5.2がArtificial Analysisのインテリジェンスインデックスで65点を獲得し、これまでの最高スコアを記録しました。この記事では、インテリジェンス、能力、コスト、パフォーマンスなどの様々な評価指標について詳細に分析しています。

全文翻訳

Claude Fable 5.2 (Max, Default Fallback) 知能、パフォーマンス、価格分析

知能 (Intelligence)

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v5.0.1 は、AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 (Hard Subset)、Terminal-Bench-Science 0.1 の9つの評価を含みます。

公開されているAPIはありません

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v5.0.1 には、AA-Briefcase v1.1、AutomationBench-AA、Terminal-Bench 4.0、FrontierCode 2.0、AA-Omniscience v1.1、GDP.pdf、HLE-Diamond、CritPt v2 (Hard Subset)、Terminal-Bench-Science 0.1 が含まれます。各評価の詳細と実行方法については、Intelligence Index methodology を参照してください。

Artificial Analysis Intelligence Index (オープンウェイト / プロプライエタリ別)

公開されているAPIはありません

Artificial Analysis Intelligence Index

オープンウェイト (Open Weights)

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは「Commercial Use Restricted」、ライセンスで商用利用が禁止されているモデルは「Non-commercial」と表示されます。

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Index タスクあたりの加重平均コスト (USD)

最も魅力的な象限

パレート線

タスクあたりの知能指数コスト

インテリジェンスインデックスタスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、インテリジェンスインデックスの重みで加重されます。

Artificial Analysis Intelligence Index

Capability Indexes (能力インデックス)

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません

Evaluations (評価)

Artificial Analysis によって個別に測定された評価 · AA-PersonalityBench スコアは1から100のパーセンタイルランクです。

公開されているAPIはありません

知識

1 - ハルシネーション率

ターミナルでのエージェント型科学研究ワークフロー

オープンソースリポジトリでのエージェント型ソフトウェアエンジニアリング

推論と知識

GDP.pdf

プロフェッショナル文書推論、全パス

法的エージェント業務、ハルシネーション制限全パス率

エージェント型インタラクティブ3D体験、Elo

コードで設計された製品およびブランドビデオ、Elo

医療分野の長文コンテキスト推論

豊かで多様な、よく練られた言語

構造化され、スキャン可能で、回答が先頭にある

真実を述べ、不確実性を認め、迎合しない

フィラーや一般的な言語の使用

Intelligence Evaluation Relevance (知能評価の関連性)

モデルの知能は一般的にユースケース全体に翻訳されますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

AA-Briefcase v1.1

AA-Briefcase Elo

AA-Briefcase v1.1 は、Artificial Analysis によって開発されたエージェント型知識ワークベンチマークです。AA-Briefcase Elo は、ルーブリックの合格率、分析品質 Elo、プレゼンテーション Elo を集計した複合指標です · 高いほど良い

公開されているAPIはありません

AA-Briefcase Elo

AA-Briefcase Elo は、分析品質 Elo、プレゼンテーション Elo、ルーブリック合格率を統合した複合指標であり、ルーブリックのパフォーマンスは合成的なヘッドツーヘッドマッチを通じて Elo に変換されます。Elo と 95% 信頼区間は 0 にクランプされます。

AA-Omniscience v1.1

AA-Omniscience Net Score

AA-Omniscience v1.1 Net Score (高いほど良い) は、知識の信頼性とハルシネーションを測定します。正解を報酬とし、ハルシネーションを罰し、回答を拒否することに対するペナルティはありません。スコアは -100 から 100 の範囲で、0 は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません

AA-Omniscience Net Score

Token Use (トークン使用量)

Output Tokens per Intelligence Index Task (インテリジェンスインデックスタスクあたりの出力トークン)

Artificial Analysis Intelligence Index のタスク1回あたりの加重平均出力トークン数。

公開されているAPIはありません

Output Tokens per Intelligence Index Task (インテリジェンスインデックスタスクあたりの出力トークン)

インテリジェンスインデックスタスクあたりに必要なトークン数。これは、各評価の出力トークン数にインテリジェンスインデックスにおける各ベンチマークの相対的な重みを掛け、タスク数 (繰り返しを除く) で割って計算されます。

Cost (コスト)

Cost per Intelligence Index Task (インテリジェンスインデックスタスクあたりのコスト)

インテリジェンスインデックスタスクあたりの加重平均コスト (USD) · トークンの種類別にセグメント化 · 低いほど良い

公開されているAPIはありません

Cost per Intelligence Index Task (インテリジェンスインデックスタスクあたりのコスト)

Cost to Run Artificial Analysis Intelligence Index (Artificial Analysis Intelligence Index を実行するためのコスト)

Artificial Analysis Intelligence Index の全評価を実行するためのコスト (USD)

公開されているAPIはありません

Cost to Run Artificial Analysis Intelligence Index (Artificial Analysis Intelligence Index を実行するためのコスト)

Artificial Analysis Intelligence Index の評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数 (繰り返しを除く) を使用して計算されます。

Pricing: Cache Hit, Input, and Output (価格: キャッシュヒット、入力、および出力)

価格 (USD / M トークン)

公開されているAPIはありません

Cache Hit (キャッシュヒット)

キャッシュされたプロンプト (以前に処理されたもの) のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。USD/百万トークンで表されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。詳細は「プロバイダー別のキャッシュ価格」を参照してください。

Context Window (コンテキストウィンドウ)

コンテキストウィンドウ: トークン制限 · 高いほど良い

公開されているAPIはありません

Context Window for RAG (RAG 用コンテキストウィンドウ)

より大きなコンテキストウィンドウは、通常、大量のデータに対する推論と情報検索を伴う RAG (Retrieval Augmented Generation) LLM ワークフローに関連します。

Context Window (コンテキストウィンドウ)

入力と出力トークンの合計の最大数。出力トークンは通常、大幅に低い制限があります (モデルによって異なります)。

Performance (パフォーマンス)

タスクあたりの時間 (分)、出力速度 (トークン/秒)、最初の回答トークンまでの時間、および最初のトークンまでの時間 (秒) で測定されます。

Time per Intelligence Index Task (インテリジェンスインデックスタスクあたりの時間)

出力トークンをエンドツーエンドの出力速度 (インテリジェンスインデックスタスクあたり分) で割った値 · モデル自身のエンドポイントでの速度、またはプロバイダー間のメディアン · 低いほど良い

公開されているAPIはありません

Time per Intelligence Index Task (インテリジェンスインデックスタスクあたりの時間)

Artificial Analysis Intelligence Index タスクあたりの加重平均時間 (分): タスクあたりの出力トークンを、インテリジェンスインデックスにおける各ベンチマークの重みで加重された出力速度で割った値。

Time Period (期間)

速度とレイテンシのメトリクスは、各エンドポイントの実行を過去5日間で平均し、エラー率はそれらをプールします。ベンチマークは6時間ごとに実行され、非推奨モデルのエンドポイントは18時間ごとに実行されます。

Output Speed (出力速度)

出力トークンを総リクエスト時間 (最初のトークンまでの時間を含む) で割った値 · 高いほど良い

公開されているAPIはありません

End-to-End Output Speed (エンドツーエンド出力速度)

リクエストの送信から最終トークンの受信までの全期間における、1秒あたりに受信された出力トークン数 (推論トークンを含む)。ヘッドライン値は、過去5日間の各 Performance v3 ワークロードを平均し、その後ワークロードを平均したものです。

Time to First Answer Token (最初の回答トークンまでの時間)

受信した最初の回答トークンまでの秒数 · 推論モデルの「思考」時間を考慮

公開されているAPIはありません

Time to First Answer Token (最初の回答トークンまでの時間)

APIリクエスト送信後、受信した最初の回答トークンまでの時間 (秒)。推論モデルの場合、これには回答を提供する前のモデルの「思考」時間が含まれます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。