AI・機械学習

Kimi K3.1がArtificial Analysisで55点を獲得、パレート線上に位置付けられる

Kimi K3.1 scores 55 on Artificial Analysis, placed on the Pareto line (artificialanalysis.ai)

89 pointsby theanonymousone2026年10月24日13 コメント

要約

Artificial Analysisによる最新の評価で、Kimi K3.1モデルが総合知能指数で55点を記録し、コストパフォーマンスの観点からパレート線上に位置付けられました。この評価は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AAなど10の異なる評価項目に基づいており、モデルの知能、性能、価格のバランスを示しています。APIは公開されていませんが、その性能は注目に値します。

全文翻訳

Kimi K3.1 Proの知能、性能、価格分析

知能

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2は、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1の10の評価項目を組み込んでいます。

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Index v4.3.2には、AA-Briefcase v1.1、GDPval-AA v2.1、AutomationBench-AA、Terminal-Bench 4.0、SciCode、Humanity's Last Exam、GDP.pdf、CritPt、AA-Omniscience、AA-LCR v1.1が含まれます。各評価の詳細と実行方法については、Intelligence Index methodologyを参照してください。

Artificial Analysis Intelligence Index by Open Weights / Proprietary

公開されているAPIはありません。

Artificial Analysis Intelligence Index

Open Weights

モデルのウェイトが利用可能かどうかを示します。商用利用が条件付きで制限されているモデルは「Commercial Use Restricted」、ライセンスで商用利用が禁止されているモデルは「Non-commercial」と表示されます。

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Indexタスクあたりの加重平均コスト（USD）

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Intelligence Indexタスクあたりの加重平均コスト。各評価のコストは、入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格から計算され、タスク数で割られ、Intelligence Indexの重みで加重されます。

Artificial Analysis Intelligence Index

Capability Indexes

特定の能力や業界におけるモデルのパフォーマンスを測定します。

公開されているAPIはありません。

Evaluations

Artificial Analysisによって個別に測定された評価 · AA-PersonalityBenchスコアは1から100のパーセンタイルランクです。

公開されているAPIはありません。

GDP.pdf

プロフェッショナルな文書推論、オールパス

コーディング

ターミナルでのエージェント型科学研究ワークフロー

オープンソースリポジトリでのエージェント型ソフトウェアエンジニアリング

法的エージェント業務、幻覚（Hallucination）抑制オールパス率

エージェント型インタラクティブ3D体験、Elo

医療分野における長文コンテキスト推論

豊かで多様、かつ巧みに作られた言語

構造化され、スキャン可能で、回答が最初に提示される

真実性が高く、不確実性を認め、迎合しない

フィラー（つなぎ言葉）や一般的な言語の使用

Intelligence Evaluation Relevance

モデルの知能は一般的にユースケース全体にわたって転移しますが、特定の評価は特定のユースケースにより関連性が高い場合があります。

Artificial Analysis Intelligence Index

AA-Briefcase v1.1

AA-Briefcase Elo

AA-Briefcase v1.1は、Artificial Analysisが開発したエージェント型ナレッジワークベンチマークです。AA-Briefcase Eloは、ルーブリックの合格率、分析品質Elo、プレゼンテーションEloを統合した複合指標です。高いほど良いです。

公開されているAPIはありません。

AA-Briefcase Elo

AA-Briefcase Eloは、分析品質Elo、プレゼンテーションElo、ルーブリック合格率を統合した複合指標であり、ルーブリックのパフォーマンスは合成的な直接対決を通じてEloに変換されます。Eloと95%信頼区間は0にクランプされます。

AA-Omniscience

AA-Omniscience Index

AA-Omniscience Index（高いほど良い）は、知識の信頼性と幻覚（hallucination）を測定します。正解を報酬とし、幻覚を罰し、回答を拒否することにペナルティはありません。スコアは-100から100の範囲で、0は正解と不正解が同数であることを意味し、負のスコアは不正解が多いことを意味します。

公開されているAPIはありません。

AA-Omniscience Index

Intelligence Index Comparisons

Intelligence Index vs. Cost per Task

Artificial Analysis Intelligence Index · Artificial Analysis Intelligence Indexタスクあたりの加重平均コスト（USD）

最も魅力的な象限

パレート線

Cost per Intelligence Index Task

Artificial Analysis Intelligence Index

Token Use

Output Tokens per Intelligence Index Task

Artificial Analysis Intelligence Indexのタスクあたり平均出力トークン数。

公開されているAPIはありません。

Output Tokens per Intelligence Index Task

Intelligence Indexタスクあたりに必要なトークン数。これは、評価ごとの出力トークン数にIntelligence Indexにおける各ベンチマークの相対的な重みを掛け、タスク数（繰り返しを除く）で割ることで計算されます。

Cost

Cost per Intelligence Index Task

Intelligence Indexタスクあたりの加重平均コスト（USD） · トークンタイプ別 · 低いほど良い

Cost per Intelligence Index Task

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Indexの全評価を実行するためのコスト（USD）。

Cost to Run Artificial Analysis Intelligence Index

Artificial Analysis Intelligence Indexの評価を実行するためのコスト。モデルの入力、キャッシュヒット、キャッシュ書き込み、推論、回答トークンの価格と、評価全体で使用されるトークン数（繰り返しを除く）を使用して計算されます。

Pricing: Cache Hit, Input, and Output

価格（USD/M Tokens）

Cache Hit

キャッシュされたプロンプト（以前に処理されたもの）のトークンあたりの価格。通常、通常の入力価格と比較して大幅な割引が提供されます。百万トークンあたりのUSDで表示されます。ここに表示される値はキャッシュヒット価格です。キャッシュ書き込みとキャッシュストレージは別途請求され、プロバイダーによって異なります。「プロバイダー別のキャッシュ価格」を参照してください。

Context Window

コンテキストウィンドウ：トークン制限 · 高いほど良い

公開されているAPIはありません。

Context Window for RAG

より大きなコンテキストウィンドウは、通常、大量のデータの推論と情報検索を伴うRAG（Retrieval Augmented Generation）LLMワークフローに関連します。

Context Window

入力と出力トークンの合計の最大数。出力トークンは通常、モデルによって大きく異なる、より低い制限があります。

Speed

出力速度（トークン/秒）で測定

Output Speed

出力トークン/秒 · 高いほど良い

Output Speed

モデルがトークンを生成している間に受信されるトークン/秒（つまり、ストリーミングをサポートするモデルの場合、最初のチャンクがAPIから受信された後）。

Model Performance Representation

数値は、モデルのファーストパーティAPIのパフォーマンス、またはファーストパーティAPIが利用できない場合のプロバイダー間のメディアンを表します。

Time per Intelligence Index Task

Intelligence Indexタスクあたりの加重平均デコード時間（分） · TTFTとオーバーヘッド時間は除く · 低いほど良い

Time per Intelligence Index Task

Artificial Analysis Intelligence Indexタスクあたりの加重平均時間（秒）。これは、タスクあたりの出力トークンを出力速度で割り、Intelligence Indexにおける各ベンチマークの相対的な重みで加重することで計算されます。

Latency

最初のトークンまでの時間（秒）で測定

Latency: Time To First Answer Token

最初の回答トークン受信までの秒数 · 推論モデルの「思考」時間を含む

Time to First Answer Token

APIリクエスト送信後、最初の回答トークンを受信するまでの時間（秒）。推論モデルの場合、これは回答を提供する前にモデルが「思考」に費やす時間を含みます。ストリーミングをサポートしないモデルの場合、これは完了を受信するまでの時間を表します。

End-to-End Response Time

500トークンを出力するまでの時間。最初のトークンまでの時間、推論モデルの「思考」時間、および出力速度に基づいて計算されます。

End-to-End Response Time

500トークンを出力するまでの時間。推論モデルの「思考」時間を含む · 低いほど良い

End-to-End Response Time

500トークンの応答を受信するまでの時間。主な構成要素：

入力時間：最初の応答トークンを受信するまでの時間
思考時間（推論モデルのみ）：推論モデルが回答を提供する前に推論に費やす時間。トークン数は、60個の多様なプロンプトにわたる平均推論トーク数に基づいています（methodology details）。
回答時間：出力速度に基づいた500出力トークンを生成するまでの時間。

Model Performance Representation