Kimi K3: AA-BriefcaseベンチマークでFable 5に次ぐ第2位
Kimi K3: second only to Fable 5 on AA-Briefcase (artificialanalysis.ai)
要約
Artificial Analysisは、エージェント型知識作業ベンチマーク「AA-Briefcase」の最新結果を発表し、Moonshot AIのKimi K3モデルがClaude Fable 5に次いで2位となったことを明らかにしました。Kimi K3は前世代から大幅に性能を向上させましたが、タスクあたりの実行コストと時間が Opus 4.8 や GPT-5.5 と比較して高くなる傾向があることが指摘されています。特に、プレゼンテーション品質は相対的に弱く、タスク完了までに平均1時間近くかかることが課題として挙げられています。
全文翻訳
Kimi K3: AA-BriefcaseでFable 5に次ぐ2位
Kimi K3はAA-Briefcase、当社のエージェント型ナレッジワークベンチマークにおいてFable 5に次ぐスコアですが、Opus 4.8よりも高コストで、タスクあたり平均1時間近くかかります
先週、Kimi(Moonshot AI)は、Artificial Analysis Intelligence Indexで57を記録した2.8兆パラメータモデルであるKimi K3をリリースしました。これはOpus 4.8やGPT-5.5といったモデルに匹敵するスコアです。AA-Briefcaseでは、Kimi K3はElo 1543を記録し、Kimi K2.6から+727の改善となり、記録されたスコアの中でFable 5(1574)に次ぐ2番目の高さです。
AA-Briefcaseは、当社の新しい独自のエージェント型ナレッジワークベンチマークであり、数千もの複雑な入力ファイルにわたる現実的なタスクの完全にプライベートなデータセットでモデルをテストします。タスクはスプレッドシート、プレゼンテーション、UIモックアップなどの成果物を要求し、パフォーマンスは正確性、分析品質、プレゼンテーション品質に基づいて単一のAA-Briefcase Eloに統合されます。
[画像: Kimi K3のAA-Briefcaseにおける主要な結果]
➤ AA-BriefcaseでFable 5に次ぐ2位: Kimi K3はAA-Briefcase Elo 1543を達成し、これは全体で2番目に高いスコアであり、GPT-5.6 Sol(最大1501)、Claude Sonnet 5(最大1388)、Claude Opus 4.8(最大1347)を上回ります。これは、前世代のKimi K2.6(816)からの+727の改善であり、Kimi K3はFable 5に次ぐ位置につけています。
[画像: AA-BriefcaseのEloスコア比較]
➤ 強力な客観的・分析的パフォーマンス、比較的弱いプレゼンテーション: Kimi K3は51%のルーブリック合格率を達成し、Claude Fable 5(56%)に次ぐ2位で、Claude Sonnet 5(最大42.3%)やGPT-5.6 Sol(最大41.8%)を上回っています。また、分析品質Eloは1754を記録し、Claude Fable 5(1744)に匹敵します。プレゼンテーション品質は比較的弱く、プレゼンテーションEloは1471で、GPT-5.6 Sol(最大1660)やClaude Opus 4.8(最大1492)を下回っています。
[画像: AA-Briefcaseにおけるルーブリック合格率とプレゼンテーション品質の比較]
➤ タスクあたりのコストが約10倍に増加: Kimi K3はタスクあたり平均10.57ドルのコストがかかり、AA-Briefcaseで実行する最も高価なモデルの1つとなっています。これは、モデルのトークン価格、出力トークンの増加、およびタスクあたり平均83ターン(Claude Fable 5の67ターン、GPT-5.6 Sol(最大)の50ターンと比較して)という比較的高いターン数使用率によるものです。Kimi K3の価格は、100万入力/出力トークンあたり3ドル/15ドルで、キャッシュされたトークンには90%の割引があります。
[画像: タスクあたりのコスト比較]
➤ タスクあたり平均1時間近くかかる: Kimi K3のAA-Briefcaseタスクあたりの平均時間は56.4分です。これは、ターン数の多さ、出力トークン使用量の増加、および第一者のKimi APIを使用した際の速度低下によるものです。Kimi K3はタスクあたり120kの出力トークンと83ターンを使用しますが、Kimi K2.6では42kの出力トークンと54ターンでした。このタスクあたりの平均時間は、AA-Briefcaseで記録された最も長い時間の1つであり、Claude Fable 5の約2.5倍、Grok 4.5(高)の約3.8倍です。
AA-Briefcaseの全結果については、https://artificialanalysis.ai/evaluations/aa-briefcase を参照してください。