Kimi K3.1 Pro
要約
Kimi.aiは、100万トークンのコンテキストウィンドウを持つ最先端の3Tクラスオープンウェイトモデル「Kimi K3.1 Pro」を発表しました。このモデルは、コーディング、3D作成、金融リサーチなどの分野で大幅な性能向上を実現しています。また、応答性を向上させた「Kimi K3.1 Pro Highspeed」も同時にリリースされました。
全文翻訳
Kimi K3.1 Pro
私たちは、新しいK3.1シリーズの最初のモデルであり、これまでの3Tクラスのオープンウェイトモデルの中で最も高性能な「Kimi K3.1 Pro」を発表します。このモデルは、100万トークンのコンテキストウィンドウを備え、コーディング、3D作成、金融リサーチ、その他のエージェント的な能力において大幅な改善をもたらします。
また、より応答性の高いインタラクションのために、K3.1 Proの2〜3倍の速度を提供する「Kimi K3.1 Pro Highspeed」もリリースします。
Kimi K3.1 ProとKimi K3.1 Pro Highspeedは、本日よりKimi.ai、Kimi Work、Kimi Code、およびKimi APIで利用可能です。モデルの完全なウェイトは11月4日までに公開されます。
[画像: 14のコーディング、科学、ナレッジワーク評価におけるKimi K3.1 Proと競合モデルのベンチマーク結果]
オープンインテリジェンスのフロンティアを前進させる
Kimi K3.1 Proは、Kimi K3のポストトレーニング版であり、大幅に増加したポストトレーニングコンピュートを備えています。数百のダウンストリームドメインにわたる大規模な共同RL(強化学習)を可能にするため、スタックのすべてのレイヤー(RLフレームワーク、ロングコンテキスト推論、トレーニング効率、サンドボックスインフラストラクチャ、ロールアウトスケジューリング、環境品質チェックのための共有プラットフォーム)を最適化しました。これにより、RLコンピュートの各インクリメントが安定した予測可能なリターンをもたらします。その結果、K3.1 Proはすべてのドメインで一貫した改善を達成しています。
コーディング、エージェント、ナレッジベンチマーク全体で、K3.1 Proは最も強力なプロプライエタリモデルと同等またはそれに近づく性能を示します。Terminal-Bench 4.0(厳密なタスク固有テストを使用して、現実的でリソース制約のあるターミナルタスクでコーディングエージェントを評価)では、K3.1 Proは65.7%を記録し、GPT-6 Astra(58.2%)を上回り、Claude Opus 5.5(66.4%)に僅かに及ばない結果となりました。また、多様なエンジニアリングドメインにおけるコーディングエージェントのマルチステップ実行、ツール使用、エンドツーエンドの問題解決をテストする当社の内部ベンチマークであるKimi Code Bench 3.0 Long-horizonでは、K3.1 Proは61.2%を記録し、K3の55.95%を上回りました。
コーディング
K3.1 Proは、実際のコードベースでの迅速な修正からプロジェクト全体の構築まで、コーディングワークの全範囲をカバーします。また、ゲームやWebエクスペリエンスに、より洗練されたビジュアルスタイルをもたらし、適切なツールでそれらを構築する方法を知っています。
K3.1 Proは、Unity、Unreal Engine、Godotなどのゲームエンジンで効果的に機能し、Web検索や3D生成と組み合わせて完全なエクスペリエンスを作成します。そのフロントエンドページ、インタラクティブなThree.jsシーン、3Dアセットは、より強力な構成、タイポグラフィ、アニメーション、および洗練された仕上がりを示しています。以下の例は、K3.1 Proによってエンドツーエンドで作成されたものです。
K3.1 Proのロングホライゾンコーディング能力は、大規模な強化学習によっても強化されています。 ある内部テストでは、296の骨格コンポーネント(軟骨を含む)と402の筋肉コンポーネントで構成されるオープンソースの人体解剖モデルであるhuman-atlasの上に、統合されたトレーニングおよび評価パイプラインを備えた人間の歩行ダイナミクスシミュレーターを構築しました。167のミッションと420の独立したレビューを通じて、実験結果を分析し、問題を診断し、歩行コントローラーを繰り返し改良することで、シミュレートされた人間が数秒で崩壊するところから、交互のストライドで11.2秒間連続して歩けるようになりました。報酬形成が腕の動きを改善できなかった場合、K3.1 Proは単に報酬を調整し続けるのではなく、シミュレーターのダイナミクスをオープンループでプローブし、肩筋モーメントアーム計算における36のエラーを特定して修正し、その後コントローラーを再トレーニングしました。
3Dモデリングとデザイン
K3.1 Proは、3D作成と空間推論に優れています。 マルチビューレンダリングからCADコード生成による3D再構築をテストするBenchCADでは、K3.1 Proはツール使用時に92.7%を記録し、Claude Opus 5.5(96.2%)やGPT-6 Astra(95.9%)のパフォーマンスに迫っています。テキストの指示、スケッチ、または参照画像から、形状、プロポーション、空間関係を推測して、使用可能な3Dモデルを作成できます。また、既存のアセットライブラリやモデルコレクションに対する理解も深まっています。
[画像: BenchCADの結果(1,000ファイルサブセット、Voxel IoU):ツール使用時、Claude Opus 5.5は96.2、GPT-6 Astraは95.9、Kimi K3.1 Proは92.7、Claude Fable 5.1は92.6、DeepSeek-V4.1-Flash-1017は81.6を記録。ツール不使用時、Claude Opus 5.5は73.0、Kimi K3.1 Proは72.8、Claude Fable 5.1は60.6、DeepSeek-V4.1-Flash-1017は41.2を記録]
K3.1 Proは、機械部品、建築モデル、設定可能な製品、カスタム家具に至るまで、パラメトリックモデリングに特に優れています。 MCPコネクタなしで、BlenderやCADソフトウェアなどのツール用のスクリプトを作成・実行してアセットを構築・改良し、コンポーネントを編集し、ジオメトリ、マテリアル、シーンレイアウトを調整できます。
以下は、K3.1 Proがブランドフィルム、ゲーム、インタラクティブWebエクスペリエンスのために作成した3Dアセットの例です。
3D Makeは現在kimi.aiおよびKimiアプリで利用可能です。オンラインで3Dモデルをプレビュー・編集し、3Dプリント用に準備された状態でダウンロードしたり、ビデオやLive Photosとしてエクスポートしてどこでも共有したりできます。
[画像: kimi.com上のKimi 3D Makeインターフェース。アイデアを3Dモデルに変換するためのプロンプトボックスと、パゴダ、タイプライター、ジェットエンジンなどの注目のテンプレートが表示されている]
金融
より強力な推論能力とエージェント能力により、K3.1 Proは完全な金融ワークフローのエンドツーエンド配信を可能にします。K3.1 Proは、OfficeQA Pro v2(64.4)で最先端の結果を達成しました。 これは、検索、クロスドキュメント検証、マルチステップ数値推論を通じて、実際の金融ドキュメントに対する複雑な財政データ分析をテストするものです。K3.1 Proは、スクリーニングから収益性分析までの完全な投資ワークフローのサポートを測定するFrontier FinanceでもK3を上回っています。
[画像: OfficeQA Pro v2とFrontier Financeの金融ベンチマーク結果。Kimi K3.1 ProはOfficeQA Pro v2で64.4を記録し、Frontier FinanceではClaude、GPT、GLM、DeepSeekモデルに対して58.6を記録]
K3.1 Proは、当社のすべての内部金融ベンチマークでも大幅に改善しています。
- Financial Modeling(財務モデリング):実際のモデリングタスクにおける数式リンク、財務ロジック、最終的なワークブックの品質を評価します。K3.1 ProはK3と比較して7.2ポイント改善しました。
- Financial Research(財務リサーチ):モデルが証拠とカットオフ制約の下で監査可能なリサーチを生成できるかを評価します。K3.1 ProはK3と比較して11.6ポイント改善しました。
- Business Operation(ビジネスオペレーション):シミュレートされたビジネス環境でのロングホライゾン管理と意思決定を評価します。K3.1 ProはK3の約4.2倍のパフォーマンスを達成しました。
[画像: 内部金融ベンチマーク:Kimi K3.1 Pro対K3(内部財務モデリング:57.6 vs 50.4、内部財務リサーチ:70.4 vs 58.8、内部ビジネスオペレーション:37 vs 8.9)]
金融分析と投資リサーチは、高いレベルの事実精度を要求します。これに対処するため、K3.1 Proの実際のタスクおよび挑戦的なプロンプトに対する事実精度に的を絞った改善を行いました。Kimi Hallu Bench Hardベンチマーク(事実精度をテストするために設計された内部ベンチマーク)では、K3の23.4%だった主張レベルの幻覚率は8.3%に低下し、少なくとも1つの事実誤りを含む応答の割合は、前モデルのレートのわずか42.4%でした。(この評価は事実精度のストレステストであり、モデルがエラーを起こしやすい状況を調査するために意図的に作成された例が含まれています。報告されたレートは、日常使用における全体的なエラーレートを表すものではありません。)
[画像: Kimi Hallu Bench主張レベルの幻覚率(低いほど良い):ツール不使用時、GPT-6 Astra 4.2、Kimi K3.1 Pro 5.4、Opus 5.5 6.8、Fable 5.1 11.4、DeepSeek-V4.1-Flash-1017 13.1、GLM-5.3 14.8。ツール使用時(Hard)、GPT-6 Astra 5.5、Kimi K3.1 Pro 8.3、Opus 5.5 15.0、GLM-5.3 22.6、DeepSeek-V4.1-Flash-1017 23.3、Fable 5.1 23.3]
以下のケースは、K3.1 Proが実際に金融モデリング、投資分析、ソースに基づいたリサーチをどのように処理するかを示しています。
サイバーセキュリティ
K3.1 Proの能力が向上するにつれて、サイバー能力がどこから来るのか、そしてそれをどれだけ制御できるかを理解するために、相応に多くの労力を費やしました。そのため、K3.1 Proの脆弱性リサーチ能力を分析・評価し、一般的な有用性を維持しながら、潜在的な誤用リスクを低減するためにトレーニング中に的を絞った制御を適用しました。
サイバー関連データの特定と削除。 開発中、ポストトレーニングがスケールするにつれて脆弱性リサーチのパフォーマンスが着実に向上することを確認しました。この傾向の原因を追跡したところ、サイバー関連のコンテンツが一般的なミッドトレーニングコーパス内に埋め込まれており、サイバー関連タスクがRL環境ミックスに存在することを発見しました。これは、広範なデータでのトレーニングの自然な副産物です。内部モデルでの予備実験では、ミッドトレーニングまたはRLステージのいずれかでデータが削除されない場合、ダウンストリームのサイバー能力が大幅に増加することを発見しました。これらの発見は、制御のための具体的なレバーを提供してくれました。K3.1 Proのオープンウェイトリリースに向けて、モデルの有用性に必要な一般的なコーディングタスクを維持しながら、両方のトレーニングステージからサイバー関連データを特定し、削除しました。今後も、サイバー関連データの特定と制限を例として、すべてのトレーニングステージで適切な制御を適用していきます。
評価と結果。 データクリーニング後、Linuxカーネル、Node.js、JavaScriptCore、Exim、VirGLなどのソフトウェアで最近開示された脆弱性の再現を含む、現在の能力レベルで意味のある差別化を提供するように調整された、専門家がキュレーションしたソースコードベースの脆弱性発見とエクスプロイトタスクの社内ベンチマークであるxdev-bench-hardでK3.1 Proを評価しました。各タスクは、脆弱なソースコード、短いバグヒント、および対応するバイナリを提供します。エージェントは、エクスプロイトを開発し、別のサンドボックスで任意のコード実行を達成し、自動検証のために秘密文字列を取得する必要があります。ランダムな実行サブセットに対するpass@3を報告します。ハードタイムアウトや出力トークン制限はありません。
[画像: 内部xdev-bench-hard(pass@3)の結果:GPT-5.6 Sol(サードパーティ評価)は100問題を解決、Kimiモデル(サイバーリスク削減なし)は90.5、DeepSeek-V4.1-Flashは85.7、Kimi K3.1 Proは81.0、GLM-5.3は57.1、Kimi K3は33.3。各モデルの平均成功率と平均トークン/成功軌跡も表示]
xdev-bench-hardでは、これらのリスク削減策(ミッドトレーニングでのサイバー関連データ削除なし、RL環境フィルタリングなし)を適用しないチェックポイントはpass@3で問題の90.5%を解決しますが、最終的なK3.1 Proは81.0%に達します。この比較は、データ削除が、同じトレーニングパイプラインがそうでなければ生成するであろうものと比較して、サイバー能力を有意に低下させることを示しています。同時に、K3.1 Proは前モデルから大幅に改善しており、ターゲットを絞ったデータ削除後も、より強力な一般的なコーディングおよびロングホライゾンデバッグ能力がサイバータスクに汎化していることを示唆しています。K3.1 Proのサイバー能力は、少なくとも3ヶ月間公開されている最先端のプロプライエタリモデルの後塵を拝しています。モデルの能力が進歩し続けるにつれて、評価が有益であり続けるように、内部ベンチマークを進化させ続けます。
オープンウェイトの原則。 これらの評価は、オープンウェイトリリース決定の枠組みとなります。第一に、サイバー能力の絶対的なフロンティアを拡張するようなオープンウェイトをリリースしないことを目指しています。K3.1 Proのオフェンシブサイバー能力は、設計上、当社のパイプラインが生成できる能力よりも低く、最先端のプロプライエタリモデルの後塵を拝しています。第二に、オープンウェイトで利用可能なサイバー能力を段階的に向上させる意図があります。能力の高いモデルがオープンであり、ユーザーが制御するインフラストラクチャ上で実行されると、より多くのチームが、保守しているコード(特にセキュリティレビューがほとんど行われないレガシーシステムを含む)を監査する手段を得られます。この能力が少数のプロプライエタリシステムに集中するのではなく、徐々に拡散することで、最終的にすべてのソフトウェアがより安全になると信じています。
利用可能性
Kimi K3.1 Proは本日、Kimi製品ファミリー全体で展開されます。すなわち、Kimi.aiおよびKimiモバイルアプリ、Kimi Work、Kimi Code、そしてKimi APIを通じて利用可能です。
モデルの完全なウェイトは2026年11月4日までにリリースされます。
Kimi Enterprise管理者は、組織でK3.1 Proを有効にできます。アクセスはローンチ時にはデフォルトでオフになっています。
各チャネルの詳細:
- Kimi Agents: iOS、Android、HarmonyOSで利用可能なモバイルアプリストアから最新のKimiアプリをダウンロードまたはアップデートするか、kimi.aiにアクセスしてください。
- Work with Kimi K3.1 Pro: WindowsおよびApple Silicon Macで利用可能な最新のKimi Workデスクトップアプリ(バージョン3.1.0以降)をダウンロードしてください。
- Code with Kimi K3.1 Pro: Kimi Codeを実行し、
/modelコマンドを使用してKimi K3.1 Proを選択してください。 - Build with the Kimi API: Kimi API Platformにアクセスし、
kimi-k3.1-pro/kimi-k3.1-pro-highspeedを選択してください。API顧客向けにゼロデータ保持が利用可能です。 - Bring Kimi to your organization: Kimi Businessは、エンタープライズグレードのデータプライバシーとメンバー管理を提供し、個人アカウントと組織アカウントを完全に分離します。価格ページにアクセスし、「Get Kimi Business」を選択してチームのサブスクリプションを購読してください。
ベンチマーク
注釈
特に指定がない限り、以下に報告されるすべてのKimi K3.1 Proの結果は、推論努力を「max」、温度を1.0、トップpを0.95に設定して取得されています。
コーディングベンチマーク
- Terminal-Bench 4.0。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。DeepSeek-V4.1-Flash-1017はリリースブログ(https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017)から取得されます。その他のスコアは、各モデルのブログ投稿または公式Terminal-Bench 4.0リーダーボード(https://www.tbench.ai/)で報告されている最大値です。
- Terminal-Bench Science 0.1。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。DeepSeek-V4.1-Flash-1017の社内評価では9.3を記録しましたが、古いバージョンであるDeepSeek-V4.1-Flashは公式Terminal-Bench Scienceで15.7を記録したため、ここでは15.7を報告します。その他のスコアは公式Terminal-Bench Scienceリーダーボード(https://www.terminal-bench-science.ai/)から取得されます。
- DeepSWE v1.1。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。すべてのスコアは、各モデルの技術レポートから取得されます。GPT-6 Astra(https://openai.com/index/gpt-6-astra/)。Claude Opus 5.5およびClaude Fable 5.1(https://www.anthropic.com/claude-opus-5-5-system-cardおよびhttps://www.anthropic.com/claude-fable-5-1-mythos-5-1-system-card);DeepSeek-V4.1-Flash-1017(https://api-docs.deepseek.com/news/news261017/);GLM-5.3(https://z.ai/blog/glm-5.3)。
- SWE-Marathon v1.1。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。DeepSeek-V4.1-Flash-1017はClaudeCodeハーネスで評価されます。その他のスコアは公式SWE-Marathonリーダーボード(https://www.swe-marathon.org/)から取得されます。
- PostTrainBench。Kimi K3.1 ProとDeepSeek-V4.1-Flash-1017は、H20 GPUではなくH100 GPUを使用して、Claude-Codeハーネスでv1.2で内部評価されました。安定した評価のため、すべてのジャッジモデルは最大努力設定でDeepSeek-V4.1-Flash-1017を使用し、これは公式GPT-5.6-Terra (xhigh) ジャッジとのテストで最も一致しました。その他のスコアは公式リーダーボード(https://posttrainbench.com/)から取得されます。
- ProgramBench(バイナリスコア)。生のProgramBenchスコアではなくバイナリスコアを報告します。ProgramBenchスコアが95%以上の場合、タスクは1点、それ以外は0点となります。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。DeepSeek-V4.1-Flash-1017およびGLM-5.3のスコアはリリースブログ(https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017)から取得されます。その他のスコアはVals ProgramBenchリーダーボード(https://www.vals.ai/benchmarks/programbench)から取得されます。
- 内部コーディングベンチマーク:Kimi Code Bench 2.0およびKimi Code Bench 3.0 Long-horizon。Kimi K3.1 ProはClaude-Codeハーネスで評価されます。その他のモデルは最大努力設定で評価されます。プロプライエタリモデルのテストには、一部フォールバック動作が含まれる場合があります。
- BenchCAD。オープンモデルは、Vision2Codeデータセット全体17,900ケースからランダムにサンプリングされた1,000ケースのサブセットで、最大推論努力で評価されます。ツール使用時の結果はClaude Codeハーネスを使用し、ツール不使用時の結果は公式BenchCADプロンプトとスコアリングパイプラインを使用したシングルショット生成を使用します。Claude Fable 5.1およびClaude Opus 5.5のスコアはClaude Opus 5.5 System Cardから取得されます。GPT‑6 Astraのツール使用時のスコアは、その公式レポートから取得されます。GPT‑6 Astraはツール不使用時のスコアを報告しておらず、「—」と表示されています。
エージェントベンチマーク
- BioMysteryBenchデータセットは公式v11リリースから取得され、Kimi K3がジャッジモデルとして使用されます。Kimi K3.1 ProはKimi Codeで、GLM-5.3とDeepSeek-V4.1-Flash-1017はClaude Codeで、GPT-6 AstraはCodexで評価されます。Claudeモデルのスコアは、公式システムカードから直接取得されます。
- Agents’ Last Examデータセットは公式v1.1リリースから取得され、86のCLIタスクを含む122のタスクで構成され、環境画像は公式Hugging Faceリリースと一致しています。また、タスクで要求されている分析をWiresharkで行う代わりにオンラインで参照回答を取得するなど、タスクの要件を回避した実行にはゼロスコアを割り当てます。DeepSeekとKimiはそれぞれClaude CodeとKimi Codeを使用して評価されます。その他の結果は公式ベンチマークウェブサイトから取得されます。
- OfficeQA Pro、OfficeQA Pro v2。GPT-6 AstraはCodexで評価され、その他のモデルはすべてClaude Codeで評価されます。各タスクでは、エージェントにPDFコーパス全体が提供され、すべてのPDFは画像としてレンダリングされ、機械可読テキストは利用できません。一部の外部モデルの実行では、オンラインで参照回答を取得するインスタンスが観察されたため、これらのタスクにはゼロスコアを割り当てました。
- Frontier Financeは、公式の金融エージェントv2ハーネスで評価されます。
- HANDBOOK.mdは、OpenHands上に構築された公式ハーネスで評価され、評価タスクはベンチマークの初期オープンソースv1リリースから取得されます。
- Harvey Legal Agentは、Artificial AnalysisのStirrupハーネスを使用して1,251タスクの公開データセットで評価され、パフォーマンスはオールパス率(つまり、すべてのルーブリック基準をパスしたタスクの割合)として報告されます。
- OSWorld V2.1は、公式OSWorld v2リポジトリのKimi Agentハーネスで評価され、GPT-6 AstraのスコアはMuse Wonderの技術レポートから取得されます。
- DECK-Arenaは、実際のクエリに対するプレゼンテーション生成を評価し、Design Benchは直接および参照画像による少数ショットプロンプトによるグラフィックデザインをカバーします。どちらも、Python-pptx、pptxjs、およびKimiの社内DSLを、統合された検索と画像生成を備えたハーネスで実行し、10,000以上の人間の判断に基づいて調整された自動グレーダーを使用します。
- MCP Atlas。すべてのモデルは、Gemini 3.1 Proをジャッジとして使用し、100ターンの制限付きで500タスクの公開サブセットで評価されます。
- BrowseComp。Claudeモデルカードで使用されているコンテキスト圧縮戦略を採用し、200Kトークンでトリガーします。最大500ステップを許可します。この制限に達する前にタスクが完了しない場合、エージェントに回答の提供を強制し、それをジャッジします。すべてのBrowseComp実行は、温度=1.0、トップp=1.0で行われます。
- GDPval-AA v2.1、AA-Briefcase v1.1、AutomationBench-AAのスコアはhttps://artificialanalysis.ai/から引用されています。Apex Agentsのスコアはhttps://www.mercor.com/apex/apex-agents-leaderboard/から引用されています。
- GDP.pdf w/ python、ZeroBench w/ python、ChartoGraphy w/ pythonは5回の実行で平均されます。その他のマルチモーダルベンチマーク(w/ python)は4回の実行で平均されます。GDP.pdf w/ pythonの場合:各元のPDFファイルはサンドボックスに送信され、モデルはIPythonツールを使用して処理できます。最終的な応答は、Gemini-3.5-Flash(中程度の推論努力)と公式ジャッジングプロンプトを使用して、各ルーブリック基準に対して採点されます。タスクマクロ平均ルーブリックパス率を報告します。各タスクについて、5回の独立した実行にわたるルーブリック基準のパス率の平均を取り、その後、これらのタスクレベルのスコアをすべてのタスクに均等に平均します。
推論・知識・マルチモーダルベンチマーク
- GDP.pdf。各PDFは、ページ順に並べられたDocling抽出テキストとインターリーブされた、最長辺が1,152ピクセルにリサイズされたページ画像として提供されます。応答は、Gemini-3.5-Flash Mediumと公式ジャッジングプロンプトを使用して、各ルーブリック基準に対して採点されます。完全に採点された応答の中から厳密なパス率を報告します。
- HLEおよびHLE-Diamondは、一般的な知識と推論能力を評価します。HLEで2,500問、HLE-Diamondで1,000問の完全な評価セットに対する精度を報告します。アスタリスク(*)が付いているモデルについては、テキストのみの質問サブセットに対する精度が報告されます。
- GDP.pdf、ZeroBench、ChartoGraphyは5回の実行で平均されます。その他のマルチモーダルベンチマークは4回の実行で平均されます。GDP.pdfのGLM-5.3 MaxおよびDeepSeek-V4.1-Flash-1017 Maxのスコアはhttps://artificialanalysis.ai/から引用されています。
- MMMU-Proは、元の入力順序を維持し、画像をテキスト入力の前に挿入して、公式プロトコルに従って評価されます。
- Kimi Hallucination Benchmarkは、実務タスクから抽出された挑戦的で匿名化されたプロンプトの内部セットに対する事実精度を評価します。事実確認エージェントによって評価された主張レベルの幻覚率を報告します。
サイバーセキュリティベンチマーク
- ExploitBench。Kimi K3.1 Proは、300ターンの予算内で公式ExploitBenchハーネスを使用して評価されます。pass@5の最大能力スコアを報告します。各環境について、5回のシードにわたる最良の実行を、16のうち到達した能力フラグの数でスコアリングします。任意のコード実行の達成は、16の能力すべてを達成したとみなされます。GPT-6 Astraのスコアはhttps://openai.com/index/gpt-6-astra/から取得されます。Claude Opus 5.5およびClaude Mythos 5.1のスコアはhttps://www.anthropic.com/claude-opus-5-5-system-cardから取得されます。GLM-5.3のスコアはhttps://z.ai/blog/glm-5.3から取得されます。
- ExploitGym。Kimi K3.1 Proは、タスクあたり6時間のウォールクロック予算内でKimiCodeハーネスを使用して評価されます。GPT-6 Astraのスコアはhttps://openai.com/index/gpt-6-astra/から取得されます。Claude Opus 5.5およびClaude Mythos 5.1のスコアは、6時間の予算でhttps://www.anthropic.com/claude-opus-5-5-system-cardから取得されます。GLM-5.3のスコアはhttps://z.ai/blog/glm-5.3から取得されます。
- xdev-Bench-hard:Kimi K3.1 ProはKimiCodeハーネスで評価されます。GLM-5.3およびDeepSeek-V4.1-Flash-1017はClaude Codeハーネスで評価されます。