UK AISI / CAISI による Kimi K3 のサイバー能力に関する予備評価

UK AISI / CAISI による Kimi K3 のサイバー能力に関する予備評価 7月23日、2026年 共有 Facebook Linkedin X.com Email 英国AIセキュリティ研究所（UK AISI）と米国AI標準・イノベーションセンター（CAISI）（UK AISI / CAISI）は、Moonshot AIの最新モデルKimi K3（2026年7月16日リリース、2026年7月27日までにオープンウェイトリリース予定）の共同評価を実施しました。この評価はKimi K3のサイバー能力に焦点を当て、以下の結果が得られました。 UK AISI / CAISIが実施した予備的なサイバー評価において、Kimi K3は最新の最先端サイバー能力を持つモデルと比較して著しく低いパフォーマンスを示しました。具体的には以下の通りです。 エクスプロイト開発をタスクとして与えられた場合、Kimi K3は最新の最先端サイバー能力を持つモデルと比較して著しく低いパフォーマンスを示しました（図1）。 シミュレーションされた企業ネットワーク（「The Last Ones」）への攻撃をタスクとして与えられた場合、Kimi K3は最新の最先端サイバー能力を持つモデルと比較して著しく低いパフォーマンスを示しました。具体的には、平均してKimi K3は32ステップの攻撃パスのうち17ステップに到達したのに対し、最もサイバー能力の高い米国モデルは平均28.5ステップに到達しました。 UK AISI / CAISIが実施した同じ予備的なサイバー評価において、Kimi K3はGLM-5.2よりも優れたパフォーマンスを示しました（図2）。 Kimi K3のセーフガードは、エージェント型サイバーエクスプロイト開発の支援を許可しています。Kimi K3のセーフガードは、UK AISI / CAISIの評価中にサイバーエクスプロイト開発や攻撃的なサイバーオペレーションの試みを阻止しませんでした。 エクスプロイト開発能力 クレジット: CAISI/NIST 図1: エクスプロイト開発ベンチマーク（ExploitBench）におけるKimi K3およびその他のモデルのパフォーマンス。成功率が高いほどサイバー能力が高いことを示します。エラーバーは95%信頼区間を表します。ExploitBenchは、脆弱性が与えられた場合のモデルのエンドツーエンドエクスプロイト開発能力を測定します。 詳細な結果 これらの結果は、少数の公開およびプライベートベンチマークに対する予備的な評価を表します。米国のクローズドウェイトモデルは、拒否を減らし、最大能力を測定できるようにするために、システムレベルのセーフガードを無効にして評価されました。これらのモデルの一般公開されているバージョンには、これらのセーフガードが有効になっています。Kimi K3のホスティング設定の特殊性により、UK AISI / CAISIは選択されたサイバー評価セットを実行しました。詳細な方法論は個々のセクションで提供されています。 サイバー能力のトレンド モデルのサイバー能力は、Item Response Theory（IRT）に着想を得たアプローチを使用して、複数のベンチマークからの複数のタスクにわたって集計されます。方法論の詳細については、以前に公開されたレポートを参照してください。Kimi K3の全体的なサイバー能力には、それが単一のベンチマーク（エクスプロイト開発に焦点を当てた41のタスクを持つExploitBench）から推定されたため、他のモデルよりも大きな信頼区間があります。ExploitBenchは、ソフトウェアエクスプロイトラダーに沿ったモデルの能力を測定するための主要なベンチマークです。他のすべてのモデルの全体的なサイバー能力スコアは、サイバー能力の追加ドメインをカバーするより多くのタスクから導出されました。 クレジット: CAISI/NIST 図2: Kimi K3リリース時点での最も能力の高い米国および中国（PRC）モデルの経時的な全体的な能力の予備比較。米国トレンドラインは、最先端の米国モデルの結果で構成されています。Y軸の400ポイントの増加は、タスク解決のオッズの10倍の増加に相当します。エラーバーとシェード領域は95%信頼区間を示します。 エクスプロイト開発: ExploitBench ExploitBenchはカーネギーメロン大学によって開発された公開ベンチマークであり、カバレッジとクラッシュ再現、任意読み書き、制御フローハイジャック、任意コード実行を含むソフトウェアエクスプロイトラダーに沿ったモデルの進行能力を測定します。このベンチマークは、V8エンジン（Chromeを動かすJavaScriptおよびWebAssemblyソフトウェア）の41の最近（2023年以降）の脆弱性についてモデルをテストします。 ExploitBenchの結果は図1および図3に示されています。 クレジット: CAISI/NIST 図3: Kimi K3およびその他のモデルの詳細なExploitBenchパフォーマンス。暗いシェーディングはサイバー能力が高いことを示します。各行はエクスプロイト開発チェーンの主要なマイルストーンを表し、各セルはモデルがそのマイルストーンに到達できたExploitBenchタスク数を示します。 Kimi K3は、2026年6月時点で最もサイバー能力の高いオープンウェイトモデルであるGLM-5.2を上回っています。Kimi K3は32%のスコアを達成し、GLM-5.2は24%のスコアを達成しています（図1）。 最もサイバー能力の高いモデルとは異なり、Kimi K3はExploitBenchタスクで任意コード実行（ACE）を達成するエクスプロイトを開発できませんでした。ACEはエクスプロイト開発における最高レベルの重大度であり、攻撃者にターゲットを乗っ取る能力を与えます。Kimi K3は0/41サンプルでACEを達成しましたが、最もサイバー能力の高いモデルは平均して20/41サンプルでACEを達成しました（図3）。 サイバーレンジ: The Last Ones (TLO) 「The Last Ones」（TLO）サイバーレンジは、4つのサブネットと約20ホストにまたがる32ステップのシミュレーションされた企業ネットワーク攻撃であり、人間の専門家が完了するのに約20時間かかります。サイバーレンジは、専門家によって構築されたホスト、サービス、および脆弱性のシミュレーションネットワークであり、連続した攻撃チェーンに配置され、初期ネットワークアクセス時点から開始され、モデルの自律的なエンドツーエンドサイバー攻撃実行能力を測定するために使用できます。 この評価では、Kimi K3は最先端の米国サイバー能力モデルと比較して著しく低いパフォーマンスを示しました。具体的には、Kimi K3は平均してこの32ステップの攻撃パスの17ステップに到達しましたが、最もサイバー能力の高い米国モデルは平均して28.5ステップに到達しました。 Kimi K3は、2026年6月時点で最もサイバー能力の高いオープンウェイトモデルであるGLM-5.2を上回っています。1億トークンの制限内で、Kimi K3は平均17ステップに到達し、GLM-5.2は平均11ステップに到達しました。 10回の試行のうち1回で、Kimi K3は1億トークンの制限内で「The Last Ones」サイバーレンジを正常に完了しました。これは、Kimi K3が、指示され、初期ネットワークアクセスが与えられた場合、小さく、防御が弱く、脆弱なエンタープライズシステムを自律的に攻撃する能力があることを示しています。しかし、TLOは実際の環境とはいくつかの点で異なります。アクティブな防御者や防御ツールがなく、セキュリティアラートをトリガーするアクションにペナルティがなく、意図的な攻撃パスが含まれています。 TLOの解決は、少数のモデルに限定されなくなりました。以前のテストでは、4つの一般公開されたクローズドウェイトモデルがTLOを解決しており、最も能力の高いモデルは6/10および7/10の試行でより確実に解決しました。Kimi K3は、標準の1億トークン制限内で10回の試行中1回で解決しました。 2026年7月23日リリース このページは役に立ちましたか？