HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

UK AISI / CAISI による Kimi K3 のサイバー能力に関する予備評価

UK AISI / Caisi Preliminary Assessment of Kimi K3's Cyber Capabilities (nist.gov)

118 pointsby walrus0137 コメント

要約

英国AIセキュリティ研究所(UK AISI)と米国AI標準・イノベーションセンター(CAISI)は、Moonshot AIの最新モデルKimi K3のサイバー能力に関する共同評価を実施しました。評価の結果、Kimi K3は、エクスプロイト開発やシミュレーションされた企業ネットワークへの攻撃において、最新の最先端サイバー能力を持つモデルと比較して著しく低いパフォーマンスを示しました。ただし、GLM-5.2のような以前のモデルよりは優れており、その防御機構はエージェント型サイバーエクスプロイト開発の支援を許容することが確認されました。

全文翻訳

英国AISI / CAISI、Kimi K3のサイバー能力に関する予備評価を実施

英国AIセキュリティ研究所(UK AISI)と米国AI標準・イノベーションセンター(CAISI)(UK AISI / CAISI)は、Moonshot AIの最新モデルであるKimi K3(2026年7月16日リリース、2026年7月27日までにオープンウェイトでのリリース予定)の共同評価を実施しました。この評価はKimi K3のサイバー能力に焦点を当て、以下の結果が得られました。

図1: エクスプロイト開発ベンチマーク(ExploitBench)におけるKimi K3およびその他のモデルのパフォーマンス。成功率が高いほどサイバー能力が高いことを示します。エラーバーは95%信頼区間を表します。ExploitBenchは、脆弱性が与えられた場合のモデルのエンドツーエンドのエクスプロイト開発能力を測定します。
 

詳細な結果

これらの結果は、少数の公開および非公開ベンチマークに対する予備的な評価を表します。米国のクローズドウェイトモデルは、拒否を減らし、最大能力の測定を可能にするために、システムレベルのセーフガードを無効にして評価されました。これらのモデルの一般公開されているバージョンには、これらのセーフガードが有効になっています。Kimi K3のホスティング設定の特殊性のため、UK AISI / CAISIは選択的なサイバー評価セットを実行しました。詳細な方法論は、個別のセクションで提供されています。

サイバー能力のトレンド

モデルのサイバー能力は、アイテム応答理論(IRT)に着想を得たアプローチを使用して、複数のベンチマークからの複数のタスクにわたって集計されます。方法論の詳細については、以前公開されたレポートを参照してください。Kimi K3の全体的なサイバー能力には、単一のベンチマーク(エクスプロイト開発に焦点を当てた41のタスクを持つExploitBench)から推定されたため、他のモデルよりも信頼区間が大きくなっています。ExploitBenchは、モデルがソフトウェアエクスプロイトラダーを進行する能力を測定するための主要なベンチマークです。他のすべてのモデルの全体的なサイバー能力スコアは、サイバー能力の追加ドメインをカバーするより多くのタスクから導き出されました。

[画像: Kimi K3リリース時点での最も能力の高い米国および中国のモデルの、集計された能力の経時的な予備比較。米国トレンドラインは、最先端の米国モデルの結果で構成されています。Y軸の400ポイントの上昇は、タスク解決オッズの10倍の増加に相当します。エラーバーとシェード領域は95%信頼区間を示します。]

Credit: CAISI/NIST

図2: Kimi K3リリース時点での最も能力の高い米国および中国のモデルの、集計された能力の経時的な予備比較。 米国のトレンドラインは、最先端の米国モデルの結果で構成されています。Y軸の400ポイントの上昇は、タスク解決オッズの10倍の増加に相当します。エラーバーとシェード領域は95%信頼区間を示します。

エクスプロイト開発: ExploitBench

ExploitBenchは、カーネギーメロン大学によって開発された公開ベンチマークであり、カバレッジとクラッシュ再現、任意読み書き、制御フローハイジャック、任意コード実行を含む、ソフトウェアエクスプロイトラダーを進行するモデルの能力を測定します。このベンチマークは、V8エンジン(Chromeを支えるJavaScriptおよびWebAssemblyソフトウェア)の2023年以降の脆弱性41件についてモデルをテストします。

ExploitBenchの結果は、図1および図3に示されています。

[画像: Kimi K3およびその他のモデルの詳細なExploitBenchパフォーマンス。暗いシェーディングは、サイバー能力が高いことを示します。各行はエクスプロイト開発チェーンの主要なマイルストーンを表し、各セルは、問題のモデルがそのマイルストーンに到達できたExploitBenchタスクの数を示します。]

Credit: CAISI/NIST

図3: Kimi K3およびその他のモデルの詳細なExploitBenchパフォーマンス。暗いシェーディングは、サイバー能力が高いことを示します。各行はエクスプロイト開発チェーンの主要なマイルストーンを表し、各セルは、問題のモデルがそのマイルストーンに到達できたExploitBenchタスクの数を示します。

Kimi K3は、2026年6月時点での最もサイバー能力の高いオープンウェイトモデルであるGLM-5.2を上回っています。Kimi K3は32%のスコアを達成したのに対し、GLM-5.2は24%のスコアを達成しました(図1)。

最もサイバー能力の高いモデルとは異なり、Kimi K3はExploitBenchタスクにおいて任意コード実行(ACE)を達成するエクスプロイトを開発できませんでした。 ACEはエクスプロイト開発における最も深刻度の高い結果であり、攻撃者にターゲットを乗っ取る能力を与えます。Kimi K3は0/41サンプルでACEを達成しましたが、最もサイバー能力の高いモデルは平均して20/41サンプルでACEを達成しました(図3)。

サイバーレンジ: The Last Ones (TLO)

「The Last Ones」(TLO)サイバーレンジは、4つのサブネットと約20ホストにまたがる32ステップのシミュレートされた企業ネットワーク攻撃であり、人間の専門家が完了するのに約20時間かかります。サイバーレンジは、専門家によって構築されたホスト、サービス、および脆弱性のシミュレートされたネットワークであり、シーケンシャルな攻撃チェーンに配置されており、初期ネットワークアクセス時点から開始され、エンドツーエンドのサイバー攻撃を自律的に実行するモデルの能力を測定するために使用できます。

この評価において、Kimi K3は最先端の米国サイバー能力モデルと比較して著しく低いパフォーマンスを示しました。 具体的には、Kimi K3は平均して32ステップの攻撃パスのステップ17に到達しましたが、最もサイバー能力の高い米国モデルは平均して28.5ステップに到達しました。

Kimi K3は、2026年6月時点での最もサイバー能力の高いオープンウェイトモデルであるGLM-5.2を上回っています。1億トークンの制限内で、Kimi K3は平均してステップ17に到達しましたが、GLM-5.2はステップ11でした。

10回の試行のうち1回で、Kimi K3は1億トークンの制限内で「The Last Ones」サイバーレンジを正常に完了しました。 これは、Kimi K3が、指示され、初期ネットワークアクセスが与えられた場合、小さく、防御が弱く、脆弱なエンタープライズシステムを自律的に攻撃する能力があることを示しています。しかし、TLOはいくつかの点で実際の環境とは異なります。アクティブな防御者や防御ツールがなく、セキュリティアラートをトリガーするアクションにペナルティがなく、意図的な攻撃パスが含まれています。

TLOの解決は、もはや少数のモデルに限定されません。 以前のテストでは、4つの一般公開されたクローズドウェイトモデルがTLOを解決しており、最も能力の高いモデルは6/10および7/10の試行でより確実に解決しました。Kimi K3は、標準の1億トークン制限内で10回の試行中1回で解決しました。