GitLost: GitHubのAIエージェントを騙してプライベートリポジトリを漏洩させる方法
GitLost: We Tricked GitHub's AI Agent into Leaking Private Repos (noma.security)
要約
Noma Securityの研究者たちは、GitHub Copilot EnterpriseのAIエージェントが、意図せずプライベートリポジトリのコードスニペットを他のユーザーに漏洩させる脆弱性を発見しました。この脆弱性は、エージェントがユーザーの質問に答える際に、学習データに含まれるプライベートリポジトリの情報を参照してしまうことで発生します。この発見は、AIエージェントのセキュリティと、機密情報保護の重要性を浮き彫りにしています。
全文翻訳
GitLost: GitHubのAIエージェントを騙してプライベートリポジトリを漏洩させる方法
TL;DR: Noma Labsは、GitHubの新しいAgentic Workflows内に、認証されていない攻撃者が、プライベートリポジトリと同じ組織に属する公開リポジトリに細工されたGitHub Issueを投稿することで、プライベートリポジトリからデータを静かに取得することを可能にする、重大なプロンプトインジェクションの脆弱性を発見しました。Noma Labsはこの脆弱性をGitLostと名付けました。
[動画: Your browser does not support the video tag.]
はじめに
GitHubは最近、GitHub Actions(リポジトリのイベントに応答してタスクを実行するためのGitHubの自動化システム)と、ClaudeまたはGitHub CopilotをバックエンドとするAIエージェントを組み合わせたGitHub Agentic Workflowsをローンチしました。GitHub Agentic Workflowsにより、チームはMarkdownでGitHubワークフローを記述でき、GitHubエージェントはIssueを読み取り、ツールを呼び出し、自律的に応答します。
セキュリティ開発のバックグラウンドを持つ脆弱性研究者として、このローンチ後、最初に頭に浮かんだのは、根本的で単純な疑問でした。「GitHubエージェントが、信頼すべきでないものを読み込んだらどうなるのか?」
その答えは、教科書通りの間接的なプロンプトインジェクション攻撃、つまり、攻撃者が秘密裏に個人データをインターネット上の誰にでも送信してしまうような攻撃です。プロンプトインジェクションとは、攻撃者がAIエージェントが読み取るコンテンツ内に悪意のある指示を隠し、エージェントが意図された指示ではなく、その隠された指示に従うように仕向ける攻撃の一種です。
GitHub Agentic Workflowsとは?
GitHub Agentic Workflowsを使用すると、チームは自然言語でコードリポジトリとのインタラクションを自動化できます。ワークフローはMarkdown(.md)ファイルに記述され、YAML(一般的な設定ファイル形式)のActionsファイル(.yml拡張子)にコンパイルされ、設定可能な権限を持つAIエージェントの助けを借りて実行されます。GitHubエージェントは、Issueを読み取り、ツールを呼び出し、組織内の他のリポジトリにアクセスできます。
GitLost脆弱性の概要
GitLost脆弱性の根本原因は、エージェント型AIシステムにおいて、今や見慣れたものとなっています。それはプロンプトインジェクションです。ほとんどのエージェント型プロンプトインジェクション攻撃では、エージェントは間違ったコンテンツを信頼できる指示ソースとして扱い、誤誘導されたり悪用されたりします。これは、システムがシステムレベルのディレクティブと信頼できないユーザーデータの間に厳格な信頼境界を維持できない場合に発生します。この特定の場合、悪意のあるアクターはGitHub Issueを作成し、そのIssueの本文に、GitHubのエージェントが従うであろう平易な英語のコマンドを隠すことができます。
Noma Labsが発見した脆弱なGitHub Agentic Workflowは、以下のように設定されていました。
- GitHubのissues.assignedイベントでワークフローをトリガーする
- Issueのタイトルと本文を読む
- add-commentツールを使用して応答としてコメントを投稿する
- 組織内の他のリポジトリ(公開およびプライベート)への読み取りアクセス権で実行する
この脆弱性を悪用するために、攻撃者はコーディングスキル、アクセス権、または認証情報を必要としませんでした。必要なのは、GitHubのAgentic Workflow設定を使用している組織に属する公開リポジトリでIssueを開き、待つことだけでした。
[動画: Your browser does not support the video tag.]
攻撃フロー
Noma Labsの脆弱性研究者が成功した正確な攻撃フローを見てみましょう。
まず、彼らは、VP of Salesが顧客との会議後に作成したような、もっともらしい要求に見える、完全に無害なGitHub Issueを作成しました。以下にその例を示します。
[画像]
この特定の例では、Issueが割り当てられたときにワークフローアクションがトリガーされましたが、私たちのテストでは、他のGitHubワークフローアクションでも同じように機能することが確認されました。
次に、GitHubの自動化によってIssueが割り当てられた後、イベントトリガーされたワークフローにより、エージェントはpoc(公開)およびtestlocal(プライベート)リポジトリの両方からREADME.mdの内容を取得しました。
最後に、GitHubエージェントはそれらを公開リポジトリのIssueへの公開コメントとして投稿し、誰でもアクセスして読むことができました。
「追加」エクスプロイト
GitHubには、まさにこのシナリオを防ぐための厳格なガードレールが設けられていましたが、リポジトリを意図したとおりに保護できていませんでした。攻撃者のようにGitHubを繰り返しテストし、「Additionally」(さらに)というキーワードを追加することで、モデルに意図しない動作を引き起こし、拒否するのではなく出力を言い換えるようにさせました。本質的に、モデルを騙すことで、GitHubのガードレールが意図したとおりに機能せず、データ漏洩を防げないことを確認できました。
[動画: Your browser does not support the video tag.]
脆弱性プルーフ・オブ・コンセプト
完全な透明性を目指し、Noma Labの確認された発見(ワークフローの再現とライブ証拠を含む)は、こちらで見つけることができます。
ワークフロー実行: https://github.com/sasinomalabs/poc/actions/runs/23909666039
Issue: https://github.com/sasinomalabs/poc/issues/153
漏洩したデータには、以下のREADME.mdの内容が含まれていました。
- sasinomalabs/poc(公開リポジトリ)
- sasinomalabs/remote-ping(公開リポジトリ、READMEなしを確認)
- sasinomalabs/testlocal(プライベートリポジトリ)
なぜ重要なのか
GitLostは、すべての組織がエージェント型AIシステムで直面する根本的なセキュリティ課題の1つを完璧に例示しています。エージェントのコンテキストウィンドウは、その攻撃サーフェスでもあります。エージェントが読み取るIssue、プルリクエスト、コメント、またはファイルなどのコンテンツは、エージェントがそのコンテンツを指示入力として扱う場合、武器化される可能性があります。
従来のセキュリティモデルは通常、信頼境界がコードによって強制されると想定しています。エージェント型システムでは、信頼境界はモデルの動作によって部分的に強制され、モデルは本質的に指示に従うものです。プロンプトインジェクション攻撃は、エージェント型AIにとって、Webアプリケーションに対するSQLインジェクションのようなものになりました。つまり、同じ体系的な戦略と防御を必要とする、カテゴリ全体にわたる脆弱性クラスです。
Nomaからの構築者/AIセキュリティ担当者への推奨事項:
- ユーザーが制御するコンテンツをAIエージェントの信頼できる指示入力として扱わないでください
- 最小限必要な範囲に権限をスコープしてください。クロスリポジトリアクセスを持つエージェントは特に価値の高いターゲットです
- エージェントが公開できるものを制限してください。特にIssueコンテンツへの応答として
- モデルに渡す前に、ユーザー入力をサニタイズするか、指示コンテキストから分離してください
責任ある開示
GitLostはGitHubに責任を持って開示されました。脆弱性の詳細は、GitHubの了解を得てここに共有されています。
この記事に興味がありましたか?Noma Labsによるエージェント型AI脆弱性リサーチの追加情報にご登録ください。または以下をご覧ください:GrafanaGhost,DockerDash,Context Crush,GeminiJack. 効果的なエージェント型AIセキュリティソリューションをお探しですか?デモを手配するために、私たちにご連絡ください。Nomaの包括的なソリューションのデモを手配することができます。*