HN 日本語サマリー

← 一覧へ戻る
セキュリティ

Hugging Faceのトレーニングデータ7.6ペタバイトをスキャンして秘密情報を発見

Scanning 7.6 Petabytes of HuggingFace Training Data for Secrets (trufflesecurity.com)

18 pointsby 882542F3884314B4 コメント

要約

Truffle Securityは、Hugging Face上の公開AIトレーニングデータセット7.6ペタバイトをスキャンし、22万件以上の漏洩した認証情報(APIキー、トークン、データベースログインなど)を発見しました。これらの漏洩には、個人情報(PII)へのアクセス権限を持つものや、ソフトウェアサプライチェーンにリスクをもたらすもの、クラウドインフラへのアクセス権限を持つものが含まれており、AIモデルのトレーニングデータにおけるセキュリティリスクの広範さを示しています。

全文翻訳

Hugging Faceのトレーニングデータ7.6ペタバイトから機密情報をスキャン

要約 Hugging Face上の公開データセット、すなわちオープンAIトレーニングデータの大部分が存在する場所をすべてスキャンしました。これは、私たちが知る限り、AIトレーニングデータに対する最大の機密情報スキャンであり、1億8700万ファイルにわたる7.6ペタバイトに及びます。その結果、6,003のデータセットから221,303件の有効な、ユニークな認証情報を発見しました。

発見された最も影響力の大きい機密情報の一つは、推定で世界人口の約3.7%に相当する個人情報(PII)が格納された393 GBにアクセス可能でした。この件については、後日詳細なフォローアップ記事で報告します。スキャンの残りの部分は、問題の広範さを示しています。クラウドストレージバケット、ホスト型データベース、クラウド管理キー、そして多くの人がインストールするソフトウェアにコードをプッシュできるトークンなどです。

公開前にHugging Faceと調査結果を共有しました。同社は私たちと緊密に連携し、CTOのJulien Chaumond氏はTruffleHogにネイティブなストレージバケットスキャンサポートを貢献しました。

OpenAIとHugging Faceのニュースはご覧になったことでしょう。このスキャンは、それらのニュースが流れる前に開始されましたが、その攻撃チェーンの一部に盗まれたAPIキーが含まれていたことは指摘する価値があります。ベンダーと協力して露出したキーを失効させること以上に、強力な必要性はかつてありませんでした(まだ協力していない場合は、私たちにご連絡ください)。

インストールするソフトウェアにコードをプッシュできるトークン

大規模なキーの発見結果を公開すると、それらのキーが実際にどれほど重要なのかを問われることがあります。このスキャンで見つかった、サプライチェーンリスクを伴うキーのいくつかを以下に示します。

ここで最も恐ろしい認証情報は、他の人が実行するソフトウェアを変更できるものです。トレーニングデータ内には、349件の有効なGitHub個人アクセストークンが見つかりました。そのうち223件は完全なrepo書き込み権限を持ち、130件はCIワークフローを書き換え可能、112件はadmin:org権限、110件はパッケージを公開可能でした。さらに、318件のDocker Hubトークンはイメージをプッシュ可能でした。npmとPyPIは個別にチェックしましたが、有効なものはゼロでしたので、それらについては主張しません。

単一のrepoまたはadmin:orgトークンは、その所有者がプッシュできるすべてのリポジトリを書き換えることができ、その変更は結果をインストールするすべての人に配布されます。これらのトークンの一部は、何百万人もの人々が実行するソフトウェアに接続されたアカウントに存在していました。他のものは、ソフトウェアサプライチェーンの深部に配置されたアカウントに属していました。

公開トレーニングデータ内で発見された、有効で書き込み可能な認証情報。実際には何ができるかでカウントされています。

有効なrepoスコープのトークンの一つは、広く使用されているModel Context Protocolレジストリの創設者に属しており、そのアカウントは公式MCP組織に接続されていました。その組織のリポジトリには、主要なAIコーディングツールで使用されているサーバーとSDKが含まれており、それらのGitHubスターの合計は178,000以上です。他の例としては、大手テクノロジー企業で働くエンジニア、銀行の開発者、AIラボの研究者が持つ非常に特権的なトークンが含まれていました。関係する個人や組織の名前は伏せており、発見事項は責任を持って開示しています。

ストレージバケットのスキャンに関するJulienの貢献に続き、すでに大量の新しいキーを発見しており、フォローアップ投稿で報告する予定です。

実際の広範囲に影響するキー

スキャンでは、実際のインフラストラクチャ(クラウドアカウント、ホスト型データベース、ストレージバケット、メッセージングプラットフォーム)を開く有効なキーも見つかりました。これらの認証情報は、検証とメタデータのみのインパクトチェックにのみ使用しました。つまり、データベースサイズ統計、Redisメモリカウンター、CloudWatch S3バケットサイズメトリックなどです。データベースの行を読み取ったり、オブジェクトキーを一覧表示したり、ファイルをダウンロードしたり、何も変更したりしませんでした。以下は、それらが解除するものの一部です。

クラウド乗っ取り · GCP — 3,811プロジェクトにわたる8,557件の有効なGoogleサービスアカウントキー

サービスアカウントキーは、クラウドプロジェクトの非対話型認証情報です。検証された例のうち、1,926件はデータベースアクセス権を持つFirebase管理者キーであり、1件は明示的なOwnerロールを、1件はKubernetesのcluster-admin権限を持っていました。プロジェクトメタデータによると、一部はヘルスケアおよび決済アプリケーションに関連していました。プロジェクト名とアカウント識別子は伏せています。

クラウドストレージ · AWS S3 — パブリックアクセスがブロックされたバケットに51.7 TB

S3 StandardStorageの総バイト数は185 TBでしたが、生のバイト数だけでは不十分です。S3にはパブリックアセット、ログ、バックアップ、またはほぼすべてのものが格納される可能性があります。そのため、最大のアカウントのバケットレベルメタデータのみをチェックしました。バケットポリシーとパブリックアクセスブロック設定により、パブリックアクセスをブロックするように設定されたバケットに51.7 TBが存在することが確認されました。バケット名トークンは、prod、backup、cloudtrail、invoice、customer、billing、rds、mongo、terraformなどを指していました。オブジェクトキーを一覧表示したり、オブジェクトの内容を読み取ったりしませんでした。

  • STS IDチェックを通過したAWSキー — 3,343件
  • S3バケットを一覧表示できるキー — 907件
  • メタデータを通じて表示されるバケット数 — 8,676件
  • すべてのパブリックアクセスブロックフラグが有効になっているバケット — 51.7 TB; 最大測定アカウント — 66.9 TB
有効なデータベース — 8,594件の検証済み有効データベースログイン、メタデータで3.5 TB

ホスト型データベースにまだ認証できる接続文字列です。ターゲット名はチュートリアルやサイドプロジェクト(test、myfirstdatabase、todoアプリなど)に偏っており、中央値のMongoDBクラスターはわずか2.8 MBでした。しかし、テールエンドは現実的です。89のMongoDBクラスターと5つのPostgresデータベースは1 GBを超え、最大のMongoDBクラスターはデータベースサイズメタデータだけで617.7 GBを公開していました。6,802件のMongoDB認証情報のうち6,121件がまだ接続可能でした。テールエンドには、米国防衛請負業者に関連付けられたSQL Serverと、ブラジル連邦機関に関連付けられたPostgresセットが含まれていました。

なりすまし · コミュニケーション — 5,885件の有効なSlackトークンとMailgunキー

231件のSlackトークンが見つかり、そのうち99.6%が関連ワークスペースを特定していました。さらに、5,654件のMailgunキーが見つかり、そのうち2,470件はカスタム送信ドメインに関連付けられていました。例には、Fortune 500テクノロジーワークスペースや、主要なテクノロジーおよびコンシューマーブランドに関連する、またはそれに類似する送信ドメインが含まれていました。ワークスペース名とドメイン名は伏せています。

新たな漏洩経路 · チャットボット — 一つのキーがチャットボットに貼り付けられたことによる18倍のミラーリング

ブラジルのレンディングフィンテックに関連付けられた有効なAWSキーが、誰かがチャットボットにboto3コードを貼り付けたためにトレーニングデータに到達しました。この会話はLMSYS-Chat-1Mによってキャプチャされ、約18倍にミラーリングされました。会社名は伏せています。

攻撃者が持ち去るもの

有効で検証済みの認証情報。それらが制御できるものごとにグループ化されています。各認証情報タイプは一つのバケットに分類され、一度だけカウントされます。

リスクの定量化:年間少なくとも920,000ドルのAI推論利用料の盗難

トレーニングデータには、AIプロバイダー自体のキーが満載されています。1,210のデータセットにわたる11,496件の有効なキーがあり、OpenAI、Azure OpenAI、Anthropic、Gemini、Groqなどが含まれます。これらのキーを一度も使用していないため、実際の残高はわかりませんが、その必要はありません。すべてのプロバイダーはデフォルトの利用上限額を公開しており、有効なキーは少なくともその上限額を持つアカウントに存在します。

新規のOpenAIアカウントが請求を開始すると、デフォルトで月額100ドルの利用上限が設定されます。Anthropicのエントリーティアも同様に月額100ドルです。私たちは742件の有効なOpenAIキーと26件の有効なAnthropicキーを発見しました。それぞれをデフォルトの上限まで使い切ると、月額76,800ドル、年間約920,000ドルの推論利用料が、キーがデータセットに存在することを知らない人々に請求されます。これは最低ラインであり、すべてのアカウントが最低ティアに固定されている場合の金額です。

そして、それは急速に増加します。OpenAIの上限は月額100ドル、500ドル、1,000ドル、5,000ドル、そしてトップティアでは50,000ドルです。Anthropicのトップビルディングティアの上限は月額200,000ドルです。私たちは、組織所有のOpenAIキー160件とマシンサービスアカウントキー34件を発見しました。これらは、資金が投入された高ティアの請求に紐づき、決してローテーションされない認証情報です。トップティアの単一キーがその上限まで使い切られると、この7.6ペタバイトスキャン全体の実行コストよりも多くの金額が1ヶ月で請求されます。

これらはすべて、Gemini(1,429件のキー)、DeepSeek(667件)、xAIのGrok(162件、無料ティアなし)、および174のエンタープライズAzure OpenAIデプロイメント(いくつかはAllenAIのDolma 3に組み込まれている)よりも前の金額です。これらのキーはすべて、所有者に向けられた有効な請求書であり、最初に見つけた人にとってはフロンティアモデルの無料シートとなります。

これまでで最大の Скан

公開データセットハブをエンドツーエンドでクローンしました。すべてのリポジトリ、すべてのブランチ、すべてのラージファイルオブジェクトです。次に、Parquet、Arrow、JSONL、アーカイブ、バイナリをスキャン可能なテキストにフラット化し、TruffleHogを検証付きで実行しました。結果として、約815,000のデータセットリポジトリにわたる1億8690万のユニークファイルと約7.6ペタバイトのコンテンツになりました。約670,000のリポジトリが正常に完了しました。それ以前に行った最大のウェブスケールスキャンは、約400テラバイトでした。今回はその約19倍の大きさでした。

その大きさは物語の半分に過ぎません。これらは、人々が実際に使用するモデルのトレーニングセットです。最も影響を受けたものは、オープンモデルが構築された、名前が付けられた、カードで文書化された事前トレーニングコーパスです。引用したすべての認証情報はプロバイダーに対して検証したため、調査時には有効でした。

  • 1億8690万のユニークファイルがスキャンされました
  • 7.6 PBのAIトレーニングデータ

7.6ペタバイトはどれくらいの大きさか?

7.6ペタバイトを想像するのは困難です。DVD 1枚は4.7 GBなので、このスキャンでは約160万枚のDVDがいっぱいになります。タワー状に積み重ねると、これらのディスクは約1.9キロメートルの高さになり、これはエンパイアステートビルディング4.4棟を積み重ねたのと同じくらいの高さです。

時には企業が自身のキーを漏洩させる

有効なキーがデータセットに格納されるには、2つの方法があります。ほとんどの場合、それは見知らぬ人に属しています。どこか公開された場所に漏洩し、スクレイピングされ、コーパスに乗って、発行元が聞いたこともないデータセットに入り込みます。より稀なケースは、より厄介なケースでもあります。データセットを構築・公開した人々自身が、有効なキーをそこに漏洩させてしまうのです。通常、それはHugging Faceにプッシュするために使用する正確なトークンであり、ノートブック、キャッシュファイル、または誤ってアップロードしたバックアップの中にあります。

トレーニングデータには787件の有効なHugging Faceトークンが含まれており、そのうち237件は書き込みアクセス権を持ち、70件はorg-admin権限を持っていました。公開データセット内の有効な書き込みトークンは、悪意のあるモデルウェイトをプッシュしたり、組織全体のデータセットを汚染したりするためのキーとなります。追跡できたものの中で、約700件は他人のコーパスにスクレイピングされており、63件は自己漏洩で、所有者自身が自身の名前空間に落としたものでした。いずれにしても、AIサプライチェーンは攻撃者が必要とする正確なキーを漏洩させており、改ざんされたモデルやデータセットは同じパイプラインに乗ってすべての下流に流れる可能性があります。

Hugging Faceは、最も直接的なケースでは、自身のトークンを自動的に無効にします。エンタープライズ組織の場合、公開リポジトリやバケットにプッシュされたHFトークンは、その場で自動的に失効します。発見された有効なHubトークンは、そのネットワークから外れるものであり、非エンタープライズアカウントでの自己漏洩や、他人のコーパスからスクレイピングされたトークンを意味します。

一部の自己漏洩は、公開アクセス権を持つ個人に直接関連していました。AIインフラストラクチャスタートアップのプロダクト責任者は、会社のテキストからSQLへのベンチマークデータセットに、アカウント書き込み権限を持つHubトークンを残しました。別の開発者は、組織管理、リポジトリ書き込み、CIワークフロー、パッケージ公開、リポジトリ削除権限を持つ非常に特権的なGitHubトークンを音声データセットにコミットしました。複数の事前トレーニングデータ組織にまたがる管理者は、それらの組織のデータセットの一つに書き込みトークンを公開しました。また、データラベリングベンダーや2つのAIラボの研究者によって公開されたデータセットで、企業のアップロードトークンも見つかりました。それぞれの場合で、認証情報は、それが変更できるアカウントまたは組織に関連付けられた人物によって公開されていました。

クラウドキーは逆の経路をたどります。特定できたすべての有効なAWS、GCP、Azure、Docker、およびデータベース認証情報は、発行元以外の人物にたどることができました。ほとんど誰も自分の有効なクラウドキーを意図的に公開データセットに貼り付けることはないため、それらはスクレイピングによってそこに到達しました。それが次の話です。

一つの漏洩が数百のデータセットにコピーされる

これらの秘密のほとんどは、最初にGitHubリポジトリ、ウェブページ、またはチャットログなどの別の場所で漏洩しました。そこから、The StackやCommon Crawlのようなアップストリームコーパスに吸い上げられ、そのコーパスのすべての派生物を介して下流に流れていきました。すべてのユニークな有効な秘密の44%が、複数のデータセットに存在します。 19,380件は10以上のデータセットに現れます。The Stackとそのフォークだけでも51,571件の異なる有効なキーを保持しており、AllenAIのDolmaファミリーは28,110件を保持しています。10以上のデータセットに到達するキーのうち、99.3%がこれらのスクレイプコーパスのいずれかを経由しています。増幅は機械的です。コーパスを一度スクレイプすると、すべての重複排除、フィルタリング、ファインチューニングの再ミックスが同じ有効なキーを再公開します。

同じ検証済みの認証情報が、アップストリームソースファミリーから大規模な事前トレーニングコーパスに流れます。例として、ほぼ同一のstack-edu再アップロード2つは、19,977件中19,977件のキーを共有しており、StackコードキーはAllenAIのDolma 3ウェブミックスに直接クロスします。

フロー重量は、アップストリームファミリーがデータセットと共有する同一の検証済み有効秘密(認証情報ハッシュによる)の数です。4つのソースファミリーと、最も秘密が多く含まれる15の派生データセットを示しています。

1,131のデータセットに同じ単一の有効なキーが含まれていました。 一度ChatGPTの会話に貼り付けられたInfuraキーが、WildChatチャットログデータセットにキャプチャされ、その後1,131の公開データセットと10,162のファイル場所にコピーされました。ソースで失効させても、他の1,130のコピーには影響しません。トレーニングデータ内の漏洩は自己増殖し、すべてのコピーが機能し続ける場所となります。

聞いたことがあるモデルが、有効なキーでトレーニングされている

ChatGPT、Claude、Gemini、Llamaのような有名なチャットボットは、トレーニングデータを非公開にしているため、その内容を伝えることはできません。データセットを公開しているオープンモデルには、有効なキーが満載されています。

データセットごとのユニークな有効な秘密。認証情報で重複排除されています。モデルの帰属は、各データセットの公開カードから確認されています。ダウンロード数はHugging Faceの累計です。

このパイプラインのどの部分にも触れるなら

データセット作成者とAIラボ
  • 公開前にスキャンする。 コーパスを公開する前に、秘密スキャナーを実行してください。これはパイプラインの中で最も安価なステップであり、すべての派生リミックスに有効なキーが出荷されるのを防ぎます。

  • トレーニング前にスキャンする。 公開データセットをトレーニングに使用する場合、チェックするまで有効な認証情報が含まれていると想定してください。大規模なコードおよびウェブコーパスには明らかにそれらが含まれています。

  • 漏洩アラートをオンにしておく。 Hugging Faceで公開する場合、TruffleHogがプッシュをスキャンし、検証済み秘密が着地した瞬間に作者にメールで通知します。これらのアラートはデフォルトでオンになっているため、オフにしていないか確認してください。エンタープライズ組織は、公開リポジトリやバケットにHFトークンがヒットした場合に自動失効する機能も利用できます。

開発者とプロバイダー
  • 隠すのではなく、ローテーションする。 公開リポジトリ、ウェブページ、またはチャットボットに触れた可能性のあるキーはすべて、漏洩したと見なすべきです。ローテーションは、データセットにコピーされても生き残る唯一の修正です。

  • 一括失効を提供する。 失効APIとプロアクティブスキャンを備えたプロバイダーは、研究者がこの規模で支援できるようにします。それらがない場合、221,303件のキーは、誰も対応できない単なるスプレッドシートです。

トレーニングデータは最も永続的な漏洩である

フォースプッシュでgit履歴から秘密を削除することはできます。トレーニングセットには元に戻す機能がありません。キーが公開コーパスに格納されるまでには、派生データセットにコピーされ、数千台のマシンにダウンロードされ、モデルウェイトに折り込まれています。これらのデータセットは、永続的で、バージョン管理され、絶えず再ミックスされるため価値があります。それが、トレーニングデータ内の漏洩したキーをクリーンアップ不可能にする理由です。

修正は変わっていません:キーをローテーションする。一度失効させれば、データセット内のコピーは無害な文字列になります。それまでは、データが再利用されるたびに機能し続けます。そして、再利用こそがトレーニングデータのすべてです。

221,303件のキーの開示は困難である

私たちは常に、発見したものを失効させるのを支援しようと努めており、この規模では公開前に開始しました。最も影響力の大きい発見(393 GBのPIIの背後にある漏洩を含む)は、公開前に影響を受ける当事者とそのプロバイダーに伝えられ、彼らが最初に失効およびロックダウンできるようにしました。最も重要な発見については、受領を確認するまで公開を保留しています。関係する個人、企業、データセットの名前は一切公表していません。221,303人の所有者に一人ずつメールを送ることは現実的ではなく、ほとんどの人はトレーニングデータセットが何であるかさえ知らないため、プロバイダー側とも協力しています。顧客が最も影響を受けているベンダーに通知し、既存のパートナーチャネルを通じて検証済みの発見をルーティングしています。

Hugging Faceやデータセット作成者はこれを引き起こしたわけではありません。彼らは公開コードと公開ウェブのスナップショットを公開しており、それが彼らの仕事です。秘密は、おそらくこの記事を読むことのない人々から、アップストリームで漏洩しました。このデータでトレーニングしている人は誰でも、それがそこにあることを知っておくべきです。ここにあるものはどれもハウツーではありません。読者がこれらのコーパスから有効な認証情報を引き出すことを可能にするデータセット名、ファイルパス、およびキーマテリアルは伏せています。

Hugging Faceもこれに対して受動的ではありません。彼らはすでに公開リポジトリへのすべてのプッシュに対してTruffleHogを実行し、検証済み秘密が出現した際に作者にメールで通知しています。これは私たちの継続的なパートナーシップの一部です。問題は、このスキャン全体が測定しているギャップです。通知は、誰かがそれに対応した場合にのみ役立ちますが、対応率は100%には遠く及びません。検出され、通知されたが、決して失効されなかったことが、調査時に多くのキーがまだ有効であった大きな理由の一部です。

これらの発見を公開前にHugging Faceと共有し、彼らは問題の先取りにおいて真のパートナーでした。彼らのCTOであるJulien Chaumond氏は、さらに一歩進んでTruffleHogに直接コードを貢献しました。Hugging Faceの新しいストレージバケットに対するネイティブスキャンサポートにより、組織またはユーザーの秘密スキャンは、モデル、データセット、およびSpacesと並んでオブジェクトストレージもカバーするようになりました。そのサポートは今後のTruffleHogリリースで提供され、協力については将来の投稿でさらに共有します。

テイクアウェイ

  • AIトレーニングデータには有効な認証情報が満載です。6,003の公開データセットに221,303件のユニークで検証済みのキーがあり、人々が実際に使用するモデルのトレーニングコーパスも含まれています。

  • キーが解除するものが、その生の権限レベルよりも重要です。ここでの損害は、インストールされているソフトウェアにコードをプッシュしたり、ホスト型データベースを開いたり、クラウドアカウントを乗っ取ったり、実際のブランドとしてメールを送信したりできる認証情報から生じます。

  • 漏洩は増殖します。これらのキーの44%は複数のデータセットに存在し、一つは1,131に達しました。チャットログは今や独自の漏洩経路となり、人々がチャットボットに貼り付けるキーをキャプチャしています。

  • ローテーションが依然として唯一の修正策です。公開前にコーパスをスキャンし、トレーニング前にスキャンし、公開面に触れた可能性のあるものはすべて失効させてください。

研究と分析はTruffle Security研究チームによるものです。スキャンはTruffleHogによって実行されました。有効な認証情報は、検証とメタデータのみのインパクトチェックにのみ使用されました。保存されたデータは読み取られず、コピーされず、変更されませんでした。