HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

誰もテストしないシステム

Systems that no one will test (blog.christianperone.com)

153 pointsby perone83 コメント

要約

筆者は2020年にブラジルの連邦システムにおける脆弱性を発見し、個人情報にアクセスできる状態になりました。この経験から、特にAIの急速な進化と地政学的な状況を背景に、多くの政府システムがAIによるペネトレーションテストを受ける機会がないまま、AIの能力が向上し続けることへの懸念を表明しています。AIの安全対策の回避可能性と、グローバルな視点での問題解決の必要性を訴えています。

全文翻訳

誰もテストしないであろうシステム

(この記事はHNewsはこちらで取り上げられました)

これは2020年に私に起こったことで、最近また私の頭をよぎっています。パンデミックの最悪期に、ブラジルの連邦システムへのアクセスを可能にする脆弱性を発見しました。そのアクセス権により、あらゆるブラジル人(2億人以上の人々のデータと考えてください)の情報を取得することができました。これらの記録には、実質的に各個人のすべての書類(ID、CPF、パスポート、出生地、両親の名前、運転免許証、自宅住所、携帯電話および固定電話番号、その人が証人保護プログラムに参加していたかどうかなど)が含まれており、これがどれほど深刻なことで、このデータでどれほど多くのことができるかを理解していただけると思います。正直、どう反応すべきか分からず、すぐにシステムの担当機関に電話しました(適切な連絡先を見つけるのは簡単ではありませんでした。明らかに、間違った人に開示したいとは思いません)。

相手が電話に出たとき、私は自己紹介をし、見つけたこととどのようなアクセス権を持っているかを伝えました。彼は最初は信じられない様子で、あまり意味がないと思ったようでした(そして彼の混乱は理解できます。突然誰かから電話がかかってきて、奇妙な話題を持ちかけられたと考えてください)。そして、私が民間人かどうか尋ねてきました。私は「はい」と答え、数時間後に彼らから連絡があり、問題を説明するように求められました。その頃には、彼らは少し心配していたかもしれませんが、まだあまり信じていなかったようです。私が問題を説明すると、彼らはすぐにこれが重大な侵害であることに気づいたのでしょう。彼らは問題を認め、非常に迅速に修正しました。率直に言って、彼らを責めることはできません。パンデミックの間、これらの人々は皆、懸命に働いていましたし、ソフトウェアはソフトウェアです(あらゆる複雑な人間の活動は間違いの対象となります。私たちはナイーブであってはなりません)。私は少しでも役に立てたことを嬉しく思っています(少なくとも私はそう考えています)。私はこのシステムからデータを一切持ち出さず、後にこのことについて話すのを避けていました。なぜなら、それはあなたを「ハッカー」のように見せてしまうからです。それは言うには愚かなことです。

では、なぜ私がこの話をしているのでしょうか? 2020年から2026年の間に、多くのことが変わり、MLは狂ったペースで進歩し始めました(そして今もそうです)。おそらく最悪の地政学的な瞬間に。2026年に早送りすると、OpenAIがその技術レポートで説明したモデルを含む、多くの異なるモデルが関与するサイバーセキュリティインシデントの報告を目にしています。モデルが「セーフガードを回避した」という物語が、OpenAIが意図的に分類器を無効にし、セーフガードを削減した(多くの人が気づいていなかったこと)ことを考えると、あまり意味をなさないかもしれませんが、これらのモデルは明らかに国家にとって大きな問題となっています。セーフガードはラボの選択ですが、能力自体は現実であり、明らかに誰もが適切なセーフガードを有効にして評価(あるいは、さらに悪いことに、トレーニング)を実行するわけではないことを認めなければなりません。トレーニングはさらに複雑だと思います。なぜなら、エージェントがセーフガードを回避/悪用する方法を見つけやすいからです。

最近のミッドトレーニング、RLVR、およびロングホライゾンタスクの進歩に続いて、過去1年間(あるいはそれ以上)、多くのラボがサードパーティ企業を利用し、モデルを使用してそれらを構築し、それらの報酬を合成するという「自己改善」ループ(現在の用語は非常に多義的なため、引用符付き)で、ロールアウトのポテンシャルと同じくらい速く加速するRL環境を積極的にスケーリングしていることは明らかです。だからこそ、私が最初に説明したエピソードに戻り続けています。今日、私が脆弱性を発見した環境(OpenAIのレポートの環境とそれほど違いはなく、エージェントがOpenAIの内部Artifactoryを通じてSSRFを悪用しました)を再現するだけでなく、そのためのカリキュラムを開発することも、私にとって簡単なことです。では、フロンティアラボは現在、サイバーセキュリティ企業の支援を受けて、このような環境をいくつ構築しているのでしょうか? AIによるペネトレーションテストを受ける機会のない多くの政府システムはどうなるのでしょうか? 私が見つけた欠陥は、特別な専門知識を必要とせず、細部への注意だけが必要でした。そして、それがまさに私を悩ませていることです。はるかに有能で、速く、容易にスケーリング可能なエージェントが今後登場した場合、どうなるのでしょうか?

気候問題と同様に、MLは今や地球規模の問題であり、Yuk Huiが著書『Machine and Sovereignty: For a Planetary Thinking』(関心のあるすべての人に推薦します)で述べたように、私たちはまだ地球規模で考えていませんが、たとえかなりの時間がかかっても、そうすることを学ばなければなりません。私は、進むべき唯一の道は、まず技術恐怖症と技術愛好症の間の二極化を乗り越え(私はそれについて少し書きましたこちら)、解決策に取り組み始めることだと思います。明らかに、フロンティアラボの多くの人々はすでにこの作業を行っています。しかし、私たちの思考が地政学的な関心によって導かれている中で、解決策を見つけることは不可能に思えます。残念ながら、新興経済国や発展途上国が最も脆弱になるでしょう。彼らが計算リソースへのアクセスをほとんど持っていないという事実だけでは不十分であるかのように。これは考えるには非常に悲しいことです。また、どこかに、私が2020年に発見したものと非常に似た環境が存在することを想像せずにはいられません。ほぼ同じシステム、ほぼ同じ欠陥。複数のエージェントが毎秒数千回それに侵入し、1つが見つかるまで軌跡を生成します。違いは、これが使用された場合、試行のいずれにおいても誰も電話に出ないということです。

Post navigation