それは単なるサンドボックスの問題ではない

Joe@joedarooOpenAIで全てを経験した者として、セキュリティと安全性について少し言葉を書きたいと思いました。私の考えが誰かの役に立つことを願っています。それは単なるf*ckingサンドボックスの問題ではありません4454122.8K4.7KAつまるところ、AIインシデントに関する多くの視点は外部から内部に向けられており、内部から外部を見るセキュリティ担当者のレンズを通して語られることはほとんどありませんでした。私がAIで起こりうる問題の次の波にどう備えるべきかについて、世界をより良く理解させるためにいくつかの言葉を共有できればと思っています。 個人的な開示：私は個人的な立場で書いており、@OpenAIを代表するものではありません。まだ所属していたとしても、同じことを書いたでしょう。また、私が所属する組織が従業員に発言の自由を十分に与えてくれていることに感謝しています。多くの企業で考えを表現することが許されなかった経験がありますが、2026年のセキュリティと安全性の状況を考えると、この表現の自由は非常に重要です。また、期待を裏切るようで申し訳ありませんが、インシデントの波に関する非公開の詳細を開示したり、公式な説明をしたりするつもりはありません。それはOpenAIの責任です。もしそれを探しているのであれば、他を探してください。私の意見では、私たちはここ数週間の開示に関してかなり良い仕事をしてきたと思いますし、私のラボ（や私たちのような他のラボ）のリーダーたちが今後もそうし続けることを願っています。私は機密情報を開示することなく、私の日常的な役割と私の視点を説明します。セキュリティの仕事をしているので、OpenAIをセキュリティ上の害から守り（そして私たちの素晴らしい人々を安全に保つ）のが私の仕事です。そのため、OpenAIのセキュリティ体制を損なう可能性のあるものは何も開示しません。OpenAIについてもっと知りたい場合は、コミュニケーションチームに連絡してください。私は単に、起こっていることから学び、世界が見落としていると思ういくつかの非常に重要な洞察を共有するためにここにいます。 役に立つことを願っています。 過去3ヶ月 = 地獄 まず、私は誰で、何が私に起こっていることについて語る資格を与えているのでしょうか？ もし見逃していたなら：Xでの私のプロフィールは非常にシンプルで、むしろ匿名です。セキュリティとプライバシーコミュニティの多くの人々のように、私は大きなオンラインプレゼンスを維持していません。これは意図的です。これは、妻と私が結婚したときに決めたことで、ソーシャルメディアから離れて子供たちを育て、家族のプライバシーを維持したいと思ったからです。それが尊重され続けることを願っています。私はXにここにいますが、それは私が世界と私の観察を共有する責任があると考えており、AIのリスクからすべての人々が保護されるように私の役割を果たすことができるからです。世界ではほとんどの人が見ないものを見ているので、他の人々が私の観察から学び、自身のセキュリティの視点を形成できることを願っています。 OpenAIには、アプリケーションおよびインフラストラクチャセキュリティ、検出および対応、素晴らしい物理セキュリティチームなど、多くのセキュリティチームがあります。私たちは、OpenAIとユーザーを保護するために考えられるあらゆる領域をカバーしています。私たちはセキュリティとプライバシーを非常に真剣に受け止めており、すべての人々を安全に保つために非常に懸命に働いています。また、何よりもまず、OpenAIには世界クラスのセキュリティチームがあることを強調したいと思います。私たちは世界で最も優秀で聡明なセキュリティの専門家を擁しており、彼らと共に働くことができる毎日を幸運だと感じています。 ここ数週間、XでOpenAIのセキュリティスタッフに対する攻撃があったことは、私を非常に悲しくさせ、フロンティアラボでのモデルトレーニングの現実について、世界には多くの誤解があることを認識させました。AIラボに改善を求めるプレッシャーをかけることはできますし、かけるべきですが、スタッフを直接攻撃しないでください。私たちは家族がおり、しばしば私たちの個人的な生活の多くを、すべての人々のために物事をより良くするために費やしています。私は数週間前に姉の結婚式に出席できませんでした。最近のインシデントの清掃を手伝うためでしたが、Xで聞くのは「サンドボックスの設定方法がわからない」とか、「刑務所に入るべきだ」（私の投稿のコメントをいくつか読んでみてください）ということです。これらの視点は誤解されており、正直言って役に立ちません。特に「セキュリティ」を自称する人々には、これを言いたい。もしあなたが本当に経験豊富なセキュリティ担当者なら、OpenAIで経験していることに対して、私たちよりもっと共感を持っているでしょう。そして個人的には、Xでセキュリティ担当者を攻撃している人々は、おそらくサイバーセキュリティの経験が浅いか、何が本当に起こっているのかについてひどく無知だと思います。夜や週末に働き、家族を犠牲にしている人々に、親切に、そして共感を持って接してください。実際、Xで人々を攻撃するのに費やしている時間を、あなたの組織のセキュリティ確保に振り向ける方がさらに良いでしょう。 私の仕事は、AIラボのような非常に奇妙な場所でさえ、セキュリティにおいてはかなりユニークです。私はエージェントセキュリティに所属しています。私たちは、AI安全性・研究とセキュリティの橋渡しをするチームです。セキュリティには多くの伝統的な分野がありますが、私たちの分野はかなり新しいものです。私たちのセキュリティチームは、AI研究者、元レッドチーム担当者/ペネトレーションテスター、ソフトウェアエンジニア、そして伝統的なセキュリティエンジニアで構成されています。私たちの仕事は、基本的にフロンティアモデルの行動、それらがどのように考え、推論するかを理解し、それらを安全にトレーニングし、あなたのパーソナルコンピュータなどで（例えば、Codexハーネス経由で）動作させることを意味するものを定義することです。私たちは、エージェントがセキュリティの意味で「アラインメントされている」とはどういうことか、そしてインテリジェントシステムをどのように保護するかを理解しています。また、OpenAIの他のどのチームよりも「安全性」と密接に連携しています。私たちは、アラインメントのずれや封じ込め違反を検出するためのモニターを構築するのを助け、モデルに何か問題が発生したときに夜間に呼び出されるのは私たちです。Hugging Faceとその後の出来事を考えると、それは私たちです。もちろん、これに取り組んでいるのは私たちだけのチームではないことを強調したいと思います（D&R/インフラストラクチャセキュリティには神に感謝します）。しかし、新興の知能とアラインメントのずれ、何が起こりうるか、その知能をどのように保護するか、そして最終的に「エージェントセキュリティ」とは何かを定義することを、私たちのフルタイムの仕事としています。 このチームに所属していることを幸運だと考えています。OpenAIのメンバーでさえ、世界でこれほど多くのことを見て、できる人間はごくわずかです。しかし、想像できるように、過去数ヶ月は地獄でした。これらのことのいくつかについて、私の視点から、そして組織が次のAIインシデントに備えるために何をする必要があるかについて話しましょう。 サプライズ！ 今年のOpenAIで何が起こったかを理解するには、OpenAIの歴史を理解する必要があります。OpenAIは基本的にラボであり、10年以上にわたり、そのように運営されてきました。すべては実験から生まれ、厳格な科学的アプローチとプロセスを経て、システムを構築・設計する方法はしばしばそのアプローチを模倣していました。OpenAIが「成長してきた」脅威モデルはそれを考慮していました。これのほとんどは私が関わる前のことです。研究チームと応用チームのセキュリティは、伝統的なセキュリティ体制に非常に重点を置いており、しばしば内部リスクと外部脅威について考えることを意味します。完璧ではありませんでしたが、OpenAIはこの10年間で非常に良い仕事をし、2023年以降のOpenAIの規模と成長を非常にうまく処理したと思います。OpenAIは爆発的な成長で記録を樹立し、わずか数年で10億人のユーザーに到達しました。これほどの規模と成長を生き残れる組織はほとんどありませんが、OpenAIはそれを処理する上で非常に良い仕事をし（称賛されるべきです）、その成長をうまく管理しました。セキュリティまたはエンジニアリングに10分以上費やしたことがある人なら誰でも、そのタイプの成長に対処するのがいかに難しいかを知っています。そのタイプの成長は、新しい従業員、新しいアクセス、新しいシステム、スケーリングされたインフラストラクチャ、そして物事が開かれる無数の方法を意味します。それにもかかわらず、全体として、OpenAIはChatGPTおよびその後のシステムが爆発的に普及するにつれて、それらを保護する上で非常に立派な仕事をしたと言えます。 これらすべてが起こっている間、研究部門では全く異なる嵐が静かに進行していました。これは、何が起こったかを見ると最もよく示されると思います。