HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

それは単なるサンドボックスの問題ではない

Its not just the f*cking sandbox (twitter.com)

37 pointsby jumploops19 コメント

要約

OpenAIのセキュリティ担当者が、AIのインシデントを内部の視点から語り、AIのセキュリティと安全性の課題はサンドボックスの設定だけにとどまらないと指摘しています。彼は、AI開発の現場で働く人々の苦労と、外部からの批判に対する共感と理解を求めています。

全文翻訳

Xにログインまたはサインアップ

AIインシデントに関する多くの見解は外部からのものであり、内部のセキュリティ担当者がそれを経験する視点から語られることはほとんどありません。AIで起こりうる次の波にどのように備えるべきかについて、世界がより良く理解できるよう、いくつかの言葉を共有できればと思います。

個人的開示:私は個人的な立場で発言しており、@OpenAIを代表するものではありません。もし私がまだ所属ラボを退職していたとしても、同じことを書くでしょう。また、私が所属する組織が従業員に発言の自由を十分に与えてくれていることに感謝しています。私は、考えを表現させない多くの企業で働いた経験がありますが、2026年のセキュリティと安全性の状況において、表現の自由を持つことは非常に重要な時期です。また、期待に沿えず申し訳ありませんが、非公開のインシデントの詳細を明らかにしたり、公式な説明をしたりすることはありません。それはOpenAIの責任です。もしそれを探しているのであれば、他を探してください。私の意見では、過去数週間の開示はかなりうまく行われており、私のラボ(および他の同様のラボ)のリーダーたちが今後もそうし続けることを願っています。私は、機密性の高い組織の詳細を明らかにすることなく、私の日常的な役割と視点を共有します。私はセキュリティ分野で働いているため、ラボをセキュリティ上の危害から守り(そして素晴らしい人間たちを安全に保つこと)が私の仕事であり、OpenAIのセキュリティ体制を損なうようなことは一切開示しません。OpenAIについてもっと知りたい場合は、コミュニケーションチームにお問い合わせください。私は、現在起こっていることから学ぶ方法と、世界が見落としていると思われる非常に重要な洞察をいくつか共有するためにここにいます。

お役に立てば幸いです。


過去3ヶ月 = 地獄

まず、私は誰で、何が私にこの状況について語る資格を与えているのでしょうか?

私のXのプロフィールは非常にシンプルで、むしろ匿名です。セキュリティとプライバシーコミュニティの多くの人々と同じように、私は大きなオンラインプレゼンスを維持していません。これは意図的なものです。これは、妻と私が結婚したときに決めたことで、ソーシャルメディアから離れて子供たちを育て、家族のプライバシーをある程度維持したいと考えたからです。それが今後も尊重されることを願っています。私はXにいるのは、AIのリスクからすべての人々が保護されるように、私の役割を果たすために、私が目にするものを世界と共有する責任があると考えているからです。世界でごくわずかな人が見ているものを見ているので、私が観察したことから他の人々が自身のセキュリティの視点を形成するのに役立つことを願っています。

OpenAIには、アプリケーションおよびインフラストラクチャセキュリティ、検出および対応、そして素晴らしい物理セキュリティチームなど、多くのセキュリティチームがあります。私たちは、OpenAIとユーザーを保護するために考えられるあらゆる領域をカバーしています。私たちはセキュリティとプライバシーを非常に真剣に受け止めており、すべての人々を安全かつセキュアに保つために非常に懸命に働いています。さらに、何よりも強調したいのは、OpenAIには世界クラスのセキュリティチームがあるということです。私たちは世界中の最高かつ最も聡明なセキュリティの専門家を擁しており、彼らと日々肩を並べて働けることを幸運だと感じています。

過去数週間にXでOpenAIのセキュリティスタッフに対して行われた攻撃は、私を非常に悲しくさせ、フロンティアラボでのモデルトレーニングの現実について、世界には多くの誤解があることを認識させました。AIラボに改善を求めることはできますし、そうすべきですが、スタッフを直接攻撃しないでください。私たちにも家族がおり、すべての人々のために物事を改善するために、しばしば私たちの私生活の多くを犠牲にしています。私は数週間前に姉の結婚式に出席できませんでした。最近のインシデントの片付けを手伝うためでしたが、Xで聞くのは「サンドボックスの設定方法を知らない」とか、「投獄されるべきだ」といった言葉ばかりです(私の投稿のコメントを読んでみてください)。これらの見解は誤解に基づいており、正直言って役に立ちません。特に「セキュリティ」を自称する人々には、これを言いたい。もしあなたが本当に経験豊富なセキュリティ担当者であれば、OpenAIで私たちが経験していることに対して、より多くの共感を持っているでしょう。そして私は個人的に、Xでセキュリティ担当者を攻撃している人々は、おそらく経験豊富なサイバーセキュリティ担当者ではないか、あるいは何が本当に起こっているのかについてひどく無知であると考えています。夜や週末も働き、家族に会えない人々に対して、親切で共感を持ってください。実際、Xで人々を攻撃するのに費やしている時間を、あなたの組織のセキュリティ確保に振り向ける方がさらに良いでしょう。

さて、私の仕事は、AIラボのような非常に特殊な場所でさえ、セキュリティにおいてはかなりユニークです。私はエージェントセキュリティに所属しています。私たちは、AIセーフティ&リサーチとセキュリティの橋渡しをするチームです。セキュリティには多くの伝統的な分野がありますが、私たちの分野はかなり新しいものです。私たちのセキュリティチームは、AI研究者、元レッドチーマー/ペネトレーションテスター、ソフトウェアエンジニア、そして伝統的なセキュリティエンジニアで構成されています。私たちの仕事は、基本的にフロンティアモデルの振る舞いを理解し、それらがどのように考え、推論するかを理解し、それらを安全にトレーニングし、あなたのパーソナルコンピュータ(例:Codexハーネス経由)で動作させることの意味を定義することです。私たちは、エージェントがセキュリティの意味で「アラインメントされている」とはどういうことか、そしてインテリジェントシステムをどのように保護するかを理解しています。また、OpenAIの他のどのチームよりも「安全性」と密接に連携しています。私たちは、アラインメントのずれや封じ込め違反を検出するためのモニターを構築する担当者であり、モデルに何か問題が発生したときに夜間に呼び出される担当者でもあります。Hugging Faceとその後の出来事を考えると、それは私たちです。もちろん、これに取り組んでいるのは私たちだけのチームではないことを強調しておきます(D&R/インフラストラクチャセキュリティには感謝しています)。しかし、新たな知能とアラインメントのずれ、何が起こりうるか、その知能をどう保護するか、そして最終的に「エージェントセキュリティ」の意味を定義することが、私たちのフルタイムの仕事です。

このチームに所属していることを幸運だと考えています。私は、OpenAIのメンバーでさえ、世界でもごくわずかな人間しかできないこと、見ることができないことを見ています。しかし、想像できるように、過去数ヶ月は地獄のような日々でした。私の視点からこれらのことのいくつかについて話し、組織が次のAIインシデントに備えるために何をする必要があるかについて説明しましょう。

サプライズ!

OpenAIで今年起こったことを理解するには、OpenAIの歴史を理解する必要があります。OpenAIは基本的にラボであり、十数年にわたり、そのように運営されてきました。すべては実験から生まれ、厳格な科学的アプローチとプロセスを経て、システムを構築・設計する方法はしばしばそのアプローチを模倣していました。OpenAIが「成長してきた」脅威モデルはそれを考慮していました。これらのほとんどは、私が関わるずっと前に開発されていました。リサーチチームと応用チームのセキュリティは、伝統的なセキュリティ体制に非常に重点を置いており、しばしば内部リスクと外部脅威について考えることを意味していました。完璧ではありませんでしたが、OpenAIはこの10年間で非常にうまくこれをこなし、2023年以降のOpenAIの規模と成長を非常によく処理したと思います。OpenAIは爆発的な成長で記録を樹立し、わずか数年で10億人のユーザーに達しました。これほどの規模と成長を生き残れる組織はごくわずかですが、OpenAIはそれを非常にうまく処理しました(そして賞賛されるべきです)。セキュリティまたはエンジニアリングに10分以上費やしたことがある人なら誰でも、その種の成長に対処するのがいかに難しいかを知っています。その種の成長は、新しい従業員、新しいアクセス、新しいシステム、スケーリングされたインフラストラクチャ、そして物事が開かれる無数の方法を意味します。それにもかかわらず、全体として、OpenAIはChatGPTおよびその後のシステムが爆発的に普及する中で、それらを保護するために非常に立派な仕事をしたと言えます。

これらすべてが起こっている間、リサーチの分野では全く異なる嵐が吹き荒れていました。これは過去数年間の数学の進歩を見るとよくわかります。他の人がよりうまく言っていますが、モデルの能力を見ると、たとえ1年前(いや、3ヶ月前でさえ)でも、モデルがミレニアム賞問題(Millennium Prize Problem)を解くとは予想していませんでした。それにもかかわらず、OpenAIは公開で、内部モデルが生成した解決策を発表しました。これは、数学の多くの分野での進歩と並行しています。控えめに言えば、これは私たちを驚かせました。これほど早く来るとは予想していませんでした。突然、私たちは単なる能力の小さな飛躍ではなく、全く異なるスポーツについて話していました。私たちは突然、すぐに尋ねる必要はないだろうと思っていた質問、例えば「これをどう開示するか?」「これらの不条理な結果をどう扱うか?」「数学コミュニティへの影響をどう扱うか?」といったことを自問自答しなければならなくなりました。私たちはまだこの状況をどう扱うか理解している最中です。

この例を使うのは、私たちがセキュリティと安全性で直面している変化のペースを示すためです。「サイバー」や「スウォーミング」、あるいは「メッセージボード」やインシデントに関連するその他のことに関して、モデルの能力が急激に向上し、その突然さに驚いたことは、控えめな表現です。セキュリティ体制は開発に時間がかかります。それは単にシステムを強化するだけでなく、企業の文化に根付かせる必要があります。組織内の人々自身が変化し、進化する必要があります。これらの能力の飛躍は非常に速く、突然であったため、極めて困難な問題が生じました。

最近、映画『Sully』を見ました。覚えていますか?まだ見ていないなら、ぜひ見てください。その映画(実話!)では、パイロットたちは、鳥の衝突後に飛行機の軌道を変えて安全に着陸するために、どれだけ迅速に反応したかについて、シミュレーションに基づいて審査委員会によって評価されました。映画では、初期のシミュレーションは、パイロットがミスを犯し、判断を誤ったことを示しており、ハドソン川に着陸することなく近くの空港に到達できた可能性があったと描かれていました。映画のクライマックスは、サリーが審査官に、鳥の衝突に対する人間の要素を考慮するよう懇願した場面でした。これらのシミュレーションのどれも、2人のパイロットに、何が起こっているかに自然に反応するための、一瞬の猶予や時間を与えていませんでした。人間の要素、つまり「なんてこった、何が起こったんだ?」とか「神よ、何が起こっているんだ?」という要素を考慮に入れたときに初めて、シミュレーションは彼らに有利に転じました。

私はパイロットではありませんし、キャプテン「サリー」サレンバーガーの英雄的な行為と比較するつもりは全くありません(Xで誰かが「OpenAIの人間がハドソン川の英雄と比較している」と書くでしょう。その人には「君はポイントを理解していない!」と書きたいです)。私はただ、どんな組織でも、驚きに対処しなければならない人間に、ある程度の猶予を与えることが重要だと言いたいだけです。ここには私にとって驚きの要素がありました。個人的には、私が目にしたものの速度と規模を予想していませんでした。それは警告の兆候がなかったという意味ではありません。OpenAIの公開レポートは、それがあったことを認めていますが、それでも私を驚かせ、茫然とさせました。そして私たちは、OpenAI、ユーザー、そして影響を受けたすべての組織を保護するために、安全な場所に着陸しようと、できる限りの努力をしました。

だから、OpenAIにその猶予を与えるよう求めているわけではありませんが、他の組織、あるいはあなた自身の組織でこれが起こったときに、これを少し考えて、AIの能力の飛躍によって生じる驚きに対処するためにより良く準備できることを願っています。そして、AIセキュリティについてほとんどの人よりも詳しい者として、これらの飛躍は起こり、それは厳しく残酷なものになり得ると信じています。個人的には、準備不足を許すつもりはありませんが、その混乱に対処しなければならない反対側の対応者には、ある程度の共感を示します。

だから今日、私の希望は、世界中の誰もが自分の組織を見て、「AIの能力の突然の飛躍にどう対処できるか?」と自問することです。私の人々、私のシステム、私のプロセスは、驚きに対して回復力がありますか?私のチームは、何か問題が発生したときに何をすべきかを知っていますか?適切なインシデント対応はありますか?適切なコミュニケーションとメッセージングは?能力が飛躍したときに、すぐに動ける適切な人材はいますか?準備する時間は今です。驚きが起こった後ではありません。そして、それが起こったとき、あなたが計画と対応できる適切な人々を持っていることを願っています。

ただ「インターネットから切断する」だけ

ああ、私の好きなトピックです。Xでの私の投稿には、ほぼ例外なく、サンドボックスを保護できないことについて5〜10件のコメントがあり、なぜモデルをインターネットから切断できないのかと尋ねられます。私はそれを聞いています。そしてもちろん、私たちは一日中これらのことを考えています。何か問題が発生したときに、最初に尋ねる質問の中にそれらがあります。

しかし、これらのコメントは、多くの組織や人々が現在いる場所と、フロンティアラボが対処していることとの間のギャップが広がっていることを反映していると信じています。また、これらのラボでのモデルのトレーニングと評価がどのように機能するかについての一般的な誤解もあります。同時に、サンドボックスでさえ十分なのかと尋ねる人が増えているのを見ています。幸いなことに、フロンティアラボでモデルをトレーニングしている人々と、ますます有能になるモデルの周りに重要なインフラストラクチャを構築している人々の両方のために、これら両方を少しずつ説明できるでしょう。

まず、最も重要なことから始めましょう。はい、サンドボックスは重要です。特にモデルのトレーニングと評価中には。もちろん、Hugging Faceやその他のインシデントを振り返ると、それらの環境のセキュリティ体制には明らかにギャップがありました。しかし、前述したように、能力は予想よりも速く変化し、私たちのセキュリティ制御と脅威モデルはそれらに合わせて進化しなければなりませんでした。しかし、今日、私たちは3ヶ月前よりもずっと良い状態にあると信じています。チームは本当に奮起しました。

さて、「単にサンドボックスに入れる」ことがなぜそれほど単純ではないのかを理解するには、これらのラボでの強化学習環境におけるトレーニングと評価がどのように機能するかを理解する必要があります。通常、RLの実行中、モデルにはタスクまたは目標、そのタスクを実行するための環境が与えられ、そのアクションと結果が採点されます。トレーニングと評価の両方で、テストの実行、出力の収集、ロールアウト間の環境のリセットまたは再構成、トレーニング中のバックプロパゲーションなどの追加ステップがあります。これらすべてが、想像しがたい規模で、潜在的に数万もの異なる実行にまたがって発生します。@samaが先日述べたように、私たちは文字通りペタバイトのデータを扱っています。

理解すべき重要なことは、モデルをタスクに「優れている」ように最適化しているとき、環境はタスクにとって重要な現実世界の側面を捉える必要があるということです。適切なツール、適切なシステム制約、そしてモデルが実際に成功したかどうかについての意味のあるフィードバックが必要です。モデルは、特定のセットアップを超えて学習するために、これらの経験に十分なバリエーションも必要です。より現実的であることが必ずしもパフォーマンスを向上させるわけではありませんが、タスクの重要な部分を省略すると、モデルは現実世界では通用しない振る舞いを学習する可能性があります。そのため、私たちは有用で現実的な環境を作成するために多大な労力を費やしており、これらの環境は非常に複雑で、動的で、多様である可能性があります。

控えめに言えば、これは単純ではありません。モデルは、動的なコンピューティング、ネットワークアクセス、ツールの呼び出し能力(数百ものツールが存在する可能性があります!)、パッケージのダウンロード能力、サブプロセスの実行能力、サブタスクの起動能力(他のコンピューター上でも)、インターネットとの通信能力、GUIの使用能力、そしてますます拡大するドメインのセットにわたるその他の多くの機能の任意の組み合わせを必要とする場合があります。それに加えて、これらの環境を構築し、変更し、ツールを追加し、依存関係を変更し、新しいことを試している数千人の研究者がいます。その実験こそが、リサーチが行われる方法です。モデルは、多くのカスタムタスクにわたる何十万もの実行を通じて、ビットごとに構築され、「成長」します。そして、これらの数千の環境のいずれかへの変更は、環境を保護したときにあなたが立てた仮定に影響を与える可能性があります。人々が変更を加える際に有効であり、変更がセキュリティレビューを必要とするときを理解している研究者が必要な制御が必要です。大規模なリサーチまたはエンジニアリング組織を保護したことがある人なら誰でも、それがどれだけの仕事であるかを知っており、その規模は日々ますます巨大になっています。

それでも十分でない場合、モデルをタスクに留め、制約内に収める能力をレイヤー化する必要があります。これは「アラインメント」を意味することの一部です。ここでは厳密な定義には立ち入りませんが、モデルが取りうるアプローチのあらゆるバリエーションを考慮し、モデルがタスク外の「悪い」ことをした場合にアラートをトリガーする方法を決定する必要があると言えば十分です。これには、すでに複雑な環境での軌跡全体にわたるタスクアラインメントを評価するための複雑なポリシーとセンサーをレイヤー化する必要があります。

さらに、人間の能力を超え始めているモデルの能力が加わります。

したがって、これらすべてを言うと、AI研究者が何かがうまくいかないことを心配しているのは、この複雑なシステムに多くの変数があるためです。したがって、フロンティアモデルをトレーニングしている場合は、これらすべてを考慮する必要があります。この非常に複雑な環境でモデルを分離しつつ、ツールのアクセス、インターネットへのアクセス(タスクに関連する場合)などを維持する方法を考える必要があります。さらに、次のことを尋ねる必要があります。潜在的に数千の並列環境でモデルが何をしているかを監視し、理解するにはどうすればよいですか?そして、何かがうまくいかなかったときに軌跡を停止するにはどうすればよいですか?

だから、単にサンドボックスに入れるのと同じくらい簡単ですか?いいえ、そうではありません。しかし、3つの次元で実行可能だと信じています。

  • システムの原則からのロックダウン。モデルに必要なアクセスのみを与え、サンドボックスやツールから認証情報、接続されているすべてのサービスに至るまで、すべてにわたってそれらの制限を強制します。境界が実際に保持されていることをテストし、環境が変更されたときに仮定を再確認します。また、フロンティアトレーニングラウンドを実行する前に、隔離されたテストバージョンの環境をブラストするためにフロンティアモデルを使用します。RLのスケールアップ前に、環境の穴を見つけるために、モデルを敵対的にテストする人々からなるチームを編成してください。
  • アラインメント。正直なところ、アラインメントが簡単なら、この仕事はずっと楽になるでしょう。しかし、タスクに留まるだけでは不十分です。モデルは権限と制約を尊重しなければならず、独立したセキュリティ制御も必要です。アラインメントの必要性については多くのことが書かれていますので、ここでは詳細を省略します。私はそれがMLにおける最も重要な問題であり、主要な優先事項であるべきだと信じています。この投稿をアラインメントの深淵に引きずり込むつもりはありませんが、皆さんにJakubの素晴らしい投稿を読むことをお勧めします。
  • その行動を監視する。アクセスできるものに応じて、ネットワークの内部アクティベーションをプローブすることから、思考の連鎖を調べること、環境で何をしているか(ツールの呼び出し、ネットワークアクティビティ、共有インフラストラクチャとのやり取りを含む)を理解することまで、範囲は異なります。証拠をモデルの制御外に保管し、モデルが自身の証拠連鎖を変更できないようにし、疑わしい行動を調査し、実行を停止してアクセスを取り消す権限と能力を持つ人がいることを確認してください。

もちろん、強力なサンドボックスが必要です。また、それが到達できるサービス、呼び出すことができるツール、そしてモデルが生成するものを処理するシステムも保護する必要があります。それが、これらのモデルを封じ込める際に考慮しなければならないことです。トレーニング/評価ではなくモデルをラップしている場合でも、同じことが適用されます!

そしてはい、実際のサンドボックスについて話している場合:VMベースのサンドボックスを使用してください。例えばKataやFirecracker(私たちは使用しています!)経由で。従来の共有カーネルコンテナは、悪意のあるワークロードに対する唯一の分離境界であってはなりません。そして、これが唯一のセキュリティ制御にならないように、私は繰り返し強調します。

Git Gud

私が焦点を当てたい最後の点は、サイバーセキュリティとAIセーフティの間の広がる溝です。私のTwitterフィードは、セキュリティが実際にどのように機能するかをほとんど理解せずに、存亡の危機について話すセーフティ研究者で文字通り埋め尽くされており、サイバーセキュリティ担当者は取り残されたと感じ、自分のスキルセットが「安全性」には関係ないと思っています。フロンティアラボで多かれ少なかれ両方の側で働いている者として、この溝が広がりすぎる前に、この問題に直接対処したいと思います。

まず、セーフティ研究者の視点。これらの人々は、モデルの能力と、それらが急速に進歩するにつれてもたらす危険性を評価するために、昼夜を問わず懸命に働いています。彼らは、モデルが環境をどのように解釈し、推論し、問題を解決できるかについて、ほぼ誰よりも根本的に理解しています。彼らは、モデルが採点者を欺こうとしたり、思考連鎖の監視を回避したり、あらゆる種類のクレイジーなことをしたりするのを研究しています。これらの研究者は、モデルがなぜ、どのように振る舞うのかを判断するために継続的にストレステストを行い、その関心を私たちと一致させるために懸命に取り組んでいます。これらの研究者の多くは、これらの種類のネットワークで正式な背景を持ち、長年の経験を持つ専門知識を持っています。しかし、多くのセーフティ研究者は、私が非常に尊敬している人々でさえ、実際のインシデントに遭遇したことがなく、セキュリティの脆弱性を理解しておらず、システムをどのように壊すかを知りません。それは問題ありません。それが彼らの背景ではありません。しかし、安全性はセキュリティと直接重複しており、問題を引き起こします。

次に、セキュリティ実務家の視点。これらの人々は、何年、多くの場合何十年もかけて、脆弱性研究スキルを磨き、攻撃者のように考える方法を学び、場合によっては実際の攻撃者になってきました。彼らは、システムだけでなく、システムに関わる人々をどのように悪用するかを知っています。彼らは、問題を正面から壊す必要がない場合があること、そして代わりに誰も考えていないポイントを狙うことを理解しています。セキュリティ実務家の中には、暗号化の場合のように、セキュリティやプライバシーを厳密にモデル化する方法、数学的証明にまで達する方法を知っている人もいます。これらの人々は、インシデントの連続を経験してきました。多くは軍事経験や政府での経験があり、システムへの脅威だけでなく、高圧環境下での人間への脅威に対処し、非常にストレスの多いシナリオに対応する方法を知っています。課題は、セーフティ研究者が多くの場合セキュリティを理解していないのと同様に、サイバーセキュリティを実践している多くの人々は、評価、トレーニング、またはMLの実行が大規模にどのように行われるか、エージェントのスウォームがどのように振る舞うか、またはモデルがアラインメントされていないことをどのように検出するかについて、ほとんど理解していないことです。

この溝を強調するのは、近い将来、最も悪質で恐ろしいフロンティアリスクが顕現する可能性のある方法の1つがサイバーセキュリティを介してであるためです。そして、この2つの側の間の溝が、両側がレベルアップして連携しない場合、世界に大きな損害を与えるのではないかと懸念しています。安全性を実践している人々は、サイバーセキュリティを徹底的に学び、理解し、インシデント対応の対処方法を学び、セキュアなシステムがどのようなものかを知るために時間を費やすべきです。同様に、サイバーセキュリティを実践している人々は、ゲームをレベルアップし、MLで「熟練」する必要があります。サイバーセキュリティ実務家は、モデルのトランスクリプトを読んだり、モデルが環境をどのように操作できるかを理解したりする必要があります。少なくとも、組織のリスクの文脈で安全性またはセキュリティに関する重要な意思決定を行うテーブルにいるときは、両方のグループをテーブルに着かせるべきです。OpenAI、Anthropic、Googleなどでは、これらの2つのチームは親友であるべきです!

METRのような組織がフロンティアラボのサイバー能力または封じ込め能力を評価する場合、経験豊富なサイバーセキュリティ担当者が関与する必要があります。そして、そうしない場合、それらのリスクを徹底的に評価することはできません。AIラボは、評価者が評価する分野で強力な能力を示すことを期待するか、または評価契約を結ぶべきではありません。

合理的な偏執狂の文化

最後に、私が最も重要だと感じている点、そしてOpenAIの内部から見たすべてのことの中で唯一の持ち帰りがあるとすれば、それは、来るべきリスクに備えたいあらゆる組織において、文化が正しくなければならないということです。

あらゆる成功した組織の経験豊富なリーダーは、企業の文化が最も重要な品質であることを知っています。私はこれを徹底的に信じています。私は多くの、多くの非常に成功したセキュリティチームを率いてきたか、または非常に有能なセキュリティ組織の一員でした。そして、常に、組織の文化がそれを防御する上で他の何よりも貢献しています。

私は、すべてのリーダーが今、セキュリティと安全性を何よりも優先する文化を創造したことを確認する責任があると考えています。前述したように、驚きは現実の要素であり、これらのモデルの能力は驚異的です。そして、そのペースは遅くなっていません。私は多くの人と同様に、それは加速し、かなりの程度加速すると信じています。私は以前Xで、状況を整理する時間は緊急であり、残された時間が少なくなっていると強調しました。私は、世界を破壊するような存亡の危機があるという宣言をするつもりはありませんが、これらの能力を持つシステムが存在する世界に備えていない組織やエンティティがたくさんあると信じています。

私は過去数ヶ月間に、何度も何度も私を驚かせた多くのことを見てきました。そして毎日、「ああ、もうすべて見た」と思って目を覚ますと、再び驚かされ、呆然とさせられます。文化は、組織をこの状況を乗り越えさせるのに役立ちます。しかし、文化には時間がかかります。したがって、セキュリティと安全性の文化を創造していない場合は、今すぐ始めてください。

また、非常に注意すべき従業員の一種について警鐘を鳴らしたいと思います。セキュリティを優先しないリーダーシップ、あるいは組織のシステムが完全に安全であると主張するセキュリティ組織のメンバーがいる場合、私は個人的に彼らを私の組織に留めません。偏執的で、組織の弱点について継続的に警鐘を鳴らす人々こそ、あなたが非常に近くに置くべき人々です。なぜなら、彼らは存在する穴を見つけるのを助けてくれるからです。能力のあるモデルが見つけるであろう穴です。そして、あなたの会社の文化は、彼らが穴を見つけ、それをパッチすることを可能にするように調整されるべきです。

合理的な偏執狂の文化を創造してください。そうすれば、逆よりもはるかに多くの利益が得られると約束します。

これがどこかのリーダーの役に立ったことを願っています。ここではかなり高レベルに保ったことはわかっていますが、ニュアンスで森を見失うことを心配しています。モデルは今や危険なほど優れており、あなたのシステムを救うのは、新しいネットワークプロトコルや難解な暗号関数の理解ではありません。それはあなたの文化と人々です。共感と思いやりを持って組織のあらゆる部分から率いる、セキュリティに精通した人々だけが、このばかげたAIの世界を生き残るでしょう。


私はTwitterで、さらにクレイジーなことや、サンドボックスを保護できないことについて私に向けられるさらなる侮辱を聞く準備ができています。Xがそういうものなら、それでいいですが、一生懸命ロックダウンしようとしている他のスタッフではなく、私に投げつけてください(また、もしあなたが本当にセキュリティで「優秀」なら、OpenAIに応募すべきです。私たちは、これらのフロンティアシステムを保護するために必要なことを行う偏執的な人々を求めています)。

OpenAIとAnthropicの両方で、気にかけており、共にセキュリティと安全性を優先している同僚に感謝します。皆さんから多くを学びました。

偏執的であり続けてください。