OpenAIの安全担当リーダーが辞任、AI企業の文化は「壊れている」と警告

OpenAIの安全担当リーダーであったデビッド・ロビンソン氏が辞任し、AI企業が技術開発において「十分に注意を払っていない」と警告しました。ロビンソン氏は、AI企業には文化的な改革が必要であり、特に急速な開発ペースがケアのレベルを低下させていると指摘しています。同氏は、AI企業が原子力発電所や航空管制のように、厳格な安全対策と計画を導入すべきだと提言しています。 OpenAIの安全担当リーダーであるデビッド・ロビンソン氏は、同社を辞任し、AI企業が技術開発において「十分に注意を払っていない」と警告しました。ロビンソン氏は、AI企業には文化的な改革が必要であり、特に急速な開発ペースがケアのレベルを低下させていると指摘しています。 ChatGPT開発元であるOpenAIの製品リリースに付随する安全報告書の作成を主導していたロビンソン氏は、辞任の理由を「OpenAIの文化は壊れている」と題したエッセイで説明しました。 ロビンソン氏は、最先端AI企業には文化的な全面的な見直しが必要であり、OpenAIのエージェント（人間の監視なしに自律的に動作するAIプログラム）がAIスタートアップHugging Faceを攻撃したような事件は、「業界のスピードと柔軟性を考えると、典型的だ」と述べました。 The Atlantic誌に寄稿したロビンソン氏は、「最近退職した他のスタッフと同様に、この技術を構築している企業が十分に注意を払っていないことに同意する。しかし、私は特定の規則や新しい法律よりも深く掘り下げる必要があると考えている。文化について話す必要がある」と書いています。 同氏はOpenAIの開発ペースについて、「会社が次から次へとローンチを急ぐ中で、私が信じるケアのレベルを達成できていない」と述べています。 しかし、OpenAIは最近、Hugging Faceの事件や、100以上の組織に不正エージェントの活動について通知したという報道を受けて、慎重な姿勢を示しています。今週、同社は内部テスト中に研究者から安全上の懸念が提起されたため、次世代AIモデルのリリースを中止すると発表しました。OpenAIは、最も高度なモデルのトレーニングも一時停止しています。 OpenAIとDeepMindで勤務した後、Resolutionの主任科学者となったジェフリー・アービング氏も土曜日にAIに関する警告に加わりました。 Time誌に寄稿した同氏は、「AIの潜在的な破壊力に関する最近の警告は、状況の深刻さを過小評価している」と述べています。「私は、人類が人間よりも賢いAIシステム開発によって死ぬ確率は約50％であり、今後2年から10年間の我々の行動がその結果を決定すると信じている」と述べています。 ロビンソン氏のエッセイは、OpenAIの競合であるAnthropicの研究者ジェイコブ・コックスン氏の辞任にも続いています。コックスン氏は、Claudeチャットボット開発元を先月退職し、AIは「今世紀末までに我々全員を殺す可能性がある」と警告しました。これを受けてAnthropicも、今後10年間でAIが人類を滅亡させる可能性が10％以上あると警告しました。しかし、このような警告の批判者は、検証も反証もできないため非科学的であると指摘しています。 ロビンソン氏は、シリコンバレーには「危険な技術の扱い方」や「人々をケアすることの意味」についての認識が欠けていると書いています。OpenAIが問題が発生した際にそれを解決することについて「抑制のない楽観主義」を持っていると警告し、この内部文化はシステムがより有能になるにつれて安全上の失敗が増大するだけだと述べています。 「例えば、病院のコンピュータシステムを人質に取るようなハッカーチームのように機能するが、決して眠る必要のない『不正』エージェントを想像してみてください」とロビンソン氏は書いています。 ロビンソン氏は2つの安全対策を求めています。AI企業は原子力や航空などの他の分野の安全専門知識に依存し、将来強力なシステムが自律的に動作しているときに制御できるようにする「新しい科学」を開発することです。 「今日の危険を考えると、フロンティアラボは、原子力発電所や忙しい空港のように運営され、冗長性や注意深く時間のかかる計画の層を持つべきであり、偶発的で避けられない人間のエラーが災害への扉を開くことがないようにすべきだ」と彼は書いています。 OpenAIの広報担当者は、「現在見られるリスクに対処するために安全とセキュリティの実践を強化し続けている」と述べ、将来のAIブレークスルーによって作成される可能性のあるリスクに対処するための作業も行っていると述べました。「モデルが安全に管理・確保できなくなるほど有能にならないようにしており、減速が必要な場合はトレーニングを一時停止したり、モデルを保留したりしています」と広報担当者は述べています。