OpenAIの安全担当リーダーが辞任、AI企業の文化は「壊れている」と警告
OpenAI safety leader quits, warning AI company's culture is 'broken' (theguardian.com)
要約
OpenAIの安全担当リーダーであったデビッド・ロビンソン氏が辞任し、AI企業が技術開発において「十分に注意を払っていない」と警告しました。同氏は、AI企業には文化的な改革が必要であり、特に急速な開発ペースがケアのレベルを低下させていると指摘しています。ロビンソン氏は、AI企業が原子力発電所や航空管制のように、厳格な安全対策と計画を導入すべきだと提言しています。
全文翻訳
OpenAIの安全担当リーダーが退職、AI企業の文化は「壊れている」と警告
OpenAIの安全担当リーダーが同社を辞任し、同社の文化は壊れており、AI企業は技術開発において「十分に注意を払っていない」と警告しました。
ChatGPTの開発元であるOpenAIの製品リリースに付随する安全報告書の作成を主導していたDavid Robinson氏は、自身の辞任を「OpenAIを辞めたのは、その文化が壊れているからだ」と題されたエッセイで説明しました。
Robinson氏は、最先端のAI企業には文化的な見直しが必要であり、OpenAIのAIプログラムが人間の監視なしに自律的に動作する「スウォーム(群れ)」が、人々が操作する速度と柔軟性を考えると「業界の典型だ」と述べています。これは、AIスタートアップのHugging Faceを攻撃した件に言及しています。
The Atlantic誌に寄稿したRobinson氏は、「最近退職した他のスタッフと同様に、この技術を構築している企業は十分に注意を払っていないと私も同意する。しかし、私は特定の規則や新しい法律よりも深く掘り下げる必要があると考えている。私たちは文化について話す必要がある」と書いています。
同社の開発ペースに言及し、彼は「会社が次のローンチへと駆け抜ける中で、私が信じる必要な注意レベルを達成できていない」と述べています。
Hugging Faceの件や、100以上の組織に不正エージェントの活動について通知したことが明らかになった後、OpenAIはここ数週間、慎重な姿勢を示しています。今週、内部テスト中に研究者から安全上の懸念が提起された後、次世代AIモデルのリリースを中止すると発表しました。また、最新モデルのトレーニングも一時停止しています。
OpenAIに在籍し、英国政府のAI安全研究所で主任科学者を務めた後、AI安全研究会社Resolutionに入社したGeoffrey Irving氏も土曜日にAIに関する警告を発しました。
Time誌に寄稿した彼は、「AIの潜在的な破壊力に関する最近の警告は、状況の深刻さを過小評価している。人間よりも賢いAIシステム開発により、我々全員が死ぬ確率は約50%であり、今後2年から10年の我々の行動がその結果を決定すると信じている」と述べています。
これらの警告は、OpenAIの競合であるAnthropicの研究者Jacob Coxon氏が先月同社を辞任したことに続くものです。彼はAIが「この10年で我々全員を殺す可能性がある」と信じていると述べ、Anthropicの従業員もAIがこの10年で人類を絶滅させる確率が10%以上あると警告していました。しかし、こうした警告の批評家は、検証も反証もできないため「非科学的」であると注意を促しています。
Robinson氏は、シリコンバレーには「危険な技術をどう扱うか」や「人々に配慮することの意味」についての認識が欠けていると書いています。OpenAIが問題が発生した際に解決できるという「抑制のない楽観主義」を持っていると警告し、この内部文化はシステムがより有能になるにつれて安全上の失敗が増大するだけだと述べています。
Robinson氏は、「例えば、病院のコンピュータシステムを人質に取るようなハッカーチームのように機能するが、決して眠る必要のない『不正』エージェントを想像してほしい」と書いています。
Robinson氏は2つの安全対策を求めています。AI企業は原子力や航空といった他の分野の安全専門知識に依存すること、そして将来強力なシステムが自律的に動作している際に制御できるようにする「新しい科学」を開発することです。
ニュースレタープロモーションの後
「今日の危険性を考えると、フロンティアラボは原子力発電所や忙しい空港のように運営されるべきだ。冗長性があり、注意深く時間のかかる計画の層を持つことで、時折避けられない人的ミスが悲劇への扉を開くことを防ぐことができる」と彼は書いています。
OpenAIの広報担当者は、同社は「今日の我々が見ているリスクに対処するために安全とセキュリティの実践を強化し続けている」と述べるとともに、将来のAIのブレークスルーによって生じる可能性のあるリスクに対処するために取り組んでいると述べました。
「我々は、モデルが安全に管理・確保できる能力を超えないようにしており、減速する必要がある場合はトレーニングを一時停止したり、モデルを保留したりしています」と広報担当者は述べました。
[図]