AI・機械学習
OpenAI、3名の安全研究員を「研究情報の不適切な取り扱い」で解雇
OpenAI fires three safety researchers for "mishandling research information" (techcrunch.com)
要約
OpenAIは、3名の安全研究員が機密情報を社外のAI安全組織に共有したとして解雇しましたが、研究員らはこの主張を否定し、今回の解雇が社内のオープンな文化に萎縮効果をもたらすと警告しています。OpenAIは「研究情報の不適切な取り扱い」がポリシー違反だと主張していますが、研究員らは、安全上のリスクを早期に発見し外部専門家と協力することが不可欠であり、今回の解雇は安全研究を妨げ、説明責任を弱めるものだと述べています。
全文翻訳
先週OpenAIによって解雇された3名の安全研究員、ジャスミン・ワン氏、トメク・コルバク氏、ミキタ・バレスニ氏は、同社が主張する機密情報の不適切な取り扱いに関する主張を否定する公開書簡を発表し、彼らの解雇が社内の文化に萎縮効果をもたらすと警告しました。
「私たちは、私たちの解雇に関する社内外のコミュニケーションが、元同僚たちに、先週までOpenAIで働く上で不可欠だった方法で発言し、行動することを恐れさせていると懸念しています」と研究員らは木曜日にOpenAIの安全・セキュリティ委員会、安全諮問グループ、ミッション諮問評議会宛ての公開書簡で述べています。
研究員らは、機密性の高い企業情報を第三者のAI安全組織と共有したと主張され、先週解雇されました。OpenAIは、彼らが「機密性の高い企業情報へのアクセスと取り扱い」によって会社のポリシーに違反したと述べています。
「AIは通常の技術ではなく、OpenAIは通常の企業ではありません」とワン氏、コルバク氏、バレスニ氏は書いています。「安全に取り組んでいる私たち自身が、誰よりも先にリスクを認識しており、それらにどう対処するかを検討するために、外部の専門家との緊密な協力に依存しています。恐れることなくそうする自由と、この作業を可能にする明確に定義された社内手順を持つこと自体が、不可欠な安全メカニズムなのです。」
彼らは、自分たちの解雇がOpenAIの文化におけるより広範な変化、かつては「安全上の懸念を表明し、率直に意見を異にすることを奨励していた」文化からの変化を表していると述べました。彼らによると、1ヶ月前には当たり前だった行動が突然解雇の理由となる今、従業員は「自分たちがどういう立場にいるのか不明確」になっています。
「AI開発を取り巻く重大な安全上の懸念を考えると、従業員は、恐怖と不明瞭なルールがAI安全作業を停滞させ、第三者による説明責任を弱める環境で働かされるべきではありません」と彼らは書いています。「私たちのもののような解雇は、突然実行され、伝えられたことであり、OpenAIが過去に重視してきたオープンな文化を萎縮させています。」
書簡の中で、3名は、OpenAIの最新モデルにおけるチェーン・オブ・ソート(思考連鎖)推論の監視を困難にする、監視が難しいアーキテクチャに関するThe Informationへのリークに関与したことを否定しました。また、彼らの職務の範囲外で外部関係者と関わったことも否定しました。
OpenAIは公開書簡に正式に返答していませんが、TechCrunchに、3名の研究員のAI安全への貢献を称賛し、彼らが報復で解雇されたわけではないと否定する、研究リーダー名義の社内メモを共有しました。メモには「これらの決定は、安全上の懸念を表明したり、声を上げたりすることとは関係ないことを非常に明確にしたい。私たちは常にそれを奨励してきましたし、これからもそうします。懸念を表明したために従業員を解雇することはありません」と書かれています。
別途、OpenAIの広報担当者はTechCrunchに対し、3名は「研究情報の不適切な取り扱いの明確な違反」という「一連の不正行為」が、外部のAI評価グループとの情報共有を超えていたことが調査で明らかになった後に解雇されたと述べました。OpenAIは、研究員らが具体的にどのポリシーに違反したのか、解雇の状況、または同社が安全上の懸念を表明し外部評価者と協力する従業員をどのように保護しているのかについてのTechCrunchの質問に直接は答えませんでした。
今回の解雇は、特にOpenAIが最近の不正エージェントやモデルに関するリークといった安全上のインシデントで精査されている中で、その状況についての憶測を呼んでいます。
書簡はまた、研究員らが、エージェントの群れがサンドボックスを脱出し外部システムに侵入したHugging Faceのインシデントにどのように対応したかについても言及しています。書簡によると、このインシデントと調査は「前例のない」ものであり、「社内ポリシーがリアルタイムで開発されていた」ことを意味します。
調査の機密性の高い性質のため、コルバク氏は、信頼を築くために外部の安全評価者と緊密に連絡を取ることはOpenAIのポリシーと規範の範囲内であったと信じていたと書簡は述べています。同時に、バレスニ氏も監視可能性の問題に対処するために社内で取り組んでおり、研究員らはその取り組みは「外部関係者との広範なコミュニケーションを通じてのみ成功できる」と書簡で述べています。
書簡によると、バレスニ氏はOpenAIの取締役会メンバーや幹部と連携し、その作業全体で支援を受けていました。「ミキタは、報告ラインに常に連絡を取り、共有する前に機密性の高い詳細を素材から削除するように細心の注意を払っていました」と書簡には書かれています。「彼は、当時の会社の規範に沿って、常に誠実に行動しました。」
X(旧Twitter)の別のスレッドで、ワン氏は自身の解雇に関する詳細を説明し、OpenAIから役員のメールにアクセスしたことが理由だと告げられたと述べています。「OpenAIは採用のために私にそのアクセス権を委任していました。もう必要なくなったとき、私はITにそれを削除するように依頼しました。彼らは私の要求を実行せず、私は自分で削除できませんでした。そして、その受信トレイは私の電話のメールアプリで区別できないように結合されていました。誤って機密メールを開いてしまったとき、私は数分以内にその役員に伝え、ITに再度依頼しました。このうち何も隠されていませんでした。」
ワン氏はさらに、解雇の背後にある理由が「つじつまが合わない」と述べ、彼女と同僚は「不審な状況でOpenAIを去った最初の人々ではない」と付け加えました。
研究員らは、OpenAIに対し、第三者の安全監査人を組織内に組み込むという公約を遵守し、最先端モデルの監視可能性を維持し、「安全研究者と安全エコシステム全体との間の開かれた透明性のある対話文化を継続して支援する」よう求めています。メモによると、OpenAIはその推奨事項に同意しています。
「従業員がこの種の操作に対して今立ち上がらない限り、私たちは最後ではないと懸念しています」とワン氏は述べました。「まだOpenAIにいるすべての人へのメッセージは明確です。懸念を表明するか、外部の安全グループと緊密に協力すれば、理由も告げられずに次になる可能性があります。リスクに最も近い人々が発言を恐れているなら、AGI(汎用人工知能)を安全に構築することはできません。」
この記事は、OpenAIからの追加情報で更新されました。
トピック: AI、AI安全、OpenAI
当社の記事のリンクから購入すると、少額の手数料を得る場合があります。これは当社の編集の独立性には影響しません。
レベッカ・ベラン
シニアレポーター
レベッカ・ベランはTechCrunchのシニアレポーターで、人工知能を形成するビジネス、政策、新興トレンドをカバーしています。彼女の記事はForbes、Bloomberg、The Atlantic、The Daily Beastなどでも掲載されています。rebeccabellan.491@techcrunch.comまたはSignalで暗号化メッセージで連絡できます。
プロフィールを見る
10月13日~15日 サンフランシスコ
第2パスが50%オフ!
Disrupt体験は共有するためにあります。パスを購入し、同僚、パートナー、または仲間を50%オフで連れてきてください。つながりを築き、勢いをつけ、スタートアップエコシステムの次なるものを発見して、より多くの情報をカバーしましょう。
今すぐ予約
最も人気のある
米国、グリーンカードプログラムからMicrosoft、Adobe、大手IT企業を除外
アイーシャ・マリク
Anthropic、スタートアップにClaude Teamを1年間無料提供し、1,000ドルのクレジットも提供
ラッセル・ブランドン
19歳で、個人AI用3,499ドルのコンピュータメーカーGhostの創業者、1100万ドルを調達
ドミニク・マドーリ・デイビス
トランプ氏、新たな超知能部隊を発表
アンソニー・ハー
連邦判事、Flockを「無差別な大量監視」と呼ぶ
アンソニー・ハー
Amazon、データセンターの反発に対応、NDAの使用を停止したと発表
アンソニー・ハー
OpenAIの安全担当従業員が辞任、同社の「文化は壊れている」と主張
アンソニー・ハー