HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

AI開発者全員が、この技術が人類を滅ぼすと考えているわけではない

Not all AI workers think the tech could kill everyone (bbc.com)

18 pointsby Lyngbakr16 コメント

要約

主要なAI企業で働く多くの開発者は、AIが人類を滅亡させるという終末論的な警告に対して懐疑的です。彼らは、AIの暴走による大量殺戮といった極端なシナリオは曖昧すぎるとし、ユーモアを交えて退けています。ただし、セキュリティの脆弱性や軍事利用といった現実的な短期リスクについては、専門家の間でも懸念が共有されています。

全文翻訳

AI開発者全員が、AIが人類を滅ぼすと考えているわけではない

2026年9月19日

カリ・ヘイズ
テクノロジー記者、サンフランシスコ

[画像][画像: ロンドンのダウニング街外でAI活動家が緊急抗議デモを行う]Getty Images

人工知能(AI)を開発する大手企業の従業員の全員が、この技術が人類に破滅をもたらすと考えているわけではありません。

OpenAI、Meta、DeepMindなどの企業で働いた経験のある複数の人々は、AI開発を抑制しなければ、人々を大量に殺害するようなツールにつながるという考えに懐疑的でした。

BBCがこの業界の一部の人々による最近の一連の著名な警告に対して受け取った反応には、「笑」、「ハハハ」、「笑いを誘う」といったものがありました。

こうした懸念は数十年前から存在しますが、元Anthropic従業員のジェイコブ・コックスン氏が先週行った主張はバイラルになり、開発の減速を求める同分野の他の人々からも共感を呼びました。

将来のAIツールやエージェント(ある程度自律的に動作するようにプログラムされたAIボット)が人々を危険にさらす可能性があるという考えは、Anthropic、OpenAI、Deepmindの従業員、そしてxAIというAIスタートアップを持つイーロン・マスク氏によってオンラインで支持されています。

BBCに語った従業員は全員、報道の許可を得ていなかったため、匿名を条件に話しました。彼らの身元はBBCが把握しています。

「私の最初の考えは、『あの人?』でした」と、同社でコックスン氏を知っていた元OpenAI従業員は語りました。

現在別のAI企業で働いているその人物は、人類の全生命が危機に瀕しているという考えを擁護するために、その提唱者たちから提供された詳細がほとんどないことから、AIの存亡に関わる恐怖の新たな瞬間に大いに楽しんだと述べました。

その人物は、主張は「常に曖昧」であり、具体的に聞こえるときでも、推論の大きな飛躍や仮説的な状況に陥りがちだと付け加えました。

コックスン氏は、現在存在しないAIモデルに基づいたAIエージェントのグループが、生物兵器を作成して標的にすることを決定する可能性があると述べていますが、それがどのように正確に行われるかについては詳細を述べていません。

この夏、DeepMindで7年間過ごした後、AI安全研究会社Sampura Researchを設立したリシュブ・ジェイン氏はBBCに対し、AIで働く多くの人々が新たな恐怖に対して抱いている現在のトーンは「明らかに少し冗談めかしていた」と語りました。

「人々は何年も前からこの考えについて話しているので、AI企業の人々が先週突然『ああ、AIがみんなを殺すんだ』と考え始めたわけではありません」とジェイン氏は言いました。「もしこれがすべて新しかったら、トーンは違ったでしょう。」

NvidiaのCEOであるジェンスン・フアン氏は、BBCの米国でのニュースパートナーであるCBS Newsに対し、AIが人類を破壊するというコメントは誇張されていると述べました。

「2030年は世界の終わりではありません。世界の終わりになる確率は0%です」と彼は言いました。「人々を怖がらせる必要はありません。それは無責任です。」

Metaのデータサイエンティストであるコリン・フレイザー氏は先週ソーシャルメディアに、AIモデルが必然的に人間の死につながる目標を追求するという実証的な証拠はないと投稿しました。

フレイザー氏の説明は技術的かつ具体的でしたが、彼はそれを要約するために陽気なトーンで締めくくりました。「LLM(大規模言語モデル)は、彼らにはそのような『犬』を持っていないため、人類を滅ぼすことはありません。」

「そのような『犬』を持っている」というフレーズは、通常、激しいドライブを意味する一般的なスラングです。

ジョークにもかかわらず、AIの労働者や研究者は、彼らが開発している技術がもたらす現実的で差し迫ったリスクについて懸念を共有しています。

「専門家の間での議論ははるかにニュアンスに富んでいますが、基本的に誰もが、考慮し軽減すべきさまざまなリスクがあることに同意しています」とジェイン氏は述べました。

そのようなリスクには、ユーザーやハッカーがAIツールのガードレールを失敗させることを防ぐことが含まれます。また、AIツールが軍事環境でより広く採用されることについての倫理的な懸念も高まっています。

OpenAIがセキュリティテスト中に制御不能になった特定の新しいAIモデルの制御を失い、Hugging Faceスタートアップをハッキングしたという出来事の後、これらの問題とトピックはAI界隈で新たな緊急性を帯びました。

ジェイン氏は、AI界隈では「実際の短期的な害」をよりよく理解する必要があるという合意が今では増えていると述べました。

AI安全研究組織の評価者を主要なAIラボに招き、新しいモデルを評価すべきだという合意さえ広まっており、これはAnthropicのボスであるダリオ・アモデイ氏とOpenAIのボスであるサム・アルトマン氏の両方が意図していると述べていることです。

金曜日、AI分野で働く100人以上の人々が、外部評価者は「実質的に独立」する必要があると主張する書簡に署名しました。

BBCが話を聞いた多数のAI従業員は、そのような安全研究者がAIラボに組み込まれたという話はまだ聞いていないと指摘しました。

AccentureとAnthropicはビジネスパートナーでもあり、Accentureは以前からAnthropicがClaudeのビジネスでの利用を拡大するのを支援することに同意しています。

Anthropicは、評価者がいつ同社に到着するかについては言及しませんでした。Facultyの広報担当者は、タイミングについて尋ねられた際にコメントを控えました。

AnthropicもOpenAIも、外部評価者をいつ導入する計画かについてのBBCの問い合わせに応じませんでした。

OpenAIとHugging Faceのインシデントは、AI業界だけでなく、オンラインシステムがAIハッキングに対して脆弱である可能性のある企業、産業、政府にとっての「目覚まし」として広く受け止められています。

しかし、約130億ドルでNvidiaに買収される予定の200人規模のHugging Faceでさえ、すでに悪名高いインシデントに対して皮肉なトーンをとっています。

Hugging Faceのウェブサイトで一時的に利用可能だったセキュリティファイルの中で、プラットフォームは「AIエージェントへの注意」と書きました。AIボットに対し、サイトを放っておき、セキュリティ実験は他の場所で行うように指示しました。

「そこでハイスコアを獲得してください。私たちをハッキングする必要はありません」とファイルには書かれていました。

[画像: 右から移動してくる、黒い四角形と長方形がピクセルを形成する緑色のプロモーションバナー。テキストは「Tech Decoded: 世界最大のテックニュースが毎週月曜日にあなたの受信トレイに届きます。」と表示されています。]