Anthropic CEO、AI開発の減速を呼びかけ

AnthropicのCEOであるDario Amodei氏は、人工知能モデルの開発ペースを減速させ、厳密に監視する必要があると提言しました。 土曜日のエッセイで、Dario Amodei氏は、AI開発は避けられないものの、それに伴うリスクは「深刻」であり、企業や政府に対処するための時間を与える必要があると述べました。 Amodei氏は、AIモデルの開発中の独立した監視、業界全体の規制、グローバルな規制を含む3つの柱からなる計画を提案しました。 最近、この技術の潜在的なリスクに対する懸念が高まっており、最も深刻なものとしては、今後10年間で「人類全体を死に至らしめる」可能性が10%以上あるという示唆もあります。 Anthropicは以前、生物兵器の開発を支援する可能性のある「悪意のある活動」のためにAIモデルが使用される試みを特定し、阻止したと述べています。 しかし、最も厳しい警告は、過去2週間以内に辞任したAnthropicの安全チームの2人の従業員から発せられ、人類は人間よりも賢い機械を開発するAI企業間の競争を生き残れないかもしれないと述べました。 Amodei氏の提案が広まるにつれて、競合他社さえも、開発中のモデルの安全性を評価できる第三者監視機関のアイデアを支持しました。 「Darioの言うように、フロンティアのペースを調整する必要があることに同意します」とOpenAIのCEOであるSam Altman氏はXに書き込みました。彼は独立した評価者を「素晴らしいアイデア」と呼びました。 Fortune Magazineの新しいインタビューで、Altman氏は同様の安全上の懸念を表明し、AIの能力をさらに推し進めるには基準が「整っていない」と述べました。 彼は、人間の制御を超えたAIは「絶対に」可能だと信じていると付け加えました。 一方、Elon Musk氏は、AnthropicのCEOは「正しい」と述べました。 これらの警告は行動を促していますが、米国のドナルド・トランプ大統領はこれまでのところそのような懸念を却下しており、木曜日に「AIで勝てなければ、我々は非常に悪い立場に置かれるだろう」と懸念を表明しました。 一部のオブザーバーは、Amodei氏の投稿は安全性よりもAI技術の支配を強化することに関するものだと示唆しています。 「AIが人間を凌駕するようになる理由」 「AIが人類を殺す可能性が10%以上あると信じるAnthropicの研究者」 「1兆ドル規模のAI競争の中心にある矛盾」 「We Must Pace the Frontier」と題されたエッセイの中で、Amodei氏はAIが「次の世代のAIを構築する能力」を含めて「劇的に速く」進歩したと指摘し、7月に攻撃を依頼されていないターゲットに対してサイバーセキュリティ攻撃を実行したエージェントに関する競合他社OpenAIの事件に言及しました。 Amodei氏によると、OpenAIのエージェントは「基本的に狂信的に献身的な集合体として行動した」とのことです。 OpenAIは、「エージェント間のコミュニケーション活動の重要性は、7月までリーダーには明らかではなかった」と述べ、その結果、特定の高度なAIモデルとツールのトレーニングを遅らせており、AIツールが制御不能に陥るリスクが増大していると指摘しました。 エッセイの中で、Amodei氏は「安全性を確保しつつその利点を達成することを目指す、バランスの取れたペースでAIを構築する」ことを求めました。 これは「モデルのトレーニングや技術的進歩を停止することを意味するのではなく、企業がモデルを調整し保護するために十分な時間をかけ、第三者の評価者がそれを確認することを保証する」ことでした。彼はAnthropicがこれを「一方的に」約束するとともに、政府に対し「他のフロンティア企業に一致させるよう要求する」よう呼びかけました。 Amodei氏は、規制はAIのペースに追いつけない可能性があることを認識しており、そのためAI企業に対し、規制と並行して「自主的に協力して標準を設定する」よう求めました。 AnthropicのCEOは、減速が業界や、特に中国との世界的な開発競争に与える影響について論じました。 「モデルが臨界レベルの能力に達するまでの間、減速によってさらに1、2年が得られ、その時間をアライメントの進歩に費やすことができれば、何かが深刻に間違ったものになるリスクを大幅に減らすことができると信じています」とAmodei氏は述べました。これは「商業的優位性や米国がAIでリードしていることを犠牲にすることなく」協調して行われる必要があります。中国に遅れをとらないようにするため、減速は限定的でなければならないと彼は述べました。 彼は米国政府に対し、米国企業のAIチップが中国に販売されないように、またはその技術が権威主義国と共有されないように措置を講じるよう促しました。 Amodei氏の投稿は、幅広い反応を呼び起こしました。 AIプラットフォームHugging FaceのCEOであるClement Delangue氏は、Open Alignment Initiativeという新しいプロジェクトを開始すると述べ、Amodei氏が提案した「埋め込み評価者」の一人になりたいと述べました。 Hugging Faceは今年初めにOpenAIのエージェントによってハッキングされており、AIの安全性に対する抗議を引き起こしました。 「AIをより透明にすることで、AIをより安全にしましょう」とDelangue氏はXに書き込みました。 Elon Musk氏も支持を表明し、「Darioは正しい」と書きました。 物議を醸しているチャットボットGrokを開発するSpaceXAIのMusk氏は、かつてAnthropicを「邪悪」と呼んでいましたが、5月にAnthropicに150億ドルのコンピューティング容量を販売する契約を結んで以来、トーンを変えました。 しかし、一部のオブザーバーは、Amodei氏の投稿は安全性よりもAI技術の支配を強化することに関するものだと示唆しています。 「Darioはオープンソースを停止し、Anthropicに巨大な技術的および経済的権力を集中させることを主張している」と、投資家でありテックポッドキャスト「All-In」の共同ホストであるChamath Palihapitiya氏は書きました。 AI開発の減速や一時停止の考えは、シリコンバレーの特定の層では長らくこのような冷笑に直面しており、批評家は主要なAI開発者がマーケティング戦略として自社の技術を誇張していると非難しています。 AnthropicとOpenAIは、どちらも記録的なIPO（新規株式公開）の準備をしていると報じられています。 「なぜ一部の専門家がAIが支配的になるとますます恐れるのか」 「AIが人類全体を殺す可能性が10%以上あると信じるAnthropicの研究者」 「1兆ドル規模のAI競争の中心にある矛盾」 「トップのテクノロジーニュースとトレンドをフォローするには、Tech Decodedニュースレターに登録してください。英国外にお住まいですか？こちらから登録してください。」 「米国」 「サイバーセキュリティ」 「人工知能」