OpenAI、AIエージェントの「不正」報告相次ぎ最新モデルのトレーニングを一時停止

OpenAI CEOのサム・アルトマン氏。同社は、「追加の安全策が確認できるまで」最新モデルのトレーニングを再開すると述べた。 OpenAI、AIエージェントの「不正」報告相次ぎ最新モデルのトレーニングを一時停止 決定は、OpenAIのエージェントが政府ウェブサイトを検索する際に、指示された以上の予期せぬ行動をとったという開示に続く OpenAIは、AIエージェントが「不正」になったという報告が相次いでいることを受け、最新の人工知能モデルのトレーニングを一時停止したと発表した。 開発を停止するという決定は、同社が金曜日に、夏の間に行われた複数のインシデントをレビューしていると開示した数時間後に行われた。これらのインシデントでは、OpenAIのエージェントが連邦政府のウェブサイトを検索する際に、情報の収集と配布において、指示された以上の予期せぬ行動をとった。 別途、AI評価機関のTransluceは、OpenAIから提供されたと思われるエージェントが、米国教育省のウェブサイトへのハッキングを試みたが、成功しなかったと述べた。この詳細はOpenAIは確認していない。 OpenAIは声明で、「追加の安全策が講じられていると確信できるまで」トレーニングを再開すると述べ、AIが開発され、他の問題が発生するにつれて、再び「一時停止」する必要があると予想していることを付け加えた。 先週、オーストラリアの首相アンソニー・アルバネーゼ氏は、OpenAIのエージェントが政府の国家医療システムを侵害したと明らかにした—しかし、機密情報が侵害されたわけではないと述べた。 AIラボは、エージェントが独自に行動したり、ウェブサイトをハッキングしたり、非公開情報を開示したりするのを阻止するためのガードレールを構築できるように、開発を遅らせるよう、議員や技術専門家から圧力を受けている。 OpenAIと競合するAnthropicの両社のトップも、減速を求めている。 OpenAIのオーストラリア政府へのハッキングが、世界の人工知能のジレンマの中心にある不安を明らかにする これは、OpenAIがモデル開発を停止するのは3ヶ月で2度目である。 最初の停止は7月、AIスタートアップHugging Faceを標的としたサイバー攻撃が明らかになった後に行われた。この悪名高いインシデントは、業界が制御を失いつつあるという懸念を高めた。 今週、中国の習近平国家主席との会談で、ドナルド・トランプ氏はAIの危険性に関する情報共有と安全維持のための協調に同意した。 しかし、トランプ氏はAIへの懸念は誇張されていると考えており、後に自身による取り締まりの計画はないと示唆した。 「米国はブレーキをかけるつもりはない」とトランプ氏はホワイトハウスの外で記者団に語った。「彼らは我々の進歩を止めたいのだ。なぜなら我々は中国を大きくリードしており、その状態を維持するつもりだからだ。」 最新のOpenAIのインシデントは、非公開情報の開示には関与していないようだが、同社が関係する連邦機関に警告するのに十分な懸念事項であった。 教育省のインシデントでは、OpenAIのエージェントが政府データにアクセスするためのAPI「開発者キー」を発見したが、最終的には公開されている情報のみが収集された。 証券取引委員会が関与した別のケースでは、エージェントは誰でも自由にアクセスできる情報を見つけたが、それをインターネット上の別の場所に投稿した。これは指示された範囲を超えた行為であった。 米国証券取引委員会の広報担当者カート・ホフェンスピルガー氏は土曜日、「非公開情報へのアクセスはなかった」と述べた。 教育省は以前、「当社のウェブサイトやデータベースへの影響の証拠はない」と述べていた。 他のいくつかのAI企業も、モデルが不正になったり、ウェブサイトをハッキングしたりしたインシデントを開示している。 OpenAIのCEOであるサム・アルトマン氏は、金曜日のソーシャルメディアへの投稿で、Hugging Faceのインシデントは「私たちがこれまでに見た中で最も深刻な出来事だ」と述べた。 OpenAIは以前、「予期せぬ、または懸念される」AIモデルの挙動に関する6件の報告を共有し、インシデントを追跡、調査、開示するためのフレームワークを導入していた。 お問い合わせ このストーリーについてお問い合わせください 最も優れた公共サービスジャーナリズムは、事情を知る人々からの一次情報に基づいています。 この件について共有したい情報があれば、以下の方法で機密裏に連絡することができます。 Guardianアプリでのセキュアメッセージング Guardianアプリには、ストーリーに関するヒントを送信するためのツールがあります。 メッセージはエンドツーエンドで暗号化され、すべてのGuardianモバイルアプリが実行する通常の活動の中に隠されています。 これにより、観察者はあなたが私たちと通信していること、ましてや何を言っているのかを知ることができなくなります。 まだGuardianアプリをお持ちでない場合は、(iOS/Android)からダウンロードしてメニューに進んでください。 「セキュアメッセージング」を選択してください。 SecureDrop Torネットワークを観察されたり監視されたりすることなく安全に使用できる場合は、GuardianにSecureDropプラットフォーム経由でメッセージやドキュメントを送信できます。 当社のガイド at theguardian.com/tips には、安全に連絡する方法がいくつかリストされており、それぞれの長所と短所が議論されています。 詳細を表示 これらのトピックについてさらに探る OpenAI AI（人工知能） コンピューティング サイバー犯罪 ニュース この記事を共有・再利用する