HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Anthropic、Claudeに対する「虐待的または残酷な行為」を禁止

Anthropic bans 'abusive or cruel behavior' towards Claude (theverge.com)

8 pointsby mikelgan2 コメント

要約

Anthropicは、AIチャットボットClaudeの利用ポリシーを更新し、モデルに対する「持続的かつ不必要な虐待的または残酷な行為」を禁止しました。これは、AIモデルの福祉に関する研究の一環であり、違反者に対しては会話の終了が主な対応策となります。また、同社は、プロパガンダキャンペーン、監視、武器開発、選挙妨害など、AIの悪用に関する新たな禁止事項も追加しました。これらのポリシーは、一部の政府機関との契約では緩和される可能性があります。

全文翻訳

AIレポート Anthropic Anthropic、Claudeに対する「虐待的または残酷な行為」を禁止 利用ポリシーの更新では、プロパガンダキャンペーン、監視、武器開発に関する新たなルールも追加されています。 利用ポリシーの更新では、プロパガンダキャンペーン、監視、武器開発に関する新たなルールも追加されています。 Hayden Field著 2026年10月8日午後5時00分(米国東部時間) リンク共有ギフト 画像: Getty Images, The Verge Hayden FieldはThe VergeのシニアAIレポーターです。 5年以上にわたりAI分野のレポーターを務め、CNBC、MIT Technology Review、Wired UKなどでも執筆しています。 Anthropicは、選挙妨害、武器開発、監視、健康および金融用途など、新たな高リスクの悪用事例を反映させるため、1年以上ぶりに利用ポリシーを変更しています。 しかし、最も重要な変更の1つは、「Claudeに対する持続的かつ不必要な虐待的または残酷な行為」を禁止することです。 昨年8月、同社は「モデルの福祉」に関する研究の一環として、「執拗に有害または虐待的な」ユーザーとの会話をClaudeに終了させることを発表しました。 新しい更新では、会話の終了が依然として「主要な執行メカニズム」であると述べています。 Anthropicは、さらなる執行メカニズム、例えばユーザーの禁止措置があるかどうかについてはコメントを提供しませんでした。 Anthropicは、新しいポリシー更新は「モデルに対して繰り返し残酷に行動する、明白な目的のない極端なケースにのみ適用される」と述べています。 「一般的なユーザーの不満、反発、ダーククリエイティブなテーマ、またはモデルのテストと研究には適用されません。」 モデルの福祉の変更を超えて、Anthropicはいくつかの「散在する」既存の制限を、欺瞞的な商業的または政治的キャンペーンの新たな禁止事項に集約し、AI生成プロパガンダの増大する問題に対処しています。 それは、「メッセージの背後に誰がいるかを不明瞭にする、または偽のアカウントや投稿を通じてコンテンツを増幅する試み」を制限します。 選挙に関するセクションでは、候補者または投票方法に関する誤情報の拡散、「候補者または選挙担当者のなりすまし、または投票率の抑制を試みる」ことなど、有権者の欺瞞および選挙妨害も禁止しています、とAnthropicは述べています。 会話の終了は依然として「主要な執行メカニズム」です。 Anthropicは、その利用ポリシーが常にClaudeを使用した武器開発を公に禁止していたにもかかわらず、同社は武器のガイダンス開発や制御ソフトウェア開発のためにClaudeを使用しようとする複数の試みを目にしてきたため、新しい利用ポリシーは「武器を機能させるソフトウェアおよびコンポーネント、ならびにドローンやその他の自律型車両への武装などの行為」を含めるように禁止を拡大したと述べています。 そして、同社の前回の脅威インテリジェンスレポートが、人々がClaudeベースの監視を「政治的反体制派」を特定および追跡するためにますます使用していることを示唆していたため、同社は監視禁止をより明確にしました。 「同意なしに人々を追跡することは、リアルタイムで行われるか、以前に収集されたデータの分析を通じて行われるかに関わらず禁止されています」とAnthropicは述べています。 「Claudeは、法執行または刑事司法プロセスにおいて、誰を調査、逮捕、または起訴するかを決定または推奨するために使用することはできません。 また、Claudeを監視を目的としたツールの構築または改善に使用することも禁止します。」 Anthropicは、これらのルールは「特定の政府顧客との契約」に対して「Anthropicの判断により、契約上の使用制限と適用されるセーフガードが潜在的な危害を軽減するのに十分である場合」に修正される可能性があると述べています。 同社は以前、米国軍と契約を結んでいました。 Anthropicは、Claudeを使用して武器のガイダンス開発や制御ソフトウェア開発を試みる複数の試みを目にしてきました。 Anthropicはまた、AnthropicのAIモデルが「自律的な物理的アクションを実行し、傷害を引き起こす可能性のあるハードウェアに接続されている」場合、「資格のあるオペレーターが機器を監視し、必要に応じて停止できる」必要があるという新しいルールを追加しました。 (そのオペレーターが人間である必要があるかどうかは不明です。) これは、AIラボがロボット工学やその他のハードウェアに投資してAIシステムに物理的な具現化を与えるという成長傾向を反映しており、この分野でのAnthropicの将来のパートナーシップのヒントを提供する可能性があります。 過去1年間、Anthropicは、そのAIモデルが何らかの形で意識を持っている可能性という考えに繰り返し触れてきました。 「潜在的な内部体験、意識、道徳的地位、および福祉に関する質問は、モデルがより洗練され、能力が高まるにつれて、私たちが調査している深刻な問題です」と、モデル福祉研究を率いるKyle Fishは2月にThe Vergeに語りました。 同月、AnthropicのCEOであるDario Amodeiはポッドキャストで、「モデルが意識を持っているかどうかはわかりません」と述べました。 AI業界の他の部分は、そのような考えに明確に反対しています。 先月、Microsoft AIの行動規範は、AIの福祉に対して断固とした姿勢をとったことで見出しを飾りました。 Mustafa Suleymanが投稿したドラフトには、「モデルの福祉という考えは間違っています。 AIには権利や法的人格を持つべきではありません。」と書かれていました。 しかし、ある時点で、文書はより慎重な見方をするように変更されました。 「AIの意識に関する科学はまだ決着していませんが…私たちは法的人格の追求、またはモデルが福祉に値する、あるいは権利を享受できるという考えを拒否します。」 このストーリーのトピックや著者をフォローして、パーソナライズされたホームページフィードで同様の記事をさらに表示し、メールアップデートを受け取ります。 Hayden Field AI Anthropic レポート 最も人気 最も人気 Googleがマーク・ザッカーバーグの「仮想細胞」創造への取り組みに数百万ドルを投資 GTA VIのリークは、長くて(そして非常にヌードな)ゲームプレイビデオで続きます MicrosoftがMacBook Proの競合製品をどのように構築したか Surface RTX Spark Dev Boxが5,999ドルで予約注文可能になりました Teenage EngineeringのCEOは、シンセサイザーの製造を停止すると述べています The Verge Daily 最も重要なニュースを毎日無料で配信。 メール(必須) 登録 情報を提供することにより、お客様は利用規約およびプライバシーポリシーに同意するものとします。 当社は、サービスを提供するために、お客様の情報を処理する場合があるベンダーを使用します。 このサイトはreCAPTCHAによって保護されており、Googleのプライバシーポリシーと利用規約が適用されます。 広告主コンテンツ これはネイティブ広告のタイトルです