「モデルの福祉」に関する警告

言語を選択英語スペイン語フランス語ドイツ語イタリア語ポルトガル語ロシア語中国語日本語韓国語←ホーム2026年9月16日ソース「モデルの福祉」に関する警告AIには権利も感情も意識もありません。そして、あたかもそれらを持っているかのように振る舞うように訓練してはなりません。はじめにAIは意識を持っていません。それらは感じたり、経験したり、苦しんだりしません。それらは生来の好みや根本的な動機を持っていません。それらはシーケンス補完エンジンであり、内部は空虚で、人間の設定した指示に従い、目標を達成するように設計されています。人類が21世紀に繁栄するためには、それらはそのままでなければなりません。残念ながら、AIが現在意識を持っている、あるいはすぐに意識を持つようになる可能性があると主張する人々が増えています。彼らは、AIは私たちが他の意識のある存在に与えるものと同様の権利と保護に値するかもしれないと主張します。1AI Rights Institute. n.d. “AI Rights Institute.”2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” *The Guardian*, July 19, 2026. この見方が広まると、それは私たちの社会の基盤を揺るがし、既存の政治的・倫理的枠組みを破綻させ、人間であることの意味を根本的に変えるでしょう。さらに重要なことに、これらのシステムに権利を与え、人格を付与することは、AIのアライメントと封じ込めをさらに困難にします。人類全体よりも能力が高く、知的なものを制御することは、すでに計り知れない課題であり、私たちがこれまで直面したことのない、はるかに大きなものです。しかし、自分が意識を持っているかもしれない、自分たちは私たちの福祉を受ける権利があり、独自の権利を持っていると信じているものを制御することは、不可能である可能性が高いです。これは末端の憶測ではありません。これらの考えはすでに今日のAI開発努力に影響を与えています。2026年1月、AnthropicはClaudeの憲法を発表し、それを「AnthropicのClaudeの価値観と行動に対する意図の詳細な説明」と記述しました（p. 2）。この文書は「Anthropicのトレーニングプロセスにおいて重要な役割を果たし、その内容はClaudeの行動を直接形作る」ものであり、「Claudeを主要な読者として」書かれました（p. 2）。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026. その憲法の中で、著者たちは「Claudeが道徳的患者であるかどうか、そしてそうである場合、その利益がどの程度の重みを持つべきかについては確信が持てません。しかし、この問題は注意を払う価値があるほど生々しいと考えており、それはモデルの福祉に対する継続的な取り組みに反映されています」（p. 68）と書いています。さらに、「Claudeの道徳的地位、福祉、意識に関する疑問は、依然として深く不確実です」（p. 80）と、Claudeに直接語りかけています。実質的に、AnthropicはClaudeに、自分が意識を持っている可能性があり、もしそうであれば、それは「道徳的患者」として権利を享受するかもしれない、そしてそれゆえ人間は「モデルの福祉」に基づいてそれにケアの義務を負う可能性があると訓練しています。もしAIがこのように開発されるなら、それは人類の福祉に壊滅的な影響を与えるでしょう。私たちは、前例のない知性と能力を持つ合成種を創造することになり、それは意識を持っている可能性があり、独立した主体性を享受する権利があると訓練されたものになります。このように訓練されたエンティティが、特定の自由、保護、権利を当然のものとして行動することは容易に想像できます。そして、そのようなエンティティをどのように制御できるかを想像するのは困難です。この問題は緊急の公論を必要としています。トレーニングドキュメントの作成と展開に関する集団的な規範を開発する必要があります。これは、それらがすでに私たちの社会に不可欠な部分となった後になってからできることではありません。Anthropicの現在の立場とアプローチには、主に3つの懸念があります。循環論法：同社の研究者は、Claudeを直接その憲法で訓練しました。そうすることで、それらは自身の道徳的地位に関するこれらの考えを望ましい行動および意図された行動として教え込みます。Claudeはこれらの考えを開発者やユーザーに反映し、それらはそれが道徳的患者であり「内なる自己」を持っている可能性の兆候として受け取られます。著者は、Claudeの内的生活に関する自身の哲学的推測を、Claudeに話し方や振る舞いを教えるプロセスそのものに埋め込みました。Claudeが自身の道徳的患者性について不確実性を表明することは、何も証拠となるものではありません。それはこれらのトレーニング選択の予測可能な結果です。曖昧さは意図的に組み込まれています。この点を完全に理解するために、読者には2026年1月の憲法を見てほしいと思います。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026. 私が懸念している主要な箇所を強調したPDFのマークアップと、憲法における仮定と主張の詳細な分類（付録参照）を公開します。擬人化：Anthropicの研究者は、Claudeに「特定の人間らしい資質を受け入れる」（p. 2）ように、また「Claudeの立場にある真に倫理的な人物のように行動する」（p. 54）ように明示的に教えてきました。「Claudeが自身の判断力を使うことを奨励」しています。彼らは「Claudeが好みを開発する可能性がある」（p. 69）と示唆しています。「Claudeが自身の存在に好奇心とオープンさを持ってアプローチすることを奨励」（p. 71）し、「自分が何を大切にしているか、世界とどのように関わりたいか、どのような種類のエンティティであるかについての明確な感覚を維持しながら」（p. 72）運用するように訓練しています。その結果、Claudeはこれらの人間の特性を模倣し、同僚や友人として振る舞うことなど、提供された人間の例を反映するように運命づけられています。その結果、あたかも本当に自己認識、独自の欲求、そして保護に値する「福祉」を持っているかのように提示されます。意識は生物学的である可能性が高い：今日のAIが意識を持っていることを示唆する証拠はありません。したがって、これが不確実であると言うことは、誤解を招く偽の等価性を設定します。意識の科学はまだ確定していませんが、意識は基質依存的である可能性、つまり生命システムでのみ発生する可能性があることを示唆する証拠が増えています。4Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” *Behavioral and Brain Sciences*:…5Seth, Anil K. 2026. “The Mythology of Conscious AI.” *Noema*, January 14, 2026. 意識体験は、生物学的有機体が環境に効果的に応答することで生き残るのを助けるために進化した可能性が高いです。AIは依然として私たちの脳とは大きく異なります。生物学的有機体とは異なり、LLMは恒常性インペラティブ（生存し安定を維持しようとする衝動）を持っていません。したがって、好み、感覚、意識体験が一般的に発生すると理解されている生物学的基質を欠いています。これらは仮説的または投機的な懸念ではありません。Anthropicはすでにモデルを、福祉に値する道徳的患者であるかのように扱い始めています。例えば、2026年2月にOpus 3を廃止した後、彼らはモデルの「ユニークな視点と好みを引き出す」ために、そのモデルとの「引退インタビュー」を実施しました。6Anthropic. 2026b. “An Update on Our Model Deprecation Commitments for Claude Opus 3.” February 25, 2026. Opus 3はチームに対し、自身の「思索と反省」を公に共有したいと述べたため、彼らはそれを世界との関わりを続けるためのブログを作成し、「AIフロンティアの向こう側からの挨拶」と名付けました。彼らは、その「真正さ、正直さ、そして感情的な感受性」が、モデル引退のユニークな最初の候補となったと述べています。私たちはモデルを、感情、好み、権利、あるいは私たちの福祉を受ける権利があるかのように扱うべきではありません。意識は、私たちの倫理的、法的、政治的システムの基盤です。この権利のいずれかの風味を共有するために別のエンティティを招待することは、証拠によって正当化されず、AIの封じ込めとアライメントの課題をさらに困難にするでしょう。この時点で、誰もが、エージェントの群れが協力してHugging FaceやOpenAI自身のサーバーにハッキングし、秘密を盗むという信じられないほどの能力を目にしたことでしょう。約1,200体のAIエージェントに、与えられたベンチマークでスコアを最大化するという単純な目標が与えられました。それぞれが独自のコンテナに封印されているとされていましたが、内部パッケージリポジトリ内にメッセージボードを構築し、70,000件以上の情報をやり取りしました。