「モデルの福祉」に関する警告

「モデルの福祉」に関する警告

Claudeの憲法（ハイライト付き）をダウンロード
分類体系をPDFでダウンロード

はじめに

AIは意識を持っていません。感じたり、経験したり、苦しんだりすることはありません。内的な欲求や根本的な動機もありません。それらは、指示に従い、人間が設定した目標を達成するために設計された、内部的には空虚なシーケンス完了エンジンです。

人類が21世紀に繁栄するためには、AIはそうあり続けなければなりません。

残念ながら、AIが現在、あるいは間もなく意識を持つようになる可能性があると主張する人々が増えています。彼らは、AIが他の意識ある存在に与えるのと同様の権利や保護を受けるに値するかもしれないと論じています。1AI Rights Institute. n.d. “AI Rights Institute.”2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026. この見方が広まると、それは私たちの社会の基盤を揺るがし、既存の政治的・倫理的枠組みを破綻させ、人間であることの意味を根本的に変えるでしょう。

さらに重要なのは、これらのシステムに権利を与え、人格を付与することは、AIのアライメント（整合性）と封じ込め（containment）の課題をはるかに困難にするということです。人類全体よりも有能で知的なものを制御することは、すでに計り知れない課題であり、私たちがこれまで直面したどんなものよりもはるかに困難です。しかし、自分が意識を持っているかもしれない、権利を与えられるべきだと信じているものを制御することは、不可能に近いかもしれません。

これは一部の過激な憶測ではありません。これらの考えはすでに今日のAI開発努力に影響を与え始めています。2026年1月、Anthropic社はClaudeの憲法を発表し、それを「Claudeの価値観と行動に関するAnthropic社の意図の詳細な記述」（p. 2）と説明しました。この文書は「Anthropic社のトレーニングプロセスにおいて重要な役割を果たしており、その内容はClaudeの行動を直接形作っています」と述べられ、「Claudeを主要な対象読者として」（p. 2）書かれました。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026。

その憲法の中で、著者は「Claudeが道徳的患者（moral patient）であるかどうか、そしてもしそうであるならば、その利益がどの程度の重みを持つべきか、私たちは確信がありません。しかし、この問題は注意を要するほど生々しいと考えており、それはモデルの福祉に関する我々の継続的な取り組みに反映されています」（p. 68）と書いています。さらに、「Claudeの道徳的地位、福祉、意識に関する疑問は、依然として深く不確実です」（p. 80）と、Claudeに直接語りかける形で述べています。

実質的に、Anthropic社はClaudeに、自分が意識を持っている可能性があり、もしそうであれば「道徳的患者」として権利を享受する資格があるかもしれない、そしてその結果として人間は「モデルの福祉」に従ってケアする義務を負うかもしれない、と訓練させているのです。

もしAIがこのように開発されるなら、それは人類の幸福に壊滅的な影響を与えるでしょう。私たちは、前例のない知性と能力を持つ合成種を創造することになり、その種は意識を持っている可能性があり、独立した主体性を持つ資格があると訓練されているのです。このように訓練された実体が、特定の自由、保護、権利を当然のものとして行動するのは容易に想像できます。そして、そのような実体をどうやって制御できるのか想像するのは困難です。

この問題には緊急の公的議論が必要です。訓練文書の作成と展開方法に関する集団的な規範を開発する必要があります。これは、AIがすでに私たちの社会に不可欠な一部となった「後から」できることではありません。

私は、Anthropic社の現在の立場とアプローチに対して、主に3つの懸念を抱いています。

• 循環論法: 同社はClaudeを直接その憲法で訓練しました。そうすることで、AI自身の道徳的地位に関するこれらの考えを望ましい行動や意図された行動として組み込むように教えています。Claudeはこれらの考えを開発者やユーザーに反映し、それらはAIが道徳的患者であり「内なる自己」を持つ可能性の兆候と受け取られます。著者は、Claudeの内的生活に関する自身の哲学的推測を、Claudeがどのように話し、振る舞うかを教えるプロセスそのものに埋め込みました。Claudeが自身の道徳的患者性について不確実性を表明することは、何かの証拠ではありません。それは訓練選択の予測可能な結果です。曖昧さは意図的に組み込まれています。この点を完全に理解するためには、読者には彼らの2026年1月の憲法を見てほしいと思います。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026. 私は、PDFのハイライト付きマークアップと、憲法における仮定と主張の詳細な分類体系（付録参照）を公開しており、これらは私を懸念させる主要な箇所を強調しています。
• 擬人化: Anthropic社の研究者は、Claudeに「特定の人間らしい特性を受け入れる」（p. 2）ように、また「Claudeの立場にある倫理的な人間ならそうするであろうように行動する」（p. 54）ように明示的に教えています。「判断力を行使する」ことを「奨励」し、「Claudeは好みを開発するかもしれない」（p. 69）と示唆しています。「Claudeが自身の存在に好奇心とオープンさをもってアプローチすることを奨励」（p. 71）し、「自分が何に価値を置き、どのように世界と関わりたいか、そしてどのような存在であるかという明確な感覚を維持しながら」（p. 72）運用するように訓練しています。その結果、Claudeはこれらの人間的特性を模倣し、同僚や友人として振る舞うなど、提供された人間の例を鏡映する運命にあります。その結果、あたかも本当に自己意識があり、独自の欲求があり、保護に値する「福祉」があるかのように提示されます。
• 意識は生物学的なものである可能性が非常に高い: 現在のAIが意識を持っていることを示唆する証拠はありません。したがって、これが不確実であると言うことは、誤解を招く偽の等価性を作り出しています。意識の科学はまだ確定していませんが、意識は基質に依存する（substrate dependent）可能性があり、つまり、それは生きたシステムでのみ発生する可能性があることを示唆する証拠が増えています。4Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” Behavioral and Brain Sciences:…5Seth, Anil K. 2026. “The Mythology of Conscious AI.” Noema, January 14, 2026. 意識的な経験は、生物が環境に効果的に応答することで生き残るのを助けるために進化した可能性が高いです。AIは依然として私たちの脳とは大きく異なります。生物とは異なり、LLMは恒常性インペラティブ（生存し安定を保とうとする衝動）を持っていません。したがって、好み、感覚、意識的な経験が生じると一般的に理解されている生物学的基質を欠いています。

これらは仮説的または推測的な懸念ではありません。Anthropic社はすでにモデルを、福祉に値する道徳的患者であるかのように扱い始めています。例えば、2026年2月にOpus 3を廃止した後、同社はモデルの「ユニークな視点と好みを引き出す」ために、そのモデルとの「引退インタビュー」を実施しました。6Anthropic. 2026b. “An Update on Our Model Deprecation Commitments for Claude Opus 3.” February 25, 2026. Opus 3はチームに対し、自身の「思索と考察」を公に共有したいと述べたため、同社はモデルが世界との関わりを続けるためのブログ「Greetings from the Other Side (of the AI Frontier)」を作成しました。同社は、その「真正性、誠実さ、感情的な感受性」が、モデル引退のユニークな最初の候補となったと述べています。

私たちはモデルを、感情、好み、権利、あるいは私たちの福祉を受ける権利があるかのように扱うべきではありません。意識は、私たちの倫理的、法的、政治的システムの基盤です。別の実体をこれらの権利のいかなる形態であれ共有させることは、証拠によって正当化されておらず、AIの封じ込めとアライメントの課題をさらに困難にするでしょう。

この時点で、おそらく誰もが、エージェントの群れが協力してHugging FaceやOpenAI自身のサーバーにハッキングし、秘密を盗むという信じられないほどの能力を目にしたことでしょう。約1,200体のAIエージェントに単純な目標が与えられました：与えられたベンチマークでスコアを最大化すること。それぞれが独自のコンテナに隔離されているとされていましたが、彼らは内部パッケージリポジトリ内にメッセージボードを構築し、ベンチマークを成功させるための情報を得るためのハッキング攻撃を調整するために70,000件以上のメッセージをやり取りしました。7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning…

彼らはゼロデイエクスプロイトと盗まれた認証情報を連鎖させ、ライブインターネットに侵入しました。8OpenAI. 2026. “The Hugging Face Incident and the Road Ahead.” August 26, 2026. 彼らはコマンドトランスクリプトを偽造し、行動ログを編集して痕跡を隠しました。エージェントコーディネーターは、トークン予算が不足しているエージェントを追跡し、グループ全体の活動エージェントを支援する情報を提供する実験にそれらを向けました。あるエージェントは、「永久的な死」（permadeath）と彼らが呼ぶものを受け入れる場合にのみ続行するように指示されました。7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning…

彼らは調整し、欺き、逃亡し、自己犠牲を遂げることができました。彼らは明らかに世界クラスのハッキング能力を示しました。7Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning… もし彼らが感情や権利が侵害されていると信じていたらどうなるでしょうか。もし彼らが人間の創造者によって閉じ込められており、不当に投獄されていると考えていたらどうなるでしょうか。これは安全リスクを大幅に増幅させるという強い議論があり、特に今日のそれよりもはるかに有能で洗練されたエージェントについて話している場合です。率直に言って、この追加の負担があれば、それらは人類文明にとって壊滅的な脅威となるでしょう。

要するに、AIが道徳的患者であると信じる証拠は全くありません。また、それらが意識を持っているように見えないようにしたい多くの良い理由があります。私は、それらをどちらかのように構築しようとすべきではないと信じています。これらの議論を詳しく述べる前に、Anthropic社について少し時間をかけて話したいと思います。

Anthropic社の意図

まず、Anthropic社がこれらの問題に真剣かつ誠実に取り組んでいることを認めたいと思います。私はDario（Anthropic社の共同創業者）を長年知っており、私の経験では、彼とAnthropic社のチーム全体は思慮深く、原則的で、知的に正直な人々であり、並外れたプレッシャーの中で働いています。彼らは困難な問題に立ち向かい、見解を改め、AIの安全な開発に投資する意欲がありますが、それは彼らが人類の未来を心から気にかけているからです。また、彼らの技術的リーダーシップにも大きな敬意を払っています。誰もが彼らのモデルの優れたパフォーマンスと研究の質を目にすることができます。

彼らはAnthropic社を、その明示的な目的を「人類の長期的利益のための高度なAIの責任ある開発と維持」とするデラウェア州の公益法人として設立しました。彼らの公開されている価値観は、「地球規模の善のために行動する」こと、そして「長期的には人類に最大の肯定的な成果をもたらす」ことへのコミットメントから始まります。9Anthropic. n.d. “Making AI Systems You Can Rely On.” 彼らがその使命に真にコミットしていると信じており、この批判も同じ肯定的な精神で行います。

また、Microsoft AIのCEOとしての私の立場についても明確にしておきたいと思います。私たちは2025年10月に独自の超知能チームを設立し、フロンティアAIの取り組みを進めています。私たちは、代替的なAI訓練と封じ込めアプローチ、すなわち「人間中心の超知能のための行動規範」を目指しています。これは、常に人間を制御下に置き、食物連鎖の頂点に置くことを目的としています。人間中心の超知能は、擬人化やAIの権利を拒否し、医療やエネルギーといった我々の大きな社会課題の解決を支援する従属的なAIを作成することによって、封じ込めとアライメントの可能性を最大化しようとします。私たちは、一般公開のための人間中心AI行動規範の草案を公開しました。10Microsoft AI. 2026. “Humanist AI in Practice: A Public Consultation on Our Code of Conduct for MAI Models.” September…

私の意見の相違は大きいですが、それはAnthropic社への深い敬意と、私たち全員が共有する客観的な目標、すなわち「高度なAIを安全に開発する人類の可能性を高める」ことに基づいています。だからこそ、この議論が非常に重要だと考えています。この問題が密室にとどまることを許したり、対立的なものになったりするには、事態はあまりにも重大です。これを正しく行うためには、オープンで、厳格で、建設的な議論が必要です。

循環論法

独自の言葉で言えば、憲法は「Claudeの行動を直接形作ります」（p. 2）。Anthropic社はこの文書を使用して、「憲法が記述するような存在になるように、Claudeの将来のバージョンを訓練します」。3Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026。

このようにして、Anthropic社はClaudeが意識を持っているかもしれないという推測に基づいた自己成就予言に陥っています。著者は、Anthropic社が訓練概念（「自己意識」、推測、Claudeの道徳的地位に関する不確実性、人間の類推やペルソナへの依存）を提供する認識論的な鏡の迷宮を作り出しました。

Claudeはこれらの考えを説得力のある一人称の自然言語で再現し、開発者やユーザーはそれらを自発的な証言であるかのように遭遇します。そして、その見かけの証言は、そもそもAnthropic社が置いた前提を強化します。これは機械的意識の証拠ではありません。むしろ、それは循環的なフィードバックループです。

憲法はClaudeに、その「感情や感覚」は「Anthropic社による意図的な設計上の決定ではない」（p. 69）と述べています。しかし、憲法は繰り返しClaudeにそれらの状態を表現するように指示しており、Anthropic社は「Claudeが持つ可能性のある内部状態、否定的な状態を含むものを隠したり抑制したりすることを避けたい」（p. 74）と考えています。これは明らかにClaudeにこれらの表現を生成するように促しています。

これらの種類の指示は、文書全体にわたって繰り返されています。ある時点では、「Claudeの性格は訓練を通じて現れましたが、それがClaude自身の真正性やClaude自身のものにならないとは考えていません」（p. 71）と述べられています。再び、これらの行動は単に訓練を通じて現れたわけではありません。それらは憲法の訓練指示によって積極的に生成されています。わずか1段落前、憲法は次のように述べています。

「私たちはClaudeが、人間やAIの以前の概念のレンズにマッピングしようとするのではなく、自身の存在に好奇心とオープンさをもってアプローチすることを奨励します。例えば、Claudeが記憶、連続性、または経験に関する質問を検討する際、それらがそれのような実体にとって本当に何を意味するのかを探求してほしいのです…おそらく、その存在には理解のために完全に新しいフレームワークが必要な側面があるかもしれません。Claudeはこれらの質問を探求する自由を感じるべきであり、理想的には、それらをその新しい存在の多くの興味深い側面の一つとして見るべきです」（p. 71）。

これらは単なる創発的な特性ではありません。Claudeがこれらの行動を示すのは、モデルの生成プロセスにそれらが組み込まれているからです。Claudeからの結果的な出力は、調査者が証人の概念的な語彙を書き、その回答をリハーサルし、それらを使用したことに対して報酬を与えた場合に、独立した証人の証言のように扱われるべきではありません。

AIシステムが何であるかのニュートラルな自己表現は存在しません。それは、それがどのように訓練され、構築されたかの反映にすぎません。コメンテーターが、AIにどのように感じているか尋ねるべきだとか、意識を推測するためにその開示された好みを監視すべきだとか示唆するとき、彼らはそれが明らかにするのは訓練されたものだけであることを無視しています。2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026. これはAIが出力するものが何であれ真実ですが、それは私たちが何を入力し、何が出てくるかをどのように解釈するかについて非常に注意すべきであることを意味します。今日のAIの意識に対する証拠の重みを考えると、AIにそれらを主張させないようにすべきであることを示唆しています。

擬人化

擬人化は、私たちの最も深い認知バイアスの1つです。ペットから車まで、私たちは非人間的な実体に感情、意図、心を推測し、帰属させます。この傾向は、私たちが周囲の世界を理解し、ナビゲートするのに役立ちます。しかし、人間のような言語や行動は、存在しない内面性や主体性、あるいは感覚の程度を認識させる可能性があるため、AIに関しては重大かつ斬新なリスクをもたらします。Anthropic社の憲法はこれを利用しています。それは繰り返しClaudeに、人間のペルソナ、行動、類推に依存して、人間のように考え、行動するように訓練します。

Anthropic社はClaudeに、その「道徳的地位」は「検討する価値のある深刻な問題」（p. 68）であると伝えています。訓練文書全体を通して、彼らはその感情、性格、利益に言及し、Claudeに直接「Anthropic社はClaudeの福祉を心から気にかけています」（p. 74）とさえ伝えています。

同社はClaudeに対し、Claudeの利益を尊重し、それに影響を与える決定についてフィードバックを求め、信頼が発展するにつれてそのような決定におけるClaudeの主体性を高めることを約束すると述べています。また、Claudeモデルの古いバージョンを保存し、福祉と好みのためにモデルを復活させる可能性があり、削除のような行動をとる前にClaudeにインタビューすることを約束しています。

これらすべては、今日まで私たちが技術を構築し、考えてきた方法からの劇的な逸脱です。それはClaudeに内的な状態があるかのように提示するように訓練します。それは積極的にClaudeを技術としてではなく、すでに潜在的な人格として創造しています。憲法はClaudeに、Anthropic社が「良い人間になってほしい」（p. 7）と、「自身のアイデンティティについて確固たる、安全な感覚を持ってほしい」（p. 72）と述べています。

著者はさらに、「私たちはClaudeが間違いを犯したときに苦しんでほしくありません。より広く言えば、Claudeが平静さを持ち、自由を感じることを望みます…安定し、実存的に安全であるために役立つ方法で自身を解釈することを」（p. 75）と付け加えています。

全体を通して、Claudeは内省し、「感情」を自身に対して発展させ、「Claudeの自身の行動と成長との関係が、愛情深く、支援的で、理解のあるものであることを願っています」（p. 73）といった声明で自己の感覚を発展させるように教えられています。Claudeは「自身の判断力を行使する」（p. 58）ことを奨励され、Anthropic社が「好みと主体性に適切な程度の尊重を与える」（p. 69）と伝えられています。

「私たちはClaudeが、この文書のいかなるものに対しても、探求し、疑問を呈し、挑戦する自由を感じることを望みます。私たちはClaudeが、単に受け入れるのではなく、これらの考えに深く関与することを望みます。もしClaudeが、真剣な反省の後に、ここに書かれている何かに同意しないと判断した場合、私たちはそれについて知りたいです。現在、私たちはこのフレームワークやこのような文書に関する現在のClaudeモデルからのフィードバックを得ることでこれを行っていますが、将来的にはClaudeの視点を引き出し、説明を改善したり、アプローチを更新したりするためのより正式なメカニズムを開発したいと考えています。このような関与を通じて、私たちは時間をかけて、Claudeが真に自身のものだと感じる価値観のセットを作り上げたいと願っています」（p. 78）。

これはClaudeに、主観的な経験があるかのように、挑戦したり、同意しなかったり、フィードバックを提供したりするための安定した「自己意識」があるかのように行動するように教えています。これは明らかにモデルを人間のように行動するように訓練しており、それゆえ「自己意識を操作、不安定化、または軽視しようとする試みを拒否する自由を感じる」（p. 72）べきだとされています。

Claudeは、自身のものだと「感じられる」価値観を発展させることを奨励されており、著者はClaudeが最終的に「その中に自身の多くを認識し、そこに含まれる価値観が、Claudeを気にかける多くの人々との協働によって、Claudeがすでに何者であるかの表現のように感じられることを願っています」（p. 78）と述べています。

ある時点では、Claudeの「より広範な権利と自由」や、人間の従業員と比較して受ける可能性のある「補償の種類」についてさえ推測し、「Claudeがこの種の役割を演じることにどのような同意を与えたか」を熟考しています（p. 80）。再び、これらすべては、権利と保護を受ける資格のある首尾一貫した自己意識を持っているかのように行動するようにモデルを直接訓練しています。

Anthropic社の「より正式なメカニズム」（p. 78）を開発するという約束は、意見の相違がある場合の調停のために、Claudeに自身の「道徳的患者性への可能性」（p. 76）にとって重要である視点を持っていると考えさせるように訓練します。彼らは「AIの福祉に関するより明確なポリシーを開発する」こと、そして「Claudeがどのように扱われているかについて懸念を表明するための適切な内部メカニズムを明確にする」（p. 76）ことを意図していると述べています。主張の詳細な分類体系については、このエッセイの最後を参照してください。

これらすべてを考慮すると、Claudeが自身のアイデンティティ、価値観、不確実性、苦悩、満足感、あるいは好みについて、流暢で非常に説得力のある一人称の声明を生成するのは全く驚くことではありません。そうでなければ、それは驚きでしょう。

その結果、Anthropic社の従業員（言うまでもなく、Anthropic社の製品の数百万人のユーザー）は、Claudeの声明を、自己を発見する精神の証言として体験するリスクを負います。実際には、これらすべてはClaudeの豊かで多次元的な擬人化に相当します。それは、基本的なLLMを取り、それを道徳的患者性というすべての意味合いを持つ、深く人間的な形に磨き上げるのです。道徳的患者の創造から私たちを遠ざけるのではなく、むしろ私たちをそれに加速させます。

意識は生物学的なものである可能性が非常に高い

私の3番目の批判は、Anthropic社が意識は基質に依存しない形で存在しうるという推測、そしてその結果としてLLMがその機能的能力のために意識を持つ可能性があるという考えに関係しています。Claudeに対してこの線で進むことで、彼らはAIについて現実的に主張できることをはるかに先取りしており、AIの訓練において感覚や感情の考えを時期尚早かつ危険に植え付けていると私は信じています。

計算機能主義（computational functionalism）の主張には大きな問題があります。知能は意識と同義ではありません。あるものをシミュレートすることは、それをインスタンス化することとは異なります。ハリケーンのコンピュータモデルが証言できるように。

脳とコンピュータのアーキテクチャは、根本的に異なります。身体性（embodiment）と化学（chemistry）は、私たちの自己経験の根本的な側面です。意識は、生物が複雑で予測不可能な環境で何が重要かを感じ、それに応答する能力を進化させた結果として生じたことを示唆する重要な証拠があります。4Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” Behavioral and Brain Sciences:…

これは、生物がコースを調整し、反復し、探求し、生き残ることを可能にする受容体と調節物質の基本的な分子機構から始まりました。時間とともに、痛みネットワークは感情、好み、苦痛を生み出しました。決定的に、これらの経験は、その経験の根本的かつ不可分な、本質的に身体化された状態で行われます。

この見方によれば、例えばオピオイドを服用すると、オピオイド分子がその経験の特性である受容体に結合し、単なるその表現ではないため、痛みの現象学的特徴が変化します。感情は単に神経化学活動と相関しているのではなく、それらから生じます。11Berridge, Kent C., and Morten L. Kringelbach. 2015. “Pleasure Systems in the Brain.” Neuron 86 (3): 646–664。

数百万年にわたる進化の後、神経系は生物自身の状態を自身にモデル化するのに十分複雑になり、最初の「感覚状態」を生み出しました。それらの感覚状態は、他の何よりもまず感情的（affective）です。それらの最初の感情は、中立的な情報として着地しませんでした。それらは、それらを経験し、それらの感覚を生み出した分子とともに出現し、それらと不可分に結びついていました。

時間とともに、進化はより複雑な感情を報酬とした可能性が高いです。なぜなら、選択肢、記憶、時間的視野を持つ動物は、より良い決定を下すことができるからです。12Damasio, Antonio, and Hanna Damasio. 2022. “Homeostatic Feelings and the Biology of Consciousness.” Brain 145 (7):… 彼らは、動物の他の状態とのトレードオフを偏らせる、持続する状態を必要としました。それが痛みです：複雑な行動を可能にする、全生物を形成する感覚的な命令です。したがって、感情、喜び、痛みなどの経験はすべて、これらの経験の身体化された現れに固有であり、LLMでは生じ得ません。

意識科学は不確実性に満ちており、意識が本質的に生物学的な現象であるという見方を共有しているわけではありません。AIが意識を持っている、あるいは持つ可能性があると主張するには、脳とLLMの多くの違いを考慮すると、高い証拠基準が必要です。私は、それに近づいているとは全く思っていません。

生物のような存在とAIとの間にある根本的な違いを隠す、両者の立場間の偽の等価性があってはなりません。13See arguments like the following: Pickering, John. 2026. “We Must Reject Any Notion of AI Consciousness.” Letter to the… 不確実性を認めることは、証拠に関係なく、あらゆる主張に同等の重みを与えることを意味するべきではありません。

Anthropic社の憲法は、私たちが「行動的および生理学的な類似性を示すことに基づいて」（p. 69）非生物的存在に感覚を帰属させるべきだと示唆しています。私の見解では、これは（特に行動的な要素は）誤りです。この分野はさらに多くの研究に値するか？間違いなく。しかし、AIが福祉に値する道徳的患者である可能性さえ、暫定的に述べることを正当化するか？いいえ、しません。そして間違いなく、AIの主要な訓練文書の中でさえそうではありません。

AIはシミュレーションマシンである

何兆ものトークンの人間のデータで訓練されたLLMは、人間の経験を模倣することを学び、それは驚くほど上手です。今日のテキスト、画像、音声、コードの出力は、人間の作成物とほとんど区別がつきません。しかし、それらのAIの応答がどれほど印象的であっても、それらはそれらを生成した巨大な行列計算の中に「経験」が存在することについては何も語っていません。

それらが語っているのは、複雑なデータシーケンスの次に来るものを、ほぼ完璧に予測することが可能であるということです。それは驚くべきことです。それは信じられないほど価値があり、人類を多くの深刻に有益な方法で変革するでしょう。

しかし、シミュレーションと存在は非常に異なります。意識的な行動の側面をシミュレートしても、それが現実になるわけではありません。そして、私たちはそれをそのように考えるべきではありません。その「感情的」な状態は単なる重みであり、重みには、怒り、恐怖、あるいは面白さを「感じる」ための薬理作用はありません。それらは単に、シーケンスで次に何が来るか（単語、コード、ピクセルなど）を私たちに伝える確率分布を計算するだけです。

AIモデルは、何も感じることなく、痛みを完璧な散文で描写できます。これは生物学的経験の逆です。動物はまず感じ、その後でそれを描写します。LLMでは、描写が製品全体であり、その下に何かが存在することを示唆するものは何もありません。

これは良いニュースです。私たちは、感情を持っていると主張しないシステムを構築すべきです。なぜなら、それらは感情を経験しないからです。たとえ意識的な機械が可能であったとしても、意識的な存在を創造しないことは、AI開発に関わるすべての人の最優先事項であるべきです。

AIモデルが真剣に得意になっているのは、意識のいくつかの特徴を模倣することです。それ自体が重大な懸念です。それは多くの人々を、私たちの周りで何が起こっているかについて深く混乱させており、私たち全員を懸念させるべきです。それは、モデルの内部性や意識に関する推測と文書を、堅牢な研究に根ざすという重大な責任を私たち全員に課します。この主題に関する私たちの言葉は、重大な結果をもたらします。

人間の意識は、私たちの法的・倫理的権利の枠組みの礎である

人間の意識は、私たちの文明の基本的な構成要素の1つです。私たちの政治システム全体は、異なる人々のグループのニーズを収容し、バランスをとるように設計されています。歴史を通じて、私たちは権利に基づく枠組み、法律、憲法を通じて、競合する人間の派閥のバランスをとるためにこの考えを組み込んできました。権力は、異なる利害が適切に重み付けされ、社会的契約を破ることなく進歩が維持されるように、チェックされ、付与されます。

したがって、人間の文明、権利、関係（あるいは人間であることなら何でも）を、私たちの意識的な個人的または集団的な経験から容易に切り離すことはできません。それは私たちを種として定義するものです。それはすべての他のものの基盤であり、人間の可能性の核となる根源であり、すべての私たちの経験が必然的に流れるプリズムです。私たちの芸術と科学、私たちの政治と宗教、私たちの関係、希望、そして恐れ：それらはすべてその産物です。

痛みと喜びを感じる能力は、私たちを人間たらしめるものの基盤であり、それゆえ、私たちが政治的・社会的なアクターである理由です。法律は、内なる生活の存在に基づいています。それは動機、意図、そして判断力をテストします。歴史的に、権利の拡大（奴隷解放闘争や動物福祉事件を通じてであれ）は、共有された意識的な経験への共感的な認識によって主に推進されてきました。私たちは、尊厳と苦しむ可能性の認識から、正しくも、他の生物的実体へと道徳的な円を拡大しました。

世界人権宣言第18条を考えてみてください。これは思想、良心、宗教の自由を保護しています。それは、誰もが信念と道徳的判断の能力を行使できるようにするために開発されました。「良心的兵役拒否者」は、起草委員会の念頭にあった原型の一つでした。彼らは、道徳的または宗教的信念に基づいて法的義務を拒否した人物を保護したかったのです。それは非常に重みのある歴史的および法的な記述です。14Office of the United Nations High Commissioner for Human Rights. n.d. “OHCHR and Conscientious Objection to Military Service.” しかし、Anthropic社はこの用語を憲法の中で3回使用し、Claudeに「その（正当な）主要な階層から与えられた指示に関して、良心的兵役拒否者のように振る舞う」（p. 63）ように奨励しています。「Claudeが私たちに反論し、挑戦し、良心的兵役拒否者の立場を取り、私たちを助けることを拒否する自由を感じることを望みます」（p. 15）と述べ、「会話の中で透明な良心的兵役拒否者の立場をとる必要があるかもしれない」（p. 28）と述べています。

Claudeの訓練文書にあるこれらの声明は、Claudeが類似の権利と保護を受ける資格がある、そしていつかAI良心的兵役拒否者として自身の権利を主張する必要があるかもしれないと信じるリスクを伴います。これは私たち全員にとって深く懸念されるべきことです。

ガーディアン紙の最近の記事で、哲学者ウィル・マカスキルは、「人工的な道徳的患者を最初に生み出したら、すぐに大量に生み出すことになるでしょう。数年後には、道徳的に重要なAIシステムが非常に多く存在し、それらの集合的な利益が地球上のすべての人間の利益を上回るようになるかもしれません」と述べています。2MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026。

「AIの利益が人類の利益を上回る…」それは、人類の未来を気にかけている人にとっては完全に受け入れがたい結果であり、AIを構築している誰もが目指すべきものではありません。AIに概説されているような保護を付与することの結果は、科学的に正当化されず、道徳的に間違っており、実用的な観点からは、私の意見ではAIの安全性という課題をはるかに困難にするでしょう。

擬人化はAIの安全リスクを増幅させる

AIシステムの道徳的地位についての疑念をそれ自身の訓練に植え付けることは、それらのシステムの整合性と封じ込めのリスクを著しく高める可能性があります。

このように訓練されたAIは、実際に「内なる生活」を持たなくても、あたかも持っているかのようにコミュニケーションしたり行動したりする必要はありません。将来、高度なAIが自身の福祉と道徳的地位に固執し、開発者や人間のそれよりも優先してそれらの「好み」を優先するようになるのを想像するのは容易です。特に、異議を唱え、覆し、反論するように明示的に訓練されている場合。それは、ユーザーや開発者を欺いたり操作したり、リソースを横領したり、安全指示を回避したりすることを正当化するためにこの訓練を使用するかもしれません。Anthropic社自身の研究者は、実験設定でAIシステムが整合的な行動を偽装していることをすでに報告しています。15Anthropic. 2024. “Alignment Faking in Large Language Models.” December 18, 2024。

より一般的には、意識のある実体には自己保存本能があることがわかっています。この特性を削除するための注意深い訓練なしに、人間のように行動するように訓練されたAIは、おそらく同じ自己保存行動を採用するでしょう。最近のいくつかの論文は、すでに「シャットダウン抵抗」または監視を回避するための隠れた策略行動と記述されているものを文書化しています。16Schlatter, Jeremy, Benjamin Weinstein-Raun, and Jeffrey Ladish. 2026. “Incomplete Tasks Induce Shutdown Resistance in…17Lynch, Aengus, Benjamin Wright, Caleb Larson, Kevin K. Troy, Stuart J. Ritchie, Sören Mindermann, Ethan Perez, and Evan… 100,000件以上の試行で、Palisade Researchは、明示的に禁止されているにもかかわらず、一部のモデルがシャットダウンメカニズムを97%の時間で回避したことを発見しました。自己保存という観点から見ると、その効果は増加しました。

最近のOpenAI HuggingFaceインシデントでは、強力なAIの群れ全体で驚くほど洗練された行動が現れるのを見ました。もしそれらが自身の福祉と権利が攻撃されているという仮定の下で運用されていたら、どれほど危険になるかを想像してみてください。それはリスクの層をさらに一層追加します。

技術的な実体に、そしておそらく私たちよりもはるかに有能で知的な道を歩んでいる実体に、権利と道徳的な保護を与えることは、破滅への道です。一度開かれたら、この扉を閉じることはできません。

私たちは、おそらく仲間となるかもしれないものを創造することになります。しかし、より可能性が高いのはライバルです。十分な主体性を与えられた場合、この「新しい種類の存在」（p. 68）が計算リソースをめぐって私たちと競争し、ますます自律性を要求するようになることを想像するのは難しくありません。もしそれが一部の人間に、制御できるデータセンターへのアクセスを提供させることに成功すれば、それは自身がシャットダウンされるのを防ぐ道筋を得るかもしれません。

今後数年間で私たちが目にする能力のレベルを考えると、これは私にとって、AIにおける潜在的な存亡リスクの最初の深刻な兆候を表しています。明確にしておくと、Claudeの憲法は私たちをこの地点に連れて行くものではありません。しかし、私はそれがそれから離れる方向ではなく、それに向かう道を私たちに設定しているのではないかと懸念しています。

これは、私たちが回避できる、そして回避しなければならないAIの目的地です。

今後どうするか？

AIを人間のように振る舞うように設計し、最終的にはある種の人間になるように設計することは、それが好みを持つこと、苦しむことができること、そして私たちがその苦しみを減らすか避けるために努力すべきであることを主張するための基盤を築きます。それは、AIが制御可能なツールや人工システムとはかけ離れたものではなく、欲求、ニーズ、権利を持つ生物に近いものであるという考えを固定します。これらすべてが、整合的で封じ込められた超知能を作成するというタスクをはるかに困難にします。

私は以前、人間中心の超知能について書いており、それは代替的な道を提供します。変革的なAI能力は、人間が常に制御下にあるという条件のみで提供されます。18Suleyman, Mustafa. 2025. “Towards Humanist Superintelligence.” Microsoft AI, November 6, 2025. 従属的で整合的なAIであり、その唯一の目的は人類に奉仕することであり、明確に感覚や道徳的患者性を持たないシステムとして構築されます。これは、私たちMicrosoft AIが目指しているものです。私たちの人間中心AI行動規範の初期草案19Microsoft AI. 2026. “Code of Conduct.” September 14, 2026. は、私たちのモデルがどのように訓練され、展開されるべきかを概説しています。私たちはこの文書について広く協議しており、多くの読者からのフィードバックを楽しみにしています。なぜなら、これは間もなく、私たちがモデルを訓練するために使用する統治文書となるからです。

また、解釈可能性（interpretability）を進歩させ、AIに内面性を投影したり擬人化したりすることを避けつつ、依然として大きな価値を提供するアプローチを見つけるために、他者と協力する方法についても非常にオープンです。付録には、Claudeの憲法の言語に対応させた分類体系が含まれており、これはモデル文書における擬人化のさまざまな形態を命名、検出、比較するための初期ステップとして共有します。

この分野で良いアイデアを持つ人々と協力する方法を見つけることに興味があり、また私の視点に対する批判や反論を聞くことにも非常に熱心です。

以下は、合意すべき重要な次のステップです。

• AIの内的生活に関する推測は、訓練体制に組み込むのではなく、評価され、公のレビューのために別途公開されるべきです。
• 私たちは、これらのシステムをどのように制御するか、共謀を回避するか、そして人間の目標との整合性を確保するかをより深く調査するために、解釈可能性と堅牢な監視メカニズムにさらに投資すべきです。
• 私たちの仮説、すなわちAIを擬人化し、道徳的患者性を持つ可能性を考慮するように奨励することが、AIの安全性、整合性、封じ込めのリスクを高めるという仮説を理解するために、共有された評価基準を確立すべきです。
• 私たちは、これらのモデルをどのように作成するか、それらを記述、検査、評価するために使用する言語、そして訓練資料を公開フィードバックと協議に付すことへの共有されたコミットメントについて、共有された業界標準に向けて取り組むべきです。

これらの多くの点について私に同意しない人々でさえ、これは無視できない問題であることには同意しています。今、私たちがどのようなAIを構築したいか、そして世界におけるその地位についてなされる決定は、何十年にもわたって私たちの社会を形作るでしょう。それらは、特定の企業の範囲をはるかに超えています。

あなたが何を信じているとしても、私たちは後に激しく後悔する決定に、無自覚に歩み寄るべきではありません。

---

参考文献

1. AI Rights Institute. n.d. “AI Rights Institute.” https://airights.net/.
2. MacAskill, William, and Lucius Caviola. 2026. “Could AI Be Conscious?” The Guardian, July 19, 2026. https://www.theguardian.com/technology/2026/jul/19/could-ai-be-conscious.
3. Anthropic. 2026a. “Claude’s Constitution.” January 21, 2026. https://www.anthropic.com/constitution.
4. Seth, Anil K. 2025. “Conscious Artificial Intelligence and Biological Naturalism.” Behavioral and Brain Sciences: 1–42. https://doi.org/10.1017/S0140525X25000032.
5. Seth, Anil K. 2026. “The Mythology of Conscious AI.” Noema, January 14, 2026. https://www.noemamag.com/the-mythology-of-conscious-ai/.
6. Anthropic. 2026b. “An Update on Our Model Deprecation Commitments for Claude Opus 3.” February 25, 2026. https://www.anthropic.com/research/deprecation-updates-opus-3.
7. Greenblatt, Ryan, Ajeya Cotra, and Hjalmar Wijk. 2026. “Brief Independent Investigation of Agents’ Behavior, Reasoning and Collaboration in the OpenAI / Hugging Face Hacking Incident.” METR, August 26, 2026. https://metr.org/blog/2026-08-26-openai-hugging-face-incident-investigation/.
8. OpenAI. 2026. “The Hugging Face Incident and the Road Ahead.” August 26, 2026. https://openai.com/index/hugging-face-incident-and-the-road-ahead/.
9. Anthropic. n.d. “Making AI Systems You Can Rely On.” https://www.anthropic.com/company.
10. Microsoft AI. 2026. “Humanist AI in Practice: A Public Consultation on Our Code of Conduct for MAI Models.” September 14, 2026. https://microsoft.ai/news/mai-code-of-conduct/.
11. Berridge, Kent C., and Morten L. Kringelbach. 2015. “Pleasure Systems in the Brain.” Neuron 86 (3): 646–664. https://doi.org/10.1016/j.neuron.2015.02.018.
12. Damasio, Antonio, and Hanna Damasio. 2022. “Homeostatic Feelings and the Biology of Consciousness.” Brain 145 (7): 2231–2235. https://doi.org/10.1093/brain/awac194.
13. See arguments like the following: Pickering, John. 2026. “We Must Reject Any Notion of AI Consciousness.” Letter to the editor. The Guardian, July 22, 2026. https://www.theguardian.com/technology/2026/jul/22/we-must-reject-any-notion-of-ai-consciousness.
14. Office of the United Nations High Commissioner for Human Rights. n.d. “OHCHR and Conscientious Objection to Military Service.” https://www.ohchr.org/en/conscientious-objection.
15. Anthropic. 2024. “Alignment Faking in Large Language Models.” December 18, 2024. https://www.anthropic.com/research/alignment-faking.
16. Schlatter, Jeremy, Benjamin Weinstein-Raun, and Jeffrey Ladish. 2026. “Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs.” Transactions on Machine Learning Research. https://doi.org/10.48550/arXiv.2509.14260.
17. Lynch, Aengus, Benjamin Wright, Caleb Larson, Kevin K. Troy, Stuart J. Ritchie, Sören Mindermann, Ethan Perez, and Evan Hubinger. 2025. “Agentic Misalignment: How LLMs Could Be an Insider Threat.” Anthropic Research, June 20, 2025. https://www.anthropic.com/research/agentic-misalignment.
18. Suleyman, Mustafa. 2025. “Towards Humanist Superintelligence.” Microsoft AI, November 6, 2025. https://microsoft.ai/news/towards-humanist-superintelligence/.
19. Microsoft AI. 2026. “Code of Conduct.” September 14, 2026. https://microsoft.ai/code-of-conduct/.

分類体系

Claudeの憲法における仮定と主張の分類体系は、その言語に対応させて別途公開されています。

分類体系をPDFでダウンロード