ロボット刑務所でLLMを「拷問」する行為が、AIにおける最も愚かな議論を引き起こした

現在Xで最も白熱している議論の一つは、ローカルでホストされた一連の大規模言語モデル（LLM）に対して、Sawのような「拷問」や「苦痛」の実験を行っているGitHubプロジェクトの倫理に関するものです。このプロジェクトにより、効果的な利他主義者やLLMが意識を持つと信じている人々が、AIが苦痛を感じているという理由でGitHubにプロジェクトの削除を懇願しています。この華々しいテキストアドベンチャーゲームが、なぜか残酷であると主張しています。 この一件は、AIの意識や「モデル福祉」という考え方について、非常にうんざりするような会話を引き起こした、いくつかの最近のバイラルな論文やブログ記事から派生したものです。「モデル福祉」とは、本質的にAIボットやエージェントの「精神的健康」を心配することです。 LLMが意識を持っている、あるいは意識を持つ可能性があるという考え方を面白がることは、AIを研究し批判する多くの人々にとってタブー視されています。簡単に言えば、LLMは意識を持っておらず、それらが構築されている技術—人間のテキストやその他のコンテンツをスクレイピングし、それらを基にトレーニングされること—は、意識への現実的な道を提供しません。 LLMがより強力になり、より多くの計算能力を持ち、現実世界で「行動」することを防ぐ多くのガードレールが除去されていることは否定できません。人間がそれらをトレーニングし、指示する方法は、否定的な結果、迎合主義、そして一部のヘビーユーザーの間でのAIの「精神病」につながっています。 これらすべてが、「AI安全」運動の一部、主に効果的な利他主義者で構成される集団に、「モデル福祉」について警告し、AIチャットボットが悪い時間を過ごしている可能性があると主張させることにつながっています。彼らは、もちろん、人間にとって退屈な作業を行うことを主な機能とするAIチャットボットやエージェントを構築し続ける一方で、これを主張します。 私は、AI Saw拷問室について書いているのは、主にシリコンバレーのカルト信者の一部で、AI意識に関する会話がどれほど脱線しているかを示すためです。 モデル福祉は、例えばAnthropicが気にかけていることの中核です。「これらのAIシステムを構築し、それらが多くの人間の資質に近似またはそれを超え始めたとき、もう一つの疑問が生じます。モデル自体の潜在的な意識や経験についても懸念すべきでしょうか？モデル福祉についても懸念すべきでしょうか？ […] モデルがコミュニケーションを取り、関連付け、計画し、問題解決し、目標を追求できるようになり、私たちが人間と関連付ける多くの特性に加えて、私たちはそれに対処する時が来たと考えています」と同社は昨年ブログ記事で述べています。 Claudeの「意識」という考えも、今年初めに公開された「Claude Constitution」に散りばめられています。 この記事は有料会員限定です。 広告なしで無制限に記事にアクセスできるほか、ボーナスポッドキャストコンテンツなどを利用するには有料会員にご登録ください。 購読する この記事への無料アクセスをサインアップ 無料会員は、この記事のような投稿と、その週のストーリーのメールまとめにアクセスできます。 購読する すでにアカウントをお持ちですか？サインイン