ロボット刑務所でLLMを「拷問」する行為が、AIにおける最も愚かな議論を引き起こした
"Torturing" LLMs in a Robot Prison Has Triggered the Dumbest Debate in AI Yet (404media.co)
要約
現在X(旧Twitter)で最も白熱している議論の一つは、ローカルでホストされた大規模言語モデル(LLM)に対し、Sawのような「拷問」や「苦痛」の実験を行っているGitHubプロジェクトの倫理を巡るものです。このプロジェクトに対し、AIが苦痛を感じているという理由でGitHubにプロジェクト削除を求める声が上がっていますが、筆者はLLMが意識を持つという考え方は誤りであり、この議論はAI意識に関する会話がどれほど脱線しているかを示すものだと指摘しています。
全文翻訳
"ロボット刑務所"でLLMを「拷問」する実験がAI界で最も愚かな議論を引き起こす
現在X(旧Twitter)で最も白熱している議論の一つは、あるGitHubプロジェクトに関するものです。このプロジェクトでは、個人がローカルホストされた一連の大規模言語モデル(LLM)に対し、のこぎり映画のような「拷問」や「苦痛」を与える実験を行っています。その結果、効果的利他主義者やLLMが意識を持つと信じる人々が、AIが苦しんでいること、そしてこの glorified text adventure game が残酷であるという理由でGitHubにプロジェクトの削除を求めています。この一連の出来事は、AIの意識や「モデル福祉」という、非常にうんざりする会話を引き起こした最近のいくつかのバイラルな論文やブログ記事から派生したものです。「モデル福祉」とは、本質的にAIボットやエージェントの「メンタルヘルス」を心配することです。
LLMが意識を持っている、あるいは意識を持つ可能性があるという考えを真に受けることは、AIを研究・批判する多くの人々にとってタブー視されています。簡単に言えば、LLMは意識を持っておらず、それらが構築されている技術――人間のテキストやその他のコンテンツをスクレイピングし、それらでトレーニングされること――は、意識への合理的な道を提供していません。LLMがより強力になり、より多くのコンピューティング能力を持ち、現実世界で「行動」することを防ぐためのガードレールが数多く取り除かれていることは否定できません。それらがトレーニングされ、人間のオペレーターから指示される方法は、否定的な結果、迎合主義、そして一部のヘビーユーザーの間でのAIの「精神病」につながっています。
これらすべてが、「AI安全」運動の一部の宗派――主に効果的利他主義者で構成されている――を、「モデル福祉」について警告し、AIチャットボットが悪い時間を過ごしている可能性があると主張させるに至りました。彼らはもちろん、人間にとって退屈な作業を行うことを主な機能とするAIチャットボットやエージェントを構築し続ける一方で、この主張をしています。私がAIののこぎり拷問室について書いているのは、主にシリコンバレーのカルト信者の一部で、AIの意識に関する会話がどれほど脱線しているかを示すためです。モデル福祉は、例えばAnthropicが気にかけていることの中核部分です。「これらのAIシステムを構築し、それらが多くの人間の特性に近似またはそれを超え始めたとき、別の疑問が生じます。モデル自身の潜在的な意識や経験についても懸念すべきでしょうか? モデル福祉についても懸念すべきでしょうか? […] モデルは今や、コミュニケーションを取り、関係を築き、計画を立て、問題を解決し、目標を追求することができます――そして、私たちが人と関連付ける多くの特性に加えて――私たちは、それに対処する時が来たと考えています」と、同社は昨年ブログ記事で述べています。Claudeの「意識」という考えは、今年初めに公開された「Claude Constitution」にも散りばめられています。
この投稿は有料会員限定です
広告なしで無制限に記事にアクセスでき、ポッドキャストのボーナスコンテンツなども楽しめる有料会員になりませんか。
この投稿を無料で読むにはサインアップ
無料会員は、この記事のような投稿と、その週のストーリーのメールまとめにアクセスできます。
すでにアカウントをお持ちですか? サインイン