AI・機械学習
マインドリーディングを構築しないでください
Don't Build Mindreading (lesswrong.com)
要約
本稿は、思考を読み取る「マインドリーディング」技術の開発に警鐘を鳴らす。この技術は、独裁者や権力者が反対意見を早期に検知し、人々を抑圧するために悪用される可能性が極めて高いと指摘する。たとえ善意で開発されたとしても、技術は拡散し、悪用されるリスクがあるため、開発を遅らせるべきだと主張している。
全文翻訳
コンジットは、彼らの言葉を借りれば、テレパシーを可能にするデータセットを構築しています。
私は祖父が自分の指のコントロールを失うのを見ました。もし彼に思考を読み取るヘッドバンドを提供できたなら、どんなに良かったことか。新しい技術によって、私たちはほとんどすべてのアメリカ人を農業から解放し、乳幼児死亡率を産業以前の半分から、最も成績の良い国では0.5%未満にまで低下させ、飢饉を政治的な選択肢に変えました。広範な効率の向上は良いことであり、それ自体追求されるべきです。テレパシーはさらに多くのものを提供します。検証された正直さによって信頼を創造し、繁栄と平和を確保するのに役立つかもしれません。DARPAはすでに自殺予防のために「前意識的な」思考を調査しています。AIの安全性に関する強力な議論もあります。モデルは超人的になりつつあり、これは私たちがペースを維持し、敵対的な競争を最小限に抑え、おそらく未来に生き残るための技術です。
これがコンジットが約束していることです。残念ながら、マインドリーディングには他の影響もあります。
オスカー・シンドラーはホロコースト中に1,000人以上のユダヤ人の命を救いました。彼は頻繁に、そして繰り返し嘘をつき、全財産を建設と闇市場につぎ込むこと(腐敗した役人への贅沢品やユダヤ人労働者への食料)によってそれを成し遂げました。これらすべては第三帝国の意思に反していました。彼らは捜査を開始し、彼が買収していた人々の一部を捕らえました。もしナチスがマインドリーディングを持っていて、誰かが嘘をついているかどうかを彼らが知ることができるとしたら、シンドラーと彼の従業員は終わりです。それに加えて、祖母が崩壊しつつあったユーゴスラビアから逃れる必要があったときに偽造文書を見抜くことができなかったすべての役人、抗議する人口に発砲することを望まなかったすべてのポーランドとエジプトの兵士、そして残忍な体制下で思いやりと親切を示す機会を得た他のすべての人々も同様です。
アメリカで無邪気に開発された技術が、独裁的な目的で使用されることは、前の世紀のSFの話ではありません。それは21世紀の特徴です。IBMは中国で「警察分析ソフトウェア」を販売しましたが、それは新疆ウイグル自治区での進行中のジェノサイドに使用されました。これは多くの例のうちの1つです。IBMは関係を断ち、配布を止めようとしましたが、文明を解体せずに技術を解体することはまだ解決されていません。国内では、FBIが予測AIを調査しており、ホワイトハウスの高官は、彼らが政治的反対派と戦争状態にある「軍隊」であり、彼らを国内過激派と呼んでいると明確に述べています。
すべての技術は有害な目的に使用される可能性があります。イタリアのファシストは列車に乗っていましたが、それが列車が悪いことを意味するわけではありません。洗濯機のような技術は、広く良いと信じられています。それらは不快な人間の労働を置き換え、女性に力を与えます。ほとんど悪いと思われる他の技術もあります。ブレスライザーを無効にする薬のレシピを公開した場合、それは明らかに有害なツールを作成したことになり、ユーザーの権利と義務の呼びかけや議論のいかなる量も、すべての正しく考える人々の軽蔑からあなたを救うことはありません。ツールは特定の活動を強化し、他の活動を暗黙的または明示的に抑制することができます。それらはあなたに母親に電話することを思い出させたり、一日中ドゥームスクロールさせたりすることができます。したがって、技術的な仕事には道徳的な性格があります(そして、より良く書かれた説明のために「暗号作業の道徳的性格」を強くお勧めします)。
マインドリーディングの問題は、それが非対称な技術であり、同意なしに支配する人々に不均衡に利益をもたらすことです。生産性の向上は、それを得ることができるすべての人に等しく有益ですが、欠陥を検出することは、友人たちと楽しく取り組んでいるプロジェクトにはわずかな利益しかありません。それは、去ることを考えている従業員を予測するために大企業を助けるでしょう。それは、部下が証拠を提出することを恐れている犯罪者にとって大きな助けとなります。しかし、最も恩恵を受けるのは独裁者でしょう。
独裁政権にとって最大の脅威は情報カスケードです。なぜなら、独裁政権は一度に扱える反乱者の数に限りがあるからです。これは大衆とエリートの両方に当てはまります。だからこそ、クーデターの試みの最初の標的の1つは通信インフラなのです。革命とは、他の人々も指導者が悪いと考えており、皆で一斉に立ち上がることができるという信念への賭けです。マインドリーディングは、独裁者が疑念を抱き始めた瞬間に人々を検知し、彼らを「再教育」または単に殺害することを可能にします。その結果、マインドリーディングは、独裁者にとって、国家全体の資源に裏打ちされた緊急の必要性となります。反対意見の監視と処罰は単なる潜在的な用途ではありません。それは、あなたの単に印象的なホワイトカラー労働者が行っていることよりも価値があります。
では、2030年にコンジットが「侵襲的な一般読み取り」を期待しているとき、これはどのようになるのでしょうか?思考のデコードからテキストへの変換、そして特定の単語との関連性の測定は、検証可能な結果と成功に置かれる信じられないほどの価値を持つアクティブな研究タスクです。将軍や企業の創設者、政治エリートは、他の重要な仕事をしている人々と同じように、朝の仕事の一部としてヘッドバンドを使い始め、習近平思想に関する簡単なクイズに合格するでしょう。それは、HRトレーニングのように退屈なものです。もし彼らが外国に対する共感を示しすぎると、彼らの防諜サービスに通知されます。もし彼らが「親愛なる指導者」に対する敵意を示しすぎると、再教育が必要だと告げられます。もし「親愛なる指導者」に対する敵意がはるかに強すぎたり、「親愛なる指導者」よりも政治的に重要な人物への好意がはるかに強すぎたりすると、彼らは解雇されるか、それ以上のことになります。彼らは皆これを知っています。彼らは皆、自分が「親愛なる指導者」に十分に好意的であることを確実にするための戦略を持っています。
私たちが研究所から学んだ教訓の1つは、誰のためにも技術を開発することは、本質的にすべての人にとってそれを加速させるということです。1つの企業だけが最先端技術を進歩させ、それを管理下に置いて善意にのみ使用されることを保証することは不可能です。物事を作るプロセスにおける従業員のトレーニングは大きな要因であり、データセットとサプライチェーンの作成も同様です。たとえ企業がその技術を最も高潔な目的のためにのみ使用すると誓ったとしても、技術自体は漏洩します。技術を開発する可能性は、その到来が固定されたペースで避けられないことを意味するわけではありません。どのプロジェクトに取り組むかによって、技術革新を加速または遅延させることができます。今後10年間で世界がどれだけ速く変化すると予想するほど、今日有害なイノベーションを遅らせることの価値は高まります。
アライメント研究への利益は現実です。私はそれが大きいとは確信していません。ケンタウロスチェスの衰退は、人間とAIのチームワークが単独でAIモデルを確実に打ち負かすという主張に重くのしかかっています。さらに懸念されるのは、独裁政権に力を与えるコストを上回る利益があると確信するために、世界のモデルに対する多大な信頼が必要であるということです。私にはその自信がありません。誰も持つべきではないと確信しています。
したがって、マインドリーディングのデータセットを構築しないでください。マインドリーディングのハードウェアを構築しないでください。この技術に資金を提供しないでください。あなた自身を彼らに売らないでください。私は、商業的に利用可能になった後のボイコットを呼びかけているのではありません。それは有用には遅すぎますし、個人の生産性ツールを誰が使おうと非難しません。しかし、私たちはマインドリーディングを加速させるべきではありません。それが思考や感情を見るのであれば、それは暴君のためのツールです。
私は独裁者がマインドライティングで何をするかについては推測しません。