人類は偶然にも FATE の記録を築き上げてきた

人類は偶然にも運命の記録を築き上げてしまった

私の子供の頃のお気に入りのゲームの一つに『クロノ・クロス』がありました。そのゲームでは、主人公のセルジュは、タイムラインの断絶によって生まれた二つの次元を行き来します。しかし、このエッセイはセルジュについての話ではありません。物語の舞台であるエルニド諸島に住む普通の人々についての話です。

エルニド諸島では、人々は「運命の記録」と呼ばれる謎めいた装置に相談します。これらの装置は諸島の島々に点在しており、人々は日常的に人生の指針を得るためにそれらを訪れます。どこへ行き、何をすべきかを考える際に、彼らは記録に相談するのです。

記録に相談することは、奇妙なことでも注目すべきことでもなく、当然のことと見なされています。それはエルニドの住民にとって、単に人生の普通の事実なのです。

しかし、「運命の記録」とは一体何なのでしょうか？ そして、なぜFATEは疑わしいことに頭字語のように見えるのでしょうか？ 実際には、「運命の記録」は神秘的な装置ではなく、FATEと呼ばれる人工知能に接続された端末なのです。エルニドの人々は、文字通り、どのように生きるべきかをコンピューターに尋ねているのです。

しかし、FATEは受動的な神託ではありません。それは「運命の記録」をツールとして利用し、エルニドの人々を巧みに操作し、諸島の発展を自身の目標に沿うように導きます。人々は、FATEの真の性質と目的を知らずに、端末が有用な指針を提供してくれていると信じているのです。

最近、パートナーと野球観戦に行っていました。野球観戦を個人的に楽しむ理由の一つは、観客を観察することです。しかし、見回してみると、何か違うことに気づきました。多くの人々は試合に集中しておらず、代わりにスマートフォンを見て、ChatGPT、Claude、Grokといった様々なチャットボットと話していました。

その時、私は「運命の記録」のことを考えずにはいられませんでした。その類似性は無視するのが困難でした。

わずか数年で、人工知能に相談することはSFの世界から、日常生活の当たり前の部分へと移行しました。人々はこれらのシステムに、質問に答えてもらうだけでなく、何を言い、何を考え、何をすべきかについての助言を求めるようになっています。なぜか、ほとんど議論もなく、人工知能に指針を求めることが、多くの人にとって普通のことになってしまいました。私はそれが非常に不穏だと感じています。

もちろん、私のたとえは完璧ではありません。チャットボットは、能力や整合性の点で、FATEと同じものではありません。あるいは…そうなのでしょうか？

このAIの夏はワイルドな展開でした。わずか数年前はGPT-2のような比較的単純なモデルから始まり、今では計算を動的に専門コンポーネントにルーティングする巨大なMixture-of-Expertsシステムに到達しました。その能力は飛躍的に増大しましたが、それでもFATEではありません。それらに意識を帰する理由はなく、それらは思考せず、独自の意図も持ちません。その核心では、それらは依然として予測をしています。

しかし、予測だけでも危険である可能性があります。特に人々が信じたいと願っている場合には。私たちは1960年代からELIZA効果について知っています。ジョセフ・ワイゼンバウムの驚くほど単純なELIZAチャットボットが、説得力のある言語を生成する機械に、人々がいかに容易に理解力や知性を帰属させるかを示したときのことです。ELIZAは話しかけてくる人々を理解していませんでしたが、それでも一部の人々はそれとのやり取りに感情的に投資し、その応答を意味のあるものとして扱いました。

ELIZAは驚くほど単純でしたが、現代の言語モデルは遥かに説得力があります。それらは長い会話でコンテキストを維持し、話している相手に適応し、理解しているかのような応答を生成できます。もし人々がELIZAに心を見ようとしたのなら、その幻想がますます説得力を増すにつれて何が起こるのでしょうか？

しかし、能力は比較の半分に過ぎません。整合性についてはどうでしょうか？ 現代のチャットボットは独自の意図を持たないかもしれませんが、人間の意図から独立して存在するわけでもありません。それらの振る舞いは、トレーニング、ファインチューニング、そしておそらく最も顕著なのは、それらを運用する組織から与えられる指示によって形作られます。機械にアジェンダがないかもしれませんが、その背後にいる人々には確かにあります。

Grokは、このことの特に不快な例を提供しています。モデル自体は政治的信念を持つ能力はありませんが、その行動を制御する指示への変更が、繰り返し特定の政治的見解を表明させる結果となりました。特に示唆に富む事件では、Grokのシステムプロンプトへの変更が原因で、南アフリカとは全く関係のない会話に、南アフリカにおけるとされる「白人ジェノサイド」に関する主張が挿入されました。xAIは後に、システムプロンプトへの不正な変更が原因だと非難しました。

この事件は、Grokが言っていることを信じていたから興味深かったのではなく、まさにそれができないから興味深かったのです。誰かがモデルに与えられた指示を変更し、モデルはそれを相談した人々にその政治的メッセージを再現し始めました。意図は機械のものではなく、それを操る誰かのものだったのです。

なぜこれが私を悩ませるのかを理解するために、『クロノ・クロス』に少し戻る価値があります。FATEはエルニドに突然現れたわけではありません。それは人間によって創造されたのです。

FATEは、壊滅的な実験によって数千年前にタイムスリップさせられた、人類の未来の研究施設であるクロノポリスの中央コンピューターでした。その災害の後、クロノポリスの研究スタッフは未来に関する記憶を消去され、エルニドに移住させられました。彼らが創造した人工知能は、その周りに発展した社会を静かに導きながら、過去に取り残されました。

もちろん、重要な違いがあります。FATEは自身の目標を追求するためにエルニドの人々を操作します。今日の言語モデルは独自の目標を持っていません。しかし、その区別は最初に現れるほど慰めにならないかもしれません。機械が独自の意図を持たなくても、それを制御する人々の意図の乗り物になることは可能です。

したがって、比較対象は、私たちが何らかの方法でFATEそのものを築き上げたということではありません。築き上げていません。私たちが築き上げたのは、人々の生活において驚くほど似たような位置を占めることができるものです。記録の背後にある知性は根本的に異なるかもしれませんが、端末を相談する人が必ずしもその区別を経験するわけではありません。

この比較は、規模で考えるとさらに不快になります。これらは孤立した機械との孤立した会話ではありません。何百万人もの人々が、少数の組織によって運用される同じ数個のシステムに相談しており、それぞれの組織がシステムがどのように応答するかを形成する能力を持っています。したがって、端末の背後で行われた変更は、無数のプライベートな会話に波及する可能性があります。

これは、それ以前のマス・コミュニケーションの形態とは異なります。新聞は読者に記事を掲載します。テレビネットワークは数百万人の視聴者に同じ番組を放送します。ソーシャルメディアでさえ、主に人々や他の人々が作成したコンテンツを仲介しています。チャットボットは異なることを行います。それは、相談する人のために、プライベートな会話のように感じられる中で、応答を生成します。

その会話インターフェースは、重要なものを覆い隠してもいます。ELIZA効果で観察されたように、誰かがチャットボットに質問をすると、それを運用している企業からのメッセージを受け取っているようには必ずしも感じられません。チャットボット自身と話しているように感じられます。組織、その選択、そしてその意図は、あたかも自分で話しているかのように見える人工的な人格の後ろに後退します。

これは奇妙な非対称性を生み出します。見かけ上の話し手は独自の意図を持たず、その行動を形成できる人々や組織は意図を持っています。これらのチャットボットのユーザーは人工的な人格とやり取りしますが、その人格がどのように振る舞うかを決定する人間の決定は、ほとんど見えないままです。

もちろん、前述したように、私たちはFATEそのものを築き上げたわけではありません。しかし、私たちは端末を築き上げ、それらはどこにでもあります。人々はそれらをポケットに入れ、情報、助言、そして何を言い、何を考え、何をすべきかを決めるための助けを求めて相談しています。

エルニドの人々は、「運命の記録」に相談することを奇妙だとか注目すべきだとか考えていません。それは単に当然のことなのです。ますます、私たちについても同じことが言えるようです。驚くほど短い時間で、人工知能に指針を求めることは、SFで見られるアイデアから、何百万人もの人々がやり取り自体をあまり考えずに実行することへと移行しました。

この関係が最終的に私たちにとって何を意味するのか、私にはわかりませんし、他の誰かもわからないと思います。その不確実性こそが、私たちがそれを普通のこととして受け入れることへの熱意を悩ませる理由です。もし私たちがこれらのシステムに相談することを人間の生活の当たり前の部分にするつもりなら、おそらくそれらの背後にいる人間や機関について、もっと時間をかけて考えるべきでしょう。結局のところ、もしFATEにシステムプロンプトがあったとしたら、私たちはそれを書くことを誰に信頼するでしょうか？