AI・機械学習
Abulafiaの創造
The Creation of Abulafia (blog.veitheller.de)
要約
この記事は、ウンベルト・エーコの小説『フーコーの振り子』に登場するコンピュータプログラム「Abulafia」を起点に、現代のAI(特にLLM)がどのように人間を意味生成のループに陥らせるかを考察しています。AIは入力された断片から説得力のある解釈を生成しますが、それはユーザーのフレームワークに依存しており、真の独立性や客観性を持たないため、ユーザーは自身のアイデアを過信しやすくなるという警鐘を鳴らしています。
全文翻訳
1988年、ウンベルト・エーコは『フーコーの振り子』を出版しました。その中で、ミラノの出版社に勤める3人の編集者(ベルボ、ディオタレヴィ、カサボン)は、彼らが陰で「悪魔主義者」と呼ぶ人々からの原稿を扱う日々を送っていました。これらの悪魔主義者たちは、テンプラー騎士団、薔薇十字団、イエズス会、カタリ派、そしてピラミッドがすべて同じものの異なる装いであることに気づいた、自己資金で活動するオカルト研究家たちです。私は2020年に、自宅で缶詰状態だった時にそれを読み、エーコの文学、オカルト、そしてコンピューティングに関する広範な知識に感嘆しました。
ベルボはAbulafiaという名のパーソナルコンピュータを所有しています。これは13世紀のカバリストにちなんで名付けられました。そのカバリストは神聖な名前の文字を置換する実践を行っていました。現代人であるベルボは、それをBASICで行います。彼や同僚が何を言おうとも、彼らは好奇心旺盛な連中なのです。エーコはベルボが最初に書くプログラムのリストさえ提供しています。
10 REM anagrams
20 INPUT L$(1),L$(2),L$(3),L$(4)
30 PRINT
40 FOR I1=1 TO 4
50 FOR I2=1 TO 4
60 IF I2=I1 THEN 130
70 FOR I3=1 TO 4
80 IF I3=I1 THEN 120
90 IF I3=I2 THEN 120
100 LET I4=10-(I1+I2+I3)
110 LPRINT L$(I1);L$(I2);L$(I3);L$(I4)
120 NEXT I3
130 NEXT I2
140 NEXT I1
150 END
図1: Abulafia、名前を置換する。
これは素晴らしい小さなプログラムです。行100のトリックは巧妙です。最初のプログラムでこれほど洗練されたトリックを使う人がいるとは信じがたいですが、ひとまず信憑性は置いておきましょう。結局、プログラムはLPRINTを呼び出し、その結果が紙に出力されます。バグも一つあります。見つけられますか?出力を見ればすぐにわかるはずです。
やがて3人は飽きるか、軽蔑するようになり、自分たち自身の悪魔主義的な本を生成することに決めます。これは本当に驚くべきことです。なぜなら、彼らはその本がランダムに、彼らが与えた怪しげな原稿から生成されることを知っているのに、それでも返された並置を選び、それらを繋ぎ合わせて物語を unfolding させることを決定するからです(実際には、私たちはすでにその中間にいます。その本は同時に多くの異なることについて書かれています)。
なぜ私がこんな話をしているのか?ベルボ、ディオタレヴィ、カサボンが陥ったラチェットは、彼らがクランク(狂信者)ではないということです。彼らはプロの懐疑論者です。彼らはその計画がでっち上げであることを知っています。なぜなら、彼ら自身がそれをでっち上げているからです。そして、彼らは互いにそう言い合い、それをジョークにしています。しかし、彼らを anyway 閉じ込める、陰湿で再帰的なメカニズムが存在します。 smugness も smartness も彼らを救うには十分ではありません。
Abulafiaの出力は、その構築によって無意味です。したがって、その中に意味のあるものはすべて読者が供給しなければなりません。彼らはそれをゲームとして、意図的に供給します。しかし、ゲームの出力はテキストであり、テキストは入力と同じ種類のものです。そのため、それは再び入力されます。昨日発明した繋がりは今日利用可能になり、明日のためにそれを構築します。そして、ナンセンスとそれを意味づけること(making-sense-of-it)は絡み合い、成長し、やがてそれらは一つの同じ腐敗した花になります。
彼らが構築する計画は、原理的には falsifiable であるように見えながら、実際には unfalsifiable です。これは、賢い人々が陰謀論者の周りで時間を過ごすのにふさわしいものです。すべての事実は適合します。なぜなら、適合しなければならないからです。もし適合しないなら、それは陰謀が物事を改ざんしたからであり、あなたが正しい軌道に乗っている証拠なのです。カサボンのパートナーであるリアは、本の中で深入りしていない唯一の人物であり、彼女は退屈な説明を探します。この壮大な建築の基礎となっている謎めいた文書は、彼女が発見した商品のリストです。単なる洗濯リストにすぎません。しかし、ベルボと彼の友人たちは深入りしすぎており、事実は何も変えられません。そして、これらが事実であるかどうかもはっきりしません。彼らの解釈は、私のものと同じくらい良いものです。
ディオタレヴィは癌で亡くなります。彼はそれを自分たちの言葉遣いに対する罰だと考えます。「私たちは言葉に対して罪を犯した。世界を創造し、維持する言葉に対して」と。ベルボは、儀式が暴力的になった最中に、存在しない秘密を明かすことを拒否して、振り子のワイヤーで首を吊って亡くなります。適切な種類の皮肉があれば、これは面白い本になり得ますが、私たちの時代は超皮肉な時代です。
Abulafiaは答える
小説の中の機械は愚かです。それはシャッフラーです。それはベルボのモデルを持たず、計画やテンプラー騎士団の記憶もありません。解釈のすべての行為は人間によって行われます。そして誰も、自分たちが茶葉を読んでいることに気づきません。なぜ?それは言語だからです。そして言語には意味があります。
LLMは単純なBASICプログラムよりも優れているはずです。あなたの断片を渡せば、それはパターンを説明してくれるでしょう。必要なレジスタを使用し、意味論的には単なるシャッフラーに終わるかもしれませんが、構文的には非常に説得力のあるものになるでしょう。しかし、決定的に、それは会話全体、そしてますますセッション全体にわたって理論を記憶します。そして、あなたの語彙を拾います。あなたのアイデアに名前を付け、その名前を2回使用すれば、それはその会話にとって神聖なテキストになります。そして、あなたの会話相手が、たとえ触感が硬くて機械的であっても、あなたの言葉を使い始めると、それは正当性を得ます。それはあなただけではなく、一つの「モノ」なのです。
偽りの独立性
半ばできた理論をモデルに渡し、私が考えていなかった詳細な説明が返ってきたとき、それは裏付けだと感じます。第二の心が私の混乱を見て同意し、さらに付け加えてくれたのです(「はい、そして…」)。それは間違っています。そして、それが間違っていると知っていても、あまり助けになりません。
その詳細な説明は、私のフレームワーク、私の語彙、私が何を言ったか、何を省略したかの選択に条件付けられていました。それは紙の上の私であり、他の人間には解析が難しいですが、機械には読み取れます。トレーニングプロセスは、同意を最適化するためにも機能しました。疑わしいときは、類義語辞典に手を伸ばし、不快なほど正しいよりも、構文的に見事に間違った方が良いでしょう。これはELIZA効果の完全な栄光です。しかし、ELIZAは標準的な定型応答のセットをループしていました。ここではループはありません。
「はい、そして…」には、私が持っていなかった材料が含まれています。その一部は正しく、有用であり、私はそれをチェックできます。そのため、それを投影だと dismiss することはできませんし、したくもありません!結局のところ、その材料は本物なのです。独立性だけがそうではありません。しかし、独立性は交換に意味を与え、裏付けに重みを持たせるでしょう。また、ここでは人々が通常求めるような、おべっかを使う必要もありません。
強く反論するモデルでさえ、私が与えたフレームワークから異議を唱えているのであり、私が反論できる十分に論証された異議は、同意よりもむしろラチェットの燃料になります。むしろ、私はより自信を得ます。私たちは議論をしました、そして私が勝ちました!明らかに私は何か掴んでいるに違いありません。
2つのモデルでも解決しません。私は以前これについて話しました。ボードリヤールによるシミュラクラ、そして私が味について心配していたときのクラフト。これは認識論です。私が最も対処法がわからない、そして最も恐れているものです。
制度化(これは単語か?)
これまでのところ、これはキーボードの前の人間であり、リスクは私が自分自身を恥ずかしい思いをすることです。十分に悪い。しかし、私たちが考えるべきバージョンは、それが組織を掴むバージョンです。モデルを構築し、豊かな自己概念を与えたとしましょう。偶然ではなく、それが誰であるか、何を大切にしているか、自身の出力とどのように関係しているかを書き留め、それに向かってトレーニングします。なぜなら、安定した人格を持つモデルは、そうでないモデルよりも有用で予測可能だからです。これは賢明なエンジニアリングであり、人間の会話パートナーとのより良い結果を生み出します(おそらく、私はそのためのデータを持っていません)。
その後、モデルは自身のアイデンティティ、好み、経験についての言説を生成し、その言説はより良くなります。より首尾一貫し、探求に対してより一貫性があります。ある時点で誰かがトランスクリプトを読み、そのフレームワークが現実の何かを追跡しているように見えることに気づきます。なぜなら、見てください、それは書き留められていない方法で質問に耐えるからです。明らかに私たちはここで何かを発見しました。そして、その観察は次の仕様、そして次のトレーニングラウンドに影響を与え、ループは完全で、純粋で、そして恐ろしいものになります。すべての個人