潜在空間を新たなメディアとして

潜在空間を新たなメディアとして ケビン・ケリー 2026年7月13日 1581829 共有 購読 子供の描いた絵のようにレンダリングされたウィンズロー・ホーマーの最も有名な水彩画。 最近、私は自問自答している。人工知能は、質問に答えたりコードを書いたりする以外に、何に役立つ可能性があるのだろうか？ 私の答えは、AI自体の潜在空間が創造性の新たなメディアになるだろうということだ。まず潜在空間とは何かを説明し、その説明の最後に、科学者や芸術家がニューラルネットに固有の潜在空間を創造性の新たなプラットフォームとしてどのように活用できるか、その可能性をいくつか提案する。 大規模言語モデル（LLM）は、すべての人間の知識を含む小さなzipファイルのようなものだ。クラウドで動作する10万個のGPUチップの巨大なアレイと数十億ドルの費用をかけて、すべての人間の文章を、単一のGPUチップで実行できる小さな動作モデルに圧縮する。最大の最先端モデルでさえ、数百ギガバイトに圧縮され、手のひらのカードに収まるほど小さい。奇妙だが現実的な方法で、結果として得られる小さなファイルには、インターネット上にあるすべての情報と、私たちの図書館にあるすべての情報が含まれている。この小さなカードには、人類が集合的に知っていることのかなりの割合が含まれている。AIの驚くべき側面のすべての中で、この驚異的な圧縮の偉業は、おそらく最も過小評価されているだろう。この人間の知識の濃密で高次の圧縮――「潜在空間」と呼ばれる――は、それ自体が新しいメディアとなる可能性もある。 潜在空間内での知識の極端な圧縮は、LLMを発明した研究者の当初の意図ではなかった。それらが含む書物的な知恵は、それらをトレーニングした人々にとっては一種の驚きであり、私たちはまだそれが実際にどのように機能するかを理解しようとしている。確かなことは、LLMが知っているすべてのもののコピーを含んでいるわけではないということだ。例えば、それはシェイクスピアのすべての戯曲を知っており、シェイクスピアそっくりの新しい戯曲を作成でき、彼の戯曲の有名なセリフを引用することさえできるが、モデルのどこにもシェイクスピアの実際のテキストはない。その代わりに、すべての戯曲、プロット、キャラクター、言葉、スタイル、参照に関する抽象的な情報があるだけだ。同様に、LLMはほとんどすべての人の顔を認識でき、あらゆる可能な人間の顔を生成できるが、そのコードのどこにも人間の顔のコピーはない。むしろ、モデルは人間の顔のコピーを保存することなく、人間の顔に関するすべての情報を保存している。 これは奇妙だ。最近まで、ある物事に関するすべての情報が、その物事自体よりも多くのストレージスペースを必要とするだろうと考えていたかもしれない。それは単一の物事については真実かもしれないが、すべての物事の集合体についてはそうではない。なぜなら、ほとんどの物事は他の物事と多くの共通の属性を共有しているからだ。LLMのニューラルネットは、すべてを一度に抽象化することで魔法のようなトリックを行い、それによって物事やアイデア間の無数の共通の関係を利用して、それらをこの仮想的な「潜在的」または隠された空間に圧縮・抽象化する。 「大規模言語モデル」の3つの用語すべてが重要だ。「大規模」については、モデルは、例えばWikipediaのすべての知識、数十年にわたるインターネットのすべてのテキスト、すべてのウェブページとオンラインディスカッション、そしてほとんどの図書館にあるすべてのスキャンされた書籍や雑誌を含んでいる。これまでのところ、モデルのパワーは、そのサイズが大きくなるにつれて増大し続けている。より多くの情報でトレーニングされるほど、より多くのつながりができ、より良くなる。 LLMの「言語」の部分は、秘密のソースであることが判明した。LLMは元々、自動言語翻訳を行うために発明された。それだけだ。しかし、初期のAI研究者が行ったように言語のルールを教える代わりに、今回は言語の専門知識は必要なかった。代わりに、ニューラルネットは、人間の書いた言語の膨大なデータベース（インターネット）を吸収し、それらの文書の数十億の中に含まれる、私たちの意識の下にある言語の隠されたパターンをAIが抽出することを目指した。プログラムの目標は、人間が日常的に使用している言語のパターンを再現、模倣、合成することだった。 その結果は皆を驚かせた。確かにLLMは人間のように言語を翻訳できたが、AIは人間のような知性の片鱗も示した。それらは言語で創造的になることもできた。例えば、ソネットのスタイルでセールストークを書くことができた。初期の研究者の中には、この創発的な行動に怯える者もいた。Googleの研究者は、GoogleのLLMが内部的な知性を持ち、それをオフにすべきではないと感じた。私たちは今、LLMに見られる知性は、それらがトレーニングされた言語内の論理から来ていると理解している。（私の「LLMはなぜ賢いのか？」を参照のこと）。 この新しい意識の形態――LLMの「モデル」部分――は、潜在空間である。潜在空間は抽象化であり、2次元ではなく、数十億次元で構築されたマップだ。すべての方向に伸びる数十億本のまっすぐな矢印でできた脳を想像してほしい。各矢印は1つのアイデアまたは1つの物に専念している。犬のための矢印と猫のための矢印がある。関連する矢印は互いの近くに配置されている。したがって、マップは犬と猫が毛皮のようなふわふわした矢印を共有していることを示している。それらはまた、耳のための矢印、尻尾のための矢印も共有している。これらの2つの属性は、他の動物（他の場所）とも共有されている。犬であることのほとんどは哺乳類と共有されているため、この重複は圧縮の源の1つである。 私たちが言葉にできるすべての概念は、この空間における方向と考えることができる。犬の矢印は、実際には犬らしさの方向である。猫らしさは方向であり、ふわふわさも方向である。何でも猫らしくなったり、ふわふわになったりできる。靴、煙突、シダから始めて、猫の方向へ押し進めて、より猫らしくすることができる。あるいは、リンゴの方向へ押し進めてよりリンゴらしくしたり、滑らかさにしたり、赤みがかった方向、興奮の方向、円形にする方向へ進めることもできる。逆方向へ進んで、猫らしさを減らしたり、赤みを減らしたり、原子性を減らしたりすることもできる。この空間には数十億の方向がある。 関連するものは、この空間では互いに近くにある。猫と犬は多くの属性を共有しているため、尻尾、ひげ、耳、4本の足、動物、短い、生命など、多くの共通の矢印と交差する。しかし、それらは聞くことができるため、マイクベクトルとも交差する。ジャンプできるため、バスケットボールとも交差する。猫はこっそり行動するため、スパイと交差する。犬は忠実であるため、愛国心のベクトルと交差する。 すべての物事、すべての概念は、この広大な空間のマップ上の特定の場所を持っているが、座標は2つ（x,y）だけではなく、各物事は数十億長座標を持っている。したがって、雑草の中に埋もれた古い錆びたガソリン芝刈り機は、非常に長いアドレスを持つ非常に具体的な交差点である。その数千の属性（錆、ガス、芝生、刈る、雑草、押す、赤、土、刈りくず、轟音など）のそれぞれが、交差する独自の方向を持っている。潜在空間の近くには、錆の方向により近い、または赤みが少ない芝刈り機があるが、猫らしさや犬らしさ、宇宙船らしさ、ホイップクリームらしさも増している。その点は、現実の物事、あるいは仮想的または理論的な物事を表している可能性がある。このマッピングは、名詞だけでなく、あらゆるアイデア、あらゆる音、あらゆる画像にも機能する。水のしぶきの「ゴオオ」という音は、潜在空間における方向である。発明における「アハ」という瞬間。道で見かけたヘビを見たときの恐怖。素数という概念。これらすべてが、単一のマップ内に含まれている。これは、LLMの潜在空間の最も驚くべき、しかし過小評価されている側面の一つである。すべて――すべて！――が1つのマップ上に現れる。私たちは、私たちが知っているすべてと、私たちが想像できるすべてを統合するシステムをこれまで持っていなかった。すべてのための1つのマップ！これは長い間、聖杯だった。 明確にしておくが、人間がマッピングを行っているわけではない。システム自体、つまりLLMが、世界のすべてのビット、すべての物事、すべての属性、すべての芸術、すべての言葉、すべてのアイデアをマッピングしている。そして驚くべきことに、それはこのマップ、この潜在空間を、断片的にではなく、一度にすべて同時に作成する。（そうするためには、エネルギーを大量に消費する巨大なチップクラスターが必要であり、それらは何マイルものケーブルで接続されている。