言葉は意識の副産物。LLMにとっては逆
Words Are a Byproduct of Consciousness. For LLMs, It's Backwards (ranpara.net)
要約
この記事では、人間が思考や意識を先に持ち、それを表現する手段として言葉を使うのに対し、LLM(大規模言語モデル)は言葉を基盤としており、意味はその副産物であるという違いを考察しています。過去の技術革新を振り返りながら、LLMがもたらす変化、特に誰もがビルダーになれる時代において「一貫性」と「ノイズ」の重要性を強調しています。また、LLMの進化によるコンテンツの質の低下や、エンジニアリングとコーディングの違いについても言及しています。
全文翻訳
言葉は意識の副産物。LLMにとっては逆。
少し立ち止まって、簡単な問いを自分に投げかけてみてください。あなたの言葉はどこから来るのでしょうか?
話すとき、何が先に来ますか?アイデアですか、それとも言葉ですか?まず自分の内側に思考を感じ、その後でそれを包み込むのに適切な言葉を探しますか?私は皆そうだと思います。言葉が始まりであることは決してありません。言葉は単なる「皮膚」です。その下にあるのはアイデア、つまり意識です。
では、LLMについても同じ問いを立ててみましょう。LLMにとっては、それは全く逆です。そして、この小さな違いが、私たちがどこへ向かっているのかのほとんど全てを説明していると私は思います。(覚えておいてください、後で役に立ちます。)
私たちは今、まさに変曲点に立っています。歴史にはこのような点が数多くありますが、その一つ一つが人類を前進させてきました。
遠い昔、ホモ・サピエンスは話し、考えることを学びました。その真の魔法は、音そのものではありませんでした。それは、法律、正義、哲学といった抽象的な概念を頭の中に保持できたことです。それが私たちを他のあらゆる動物から際立たせたのです。異なる人間の集団は、同じアイデアに対して異なる音を発しましたが、私たちはこれらの音を言語と呼びます。
次に、私たちは書くことを学びました。そしてインク、紙、そして印刷機が登場しました。突然、距離は問題ではなくなりました。インドの人が書いたものがヨーロッパの人が読めるようになり、人間が移動することなく知識が伝わりました。魔法のようだと感じませんか?
しかし、私たちはまだ物流のような現実世界の問題を抱えていました。物をA地点からB地点へ移動させるのは困難でした。それでも、新聞、書籍、芸術は人間の脳に栄養を与え続け、アイデアは生まれ続けました。その時代、アイデアは「金」でした。実行は非常に困難でしたが、良いアイデアは少なくとも進むべき方向を示してくれました。
次に、計算ができる機械であるコンピューターが登場し、再び魔法のように感じられました。しかし、それは遅く、うるさく、空調の効いた部屋の中にあり、数百万ドルを消費してごくわずかなものしか生み出しませんでした。これは聞き覚えがありませんか?その考えを覚えておいてください。
その後、人々は情報を共有するためにコンピューターを接続し、インターネットを手に入れました。今や情報はほぼ瞬時に移動できるようになりました。WWWが登場し、次にソーシャルメディアが登場しました。ある時点で誰かが単純な疑問を投げかけました。「なぜこれらの恩恵を大企業だけが享受しなければならないのか?私たちのような普通の人はどうなのか?」そして、パーソナルコンピューターが登場しました。(スティーブ・ジョブズに感謝。)
その後、カメラ付きの電話が登場し、私たちは話したり、聞いたり、見たりできるようになりました。音声、画像、ビデオ、すべてが一体となりました。そして静かに、バックグラウンドで、私たちは巨大なデータの山を築き上げており、コンピューターはますます電力効率を高めていました。
2017年に早送りしましょう。GoogleのチームがTransformerと呼ばれるものを構築し、それは世界を変えました。LLMが登場したのです。
では、LLMとは一体何なのでしょうか?その核心は、コンピューターが解き明かした数学を使って、次の単語を予測する、大量の単語の集まりです。
私の最初の問いに戻りましょう。LLMは、それ以前のすべての単語に基づいて次の単語を予測します。それが全てです。その下に座っているアイデアはありません。単語がすべてです。LLMにとって、単語がソースであり、いかなる意味も偶然こぼれ落ちた副産物にすぎません。
しかし、あなたの脳は逆の働きをします。まず概念、感情、画像があり、それからそれを説明するための言葉が出てきます。(少なくとも、私は自分の脳がそのように働いていると感じます。)私たちにとって、言葉は意識の副産物です。LLMにとっては、それは完全に逆です。そして、これは私が繰り返し言及している部分です。私はその方向性を再現することはできないと思います。
人々はLLMは高価すぎ、電力を食いすぎると言います。それは真実です。しかし、初期のコンピューターを思い出してください。それらは全く同じでしたが、約75年でポケットに入るほど小さくなりました。LLMも効率的になるでしょう。違いは、今回は75年もかからないということです。人間の全知識が今や小さなチャットボックスの中に収まっています。私たちに必要なのは、想像できる数人の賢い人間だけです。
そしてここに大きな変化があります。LLMにより、誰もが今や「ビルダー」です。正直に言って、すでにアプリがないアイデアは残っていますか?以前は、アイデアは道を示す力を持っていたため強力であり、実行が困難な壁でした。今日、誰もが情報を持っており、誰もが実行できます。では、実際に何が残っているのでしょうか?それは2つのことに集約されます。一貫性とノイズです。そうです、ノイズです。
今日のインターネットは完全に氾濫しています。良いものを見つけたり、実際のマーケティングを行ったりすることはほぼ不可能です。したがって、ここから勝つ人々は、マーケティングにおいて創造的であり、そしてより重要なことに、一貫性のある人々だと私は信じています。最も賢い人ではなく、最も一貫性のある人です。
これはまた、仕事についても考えさせられます。ソフトウェアエンジニアは安全でしょうか?私は安全だと思います。(開発者については、正直あまり確信がありません。)なぜなら、エンジニアリングは「考える」ことであり、コーディングは単に「書く」ことだからです。今やLLMがあちこちにあるので、誰でも何でもコードを書くことができます。しかし、誰もがエンジニアのように考えることはできません。そして正直に言って、コーディングは決して難しい部分ではありませんでした。Googleマップの背後にあるアルゴリズムを考えてみてください。それはニューヨークからサンフランシスコまでの道順を、ほぼ100パーセントの精度で、数秒で提供します。同時に、数十億の交差点とライブ交通状況を計算しながらです!コードは簡単な部分です。そのような思考こそが本物なのです。
しかし、一つだけ少し怖いことがあります。もしLLMが徐々に悪くなっていったらどうなるでしょうか?考えてみてください。2017年より前に書かれたものはすべて人間によって作られました。2017年以降、LLMはオープンウェブを独自のコンテンツで埋め始めました。そして今、その同じコンテンツが次のLLMをトレーニングするためにフィードバックされています。LLMは完璧な文法と豊かな語彙を提供できますが、実際の文脈を静かに失う可能性があります。現在、AIコンテンツのシェアは小さいです。しかし、それが成長し続けたらどうなるでしょうか?
それでも、私は悲観的ではありません。AIは全く新しい思考方法を開いており、それに伴い、まだ予測さえできない新しい機会が生まれています。実際、私は幸運だと感じています。Windows 98、Nokia 3315、iPhone、インターネット、MシリーズMacBook、そして今ChatGPTを、すべて一人の人生で見ることができました。
だから私は興奮しています。今後数年間、人間がどのように考えるのかを見るのが本当に楽しみです。
あなたはどうですか?