LLMの能力に関する共通理解のギャップが拡大している

LLMの能力に関する共通理解のギャップが拡大しています。これはもはや「互いに話が通じない二つのグループ」というよりは、鋭い漏斗のような状態です。 概算ですが、約60億人（人口の約75%）はLLMにほとんど接触したことがありません。 約10億〜20億人（約20%）は、無料版のChatGPTのような製品を時折利用するカジュアルユーザーです。このグループは、ぎこちないチャットボットを目にし、それをGoogle検索の改良版や文章作成補助ツールのように扱います。フライト予約を試みるエージェントもいるかもしれません。私の非技術系の友人たちも（私の意見ではもっともですが）、これにあまり使い道がないと言っています。技術系以外の多くの専門家もこの層に含まれます。例えば、経営幹部や多くの職種では、他の人と話すことに多くの時間を費やすため、知的には何が起こっているかを理解していても、それはあくまで二次情報であり、やや抽象的なままです。 次に、数学やコーディング分野における最先端LLMのプロフェッショナルな利用についてです。約2000万人（0.2%）が、かつて数週間から数ヶ月かかっていた大規模で複雑なプロジェクトが、プロンプト一つでエージェントによって完了できることを直接体験しています。アプリケーションの構築、コピー、翻訳、バイナリからの逆コンパイルなどです。これは非常に急速かつ最近のことです。1年もしないうちに、私は手作業でコードを書き、記憶したコンピュータコマンドをコードエディタに一文字ずつ入力し、時折Tabキーを押してコードの小さな塊を補完していました。 そして最後に、内部で最先端システムにアクセスできる約5000人（0.00006%）に到達します。外部の世界はプレビューを見ました。それは、数千ものエージェントが数週間にわたって協力し、ソフトウェアのメガプロジェクトを進める様子のように見えます。ゼロデイ脆弱性の生成、機械速度でのサイバー攻撃と防御の実行、新しい科学の発見、数学の最先端の進歩などです。これらは、業界のトッププロフェッショナルが長年かけて取り組んできたようなことです。その一方で、人間のレビューと理解は追いつかなくなり始めています。例えば、人々は数ヶ月前のOpenAI-HFインシデントの「考古学」にまだ関わっています。数学者は、最先端数学に関する722の原稿をしばらく精査するかもしれません。 この漏斗（ファネル）は、いくつかの要因によって駆動されています。 1. 影響力は、野心、問題の規模、および時間軸とともにスケールします。段落程度の回答で済む質問は、システムをほとんど負荷しません。本当に重要な、大きくて難しい問題の貯蔵庫が必要です。この側面が、消費者の次元とプロフェッショナルの次元における漏斗を駆動します。 2. システムのギザギザ（私が別途多く書いていること）。能力は、デジタルで検証可能で経済的に価値のあるドメインでピークに達します。これは、LLMの能力が、収益の可能性によって駆動されるキュレーションされた環境混合における検証可能な報酬に対する強化学習から生まれるためです。この側面が、主に領域（例：数学とコーディング）の次元における漏斗を駆動します。 3. アクセス。無料ティア、有料ティア、内部アクセス。 これが現在の奇妙な状況です。一般市民はこれらのシステムにほとんど触れていません。触れたとしても、それはぎこちないチャットボットのように見えます。大多数の専門家は、まだわずかな向上しか見ていません。そして、ごく一部の専門家は、カーブが垂直になることによるめまいを経験しています。そして、これらすべてが同時に起こっています。