高次元統計学でビールを勝ち取る方法
How to win a beer with high-dimensional statistics (jamiesimon.io)
要約
本記事では、LLMの単語埋め込みが円環状の構造を持つという研究結果に対し、偶然によっても同様の幾何学的パターンが生成されうることを示しています。筆者は、統計的な制約が不十分な場合、低次元PCA空間でのパターン探索が誤解を招く可能性を指摘し、自動特徴抽出アルゴリズムやスケーラブルな解釈可能性の研究に示唆を与えています。
全文翻訳
高次元統計学でビールを勝ち取る方法
私の長年のラボメイトで、今は学生/友人でもある Dhruva Karkada が最近、素晴らしい論文をデータ統計学で執筆しました。この論文は、私がこれまで見た中でも最も美しい科学的図の一つを含んでおり、そのためにTwitterで相応しく話題になりました。
[画像: PCA空間で円を形成するカレンダー月埋め込み、巡回グラム行列と共に]
語彙集合 $\mathcal{V}$ に属する単語の集まりがあるとしましょう。ここでは、各単語を $d$ 次元ベクトルにマッピングするモデル $f: \mathcal{V} \rightarrow \mathbb{R}^d$ を研究しています。年の12ヶ月 ${v_i}_ {i=1}^{12} = {\texttt{January}, \texttt{February}, \ldots}$ を取り、それに対応する12個の埋め込みベクトル $\mathbf{w}_i = f(v_i)$ を計算し、以下の2つのものを求めます。
- ${ \mathbf{w}_i }$ の上位2つのPCA方向への射影(左の列)、および
- $M_ {ij} = \mathbf{w}_i^\top \mathbf{w}_j$ となるグラム行列 $\mathbf{M} \in \mathbb{R}^{12 \times 12}$(右の列)。
この図の行を上から順に読むと[2]、彼らは以下の発見をしました。
- LLMの埋め込みは円に射影され(Engels et al (2024) も同様の観察をしています)、グラム行列は近似的に巡回行列になります。
- これらの発見は、基本的な
word2vec埋め込みでもかなり良く近似されます。 - 巡回グラム行列の解析理論は、非常に説得力のある一致を示します。
これは、データ統計学を表現幾何学と、非常にシンプルな数学理論で結びつけるため、大きな意味を持ちます。
針を見つける
この結果を何度も見て、しばらく考えた後、私はこの美しい結果に穴を開けたい気分になり、Dhruvaにビールを賭けて、他の、一見無関係な単語の集合を見つけられると賭けました。それは同じように円と巡回行列を形成するはずです。彼(そして私が話したほとんどの人)は、円は明らかに単語間の特別な関係から来ていると考えていたので、これは狂っていると思いました。賭けの条件を決めました。私が選んだ10個のランダムに見える単語が、上記のようにプロットされた word2vec 埋め込みで、明確で説得力のある円を形成しなければなりませんでした。
なぜこれが可能だと思ったのか?さて、私たちは25000語の語彙から選ぶことができます。これは、$\binom{25000}{10} \approx 3 \times 10^{37}$ 個の集合を選択できることを意味します。10個のダーツをそれほど多くの回数ボードに投げれば、少なくとも一度は円ができるだろうと思いました。情報理論的に言えば、$\log_2 N \approx 124$ ビットの情報があり、この分解能でまともな10点の円を作れるはずです。問題は、その干し草の山から10個の良い単語の集合をどうやって見つけるかです。
私がやった方法は以下の通りです。
- ランダムな集合のPCAプロットを見て、ランダムな選択でまともな円が得られる確率は $3^{-10}$ 程度だろうと推測しました。したがって、ランダムな推測でも plausibly には機能するかもしれません。
- 「円に見える」目的関数を書き、数万個のランダムな集合を描画し、最良のものを選びました。それは境界線でしたが、Dhruvaを完全に打ち負かすほどではありませんでした。
- 最も悪い点を削除し、語彙から最良の置き換えを選択する反復検索にアップグレードしました。これはかなりうまくいきました。
- また、目的を「PCAプロットで円に見える」から「ターゲットの巡回グラム行列に一致する」に変更しました。これは非常にうまくいきました。
埋め込みサイズ $d = 10000$ がこれに全く関わらなかったことに注意してください。これらすべては、コーディングエージェントを使って午後で完了しました。
私が得た結果はこれです。
[画像: PCA空間で円を形成する、一見無関係な10個の単語、巡回グラム行列と共に]
それは円形です。ランダムに見える他の単語の集合でも円を形成できるのです!
これに実際の意義はありますか?
これは、「一人の人間がどうしてこれほど間違っていられるのか?」といった未解決の疑問を提起しますが、私はそれに答える資格はありません。
しかし真面目な話:明らかに、偽の幾何学的パターンを見つけることができます。これは表現幾何学の理解を変えるべきでしょうか?まずいくつかの注意点を挙げたいと思います。
- 私の偽円集合のグラム行列は確かに美しく巡回的ですが、(正弦波状の)オフ対角成分の振幅は、月の場合よりも小さいです。月のグラム行列に合わせるために、2倍の差以内でも、それらを上げることができませんでした。
- これは10個の集合では非常にうまく機能しますが、例えば50個の集合では機能しないだろうと疑っています(ただし、あまり一生懸命試したわけではありません)。したがって、1700年から2020年までのすべての年など、Dhruvaの他の幾何学的発見は、この方法で偽装することはできませんでした。
それにもかかわらず、それは、ある種の追跡マッチングスタイルの検索で低次元のPCA幾何学を追求すると、ターゲットに十分な統計的制約がない限り、ランダムなチャンスでは起こらないようなものであなたを欺くことができることを示しています!これは、スケーラブルな解釈可能性のような研究アジェンダに影響を与える、特定の自動特徴発見アルゴリズムを排除します。