HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

エンベディングに狂わされる私(HPLM 第2章)

In Which I Lose My Mind over Embeddings (HPLM Chapter 2) (maayanroth.com)

7 pointsby evakhoury0 コメント

要約

この記事は、自然言語処理におけるトークン化とエンベディングの基本概念を解説しています。特に、単語を数値ベクトルで表現するエンベディングが、メモリ効率と単語間の意味的関係の捉え方の両方で、one-hotエンコーディングよりも優れている点を説明します。さらに、Word2vecアルゴリズムと、エンベディングベクトル間で行える「王様 - 男性 + 女性 = 女王」のような驚くべき数学的操作について掘り下げ、その直感的な理解の難しさと、著者による可視化ツールの試みを紹介しています。

全文翻訳

埋め込み(Embeddings)に夢中になる私(HPLM 第2章)

2026年7月31日

The Hundred-Page Language Models Bookの第2章で、私にとって本当にエキサイティングなことが始まりました。

第2章 – 言語モデリングの基本

第2章では、自然言語の入力と出力を扱う機械学習の基本的な構成要素を紹介します。それは、トークン化、埋め込み、そしてモデル評価フレームワークです。トークン化は、入力された単語を言語モデルが認識できる「トークン」に変換するプロセスであり、埋め込みはそれらのトークンを密な数値表現に変換します。これらを組み合わせることで、任意に大きな語彙を機械可読形式で効率的に表現するという課題に取り組みます。

もちろん、「埋め込み」という言葉は聞いたことがあり、埋め込みモデルがLLMにとって重要で、単語間の意味的な類似性を捉えるために使われるということは、大まかには理解していました。それ以上のことは、私には説明できませんでした。HPLMはこれらの概念を美しく説明しています。

語彙数が10000語の言語があると想像してみてください。(これは非常に小さな言語です。Oxford English Dictionaryには50万語以上が含まれており、現代のLLMは複数の言語を同時にモデル化しています。)この語彙の単語を表現する最も直接的な方法は、one-hotベクトルです。これは10000ビットの配列で、配列の各インデックスが語彙の単語に対応します。

[画像: 2つの手書きのone-hotベクトル:インデックス5に「Fish (Index 5)」とラベル付けされた1があり、別のインデックスN-2に「Carrot (Index N-2)」とラベル付けされた1がある。それ以外のセルはすべて0。]

one-hotベクトルは理解しやすく、完全に機械可読ですが、2つの大きな欠点があります。それは、ほとんどのスペースを無駄な0で埋めるため、メモリ効率が非常に悪いこと、そして単語間の有用な関係性をエンコードできないことです。インデックスは単語に任意に割り当てられるため、「happy」と「glad」のように非常に似た単語が互いに離れた位置になる可能性がありますが、隣接するインデックスの単語は意味的な関係性が全くないかもしれません。

Word2vec

埋め込みの主な洞察は、one-hotエンコーディングよりも密であり、単語間の意味的関係性を表す、トークンの代替表現を生成できるということです。HPLMは、単語埋め込みを生成するために使用されるアルゴリズム群であるWord2vecについて詳しく説明しています。Word2vecにはいくつかの種類がありますが、すべて同じ中心的な概念を共有しています。ターゲットとなる単語(この場合は「cat」)と、その周囲のいくつかのコンテキスト単語を含むテキストの断片を想像してみてください。

[画像: Word2vecのトレーニング例:ターゲット単語「cat」の両側に「feed your」と「wet food」というコンテキスト単語がある。]

ターゲット単語を入力として与えられたときに、コンテキスト単語を高い確率で生成するようにニューラルネットワークをトレーニングした場合、似た単語、つまり似たコンテキストで出現しやすい単語(例:「kitten」)を入力した場合、ネットワークは似た出力を生成すると期待できるはずです。ネットワークの構造は次のようになります。2つの層、語彙サイズから埋め込み次元サイズまで縮小する入力層、そしてその逆を行う出力層です。最初の層の出力は、浮動小数点数のベクトルであり、言語モデルのトレーニングまたは使用時に、入力単語の密な表現として使用できる埋め込みベクトルとも呼ばれます。

[画像: 手書きのWord2vecネットワーク:one-hot入力ベクトル「cat」が、埋め込みベクトルに絞り込まれる入力層に供給され、その後、出力層がバナナ、wet、foodなどの単語に対する語彙全体の確率を生成する。]

私の心を奪った部分

ここまでは順調です。「cat」と「kitten」のベクトルが似ている、つまりベクトル空間で互いに近い位置にあるというのは直感的に理解できます。しかしその後、著者はさりげなくこの爆弾を落としました――これらの埋め込みベクトルは、単純な数学的操作をサポートするというのです。例えば、「king」の埋め込みベクトルから「man」のベクトルを引き、それに「woman」のベクトルを加えると、「queen」のベクトルに非常に近いベクトルが得られます。

[画像: 手書きの数式:「king」-「man」+「woman」=「queen」。]

なんだって?

どうやって?

それは完全に作り話のように聞こえます。

私はClaudeと少しチャットして、なぜこれが真実なのかを理解しようとしました。Claudeは私に、ベクトル「king」と「queen」の中には、「王族」という概念を表す何らかのサブコンポーネントがあるという議論をしました。正直、私にはそれはナンセンスに思えました。

トレーニング例の空間で操作が行われているかのように操作を考えると、少しはっきりしてきます。少なくとも、それが意味をなすと見せかけるために目を細めることができます。単語「king」のすべてのコンテキスト例を想像してみてください。そのうちのいくつかは性別に関するコンテキストを含み、多くは含みません。「man」というベクトルを減算するとき、それは「king」と「man」の両方を含む例だけを削除しているわけではありません。それは、「man」という概念が言語から完全に削除されるかのように、「man」という単語のすべてのコンテキスト例を削除しています。それは、性別のない「君主」という概念にたどり着くのではなく、非常に奇妙な場所に私たちを移動させます。

次に、「woman」のすべての例を追加します。これは「queen」の例をいくつか戻すだけでなく、存在しない「man」の世界から私たちの言語全体を奇妙な宇宙から戻すことにもなります。

よし、いや、これは実際には助けにならないかもしれません。

埋め込みベクトルの可視化

このアイデアに夢中になった私は、単語ベクトルの数学をさらに探求できるアプリをvibe-codeすることにしました。ここ(Word2Vec Arithmetic、GitHub repo)で試すことができます。約1600語の比較的小さな語彙で、それらを足したり引いたりして、より大きな30K語の語彙から最も近い単語ベクトルのリストを取得できます。また、ベクトル空間での操作の可視化も行えます。距離はベクトル間のコサイン類似度で測定されます。

[画像: Word2vec Arithmeticアプリのスクリーンショット。入力チップとしてking(追加)、man(減算)、woman(追加)が表示されている。]

埋め込みモデルの品質は、モデルがより大きなデータセットでトレーニングされるにつれて向上するはずなので、この改善を可視化できるかどうかを確認したかったのです。私は2つの埋め込みモデルをトレーニングしました。1つはtext8(最初の100MBの英語Wikipedia)、もう1つはenwik9(最初の1GBの英語Wikipedia)でトレーニングしました。また、事前トレーニング済みの埋め込みモデル、Stanford NLPの60億トークンのGloVeベクトルもダウンロードしました。

それで、うまくいったのでしょうか? まあ、ある程度は。

「king - man + woman」という方程式は、3つのベクトルモデルすべてでqueenを返しました。興味深いことに、enwik9モデルによって計算された結果ベクトルは、GloVeモデルから得られる結果よりも、実際の「queen」のベクトルにわずかに近いものでした。

[画像: text8、enwik9、GloVe 6Bモデルにおけるking - man + womanの3つの並列ベクトル空間プロット。すべて「queen」の近くに着地している。]

モデルサイズの効果は、「walking - walk + swim」で現れ始めます。より大きな2つのモデルは「swimming」を返しましたが、これはかなり可愛いです。小さなtext8モデルは「crawling」を返しました。当初、これは語彙の不一致の問題ではないかと心配しました。text8モデルで最も自信を持ってトレーニングされた上位30Kトークンから「swimming」が欠落しているのかもしれないと思ったのです。3つのモデルすべてを共通の共有語彙に制限した後、モデルのトレーニングデータサイズが増加するにつれてモデルの品質が向上するという、真の例であることを確認できました。

[画像: walking - walk + swimの3つのベクトル空間プロット:text8は「crawling」(0.673)を返し、enwik9とGloVe 6Bは両方とも「swimming」(それぞれ0.665と0.801)を返した。]

モデルの品質の影響が最も明確に見られる、もう一つの興味深い結果です。

[画像: paris - france + italyの3つのベクトル空間プロット:text8は「venice」(0.785)を返し、enwik9は「turin」(0.803)を返し、GloVe 6Bは「rome」(0.819)を返した。]

しかし、多くの式は単にナンセンスであり、Claudeの「king - man」は「王族」のようなベクトルを露出させるはずだという説明は全く現れませんでした。

[画像: king - manの3つのベクトル空間プロット:上位の結果は「dukes」(text8)、「accession」(enwik9)、「ethelred」(GloVe 6B)だった。「王族」という概念に似た結果はどれもなかった。]

これで、この好奇心は十分に満たされたので、第3章 – 再帰型ニューラルネットワークに進む準備ができました。