HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

What thousands of conversations look like inside a language model

What thousands of conversations look like inside a language model (operator0x.com)

106 pointsby josip20829 コメント

要約

この記事では、言語モデル(Qwen3-1.7B)が会話を処理する際の内部状態をベクトル空間で可視化する試みについて解説しています。異なる言語やコードが、モデルの内部表現空間でどのように配置されるかをPCA(主成分分析)を用いて分析し、言語やトピックによって表現がどのように変化するか、またそれらがどのように重なり合うかを探求しています。

全文翻訳

What thousands of conversations look like inside a language model

言語モデルとのあらゆる会話――あらゆる質問、誤解、説明、そして未完の議論――は、一連の内部状態を生み出します。

そのランドスケープをマッピングできるでしょうか? 類似したトピックに関する会話は、近接した領域を通過するでしょうか? 同じアイデアが、異なる言語で表現された場合、認識可能なほど類似した場所に到達するでしょうか?

これらの疑問が、Qwen3-1.7B の内部表現のインタラクティブなアトラスを構築するきっかけとなりました。

マップを見る前に、何がマッピングされているのかを知っておくと役立ちます。モデルはテキストをトークン――単語、単語の一部、または句読点――に分割します。各トークンは、その初期表現を提供する学習済みの数値リストである埋め込みテーブルから行を選択します。

数千の会話をマッピングし、それらがベクトル空間でどのように形成されるかを見たかったのです。私が関心のあるベクトルは、モデルの中央共有ワークスペースである残差ストリーム(residual stream)から来ています。埋め込みテーブルは、各トークン位置に1つのベクトルを持つ初期ベクトルを供給し、レイヤーはテキストを処理する際にこのワークスペースを読み取り、追加します。Taras Tsugrii の 残差ストリームに関する章 では、この視点がより詳細に説明されています。

Qwen3-1.7B では、各位置のベクトルは2,048個の数値を含んでいます。これをモデルの「精神」と呼ぶのは比喩ですが、ベクトルは具体的です。記録し、比較し、コンテキストによってその幾何学的形状がどのように変化するかを調べることができます。

100個のトピックから始め、英語、中国語、ドイツ語、クロアチア語で質問と回答の例を生成しました。これとは別に、コーディング例のコレクションも用意しました。これは、より大きな可能性空間の、意図的に構築された小さなサンプルでした。

埋め込みテーブルの内部

会話を調べる前に、モデルの初期ベクトルを見てみました。各入力トークンは、埋め込みテーブル内の学習済みの行に関連付けられています。これらのベクトルは、モデルのレイヤーが変換する初期表現となります。

以下のオレンジ色の雲の中の各点は、1つのトークンの入力埋め込みを3次元に射影したものです。トークンは、単語全体、単語の一部、または句読点である可能性があります。埋め込みテーブルは、ここでは初期点の雲として表示され、それらを接続する会話順序はありません。回転させることで、その幾何学的形状を最初に垣間見ることができます。

[画像: グローバルPCAフレームで回転する入力埋め込みテーブル]

オレンジ色:151,936個の語彙トークン。正規化された入力埋め込み行ごとに1つの点。グローバルPCA軸はすでに実験全体を含んでいます。言語データセットが以下に表示されるときも、同じフレームが使用されます。カメラのみが回転します。

埋め込みテーブルは、トークン間の学習済み関係をすでにエンコードしています。トレーニングは、トークンがどのように使用されるかのパターンを通じてこれらのベクトルを形成し、モデルにテキストを理解し処理するための意味のある出発点を与えます。その後、レイヤーは各位置で利用可能なコンテキストを使用して、これらの初期表現を洗練させます。会話全体は、単一の2,048個の数値の説明ではなく、多くのトークン状態を含んでいます。

英語の形状

100個のトピックにわたる900個の英語の質問と回答の例から始めました。これらはすべて同じ凍結されたモデルで処理されました。

各トークンは、埋め込みテーブルからの学習済みベクトルから始まります。Qwen のレイヤーは、その位置で利用可能なコンテキストを使用してその表現を更新します。最終的なトークン状態を記録し、その長さを正規化して、可視化で方向を比較できるようにしました。

オレンジ色の点は各トークンの初期埋め込みを示していますが、色付きの線は、モデルがそれらの埋め込みから生成する状態を接続しています。各トークン――単語、単語の一部、または句読点――は、それまでの会話によって形成された最終状態に、初期ベクトルから変換されます。これらの最終状態をテキスト順に接続すると、会話ごとに1つの色付きパスができ、多くの会話が一緒に表示されます。

比較を公平にするために、語彙埋め込みとすべての会話平均を使用して1つのグローバルPCAフレームを計算しました。その後、データセットを1つずつ表示しました。これらの画像に言語を追加すると、可視性が変化しますが、グローバル軸は固定されたままです。

[画像: 顔と横からのビューを通して回転する英語の会話状態]

青色:900個の英語の質問と回答の例を通るパス。連続するトークン位置を接続しています。オレンジ色:入力埋め込み行ごとに1つの点。カメラは横からのビューで一時停止します。ベクトル、射影、カメラ中心、スケールはループ全体で固定されています。

100個のトピックにわたって、英語の状態は薄いシートを占めているように見えました。カメラが回転すると、広い形状がほとんど端にまで狭まりました。

その印象は測定でも裏付けられました。最もよくフィットする平面は、この3次元射影内での英語のトークン状態の変動の約99.3% を含んでいました。

このシートを、モデルが膨大な種類の会話を驚くほど単純な表面に圧縮した証拠として解釈したくなる誘惑がありました。その説明を受け入れる前に、トピックよりも根本的な何かを変更したいと思いました。

言語は形状を変えるか?

同じトピックと質問の意図の中国語バージョンを導入し、Qwen に独立して回答を生成させました。

ピンク色の状態は、英語から視覚的にオフセットされた、隣接する領域に出現しました。

[画像: 同じグローバルPCAフレームで一緒に回転する英語と中国語]

英語と中国語はトピックと例のIDを共有しています。どちらも同じ固定グローバルPCAフレーム内で一緒に回転します。回答は、互いの正確な翻訳ではなく、独立して生成されました。

この分離は、抽象的な質問を具体的なものにしました。表現は、議論されている主題と、それを議論するために使用される言語の両方に関する情報を持つことができます。

中国語と英語で類似した質問が異なる領域を占める場合、その分離は何を表すのでしょうか? アイデアそのもの? 文字体系? モデルが回答を生成するために必要な語彙と構造?

幾何学的形状だけでは、これらの可能性を解きほぐすことはできませんでした。この実験では、言語、スクリプト、トークン化、言葉遣い、回答の質がすべて一緒に変化しました。

おそらく、表現が、それを表現するために使用された形式からきれいに切り離された「純粋な意味」を含むことを期待することは、すでに私がマップに持ち込んだ仮定でした。

次にドイツ語とクロアチア語を追加しました。

これらは有用な比較を提供しました。ラテン文字を使用する、さらに2つの自然言語です。

[画像: 同じグローバルPCAフレームで回転する英語、中国語、ドイツ語、クロアチア語]

英語は青、中国語はピンク、ドイツ語は緑、クロアチア語は紫です。4つのデータセットすべてに900個の例が含まれています。グローバルPCA軸、カメラスイープ、スケールは、前のアニメーションと同じです。

ドイツ語とクロアチア語は英語の広い近傍を占め、かなりの重複がありました。このビューでは、中国語はより目立ってオフセットされたままでした。

この画像は、異なる中心と形状を持つ重複する領域を示唆していました。モデルの残差空間全体にわたって別々の言語コンパートメントを確立するものではありませんでした。

形状は、例の実際的な構築も反映していました。クロアチア語の応答は、英語の応答よりもはるかに多くのQwenトークンを含んでいました。より多くのトークン状態は、より多くの点と線分を生成します。したがって、より大きいまたはより密なパッチを、より大きな知識または容量として直接読み取ることはできません。

私は、領域の外観と、それに付随させたい説明とを区別し始めていました。

コードがどこに収まるか

次に、90個のPythonコーディング例を示しました。リスト処理、ソート、二分探索、グラフ走査、JSON、日付、行列、再帰、クラスです。

コードは遠い島を形成するでしょうか?

[画像: 4つの自然言語とPythonコーディング例がグローバルPCAで回転]

ターコイズ色は、90個のコーディング例の別セットを追加します。プロンプトは英語で、回答は独立して生成されたPythonです。コーディング例は、元の900個の質問の翻訳ではありません。

コードは、英語およびその他のラテン文字データセットと同じ広い近傍に出現しました。他の言語を隠すと、その視覚的な比較が検査しやすくなります。

[画像: 英語とPythonコーディング例を比較する集中的な回転]

ここでは英語とコードのパスのみが表示されています。フィットした軸とカメラスイープは変更されていません。

その近接性は興味深かったですが、データセットの構築が重要でした。Pythonは英語に似たキーワードと句読点や演算子を使用しており、プロットされた各例には、英語の質問とコードの回答が含まれていました。

「近い」でさえ定義が必要でした。射影された会話平均間の単純な距離比較では、コーディングデータセットは英語よりもクロアチア語とドイツ語に近い位置にありました。英語の広い視覚的な近傍に存在することと、数値的に最も近い近傍を持つことは、異なる主張でした。

コードを言語と呼ぶとき、私たちはそのシンボル、その構造、またはその目的について話しているのでしょうか? この実験では、それらの特性のいくつかが同じ例で絡み合っていました。

ウィンドウの変更

グローバルPCAフィットには、151,936個の正規化された入力埋め込みと3,690個の会話平均が含まれていました。語彙埋め込みは、そのフィッティングポイントの約98%を占めていました。

PCAは、どの観測が最も興味深いかを認識しません。それは、与えられたデータ内の変動を説明する方向を見つけます。

そこで、会話PCAを試しました。会話平均のみを使用して方向を選択し、同じ保存されたトークン状態と埋め込みテーブルをその新しいフレームに射影しました。

[画像: 会話PCAの下で回転する同じ保存されたデータセット]

会話PCAは異なる基底とフレームワークを使用します。元のベクトルは変更されていません。このアニメーション内では、カメラのみが回転します。これはモデル計算のシミュレーションではありません。

関係は、異なる幾何学的形状を通して可視化されました。ドイツ語とクロアチア語はより区別可能な領域に広がり、かなりの重複は残りました。

この変化は測定可能でした。3つの会話PCA方向は、会話平均の変動の80.1% を捉えました。3つのグローバルPCA方向は、同じ平均ベクトル変動の42.4% を捉えました。

これらのパーセンテージは会話平均を記述しています。トークンパスは結果のフレームで表示されますが、それらはフィットに使用された点ではありませんでした。

これは、可視化における重要な選択を明らかにしました:マップは何を保存するように最適化されるべきか? 語彙指向のフレームと会話指向のフレームは、同じ基盤となる表現で異なる関係を強調することができます。

マップが除外するもの

元の2,048次元空間におけるすべての264,571個の最終トークン状態に対して、見える平坦さをチェックしました。

測定結果
最もよくフィットする平面に含まれる可視3D変動99.7%
表示されたグローバルPCA軸が捉える完全なトークン状態変動17.6%
2,048次元でフィットされた最良の2D平面が捉える完全変動28.7%
完全なトークン状態変動の90%を維持するために必要なPCA方向684

見えるシートは、3Dビューでのほとんどすべての変動を含んでいましたが、そのビューは元の変動の82.4% を除外していました。完全な空間でフィットされた最良の平面でさえ、28.7%しか捉えられず、保持されたトピックでは同様に28.4% でした。

同時に、3方向での17.6%はかなりの集中です。変動が2,048方向すべてに均等に分散していた場合、3方向は約0.15%しか占めません。観測されたシェアは約その参照の120倍でした。

軸は言語を強く追跡し、言語を考慮した後もトピック構造は依然として存在していました。これは、多言語モデルにおける言語に敏感な共有幾何学 に関する以前の研究につながります。これらの測定は、このデータセットと射影における関連性を記述しています。

この記事では、LLMがテキスト処理に使用する残差ベクトル空間で会話がどのように見えるかについて、探索的な視点を取りました。私たちの3次元ビューでは、数千の会話が薄い、重複するシートを形成しました。異なる言語とコードは、部分的に共有された領域を通過するパスをたどり、例全体にわたる共通の幾何学的構造を明らかにしました。