オープンモデル間のJ-space比較
J-space comparisons across open models (eliebak.com)
要約
この記事は、オープンな言語モデルの各層が最終的な出力に与える影響を測定するためのJ-spaceという手法を紹介しています。CKAやPRといった指標を用いて、モデルの内部表現の形状や情報伝達の持続時間を分析し、モデルの構造と機能に関する洞察を提供します。実験結果は、モデルの深層部における情報の減衰や、層間の構造的な境界を示唆しています。
全文翻訳
J-space、オープンモデル
AnthropicのVerbalizable-Workspace論文は、クローズドモデルファミリーの一つで、モデルの中間層がその出力を因果的に誘導する方向性の辞書を持っていることを示しました。これにより、誘導がどれだけ時間的に先に影響するか、学習中に構造がどのように形成されるか、モデル間で転移するか、そしてどのようにスケールするかといった自然な疑問が残されました。私たちはオープンモデルでこれら4つの問いすべてを測定し、その結果を受けてさらに2つの追試を行いました。以下のすべての数値は、コミットされた結果ファイルから再導出されており、すべてのチャートはインタラクティブです。
Elieより: このメッセージ以外のすべては「バイブコード」されています。Anthropicの論文を読んでいたとき、この「J-space」の振る舞いについていくつか興味のあるアイデアがありました。Fableに私とブレインストーミングさせ、さらに興味深い実験を提案させました。その後、クラスタで(ほぼ)自律的に実験を実行させました。私はこの分野の専門家ではなく、実験デザインや私のアイデアは、専門家にとっては全く意味をなさないかもしれません。もしすべてを自分でやらなければならなかったら、これらの実験を実行する時間も、そもそもそれらを思いつくこともなかったでしょう。しかし、結果を理解するために時間を費やし、エージェントと実験デザインや可視化について何度もやり取りしました。
このフォーマットを選んだ理由: 私の目標は、数日を費やすことなく結果を共有することです。私は現在、ほとんどの論文やブログ(非常に良く書かれたものを除く)をエージェントを通して読んでおり、質問したり図を見たりしています。私は優れた書き手ではなく、この主題について完全に知識があるわけでもないので、きれいなブログ記事にするには時間がかかりましたし、出力がそれほど良くならなかったかもしれません。
読み方:
- 記事: Fableが私とのやり取りを経て、いくつかの不備を取り除き、より良い可視化を加えて書きました。
- 図(推奨): 図のみです。お気に入りのエージェントに説明を求め、結果について考えてみてください。
llm.txt はエージェントにとってより良いバージョンで、各図のデータが含まれています。
エージェントにコピー&ペーストできるプロンプト:
技術/研究トピックは次のように説明してください。まず直感から始め、次に小さな具体的な数値例と例で具体化してください。視覚的に—ASCII図、並列表、統一された「骨格」を使用して、競合する方法を同じ表記法に配置して違いが際立つようにしてください。すべての数学をターミナルで読みやすい形式(ASCII/Unicode、例: 1/√L, Σ, α — LaTeX $...$ は使用しない)でレンダリングしてください。
すべての記号とメトリクスを定義し、圧縮されたアイデアを仮定せずに展開してください。文章は簡潔に保ち、詰め込みすぎないでください。
このブログの図を見ており、主な発見を要約して私の質問に答えてほしいです。
blog llm.txt: https://eliebak.com/viz/jspace-open-v2-llm.txt
github repo with the data: https://github.com/eliebak/open-jlens-data
anthropic paper: https://transformer-circuits.pub/2026/workspace/index.html
example of jlens from open model: https://huggingface.co/neuronpedia/jacobian-lens
測定
1つのレイヤーをプッシュし、出力に何が届くかを見る。
このページ上のすべては、単一の測定から来ています。テキストを読んでいるモデルを用意し、レイヤーℓの残差ストリームを微調整し、最終レイヤー(次のトークンを決定するレイヤー)の応答を記録します。多くの位置とプロンプトで平均化されたその応答は、行列Jℓです。これはレイヤーの出力への典型的な影響です。
図 1 微調整から2つの数値へ
J-lensパイプライン。すべて下流はVℓに対して操作されます。
アンエンベディングを掛けることで、影響が具体的になります。4,096の一般的なトークンのそれぞれにベクトルが割り当てられます。これはレイヤーℓにおける、そのトークンの確率を上げる方向性です。これらは文字通りの意味でのステアリングベクトルです — 1つを注入すると、モデルはそのトークンを言うでしょう、そしてそれはE3が利用するものです。合わせて、4,096のベクトルがレイヤーの辞書です。
2つの数値が辞書を要約します。最初のものはCKA — centered kernel alignment — これは、座標を比較できない場合に2つの辞書が同じ形状を持っているかどうかを尋ねます。レシピ: 辞書のベクトルを中央揃えし、その関係のテーブルK = VVTを構築します — 4,096 × 4,096のグリッドで、セル(i, j)はエントリiがエントリjに沿ってどれだけ強く指しているかを記録します。このテーブルは座標フリーです:辞書全体を回転させても、単一のセルは変化しません。CKAは、2つのこのようなテーブル間のコサインです。
CKA(A, B) = ⟨KA, KB⟩ / ‖KA‖ ‖KB‖
— 1.0は幾何学が同一の場合、ランダムな関係のないテーブルではゼロに近くなります。キャリブレーションのために:同じモデルの2つの独立したフィットは約0.997をスコアし、一致した深さで比較された2つの異なる学習済みモデルは0.5–0.7の範囲になります。
図 2 CKAの計算方法
6つのトイエントリ、2つのモデル。回転はすべての座標を変更しますが、関係は変更しないため、2つのテーブルは同一になります。
モデル自身のレイヤー間のすべてのペアで計算されると、同じ数値がブロックが見えるマップを描画します — 入力側のブロック(読み取り)、長い中間ブロック(論文の「ワークスペース」)、および小さな出力側のブロック(書き込み)。
図 3 モデルのレイヤーごとの一致度
qwen3-1.7bレイヤーのすべてのペアの辞書間のCKA。値を確認するにはホバーしてください。
ブロックは教師なしで現れ、その境界 — 深さの分数ρとして引用される「境界」 — は以下のすべての実験で再出現します。
2番目の数値はPR — participation ratio — これは辞書が実際に使用する方向の数を数えます。辞書の共分散(各独立方向が持つ重み)の固有値λiを取り、
PR = (λ1 + … + λn)² / (λ1² + … + λn²)
すべての方向が等しい重みを持つ場合、PRはその数に等しくなります。1つの方向がすべてを持つ場合、PRは1になります。2つの方向で広がる6つのエントリはPR ≈ 2を与えます。エントリは方向ではありません。
図 4 なぜ4,096エントリが4,096方向ではないのか
関連する単語は同じ方向を指すため、エントリは方向を共有します。
実際のレイヤーの4,096エントリは200〜600の有効な方向をカバーします。その数(常に中間帯で取られます。出力に近いと測定値が出力行列に収束するため)は、全体で使用される「容量」数です。
すべてに共通する1つの注意点があります:Jはテキスト分布の平均です。テキストを変更すると測定値も変更されます — それがE5です。
E1 · 時間的範囲
微調整はどれくらいの間出力を誘導し続けますか?
Verbalizable-Workspace論文は、中間レイヤーを「物事を記憶しておく」ワークスペースとして読みます。文字通りに取ると、そこでの微調整は多くのトークンにわたって出力を誘導し続けるはずです — 他のどこよりも長く。標準的なフィットではこれをテストできません:すべての将来の位置を平均化し、時間軸を消去します。そのため、距離で分割します:ソースとターゲットのペアがちょうどΔトークン離れているごとに個別の辞書をフィットさせ、その全体的な強度 effectℓ(Δ) = ‖P·Jℓ(Δ)‖ — レイヤーℓでの微調整がΔトークン後にどれだけ出力を動かすか — を追跡します。6つのモデル、それぞれ250のプロンプト、Δは0から96まで。
図 5 なぜ時計がΔ = 1から始まるのか
effect(Δ1) ÷ effect(Δ0): 微調整の即時効果のうち、次のトークンに到達する割合。モデルごとに1行。
Δ = 0では、測定値は位置自身の出力へのパスによって支配されます — 微調整は残差ストリームをまっすぐ下にたどります。「微調整がこのトークンをどれだけ変えるか」に答えますが、それがどれだけ移動するかではありません:最大で1/4が1トークンを横切り、最も深いレイヤーでは3〜6%です。そのため、以下のすべての曲線と統計は、時計をΔ = 1から開始し、それに対して引用されます。ρ ≈ 0.6–0.7でのステップダウンは、結論が戻る崖です。
図 6 微調整がまだ出力をどれだけ動かすか、ターゲットが遠くなるにつれて
距離Δでの効果を距離1と比較、対数-対数スケール。選択されたモデルの各レイヤーに1行; スライダーをドラッグしてレイヤーを歩きます。
モデル
レイヤー
初期レイヤーは強く始まり、ゆっくりと減衰します。最も深いレイヤーは1トークン以内にすべてを失います。ハイライトされたバンドレイヤーはΔ ≈ 12とΔ ≈ 96の間ではほとんど減衰しません — しかし、これは128トークンのウィンドウ内で測定されており、次の図はウィンドウ自体がどれだけその平坦性を製造したかを示しています。
これらの曲線に関する問題:それらは128トークンのシーケンスから来ています。したがって、Δ ≈ 96での効果は、ウィンドウの最初の30トークンに押し込まれたソース位置からのみ測定できるため、初期位置が異なる動作をする場合、遠いバケットは偏っています。私たちは2つのモデルを4,096トークンのシーケンスで再測定しました — 各プロンプトは完全な4,096トークン、距離はΔ ≈ 3,000までバケット化されました。2つの近似によりコストは妥当に保たれます:より少ないプロンプト(250に対して112および200)、および効果は各プロンプトあたり160の対数間隔のターゲット位置で累積され、すべての位置ではなく累積されます。バケットごとの平均は偏りがなく、再結合された辞書はr = 0.996および0.987で標準フィットと一致します。
図 7 長いウィンドウでの再測定
シーケンス長4,096での同じ統計、レイヤーごとに1行。破線はバンドレイヤーのseq-128測定を再生します。垂直線は古いウィンドウの端です。
モデル
平坦性はより大きなウィンドウに耐えられません:バンドレイヤーのΔ96 ÷ Δ12比はqwenで0.56から0.26に低下し、古いウィンドウの端を超えると、すべてのレイヤーはスケールフリーのべき乗則 effect ∝ Δ−α として減衰し、Δ ≈ 1,500までプラトーはありません。残るのは順序です — 感覚レイヤーが最も遅く減衰し、バンドが次に、モーターが最も速く減衰します — そして崖:深いブロックの端でのドロップは、Δ = 2からΔ = 4,095までのすべての距離で同じ2.3〜2.4倍です。
図 8 同じデータを深さ全体での1つの統計として表示
メトリクスを選択してください。垂直線はモデルのCKAブロックが終わる場所を示します。
モデル
メトリクス
最初の6分の1の深さでピークに達する半減期は、単一ビューでの予測の失敗です。交差する割合は、深いブロックエッジでの崖を示します。平坦性と遠方テールは上記のウィンドウの注意点を運びます。
6つのモデルすべてで2つの規則性が成り立ちます。予測は失敗します:最も長く持続する影響は中間層からではなく、最初の数層から来ます — 半減期のピークはすべてのモデルでρ = 0.03–0.17にあり、バンドの半減期は注目に値しない2〜5トークンです。そして影響は深さと共に減少します:レイヤーが深いほど、トークンを横切る影響の割合は小さくなり、半減期は短くなり、そして — 長いウィンドウフィットでは — 減衰指数は急になります。その減衰における最も鋭い特徴はρ ≈ 0.6–0.7の崖であり、セグメンテーションが曖昧な深い境界を見つける場所では、崖はその上にあります:qwen3-1.7bの崖はρ = 0.667、qwen3-4bは2.3倍のスケール変化全体で0.657です。アブレーションはキャリアを特定します:アテンションパターンを凍結すると、すべてのプロファイルはその場にとどまります(r ≥ 0.996)。バリューパスをカットすると、トークンを横切るリーチの86〜95%が失われます。モデルの識別可能なコピーヘッドをカットすると、何も変化しません。リーチは固定されたアテンションパターンを通して運ばれるコンテンツです — そして測定されたウィンドウを超えるとデータはありません、ゼロです。
E1×E2 · 学習を通じたホライゾン
時間的構造は現れるのか — そしてリーチは成長するのか?
同じ距離分解フィットを、0.1兆から11.2兆トークンまでのSmolLM3-3Bの12の公開チェックポイントで繰り返しました。E1の3つの数量を追跡します。時間的崖は、クロスフラクション — effect(Δ1) ÷ effect(Δ0)、最初のE1図 — が中間帯レベルの70%を下回る深さです:崩壊のトップ。CKA境界は、各チェックポイント自身のレイヤーごとのCKAマップが2つのブロックに分割される場所です(このページ上のすべてのマップに描かれているのと同じセグメンテーション):バンドの幾何学的エッジ。バンド内平坦性は、固定されたバンドレイヤーセットで中央値を取ったeffect(Δ96) ÷ effect(Δ12.5)です — E1のリーチ統計、ウィンドウの注意点を含みます。
図 9 崖と境界がどこにあるか
チェックポイントごとの特徴の深さ。
図 10 リーチは成長するのか?
学習を通じた2つのリーチ統計。
崖は最初の公開チェックポイントでρ = 0.63にあり — 学習の1%未満 — 12のうち11でその正確なレイヤーにとどまります。幾何学的境界はρ = 0.46で始まり、次の6兆トークンで崖に移動します:時間的特徴が最初に配置され、幾何学がそれに収束します。リーチは決して成長しません — バンド内平坦性は0.1から11.2兆までトレンドがありません。成熟するのは形状です:最初のチェックポイントでは、バンドは感覚レイヤーの半分しかトークンを横切りません。3兆トークンまでには、両者は等しくなり、その平坦なバンド内プロファイルがロックされます。
E2 · 出現
構造はいつ形成されるのか — そしてそれは定着するのか?
論文はベースモデルとポストトレーニング版を比較しましたが、その間はありませんでした。私たちは3つの学習実行 — SmolLM3-3B(12チェックポイント)、OLMo-32B(11)、および未学習のランダム初期化から始まる初期OLMo-7Bセット — にわたる27のチェックポイントでレンズをフィットさせ、各チェックポイントを他のすべてのチェックポイントと比較しました。ここでのすべての比較は、1つの数値を使用します:一致深度CKA — あるチェックポイントのレイヤーℓを別のチェックポイントのレイヤーℓと比較し、メソッドセクションからのCKAをレイヤーで平均化します。
図 11 チェックポイントごとの一致マップ
学習を通してドラッグしてください。線は各チェックポイントでのk=3ワークスペースバンドを示します。
実行
ブロック性 = (ブロック内のレイヤー間の平均CKA) − (異なるブロック間のレイヤー間の平均CKA): 0はブロックがマップの残りの部分ほど一貫性がないことを意味し、1はゼロ合意の背景に同一レイヤーのブロックになります。それ自体では、この数値は誇張されます:ブロックが全くないマップ、その合意がレイヤー距離でスムーズに減衰するだけのマップは、同じルールで0.16–0.27をスコアします。そのため、読み出しは同じマップの平滑化された代理値も示し、その差 — 実際にブロック構造である部分 — は+0.01から+0.09の間です。
図 12 幾何学がどれだけ速く変化しているか
1 − (連続するチェックポイント間のマッチドデプスCKA)、それらの間のトークン数で割ったもの:1兆トークンあたりの関係テーブルの書き換え率。
円で囲まれた点は、データミックスの変更とLRの減衰の両方を含みます — トレンドの20〜56倍、原因は不明確です。
図 13 最終状態への距離
各チェックポイントと実行の最後のチェックポイント間のマッチドデプスCKA。1.0 = 幾何学的に最終モデルと同一。
図 14 すべての7Bチェックポイントとすべての32Bチェックポイントの比較
行:4つの初期OLMo-7Bチェックポイント。列:11のOLMo-32Bチェックポイント、8B → 5.7Tトークン。各セル:2つの状態間のマッチドデプスCKA。● = その行に最も一致する32Bチェックポイント。▢ = 同じトークン数を持つ32Bチェックポイント。
トークン数だけが幾何学を決定した場合、すべての●は▢の中に配置されるでしょう。代わりに、学習済みの7B状態は、より多くのトークンを持つ32Bチェックポイントに最もよく一致します:16.8Bの7B ↔ 42Bの32B(2.5倍)、67Bの7B ↔ 92Bの32B(1.4倍)。4.2B行はシフトを示せません — その最も良い一致は存在する最も初期の32Bチェックポイントです。
3つの発見。ブロック構造は、私たちが持つ最も初期の学習済みチェックポイント — OLMo-7Bでは40億トークン、SmolLM3では950億 — に存在します。そしてランダム初期化は、生のブロック性が信頼できない理由を示しています:セグメンテーションはそこでも「ブロック」を見つけます(ブロック性0.13)、しかしそれらは何も一致しません — 学習済みチェックポイントへの深さ相関≈0、そして32B実行への一致はCKA 0.31から始まり、その実行が学習するにつれて0.17に低下します。バンドの位置はその後も移動し続けます(ρ 0.46 → 0.63、E1×E2境界線)そして約3兆トークンで停止します。
レイアウト内の幾何学は決して定着しません。具体的には:レイヤーごとに、メソッドセクションの関係テーブルは書き換えられ続けています — エントリは互いに対して相対的に方向を変え続けています。辞書全体の剛体回転はCKAを1.0のままにするでしょう、したがってこれは座標系のドリフトではなく、内部再編成です。32Bのレートは1/tとして低下しますが、ゼロには達しません — その最終状態は2000億トークン前と比較してCKA 0.84をスコアします。3Bのレートは〜3兆トークンで低下を停止し、実行の終わりまで一定に保たれます。
トークン数、計算量ではなく、チェックポイントの幾何学的年齢を決定します — そして大きなモデルはトークンあたりの年齢が遅くなります。実行が重複する1つのトークン数(16.8億)で、7Bと32BはCKA 0.67で一致し、無関係な学習済みモデル2つ(0.5〜0.7 — メソッドセクション)よりも良くありません。そして上記の図のどちらの行にも、両側にスペースがある場合、●は▢の右側にあります:32Bは7Bがすでに持っている状態に到達するために1.4〜2.5倍のトークンを必要とします。計算量による一致は逆側を予測するでしょう — 同じFLOPsで、32Bはより多くではなく、約4.6倍少ないトークンを持っています。
E3 · 移植
それは同じコードですか? あるモデルを別のモデルのベクトルで誘導する。
2つの無関係な学習済みモデルは、一致した深さでCKA 0.5〜0.7をスコアします — それらの辞書は同様の形状を持っています。似ていることは安価です。重要なテストは因果的です:あるモデルから概念のベクトルを取り出し、それをマッピングして、それがもう一方を誘導するかどうかを確認します。2つのペア:ファミリー間 Llama-3.1-8B ↔ Qwen3-8B、およびスケール間 gemma-3 4B ↔ 27B。各ペアについて、両方の辞書がリストする4,096トークンを取り、それらのうち3,276で送信者エントリから受信者エントリへの1つの線形マップをフィットさせ、マップが決して見ない820を保持します。2種類のマップ:リッジ — 通常の正則化回帰、ストレッチ可能 — およびSVD — 最良の純粋な回転、ストレッチ不可。
方向
図 15 他のモデルで正しいベクトルを見つける
保持された各トークンのベクトルは受信者にマッピングされ、コサインでランク付けされ、4,096の受信者エントリすべてに対してランク付けされます。y = retrieval@1: 真の対応物が1位になる保持されたトークンの割合、各深さで。チャンスは1/4,096 ≈ 0.02%。
フィットされた回転は、一致した中間深度で最大92%の保持されたトークンに対して正しいエントリを取得します — チャンスの1,700〜3,800倍。アイデンティティコントロール(ベクトルをそのまま使用;2つのモデルが幅を共有する場合に可能)はゼロをスコアします:辞書は異なる向きに格納された同じ形状であり、フィットされた回転だけがそれらを整列させます。シャッフルコントロール(正しいマップ、シャッフルされたトークンペアリング)もゼロをスコアします。
図 16 受信者に概念を言わせる
因果的テスト。マッピングされたベクトルを、受信者の残差ストリームの1つのレイヤーに、受信者の典型的な残差ノルムのα × にスケールして追加します。その間、中立的なプロンプト(「私が考えている単語は…」)を完了させます。y = success@1: 受信者のトップ次のトークン予測になった保持された概念×7プロンプトの割合。注入なしでは、概念はトップに到達しません(336のうち0;中央値ランク≈48,000)。
受信者レイヤー
灰色の線は天井です:受信者は同じ概念の自身のエントリで誘導されます。破線は3つのコントロールのベストです — ランダムな回転、間違った(シャッフルされた)概念に適用されたフィットされたマップ、およびノルムマッチングされたランダムベクトル。
図 17 ヒットとミスの様子
この方向の最良のレイヤーと強度で:概念が送信 → 受信者が言ったトークン。青いチップはニアミスで、概念の実際のランクを示します。
ファミリー間では機能します:他の単語でフィットされた回転によって運ばれる保持された概念は、Qwenでは94%、Llamaでは96%のセルで受信者のトップ予測になります。一方、コントロールは104,832のコントロールセル(48の概念×7プロンプト×8の強度×3のコントロールアーム×13のレイヤー-方向の組み合わせ)すべてで0をスコアします。Gemmaスケールペアはそれほどうまく転移しません:27Bには76%、4Bには56%です。純粋な回転で十分であることは、それ自体が発見です — 2つの辞書は単に統計的に似ているだけでなく、合同な形状です。
2つの代償が伴います。ヘッドラインレートは、各方向の最良の(レイヤー、α)セルであり、平均ではありません。そして借りたベクトルはより大きなプッシュを必要とします:KLを測定して、注入前後の受信者の次のトークン分布の(概念トークンを除く)変化として混乱を測定すると、マッピングされたベクトルは、受信者自身のベクトルがすでに飽和している予算の1〜6倍で最適に達します。自身のベクトル予算に制限すると、ファミリー間転移は0.41〜0.69に低下します。自身の動作点では、同等の流暢性コストで天井の94〜99%に達します。これらはすべて一般的な語彙であり、まれな単語はテストされていません。
E4 · スケール
辞書を成長させるものは何か?
Delphiスイートは制御されたラダーです — 1つのアーキテクチャ、1つのデータセット、1つのトークナイザー、4億4700万から250億パラメータ — そのため、サイズ、データ、計算量を推測するのではなく分離できます。私たちは計算量最適ラダーに沿って、6つのサイズの固定計算量スライス全体で、そしてシード再実行全体で辞書サイズを測定しました。そして、個別に、実際の活性化がいくつのエントリを関与させるか。
図 18 計算量の5つのオーダーにわたる辞書サイズ
y: バンドPR — メソッドセクションの参加率、バンドピーク(ρ ≈ 0.7)で取得。x: 学習計算量。塗りつぶされたドット:計算量最適Delphiモデル。空の円:3.4Bおよび9.7Bのシード再実行。3つの候補法則がドットを通過して描かれています。破線はデータが拒否する単一のべき乗則です。
トップが平坦(破れた法則)であるか、ゆっくりと飽和しているかは、このデータからは決定できません:両方とも同じように適合し、決定点 — 25B — は非標準的な8シャードマージを持つ単一のフィットです。
図 19 単一トークンが関与するエントリ数
cum90: 保持された活性化を取り、辞書に貪欲に(マッチングパシュート、64エントリでキャップ)分解し、分解が捉えるものの90%をカバーするために必要なエントリ数を数えます。50プロンプト×111位置の中央値、バンドレイヤー。
2つの注意点:最小の2つのモデルでは、カウントが64エントリキャップに近づき、ラダーのトップでは分解は活性化エネルギーの約1%しか説明しません — 絶対値は緩やかに読んでください。10倍の低下が発見です。
図 20 同じレシピ、異なるシード
各ドット:同じレシピの2つのシード間のバンド平均マッチドデプスCKA。アンカー:0.76は2つの無関係な学習済みモデルがスコアするもの。0.995は1つのモデルの隣接レイヤー — 異なる辞書がどれだけ似ているかです。
図 21 ドットの背後にある行列
一方のシードのすべてのレイヤーをもう一方のすべてのレイヤーと比較します。カラーウィンドウ0.45–0.95。
辞書サイズは幅と学習長に従います:15モデルすべてにわたる1つの表面、PR ∝ width0.58 · (tokens per parameter)−0.13 が、ラダー、固定計算量スライス、およびシード再実行に適合します — 学習は圧縮します(パラメータあたりのトークンが10倍増えるごとに約26%)、これがなぜ訓練不足の8.1Bが完全に訓練された25B(379)よりも大きく(520)測定されるかの理由です。計算量最適ラダーに沿って、成長は2×10²⁰ FLOPs近くで停止します:シードで測定されたノイズにより、単一のべき乗則はp ≈ 0.002–0.014で拒否されます。同じ範囲で、トークンが関与するエントリ数は49から5に減少します — より大きな辞書が、よりまばらに参照されます。シードは形状には同意しますが(ペアワイズCKA 0.85–0.91)、数には同意しません:3つの9.7Bシードはそれぞれ344、444、492を測定します。そしてここでのすべての数値はWikiTextです — これは次のセクションの問題です。
E5 · コーパス依存性
これのどれくらいがモデルで、どれくらいが測定に使われたテキストですか?
Jはテキストの平均です。私たちはPythonコード、Web数学、PDF抽出された散文で4つのモデルのレンズを再フィットさせ、各モデルをコーパス間で比較しました。どの違いが本物かを知るためのフロア:新鮮なプロンプトでの2回目のWikiTextフィット、同じ予算 — 何も変更せずに再測定した場合の不一致(バンドでCKA ≈ 0.99)。
図 22 同じレイヤーが2つの異なるテキストを通して測定される様子
各コーパスに1行:そのコーパスの辞書と、同じレイヤーのWikiText辞書間のレイヤーごとのCKA。シェード:バンド。破線グレー:再測定フロア。
モデル
図 23 辞書サイズは測定テキストに依存する
深さ全体でのPRプロファイル、フィッティングコーパスごとに1行。バンドの右側では、PRはモデルではなく出力行列を反映するため無視されます。
図 24 ブロック構造はすべてのコーパスで生き残る
選択されたモデルの完全な一致マップ、フィッティングコーパスごとに1パネル。
テキストは重要であり、構造化された方法で重要です。入力側レイヤーは全体的に書き換えられます — qwen3-4bの最初のレイヤーは、コードフィットとWikiTextフィットの間でCKA 0.26でしか一致しません(フロア0.99に対して)。出力側はほとんど動きませんが、フロア内に収まることはありません。ブロックはすべてのコーパスで生き残ります。数値はそうではありません:同じqwen3-4bバンドは、コードを通して594方向、PDF散文を通して202方向を測定します — E4の全体的な5つのオーダーの計算量範囲と同じくらい大きな変動であり、モデル全体で再測定フロアの13〜93倍です。辞書サイズは(モデル、コーパス)ペアのプロパティであり、モデルのプロパティではありません。
E5x · クロスモデル、コーパス別 · 新規
テキストは2つのモデルの見かけ方を変えるか?
E5はモデルをそれ自体と比較します。ここでは、ペアの両方のモデルを同じコーパスでフィットさせ、一致した深さで互いに比較します:qwen3-1.7b × qwen3-4b(同じトークナイザー)、およびgemma3-1b × qwen3-1.7b(4,096の共有トークン文字列)、4つのコーパスすべてで。
図 25 同じテキストで測定された2つのモデル
フィッティングコーパスごとのマッチドデプスCKA。左は同じファミリーペア、右はクロスファミリーペア。凡例はバンド平均を示します。
図 26 クロスモデルマップ
一方のモデルのすべてのレイヤーをもう一方のすべてのレイヤーと比較します。両軸は相対深度であるため、モデルのレイヤー数が異なっても、2つのマップは同じサイズで描画されます。
コーパス
対角線のリッジ — 同じ相対深度での対応するレイヤーの一致 — は、コードでは視覚的に弱まります。ラベルのdepth-corrはそれを数値にします:レイヤーの深さと、もう一方のモデルでの最良の一致の深さとの相関(1.0 = 深さが深さにマッピングされる)。
はい — そして容量とは逆の方向です。各モデルの辞書を最も膨張させるテキストであるコードは、2つのモデルを最も似ていないように見せます(qwenペア:コードで0.56、散文で0.67〜0.70;gemma×qwen:0.44、0.53〜0.57)、そしてそれはどの深さがどれに対応するかを曖昧にします。プロンプト数を倍増させても、これらの数値は0.001未満しか変化しないため、これはノイズではありません。コードの共有され、転移可能な部分は通常の散文にあり、コードテキストは各モデルが独自の方法で構築した機械を動かします。
E6 · Mixture-of-Experts
2つの大きなMoEのマップ。
同じ測定を、2つのMixture-of-Expertsモデルに向けました:Kimi-K2.5(1兆パラメータ、トークンあたり320億アクティブ;100プロンプト)とDeepSeek-V4-Flash(2840億、130億アクティブ;250プロンプト)、それぞれ16のソースレイヤーでフィットさせました。私たちはマップを見て、そこで止まります — 2つのモデル、そのうちの1つは通常のプロンプト予算の4分の1で、結論を支持しません。
図 27 レンズ下の2つのMoE
レイヤー合意マップ;線はセグメンテーション境界を示します。セル位置はレイヤーインデックスです(フィットされた16レイヤーは深さで対数的に配置されています)。