ニューラルネットワークはすでにクリーンである

短いバージョン ニューラルネットワークの性質について良いニュースがあると思います。 数ヶ月にわたり、画像モデルと言語モデルのニューロンと回路を研究してきた結果、ネットワーク自身のメカニズムが解読可能な構成要素であると確信するに至りました。そして、メカニズム解釈可能性の見通しは、私が恐れていたよりもはるかに良いかもしれません。 ネットワークが概念を任意に詰め込んでいると、私を含む多くの研究分野を納得させたポリセマンティシティとスーパーポジションの典型的な証拠は、誤読でした。任意に詰め込まれているように見えたものは、主に私が再帰的汎化と呼ぶモチーフであり、これははるかに懸念が少ないものです。これは、ネットワークを解きほぐす前に直接研究できることを意味します。ニューラルネットワークはすでにクリーンなのです。 メカニズム解釈可能性には、少なくとも2つのアプローチがあります。1つ目は、ネットワーク自体に対する迅速な通常科学です。ネットワークのニューロンと回路を調べ、それらがどのように関連しているかを研究し、データがそれらをどのように流れるかを観察し、説明をテストするためにエージェント規模で実験を実行します。2つ目は、仮説上の特徴のリストから始まり、それらをすべて抽出するように設計されており、ますます洗練された再構築目的を設計し、通常は元のものを無視します。 この分野は最初のアプローチで始まりましたが、ニューラルネットワークが絡み合った結び目のように見えたため、2番目のアプローチに後退しました。私たちは、ポリセマンティシティの典型的な例、つまり複数の無関係なジョブを持っているように見える、または理解不可能に見えるニューロンの一般的な名前を持っていました。画像モデルで最も有名なものは、猫の顔と車の前面の両方に反応しました。そして、初期の分野のモデル生物であるInceptionV1の最後の層は、任意に混合されたものでいっぱいであるように見え、研究方法が不明確でした。ほとんどのニューロンは容易に解釈できませんでした。 ポリセマンティシティの主要な説明はスーパーポジションでした。これは新しい学習原理を提案しました。ニューラルネットワークがニューロンを使い果たした場合、関連するものをグループ化するのをやめ、代わりに無関係なものを折りたたむようになります。なぜなら、それらが干渉しないからです。結果は一種の結び目です。ネットワークは、ほぼ等しく良い多くの方法で折りたたむことができたため、ニューロンがどのようなものをグループ化するかはほとんど何も教えてくれません。何かを研究するには、まず結び目を解きほぐす必要があります。実際には、これは2番目のモデル、つまりスパースオートエンコーダーのような分解モデルをトレーニングして、展開された状態のネットワークを近似し、それを研究することを意味します。ネットワークが本当に結びついているなら、他に選択肢はないかもしれません。 主な結果の1つは、スーパーポジションがInceptionV1の説明としては間違っていたということです。アーキテクチャの問題により、後続の層がオーバーフローしました。弱い解釈可能性ツールがこれらの問題を増幅し、後続の層を不整合に見せました。それ以来、深い層がより良く学習するのを助けるために設計されたアーキテクチャの変更は、意図せずそれらをより解釈しやすくするという効果をもたらしました。InceptionV1を最初に研究したとき、最後の層には解釈可能なニューロンがほとんど見つかりませんでした。しかし、モデルのサイズやトレーニングデータを変更せずに、これらの通常の改善により、その最後の層のニューロンの99〜100％が容易に解釈可能になり、モデル全体が広範囲にわたって読みやすくなりました。これは、私が大部分を理解していると感じる最初の非自明なニューラルネットワークです。ここではそれを閲覧できます。私はそれを300倍の範囲でトレーニングしましたが、すべてのスケールで広範囲に読みやすくなっています。スペースが少ないと、ネットワークは無関係なものを一緒に折りたたみません。ニューロンは、単一の車のニューロンが多くの種類の車をカバーするような、より粗い概念をカバーするだけです。スペースが多いと、そのニューロンは多くの特定の車に分化します。したがって、問題は2番目の学習原理の存在ではなく、最初の学習原理の通常の学習失敗であり、修正は容易でした。 ポリセマンティシティとスーパーポジションの典型的な視覚例も誤りでした。2019年に、Chris Olahと私は、Zoom In[4]Zoom In: An Introduction to CircuitsOlah, C., Cammarata, N., Schubert, L., Goh, G., Petrov, M. and Carter, S., 2020. Distill. References ↓でスーパーポジション現象として最初に紹介された回路を見つけました。それは、車の特徴が無関係な犬のニューロンのセットに広がっているように見えました。それは私たちが示した唯一のものであり、私が ever 見た唯一のものでした。私たちはそれを、ネットワークが車をダウンストリームニューロンが読み取るための高次元の隠し場所に配置していると解釈しました。しかし、その組み合わせを読み取るものはありませんでした。それは何も隠していたのではなく、通常の汎化と構成でした。私の知る限り、誰も同じ形状の2番目の回路を発表していません。 最新の言語モデルも、一般的に信じられているよりもはるかに解釈可能です。AnthropicのTowards Monosemanticity[10]Towards Monosemanticity: Decomposing Language Models With Dictionary LearningBricken, T., Templeton, A., Batson, J., et al., 2023. Transformer Circuits Thread. References ↓（2023）は、小さな1層モデルを研究し、中央値ニューロンのルーブリック評価を14点満点中0点としました。これは、評価者が仮説を立てられなかったことを意味します。私がOpenAIで開始した自動解釈可能性プロジェクト[8]Language Models Can Explain Neurons in Language ModelsBills, S., Cammarata, N., Mossing, D., et al., 2023. OpenAI. References ↓（これも2023年）は、最も寛大な測定方法で約1.7％のニューロンが解釈可能であると発見しました。 より良いツールと最新のモデルを使用すると、状況は大きく異なります。Qwen3-32Bの予備監査では、ニューロン極の約90％が1つの主なジョブを持ち、しばしば小さな関連するオフシュートがあること、さらに約7％が2つの関連するジョブを持っていること、そしてわずか約2〜4％がまだ理解されていないと推定しています。 1この数字に関する注記：1つのジョブを持つニューロンの割合は、弱い活性化のしきい値をどのように設定するか、深さ、サブ回路の密度、および「1つのもの」と見なすものによって異なります。 弱い活性化をどこまで考慮するかは、ここで大きな要因となります。弱い活性化に関するセクションは下にあります。それは、ニューロンが解読可能なものの判断であるかどうかよりも、「関連するもの」の数を増やす傾向があります。例えば、トランプニューロンの弱い活性化は、MAGAハットや彼に関連する人々をもたらします。タイタニックニューロンの弱い活性化は、より一般的な航海の話、または蒸気機関や当時の他の技術をもたらします。 活性化パーセンタイル、または最も強い活性化の割合を気にするかどうかという問題もあります。一般的に、ニューロンが何を学習したかは信頼されるべきであり、その自然なスパース性や活性化範囲などはそうです。私は以前はほとんど信じていませんでした！ニューロン全体で物事を標準化しようとすることには、ある程度反対です。パーセンタイルは、考えやすいという理由で、今日ではより一般的です。 逆もまた同様です。例えば、タイタニックニューロンの「無関係なジョブ」を見ると、それはしばしば「ボート」が次に来ることを検出しています。ツールは、文脈を判断する際に過去しか見なかったため、これを見逃しました。これらの「無関係なジョブ」を深く見ると、ほぼ常にこのようなものです。不完全なツールを構築するのは簡単です。 全体として、単一のスコアに到達することが実際にそれほど重要だとは思いません。しかし、それが取り除かれたとき、初期のレビュー担当者は、おおよその数字なしでは足場がないと感じました。私がより詳しく調べたセットでは、強い活性化を考慮すると、97％近くが非任意混合ですが、これらは比較的少数のサンプルです。 全体として、すべてを1つの「クリーンさ」スコアに凝縮することは、ニューラルネットワークがどのレジームにあるかを示す広範なポインターとして受け取るべきであり、直接最適化したり、あまり固執したりする正確なものではありません。このエッセイの多くは、次元削減を減らし、各ニューロンと回路を、そのモチーフ、深さ、役割などに応じて個別に扱うためのものです。それにもかかわらず、おおよその数字は有用かもしれません。 密なモデルとMixture of Expertsモデルは、ほぼ同様に見えます。Kimi K3のような1兆パラメータまでのモデルでも同様の結果が見つかりました。これについては、付随する論文でさらに詳しく説明します。これらのパーセンテージは、高次元の画像を少数の数字に圧縮しており、正確な数字は、何が「1つのもの」と見なされるかのしきい値をどこに設定するかによって異なります。