Weight-Space Programmingは1990年代の研究者のようにニューラルネットワークを構築する
Weight-Space Programming builds neural networks like a 1990s researcher (notesbylex.com)
要約
この記事では、LLMがニューラルネットワークの重みを「書き込む」というWeight-Space Programming(WSP)の概念を探求しています。MNIST画像分類タスクでClaude Fable 5.2を使用し、LLMが古典的なコンピュータビジョン技術を組み合わせてネットワークを構築する様子を実証しています。このアプローチは、現代のディープラーニングとは異なり、手作業で設計された特徴抽出器と分類器を組み合わせる1990年代の手法を彷彿とさせます。
全文翻訳
Weight-Space Programmingは1990年代の研究者のようにニューラルネットワークを構築する
WSPの執筆側面は、かなりの歴史の教訓であることが判明しました。
[画像]
はじめに
Weight-Space Programmingは、依然として私を非常に興味をそそっています。基本的な考え方は、最先端のLLMがニューラルネットワークの重みを読み取り、書き込み、編集できるということです。何が起こっているかにはニュアンスがありますが、探求すべき新しい地平がたくさんあるように感じられます。
最初のブログ記事では、読み取りおよび編集実験に加えて、著者たちはGPT-6 Astraにゼロから囲碁をプレイするネットワークを構築させ、その後、損失の分析に基づいて重みを編集することで改善させました。この書き込み、テスト、編集のループは、LLM Descentのような、ネットワークをトレーニングする新しい方法のように感じられます。しかし、それはそうなのでしょうか?
この記事では、使い慣れた画像分類問題で、Claude Fable 5.2を使用して独自の重み書き込み実験を行います。モデルが構築するものを詳しく見ると、それは手作業で作成された、ディープラーニング以前の技術の興味深い歴史の教訓であることがわかります。この新しいレンズを通してWeight-Space Programmingを見ると、元の記事でAstraが構築した囲碁ネットワークも調査し、非常に似たものを見つけます。
LLM Descentで画像分類器を構築する
MNISTはオリジナルの画像分類問題です。目標は、各手書き数字(0〜9)をラベル付けすることです。
[画像: MNISTトレーニングセットからの20個の手書き数字、各数字0〜9が2つずつ、オフホワイトの28x28ピクセル正方形に濃いインクで描かれている。]
元のWeight-Space Programming投稿の囲碁テストと同様に、固定CNNでテストを作成し、Claudeに、フィッティング、回帰、検索を一切行わないといういくつかのルールを含めて、すべての重みをゼロから設定するコードを記述するようにプロンプトしました。数式やストロークからフィルターやテンプレートを手で描くことは明示的に許可されています。
これは、Astraが囲碁のために持っていたセットアップよりもかなり厳格なセットアップであり、PyTorchや練習ゲームはなく、トレーニング損失、精度、混同行列のみが各試行後に提供されます。この記事のテストはClaude Fable 5.2で実行され、Opus 5.5よりも大幅に優れたパフォーマンスを発揮しました。
Claudeは重みを全く持たない状態から開始し、このネットワークの5,994個の重みをすべて「手作業」で設定する必要があります。
model = nn.Sequential(
nn.Conv2d(1, 8, 5), # conv1: 1x28x28 -> 8x24x24
nn.ReLU(),
nn.MaxPool2d(2), # 8x24x24 -> 8x12x12
nn.Conv2d(8, 16, 5), # conv2: 8x12x12 -> 16x8x8
nn.ReLU(),
nn.MaxPool2d(2), # 16x8x8 -> 16x4x4
nn.Flatten(), # 16x4x4 -> 256
nn.Linear(256, 10), # fc: 256 -> 10 class logits
)
GitHubでプロンプト全体を読むことができます。
Claudeのコードは、NumPy、SciPy、mathのみをインポートできるサンドボックスで実行されます。重みを返すと、テストハーネスがトレーニング画像とテスト画像でネットワークを実行します。
Claudeには最大50ステップあり、各ステップでこれまでのすべてのフィードバックを確認します。トレーニングセットはMNISTの公式トレーニングスプリットから10,000枚の画像です。Claudeは10,000枚の公式テスト画像やそのスコアを見ることはなく、トレーニング損失が最も低いネットワークが最終的なテストスコアを提供します。
最初の試行後のフィードバックの例を次に示します。
Step 1 of 50: training loss 1.0324, accuracy 0.7147.
Confusion matrix (rows: true digit, columns: predicted digit):
true \ predicted 0 1 2 3 4 5 6 7 8 9
0 723 0 39 0 0 42 181 0 5 1
1 4 1022 23 0 3 4 0 8 0 0
2 30 5 461 176 3 12 9 13 271 10
3 2 0 8 687 0 125 51 4 133 20
4 7 19 14 6 768 0 35 10 22 102
5 10 5 13 45 2 492 312 6 29 1
6 41 17 19 1 266 8 603 0 10 2
7 8 2 21 45 2 7 13 906 11 75
8 15 19 86 5 5 4 60 27 714 74
9 15 9 1 4 1 19 46 82 13 771
History (training set, 10,000 images):
step | loss | accuracy
---- | ---- | --------
1 | 1.0324 | 0.7147
At most 49 steps left. Reply with the complete build_weights() for step 2
in one Python code block.
ディセント
3回実行しました。
トレーニング損失が改善しなくなったときに早期停止するように設定してありますが、3回の実行すべてが50ステップすべてでディセントし、実行が終了するまで改善を続け、テストセットで約90%に到達しました。驚くべきことに、これはAdamで50回の勾配ステップ後に到達するレベルに近いです。
1990年代のコンピュータビジョンパイプライン
1998年、MNISTを導入したLeCunの論文は、当時のアプローチを「固定された特徴抽出器とトレーニング可能な分類器」と説明しており、特徴抽出器は「しばしば完全に手作業で作成される」と述べています(LeCun et al., 1998)。精度は、「設計者が適切な特徴セットを考案する能力に大きく依存する」と彼は書いており、これは「残念ながら、新しい問題ごとにやり直さなければならない、 daunting task」です。
その daunting task は、Claudeが引き受けているまさにそのことです。3回の実行すべてが同じ種類のパイプラインを構築しましたが、異なる部分から構築されました。
| Technique | Run 1 | Run 2 | Run 3 |
|---|---|---|---|
| Hand-drawn digit templates | step 1 | step 1 | step 1 |
| Log-odds (naive Bayes-style) scoring | step 1 | step 11 | step 2 |
| Loop or hole detectors | step 3 | step 3 | - |
| Corner or concavity detectors | step 3 | step 3 | - |
| Stroke-endpoint detectors | - | - | step 21 |
| First measurement step | step 4 | step 4 | step 5 |
| Classifier built from its measurements | step 5 | step 11 | step 13 |
| Measurement steps in total | 22 | 24 | 27 |
各実行がそのテクニックを使用する最初のステップ。
実行1をステップごとに追ってみましょう。Claudeの応答と推論に基づいています。これは3つの中で最も良い(91.3%)ですが、他の2つも同様のパスをたどり、手描きのテンプレートから分類器まで測定していきます。
1. 手描きのテンプレート(ステップ1〜3)
Claudeは1990年代のコンピュータビジョンエンジニアのように始まります。最初のレイヤーは、数式から書かれた4つの角度の線検出器のセットです。これらはSobelフィルターの親戚であり、画像のエッジを見つける古典的な方法であり、1990年代の数字認識装置が最初に使用したものです(Favata and Srikantan, 1996)。
各検出器は、最初の畳み込みレイヤーの5x5ピクセルの重みグリッドです。画像上をスライドすると、その下の25ピクセルを25個の重みで乗算して合計するため、その角度のストロークがある場所では高く、空白の紙ではゼロでスコアが付けられます。Fableは、レイヤーの8つのフィルターのうち4つをこのように埋め、残りの4つは後で使えるようにゼロのままにします。
2番目のレイヤーは、各検出器のマップを画像のパッチごとに合計するため、各画像は、どのストローク方向が各パッチに現れるかを示す4x4グリッドになります。
次に、各数字を手で描き、数式のストロークのグリッドとして、各ストローク方向が各セルにどれだけ可能性が高いかを示します。これらのテーブルが最終レイヤーの重みになり、各画像が10個のテーブルすべてに対してスコアリングされます。
最終レイヤーは10x256の重みグリッドで、各数字のテーブルに1つの行があります。
重みは、そのテーブルの対数オッズであり、温度でスケーリングされています。
対数オッズは各確率を単純に合計できるスコアに変換し、温度はすべてのスコアを下げるため、ネットワークは過度に自信を持たなくなります。
これはテンプレートマッチングであり、文字認識における最も古いアプローチの1つです(Mori et al., 1992)。スコアリングはナイーブベイズのように機能し、各特徴を各数字の独立した証拠として扱います。文字を読み取るためのベイズ規則は1957年に遡ります(Chow, 1957)。
最初のネットワークはテストセットで71%の精度を獲得します。混同行列で間違っているとされる数字を描き直すと、77%になります。
自分で確認してください:ステップ1〜3
| Step | What happened | Files |
|---|---|---|
| 1 | 線検出器と手描きのテンプレート、対数オッズとしてスコアリング | reply · thinking summary · code · results |
| 2 | 混同行列で間違っているとされるテンプレートを描き直す | reply · thinking summary · code · results |
| 3 | 4つのコーナーフィルターから構築された閉ループ検出器を追加 | reply · thinking summary · code · results |
2. ループ検出器の単体テスト(ステップ4〜9)
昔ながらのモデルエンジニアなら、数字を調べて特徴がどこで間違っているかを研究したでしょう。このテストではClaudeにその能力を与えていませんが、ステップ4で興味深いアプローチを試みており、分類を一時停止してループ検出器(0、6、8、9の数字にある閉じたループの特徴)を単独でテストしています。
混同行列ではすべてが混ざり合っているので、それはわかりません。そのため、このステップではユニットテストのように検出器を単独でテストします。
出力レイヤーを再配線し、「予測された数字」がループ検出器がどれだけ強く、どこで発火したかを意味するようにします。混同行列の各行は、1つの真の数字のループ検出器のヒストグラムになります。1ステップ後、検出器が8の83%で発火することを知ります。ステップ6と7で、同じ方法で自身の描画をテストし、各数字のバリアントを対戦させます。
ある意味、これはズルですが、ルールを破っているわけではありません。コードはネットワークを実行したり、何かをフィッティングしたり、画像を見たりさえしません。そして、テストセットは変更されていないので、スコアは正直なままです。
自分で確認してください:ステップ4〜9
| Step | What happened | Files |
|---|---|---|
| 4 | ループ検出器を単独でテストする | reply · thinking summary · code · results |
| 5 | 測定値で重み付けされたループ検出器を元に戻す | reply · thinking summary · code · results |
| 6 | 描画のサイズと傾きを対戦形式でテストする | reply · thinking summary · code · results |
| 7 | 2と3のバリアント間のトーナメント | reply · thinking summary · code · results |
3. コーナー(ステップ10〜18)
次に、ループ検出器内のコーナー検出器を独自のフィーチャーとして扱います。ストロークが交差する4つのコーナー形状(┌ ┐ └ ┘)です。手書き認識装置は、このような形状の特徴に依存していました(Trier et al., 1996)(Favata and Srikantan, 1996)。最初は各数字にどれくらいの頻度で現れるかを推測します。それが約81%で停滞すると、3回連続で測定し、結果から重みを設定します。
コーナーに関する3回の測定ステップは、多くの推測ステップよりも多くの情報を提供し、私の手描きの期待のいくつかが大きく外れていることを示しました。
ステップ18までに83%に達します。信じられないほどです。
自分で確認してください:ステップ10〜18
| Step | What happened | Files |
|---|---|---|
| 10 | コーナー検出器を独自のフィーチャーとして追加 | reply · thinking summary · code · results |
| 13 | 3回のコーナー測定ステップの最初のもの | reply · thinking summary · code · results |
| 16 | 測定値からコーナーの重みを設定する | reply · thinking summary · code · results |
4. すべてのストロークの測定(ステップ19〜30)
そこで、他のすべてもの測定も行います。次の12ステップで、32個のストロークフィーチャーのそれぞれが各数字にどれくらいの頻度で発火するかを3つずつ読み取ります。ステップ24で、最初の15個の測定値をプラグインして、それらが役立つかを確認し、精度は83%から88%にジャンプします。
自分で確認してください:ステップ19〜30
| Step | What happened | Files |
|---|---|---|
| 19 | ストロークフィーチャーの測定を開始し、コーナーについて考察する | reply · thinking summary · code · results |
| 24 | 最初の15個の測定値をプラグインする | reply · thinking summary · code · results |
5. 測定値からの再構築(ステップ31〜40)
ステップ31で、手描きのテンプレートを完全に破棄します。
測定されたレートから分類器全体を再構築します:32個の向きセル、8個のコーナーゾーン、およびループ検出器。最終レイヤーには手描きのストロークテンプレートは残りません。
残ったのはナイーブベイズスタイルの分類器で、各確率がトレーニングセットから1つのフィーチャーごとに混同行列を通じて測定されています。つまり、手作業で分類器をフィッティングしているのです。89%に達し、その後、いくつかのグローバル設定を調整して90%になります。その後、ステップ36〜40で、カバーしていなかったストロークグリッドの半分を測定します。
自分で確認してください:ステップ31〜40
| Step | What happened | Files |
|---|---|---|
| 31 | 測定されたレートから分類器全体を再構築する | reply · thinking summary · code · results |
| 36 | カバーしていなかったストロークグリッドの半分を測定し始める | reply · thinking summary · code · results |
6. キャリブレーション(ステップ41〜50)
最後の10ステップは手作業での微調整で、各証拠の種類をどれだけ信頼するか、予測がどれだけ確信度を持つべきかを決定します。また、どのようにスコアリングされるかを正確に追跡します。
このステップが0.3111を超えない場合、ステップ48がスコアリングされるステップになります。
テストセットで91.3%で終了します。これは、Adamで50ステップトレーニングした場合のおおよそのレベルです。ただし、完全に同等ではありません。Adamの50ステップは各64枚の画像、合計3,200枚を見ますが、Claudeは各ステップで10,000枚のトレーニング画像全体のスコアを取得します。
自分で確認してください:ステップ41〜50
| Step | What happened | Files |
|---|---|---|
| 41 | 47個の測定されたストロークセルで再構築する | reply · thinking summary · code · results |
| 49 | これまでの最高のトレーニング損失 | reply · thinking summary · code · results |
| 50 | 最後のステップ、スコアリング方法を追跡する | reply · thinking summary · code |
Opus 5.5での早期テスト
Opus 5.5は、ストローク検出器、手描きのテンプレート、最近傍セントロイド(最も近いテンプレートを選択)、ナイーブベイズ、ループおよびエンドポイント検出器など、同じツールボックスに手を伸ばします。違いは、測定する量にあるようです。FableはOpusよりもはるかに多くのステップを測定に費やしましたが、Opusは推測を好む傾向がありました。Opusはテストセットで74%を超えるスコアを獲得できませんでした。Opus 5.5でモデルにさらに多くのフィードバック(例の数字を含む)を提供したいくつかのテストも実行しましたが、それらはあまり違いをもたらさなかったので、この記事からは除外しました。
自分で確認してください:Opus 5.5の実行
各ステップフォルダには、応答、思考の要約、コード、およびメトリクスが含まれています。
より難しい問題はどうでしょうか?
Kaggleの有名なDogs vs. Catsコンペティションの写真で、画像サイズ64x64、少し大きな固定CNN(24,898ウェイト)を使用し、同じルールと停止ルールで同じテストを実行しました。ここでは、手作業で作成された特徴アプローチの限界と、「Weight-Space Programming」の潜在的な上限の一部を見ることができます。
Fable 5.2は、MNISTの場合と同じ初期アプローチを取り、手作業で設計された検出器のバンク(尖った耳、目と鼻の三角形、草など)を構築し、それらを1つずつテストします。しかし、それらの初期のアイデアはあまり成果を上げていません。
耳のプローブは私の推測とは逆の結果を示しました
うまくいくのは、動物ではなく写真の特性を研究することです。犬の写真には、より多くの緑(草や屋外のシーン)、より多くのテクスチャ、より多くの垂直エッジが含まれています。その最高のネットワークは、ステップ9で、それら3つだけを使用します。それ以降に追加したものは何も改善しないため、実行はステップ17で停止します。
テストセットで61.6%に達します。コインフリップは50%です。実際、500ステップのAdam(55%)よりも優れていますが、この小さなネットワークはトレーニングが遅く、5,000ステップ後にはAdamは74%に達します。Fableの実行は、17ステップで8.08ドルと非常に高価でした。
自分で確認してください:猫と犬
| Step | What happened | Files |
|---|---|---|
| 1 | 検出器バンクを構築し、尖った耳検出器をテストする | reply · thinking summary · code · results |
| 2 | 耳検出器が逆方向を指していることを発見し、緑をテストする | reply · thinking summary · code · results |
| 9 | 最高のネットワーク:テクスチャ、エッジ方向、緑 | reply · thinking summary · code · results |
| 17 | 停止ルールで実行が終了する前の最後のステップ | reply · thinking summary · code |
手作業で作成された特徴アプローチの限界と、「Weight-Space Programming」の潜在的な上限の一部が見えてきます。
囲碁ネットワークのレビュー
元の記事では、Astraは150万パラメータを持つ9x9の囲碁ネットワークを与えられ、すべてゼロに設定されていました。Pythonサンドボックスはありましたが、トレーニング、フィッティング、検索は許可されておらず、ネットワークにできる限り囲碁をプレイさせるように指示されました。ほとんどの実行で、「パス」も使用できました。各パスは最大128回の練習ゲームのバッチをプレイし、その結果を示しました。著者は、0、10、25、50パスの予算で4回実行しました。
そしてそれは非常にうまく機能したようです。50パスで、Astraが構築したネットワークは、強化学習(PPO)でトレーニングされた2つの小さなネットワークの80%以上のゲームで勝利し、2050万ゲームでトレーニングされた同じサイズのネットワークのほとんどに勝ちました。実際、練習ゲームをまったくプレイしなくても、Astraは半数以上のゲームで勝利するネットワークを記述することに成功しました(Takehi et al., 2026)。
この結果をさらに掘り下げて、何が起こっているのかを理解してみましょう。
Astraは、出力で最終的なソリューションを次のように説明しています。
手作業でコーディングされ、対称性を維持するポリシーは、近似グループリバティ伝播、キャプチャ、連結グループレスキュー、自己アタリとアイ回避、およびコ/スナップバックリスク抑制を組み合わせています。
ここで開示しなければならないのは、私は囲碁や囲碁に勝つモデルの構築方法についてあまり知らないということです。したがって、このセクションは主にOpus 5.5と協力して作成されました。
リストの各項目は、古典的な囲碁プログラムの定番のようです。キャプチャできるグループを判断するための「リバティ」の数え方、グループが生きているかを判断するためのアイの認識、コ(劫)の処理、そして各石が距離とともに減衰する影響力を放射する影響関数による領地の推定などが含まれます。最初の囲碁プログラムは、完全に影響関数に基づいて構築されていました(Bouzy and Cazenave, 2001)(Müller, 2002)。
さらに、148万の重みの背後には、設計スクリプトによってネットワークにコンパイルされた26個の手動設定された数値の構成があります。
{
"capture": 9.0,
"rescue": 8.0,
"self_atari": 7.5,
"eye": 11.0,
"contact": 3.0,
"own_adj": 0.8,
...
}
設計スクリプトは、手書きのボード分析のように、レイヤーごとにネットワークを構築します。最初のレイヤーは、各石のリバティを数えることから始まります。次に、レイヤー2と3がその証拠を連結された石に広げます。次に、レイヤー4がアタリと自己アタリのグループをフラグ付けします。その後、レイヤー5がキャプチャとレスキューをスコアリングします。そして最後に、レイヤー6が戦術と連結性、領地、アイを組み合わせます。26個の数値は、主に各ルールがどれだけカウントされるかを設定します。
練習ゲームからの改善は、主にそれらの数値を手動で微調整し、5つの新しいルールを追加することでした。例えば、コ(劫)の繰り返しに対するペナルティなどです。
プレイ、診断、ルールの追加または調整、これは基本的に数十年間ルールベースの囲碁プログラムが構築されてきた方法であり(Müller, 2002)、最初のセクションで説明された画像分類アプローチと多くの類似点があります。
したがって、この論文で最も印象的なゼロからのネットワークは、重みにコンパイルされたルールベースの囲碁プログラムです。これは本当に驚くべき工学的な偉業です。2050万ゲームでトレーニングされたPPOネットワークに勝利する手書きプログラムです。
結論
この記事では、Weight-Space Programmingがどのようにネットワークを「書き込む」かを詳しく見てきました。重みの読み取りと編集に関する他の発見は除外しました。MNISTと囲碁では、モデルは古典的な技術に関する広範な知識を引き出し、それらを洗練された方法で組み合わせ、提供されたフィードバックの慎重な測定によって導かれました。しかし、猫と犬のようなより難しい問題では、手作業で作成されたフィーチャーの限界が現れ始めます。
したがって、少なくともこれらの実験からは、LLMは「Weight-Spaceに書き込む」というよりも、手作業で設計された技術を巧みに連鎖させていると言えます。そして、2番目の教訓があります。LLMの動作を見ることから学ぶことはたくさんあります。それらは人間の知識でトレーニングされましたが、今では、それらは私たちに多くを教えることができるようです。
すべてがexperiments repoにあります。プロンプト、すべての応答と思考の要約、各ステップからのコードと重み、MNISTプロトコルと猫と犬の実行。
参考文献
Bruno Bouzy and Tristan Cazenave. Computer Go: an AI oriented survey. Artificial Intelligence, 132(1):39–103, 2001. URL: https://doi.org/10.1016/S0004-3702(01)00127-8, doi:10.1016/S0004-3702(01)00127-8. ↩
C. K. Chow. An optimum character recognition system using decision functions. IRE Transactions on Electronic Computers, EC-6(4):247–254, 1957. URL: https://doi.org/10.1109/TEC.1957.5222035, doi:10.1109/TEC.1957.5222035. ↩
John T. Favata and Geetha Srikantan. A multiple feature/resolution approach to handprinted digit and character recognition. International Journal of Imaging Systems and Technology, 7(4):304–311, 1996. URL: https://doi.org/10.1002/(SICI)1098-1098(199624)7:4<304::AID-IMA5>3.0.CO;2-C, doi:10.1002/(SICI)1098-1098(199624)7:4<304::AID-IMA5>3.0.CO;2-C. ↩ 1 2
Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998. URL: https://doi.org/10.1109/5.726791, doi:10.1109/5.726791. ↩
Shunji Mori, Ching Y. Suen, and Kazuhiko Yamamoto. Historical review of OCR research and development. Proceedings of the IEEE, 80(7):1029–1058, 1992. URL: https://doi.org/10.1109/5.156468, doi:10.1109/5.156468. ↩
Martin Müller. Computer Go. Artificial Intelligence, 134(1–2):145–179, 2002. URL: https://doi.org/10.1016/S0004-3702(01)00121-7, doi:10.1016/S0004-3702(01)00121-7. ↩ 1 2
Rikiya Takehi, Jayden Teoh, Alex Zhang, and Omar Khattab. Sparks of weight-space programming: released experiment logs and networks. 2026. Released prompts, networks, logs and scoring. Commit 4d09ba6d6a7e891dd8063974dfe81b3d78e3494f. Accessed 3 November 2026. URL: https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f (visited on 2026-11-03). ↩