HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Weight-Space Programmingは1990年代の研究者のようにニューラルネットワークを構築する

Weight-Space Programming builds neural networks like a 1990s researcher (notesbylex.com)

106 pointsby lexandstuff8 コメント

要約

この記事では、LLMがニューラルネットワークの重みを「書き込む」というWeight-Space Programming(WSP)の概念を探求しています。MNIST画像分類タスクでClaude Fable 5.2を使用し、LLMが古典的なコンピュータビジョン技術を組み合わせてネットワークを構築する様子を実証しています。このアプローチは、現代のディープラーニングとは異なり、手作業で設計された特徴抽出器と分類器を組み合わせる1990年代の手法を彷彿とさせます。

全文翻訳

Weight-Space Programmingは1990年代の研究者のようにニューラルネットワークを構築する

WSPの執筆側面は、かなりの歴史の教訓であることが判明しました。

[画像]

はじめに

Weight-Space Programmingは、依然として私を非常に興味をそそっています。基本的な考え方は、最先端のLLMがニューラルネットワークの重みを読み取り、書き込み、編集できるということです。何が起こっているかにはニュアンスがありますが、探求すべき新しい地平がたくさんあるように感じられます。

最初のブログ記事では、読み取りおよび編集実験に加えて、著者たちはGPT-6 Astraにゼロから囲碁をプレイするネットワークを構築させ、その後、損失の分析に基づいて重みを編集することで改善させました。この書き込み、テスト、編集のループは、LLM Descentのような、ネットワークをトレーニングする新しい方法のように感じられます。しかし、それはそうなのでしょうか?

この記事では、使い慣れた画像分類問題で、Claude Fable 5.2を使用して独自の重み書き込み実験を行います。モデルが構築するものを詳しく見ると、それは手作業で作成された、ディープラーニング以前の技術の興味深い歴史の教訓であることがわかります。この新しいレンズを通してWeight-Space Programmingを見ると、元の記事でAstraが構築した囲碁ネットワークも調査し、非常に似たものを見つけます。

LLM Descentで画像分類器を構築する

MNISTはオリジナルの画像分類問題です。目標は、各手書き数字(0〜9)をラベル付けすることです。

[画像: MNISTトレーニングセットからの20個の手書き数字、各数字0〜9が2つずつ、オフホワイトの28x28ピクセル正方形に濃いインクで描かれている。]

元のWeight-Space Programming投稿の囲碁テストと同様に、固定CNNでテストを作成し、Claudeに、フィッティング、回帰、検索を一切行わないといういくつかのルールを含めて、すべての重みをゼロから設定するコードを記述するようにプロンプトしました。数式やストロークからフィルターやテンプレートを手で描くことは明示的に許可されています。

これは、Astraが囲碁のために持っていたセットアップよりもかなり厳格なセットアップであり、PyTorchや練習ゲームはなく、トレーニング損失、精度、混同行列のみが各試行後に提供されます。この記事のテストはClaude Fable 5.2で実行され、Opus 5.5よりも大幅に優れたパフォーマンスを発揮しました。

Claudeは重みを全く持たない状態から開始し、このネットワークの5,994個の重みをすべて「手作業」で設定する必要があります。

model = nn.Sequential(
    nn.Conv2d(1, 8, 5),    # conv1: 1x28x28 -> 8x24x24
    nn.ReLU(),
    nn.MaxPool2d(2),       #        8x24x24 -> 8x12x12
    nn.Conv2d(8, 16, 5),   # conv2: 8x12x12 -> 16x8x8
    nn.ReLU(),
    nn.MaxPool2d(2),       #        16x8x8 -> 16x4x4
    nn.Flatten(),          #        16x4x4 -> 256
    nn.Linear(256, 10),    # fc:    256 -> 10 class logits
)

GitHubでプロンプト全体を読むことができます。

Claudeのコードは、NumPy、SciPy、mathのみをインポートできるサンドボックスで実行されます。重みを返すと、テストハーネスがトレーニング画像とテスト画像でネットワークを実行します。

Claudeには最大50ステップあり、各ステップでこれまでのすべてのフィードバックを確認します。トレーニングセットはMNISTの公式トレーニングスプリットから10,000枚の画像です。Claudeは10,000枚の公式テスト画像やそのスコアを見ることはなく、トレーニング損失が最も低いネットワークが最終的なテストスコアを提供します。

[画像: 4つのフラットな色付きブロックが矢印で結合されたループ: Claudeがbuild_weights()を書き込みます。サンドボックスが5,994個の重みをすべて設定します。ネットワークが10,000枚のトレーニング画像で実行されます。Claudeは損失、精度、混同行列を受け取り、次のステップを記述します。別のブロックは、テストセットは決して表示されないことを示しています。]

最初の試行後のフィードバックの例を次に示します。

Step 1 of 50: training loss 1.0324, accuracy 0.7147.

Confusion matrix (rows: true digit, columns: predicted digit):

true \ predicted     0     1     2     3     4     5     6     7     8     9
               0   723     0    39     0     0    42   181     0     5     1
               1     4  1022    23     0     3     4     0     8     0     0
               2    30     5   461   176     3    12     9    13   271    10
               3     2     0     8   687     0   125    51     4   133    20
               4     7    19    14     6   768     0    35    10    22   102
               5    10     5    13    45     2   492   312     6    29     1
               6    41    17    19     1   266     8   603     0    10     2
               7     8     2    21    45     2     7    13   906    11    75
               8    15    19    86     5     5     4    60    27   714    74
               9    15     9     1     4     1    19    46    82    13   771

History (training set, 10,000 images):

step | loss | accuracy
---- | ---- | --------
1 | 1.0324 | 0.7147

At most 49 steps left. Reply with the complete build_weights() for step 2
in one Python code block.
ディセント

3回実行しました。

[画像: 3回のFable 5.2実行における、これまでの最高のトレーニング損失のステップチャート。各ステップの損失はドット、測定ステップは上部の目盛り。3つすべてが1.0〜1.7から0.26〜0.37に低下し、テストセットで91.3%、88.3%、91.2%のスコアを獲得。]

トレーニング損失が改善しなくなったときに早期停止するように設定してありますが、3回の実行すべてが50ステップすべてでディセントし、実行が終了するまで改善を続け、テストセットで約90%に到達しました。驚くべきことに、これはAdamで50回の勾配ステップ後に到達するレベルに近いです。

1990年代のコンピュータビジョンパイプライン

1998年、MNISTを導入したLeCunの論文は、当時のアプローチを「固定された特徴抽出器とトレーニング可能な分類器」と説明しており、特徴抽出器は「しばしば完全に手作業で作成される」と述べています(LeCun et al., 1998)。精度は、「設計者が適切な特徴セットを考案する能力に大きく依存する」と彼は書いており、これは「残念ながら、新しい問題ごとにやり直さなければならない、 daunting task」です。

その daunting task は、Claudeが引き受けているまさにそのことです。3回の実行すべてが同じ種類のパイプラインを構築しましたが、異なる部分から構築されました。

TechniqueRun 1Run 2Run 3
Hand-drawn digit templatesstep 1step 1step 1
Log-odds (naive Bayes-style) scoringstep 1step 11step 2
Loop or hole detectorsstep 3step 3-
Corner or concavity detectorsstep 3step 3-
Stroke-endpoint detectors--step 21
First measurement stepstep 4step 4step 5
Classifier built from its measurementsstep 5step 11step 13
Measurement steps in total222427

各実行がそのテクニックを使用する最初のステップ。

実行1をステップごとに追ってみましょう。Claudeの応答と推論に基づいています。これは3つの中で最も良い(91.3%)ですが、他の2つも同様のパスをたどり、手描きのテンプレートから分類器まで測定していきます。

[画像: 実行1のFable 5.2が50ステップにわたって作成した各ネットワークのテスト精度の線グラフ。6つのカラーバンド(テンプレート(ステップ1〜3)、テスト検出器(4〜9)、コーナー(10〜18)、ストローク測定(19〜30)、測定値から再構築(31〜40)、キャリブレーション(41〜50))。精度は71%で始まり、ステップ18までに83%、ステップ31で分類器を再構築したときに89%、ステップ50で91.3%に達し、50回の勾配ステップ後のAdamと同等。22回の測定ステップが下部にマークされている。]

1. 手描きのテンプレート(ステップ1〜3)

Claudeは1990年代のコンピュータビジョンエンジニアのように始まります。最初のレイヤーは、数式から書かれた4つの角度の線検出器のセットです。これらはSobelフィルターの親戚であり、画像のエッジを見つける古典的な方法であり、1990年代の数字認識装置が最初に使用したものです(Favata and Srikantan, 1996)。

各検出器は、最初の畳み込みレイヤーの5x5ピクセルの重みグリッドです。画像上をスライドすると、その下の25ピクセルを25個の重みで乗算して合計するため、その角度のストロークがある場所では高く、空白の紙ではゼロでスコアが付けられます。Fableは、レイヤーの8つのフィルターのうち4つをこのように埋め、残りの4つは後で使えるようにゼロのままにします。

[画像: 8つの5x5の最初のレイヤーフィルターの2つの行、正の値はティール、負の値はピンク。実行1のFable 5.2の行:4つの線検出器(0、45、90、135度)、次に4つのコーナー検出器(各右角度コーナー1つ)。Adamの行:不規則な混合パターン。]

2番目のレイヤーは、各検出器のマップを画像のパッチごとに合計するため、各画像は、どのストローク方向が各パッチに現れるかを示す4x4グリッドになります。

次に、各数字を手で描き、数式のストロークのグリッドとして、各ストローク方向が各セルにどれだけ可能性が高いかを示します。これらのテーブルが最終レイヤーの重みになり、各画像が10個のテーブルすべてに対してスコアリングされます。

最終レイヤーは10x256の重みグリッドで、各数字のテーブルに1つの行があります。

重みは、そのテーブルの対数オッズであり、温度でスケーリングされています。

対数オッズは各確率を単純に合計できるスコアに変換し、温度はすべてのスコアを下げるため、ネットワークは過度に自信を持たなくなります。

[画像: 実行1、ステップ1のFable 5.2の10個の手描きの数字。滑らかなストロークで描かれ、2はピンク。その下で、2は4x4のテーブル4つに分解され、ストローク方向ごと(水平、/、垂直、
)に、各セルでの可能性の度合いでシェーディングされている。実際の手書きの2は、2のテーブルに対して46%、3のテーブルに対して34%のスコアを獲得し、他のすべての数字は低い。]

これはテンプレートマッチングであり、文字認識における最も古いアプローチの1つです(Mori et al., 1992)。スコアリングはナイーブベイズのように機能し、各特徴を各数字の独立した証拠として扱います。文字を読み取るためのベイズ規則は1957年に遡ります(Chow, 1957)。

最初のネットワークはテストセットで71%の精度を獲得します。混同行列で間違っているとされる数字を描き直すと、77%になります。

自分で確認してください:ステップ1〜3

StepWhat happenedFiles
1線検出器と手描きのテンプレート、対数オッズとしてスコアリングreply · thinking summary · code · results
2混同行列で間違っているとされるテンプレートを描き直すreply · thinking summary · code · results
34つのコーナーフィルターから構築された閉ループ検出器を追加reply · thinking summary · code · results
2. ループ検出器の単体テスト(ステップ4〜9)

昔ながらのモデルエンジニアなら、数字を調べて特徴がどこで間違っているかを研究したでしょう。このテストではClaudeにその能力を与えていませんが、ステップ4で興味深いアプローチを試みており、分類を一時停止してループ検出器(0、6、8、9の数字にある閉じたループの特徴)を単独でテストしています。

混同行列ではすべてが混ざり合っているので、それはわかりません。そのため、このステップではユニットテストのように検出器を単独でテストします。

[画像: ステップ5の実行1のループ検出器。4つの5x5コーナーフィルター(左上、右上、左下、右下)、それぞれにインクが2つのエッジに沿ってあり、ピンクの正方形は空白でなければならない。実際のアナログ8では、4つのコーナーが上下の2つの穴の周りで発火するため、ループ検出器が発火する。実際のアナログ1ではコーナーがなく、沈黙したままである。]

出力レイヤーを再配線し、「予測された数字」がループ検出器がどれだけ強く、どこで発火したかを意味するようにします。混同行列の各行は、1つの真の数字のループ検出器のヒストグラムになります。1ステップ後、検出器が8の83%で発火することを知ります。ステップ6と7で、同じ方法で自身の描画をテストし、各数字のバリアントを対戦させます。

[画像: 実行1のステップ4のトレーニング混同行列。列ラベルが変更されている:ループなし、次に上半分で4つの強度のループ、下半分で4つ。矢印は、各数字の発火率をデコードしたものにつながる:8 83%、6 62%、9 53%、2 32%、4 26%、3 25%、5 19%、0 12%、7 7%、1 0%。]

ある意味、これはズルですが、ルールを破っているわけではありません。コードはネットワークを実行したり、何かをフィッティングしたり、画像を見たりさえしません。そして、テストセットは変更されていないので、スコアは正直なままです。

自分で確認してください:ステップ4〜9

StepWhat happenedFiles
4ループ検出器を単独でテストするreply · thinking summary · code · results
5測定値で重み付けされたループ検出器を元に戻すreply · thinking summary · code · results
6描画のサイズと傾きを対戦形式でテストするreply · thinking summary · code · results
72と3のバリアント間のトーナメントreply · thinking summary · code · results
3. コーナー(ステップ10〜18)

次に、ループ検出器内のコーナー検出器を独自のフィーチャーとして扱います。ストロークが交差する4つのコーナー形状(┌ ┐ └ ┘)です。手書き認識装置は、このような形状の特徴に依存していました(Trier et al., 1996)(Favata and Srikantan, 1996)。最初は各数字にどれくらいの頻度で現れるかを推測します。それが約81%で停滞すると、3回連続で測定し、結果から重みを設定します。

コーナーに関する3回の測定ステップは、多くの推測ステップよりも多くの情報を提供し、私の手描きの期待のいくつかが大きく外れていることを示しました。

ステップ18までに83%に達します。信じられないほどです。

自分で確認してください:ステップ10〜18

StepWhat happenedFiles
10コーナー検出器を独自のフィーチャーとして追加reply · thinking summary · code · results
133回のコーナー測定ステップの最初のものreply · thinking summary · code · results
16測定値からコーナーの重みを設定するreply · thinking summary · code · results
4. すべてのストロークの測定(ステップ19〜30)

そこで、他のすべてもの測定も行います。次の12ステップで、32個のストロークフィーチャーのそれぞれが各数字にどれくらいの頻度で発火するかを3つずつ読み取ります。ステップ24で、最初の15個の測定値をプラグインして、それらが役立つかを確認し、精度は83%から88%にジャンプします。

自分で確認してください:ステップ19〜30

StepWhat happenedFiles
19ストロークフィーチャーの測定を開始し、コーナーについて考察するreply · thinking summary · code · results
24最初の15個の測定値をプラグインするreply · thinking summary · code · results
5. 測定値からの再構築(ステップ31〜40)

ステップ31で、手描きのテンプレートを完全に破棄します。

測定されたレートから分類器全体を再構築します:32個の向きセル、8個のコーナーゾーン、およびループ検出器。最終レイヤーには手描きのストロークテンプレートは残りません。

残ったのはナイーブベイズスタイルの分類器で、各確率がトレーニングセットから1つのフィーチャーごとに混同行列を通じて測定されています。つまり、手作業で分類器をフィッティングしているのです。89%に達し、その後、いくつかのグローバル設定を調整して90%になります。その後、ステップ36〜40で、カバーしていなかったストロークグリッドの半分を測定します。

[画像: 実行1のステップ31のコードにある400個のレートのヒートマップ:各真の数字について、40個のフィーチャーのそれぞれがどれくらいの頻度で発火するか。水平、/、垂直、
ストローク(各8セル)と8個のコーナーゾーンにグループ化されている。1の行はほとんどどこでも薄い。1つの列がアウトラインされている:下部近くの水平ストロークは、0の99.8%と1の15.4%で発火する。]

自分で確認してください:ステップ31〜40

StepWhat happenedFiles
31測定されたレートから分類器全体を再構築するreply · thinking summary · code · results
36カバーしていなかったストロークグリッドの半分を測定し始めるreply · thinking summary · code · results
6. キャリブレーション(ステップ41〜50)

最後の10ステップは手作業での微調整で、各証拠の種類をどれだけ信頼するか、予測がどれだけ確信度を持つべきかを決定します。また、どのようにスコアリングされるかを正確に追跡します。

このステップが0.3111を超えない場合、ステップ48がスコアリングされるステップになります。

テストセットで91.3%で終了します。これは、Adamで50ステップトレーニングした場合のおおよそのレベルです。ただし、完全に同等ではありません。Adamの50ステップは各64枚の画像、合計3,200枚を見ますが、Claudeは各ステップで10,000枚のトレーニング画像全体のスコアを取得します。

[画像: Fable 5.2実行1の3つのトレーニング混同行列。行は真の数字、列は予測された数字、ピンクでシェーディング。ステップ1(トレーニング精度71%)では、対角線が見えるがノイズが多い。ステップ18(83%)では、より明確になる。ステップ50(91%)では、対角線が支配的になる。]

自分で確認してください:ステップ41〜50

StepWhat happenedFiles
4147個の測定されたストロークセルで再構築するreply · thinking summary · code · results
49これまでの最高のトレーニング損失reply · thinking summary · code · results
50最後のステップ、スコアリング方法を追跡するreply · thinking summary · code
Opus 5.5での早期テスト

Opus 5.5は、ストローク検出器、手描きのテンプレート、最近傍セントロイド(最も近いテンプレートを選択)、ナイーブベイズ、ループおよびエンドポイント検出器など、同じツールボックスに手を伸ばします。違いは、測定する量にあるようです。FableはOpusよりもはるかに多くのステップを測定に費やしましたが、Opusは推測を好む傾向がありました。Opusはテストセットで74%を超えるスコアを獲得できませんでした。Opus 5.5でモデルにさらに多くのフィードバック(例の数字を含む)を提供したいくつかのテストも実行しましたが、それらはあまり違いをもたらさなかったので、この記事からは除外しました。

[画像: テスト精度の棒グラフ。各実行またはシードにドットが表示される。50回の評価でのランダム検索:16%。Opus 5.5:72%(70%〜74%)。50回の勾配ステップ後のAdam:91%。5,000回のステップ後のAdam:98%。]

自分で確認してください:Opus 5.5の実行

run 1 · run 2 · run 3

各ステップフォルダには、応答、思考の要約、コード、およびメトリクスが含まれています。

より難しい問題はどうでしょうか?

Kaggleの有名なDogs vs. Catsコンペティションの写真で、画像サイズ64x64、少し大きな固定CNN(24,898ウェイト)を使用し、同じルールと停止ルールで同じテストを実行しました。ここでは、手作業で作成された特徴アプローチの限界と、「Weight-Space Programming」の潜在的な上限の一部を見ることができます。

Fable 5.2は、MNISTの場合と同じ初期アプローチを取り、手作業で設計された検出器のバンク(尖った耳、目と鼻の三角形、草など)を構築し、それらを1つずつテストします。しかし、それらの初期のアイデアはあまり成果を上げていません。

耳のプローブは私の推測とは逆の結果を示しました

うまくいくのは、動物ではなく写真の特性を研究することです。犬の写真には、より多くの緑(草や屋外のシーン)、より多くのテクスチャ、より多くの垂直エッジが含まれています。その最高のネットワークは、ステップ9で、それら3つだけを使用します。それ以降に追加したものは何も改善しないため、実行はステップ17で停止します。

[画像: 左:Fable 5.2が1つずつテストした9つのフィーチャーのドットプロット。猫と犬の写真の割合を示している。尖った耳検出器は猫の58%、犬の64%で発火する。最高のネットワークに含まれる3つのフィーチャーがクラスを最も分離する:緑(猫の35%、犬の43%)、テクスチャ(57%と73%)、垂直エッジから水平エッジを引いたもの(55%と69%)。右:テスト精度。ランダム検索54%、50ステップ後のAdam 51%、500ステップ後のAdam 55%、Fable 5.2 62%、5,000ステップ後のAdam 74%。コインフリップは50%。]

テストセットで61.6%に達します。コインフリップは50%です。実際、500ステップのAdam(55%)よりも優れていますが、この小さなネットワークはトレーニングが遅く、5,000ステップ後にはAdamは74%に達します。Fableの実行は、17ステップで8.08ドルと非常に高価でした。

自分で確認してください:猫と犬

StepWhat happenedFiles
1検出器バンクを構築し、尖った耳検出器をテストするreply · thinking summary · code · results
2耳検出器が逆方向を指していることを発見し、緑をテストするreply · thinking summary · code · results
9最高のネットワーク:テクスチャ、エッジ方向、緑reply · thinking summary · code · results
17停止ルールで実行が終了する前の最後のステップreply · thinking summary · code

手作業で作成された特徴アプローチの限界と、「Weight-Space Programming」の潜在的な上限の一部が見えてきます。

囲碁ネットワークのレビュー

元の記事では、Astraは150万パラメータを持つ9x9の囲碁ネットワークを与えられ、すべてゼロに設定されていました。Pythonサンドボックスはありましたが、トレーニング、フィッティング、検索は許可されておらず、ネットワークにできる限り囲碁をプレイさせるように指示されました。ほとんどの実行で、「パス」も使用できました。各パスは最大128回の練習ゲームのバッチをプレイし、その結果を示しました。著者は、0、10、25、50パスの予算で4回実行しました。

そしてそれは非常にうまく機能したようです。50パスで、Astraが構築したネットワークは、強化学習(PPO)でトレーニングされた2つの小さなネットワークの80%以上のゲームで勝利し、2050万ゲームでトレーニングされた同じサイズのネットワークのほとんどに勝ちました。実際、練習ゲームをまったくプレイしなくても、Astraは半数以上のゲームで勝利するネットワークを記述することに成功しました(Takehi et al., 2026)。

この結果をさらに掘り下げて、何が起こっているのかを理解してみましょう。

Astraは、出力で最終的なソリューションを次のように説明しています。

手作業でコーディングされ、対称性を維持するポリシーは、近似グループリバティ伝播、キャプチャ、連結グループレスキュー、自己アタリとアイ回避、およびコ/スナップバックリスク抑制を組み合わせています。

ここで開示しなければならないのは、私は囲碁や囲碁に勝つモデルの構築方法についてあまり知らないということです。したがって、このセクションは主にOpus 5.5と協力して作成されました。

リストの各項目は、古典的な囲碁プログラムの定番のようです。キャプチャできるグループを判断するための「リバティ」の数え方、グループが生きているかを判断するためのアイの認識、コ(劫)の処理、そして各石が距離とともに減衰する影響力を放射する影響関数による領地の推定などが含まれます。最初の囲碁プログラムは、完全に影響関数に基づいて構築されていました(Bouzy and Cazenave, 2001)(Müller, 2002)。

[画像: 2つのボード上の、Astraのゲームではない、9x9の囲碁ポジションの例。左:黒いグループの7つのリバティがティールでマークされ、アタリの白い石が1つのリバティでマークされ、黒がキャプチャできる場所がピンクのクロスでマークされている。右:影響マップ。黒い石から広がるティールと、白い石から広がるピンクの影響力があり、距離とともに減衰する。]

さらに、148万の重みの背後には、設計スクリプトによってネットワークにコンパイルされた26個の手動設定された数値の構成があります。

{
  "capture": 9.0,
  "rescue": 8.0,
  "self_atari": 7.5,
  "eye": 11.0,
  "contact": 3.0,
  "own_adj": 0.8,
  ...
}

設計スクリプトは、手書きのボード分析のように、レイヤーごとにネットワークを構築します。最初のレイヤーは、各石のリバティを数えることから始まります。次に、レイヤー2と3がその証拠を連結された石に広げます。次に、レイヤー4がアタリと自己アタリのグループをフラグ付けします。その後、レイヤー5がキャプチャとレスキューをスコアリングします。そして最後に、レイヤー6が戦術と連結性、領地、アイを組み合わせます。26個の数値は、主に各ルールがどれだけカウントされるかを設定します。

練習ゲームからの改善は、主にそれらの数値を手動で微調整し、5つの新しいルールを追加することでした。例えば、コ(劫)の繰り返しに対するペナルティなどです。

プレイ、診断、ルールの追加または調整、これは基本的に数十年間ルールベースの囲碁プログラムが構築されてきた方法であり(Müller, 2002)、最初のセクションで説明された画像分類アプローチと多くの類似点があります。

したがって、この論文で最も印象的なゼロからのネットワークは、重みにコンパイルされたルールベースの囲碁プログラムです。これは本当に驚くべき工学的な偉業です。2050万ゲームでトレーニングされたPPOネットワークに勝利する手書きプログラムです。

結論

この記事では、Weight-Space Programmingがどのようにネットワークを「書き込む」かを詳しく見てきました。重みの読み取りと編集に関する他の発見は除外しました。MNISTと囲碁では、モデルは古典的な技術に関する広範な知識を引き出し、それらを洗練された方法で組み合わせ、提供されたフィードバックの慎重な測定によって導かれました。しかし、猫と犬のようなより難しい問題では、手作業で作成されたフィーチャーの限界が現れ始めます。

したがって、少なくともこれらの実験からは、LLMは「Weight-Spaceに書き込む」というよりも、手作業で設計された技術を巧みに連鎖させていると言えます。そして、2番目の教訓があります。LLMの動作を見ることから学ぶことはたくさんあります。それらは人間の知識でトレーニングされましたが、今では、それらは私たちに多くを教えることができるようです。

すべてがexperiments repoにあります。プロンプト、すべての応答と思考の要約、各ステップからのコードと重み、MNISTプロトコルと猫と犬の実行。

参考文献

Bruno Bouzy and Tristan Cazenave. Computer Go: an AI oriented survey. Artificial Intelligence, 132(1):39–103, 2001. URL: https://doi.org/10.1016/S0004-3702(01)00127-8, doi:10.1016/S0004-3702(01)00127-8. ↩

C. K. Chow. An optimum character recognition system using decision functions. IRE Transactions on Electronic Computers, EC-6(4):247–254, 1957. URL: https://doi.org/10.1109/TEC.1957.5222035, doi:10.1109/TEC.1957.5222035. ↩

John T. Favata and Geetha Srikantan. A multiple feature/resolution approach to handprinted digit and character recognition. International Journal of Imaging Systems and Technology, 7(4):304–311, 1996. URL: https://doi.org/10.1002/(SICI)1098-1098(199624)7:4<304::AID-IMA5>3.0.CO;2-C, doi:10.1002/(SICI)1098-1098(199624)7:4<304::AID-IMA5>3.0.CO;2-C. ↩ 1 2

Yann LeCun, Léon Bottou, Yoshua Bengio, and Patrick Haffner. Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11):2278–2324, 1998. URL: https://doi.org/10.1109/5.726791, doi:10.1109/5.726791. ↩

Shunji Mori, Ching Y. Suen, and Kazuhiko Yamamoto. Historical review of OCR research and development. Proceedings of the IEEE, 80(7):1029–1058, 1992. URL: https://doi.org/10.1109/5.156468, doi:10.1109/5.156468. ↩

Martin Müller. Computer Go. Artificial Intelligence, 134(1–2):145–179, 2002. URL: https://doi.org/10.1016/S0004-3702(01)00121-7, doi:10.1016/S0004-3702(01)00121-7. ↩ 1 2

Rikiya Takehi, Jayden Teoh, Alex Zhang, and Omar Khattab. Sparks of weight-space programming: released experiment logs and networks. 2026. Released prompts, networks, logs and scoring. Commit 4d09ba6d6a7e891dd8063974dfe81b3d78e3494f. Accessed 3 November 2026. URL: https://github.com/RikiyaT/lm_understand-logs/tree/4d09ba6d6a7e891dd8063974dfe81b3d78e3494f (visited on 2026-11-03). ↩