「AstraはQwenを改善するために重みを読み書きできる」という投稿は誤解を招く

「AstraはQwenを改善するために重みを読み書きできる」という投稿は、極めて誤解を招くものです

ステージマジシャンは、しばしば同じ手品を複数の方法で演じます。最初のイテレーションではギミック小道具を使用し、次のイテレーションではその小道具がギミックではないことを示し、手品師が物を隠す技術を見せ、3回目には観客に選択を強制するなどです。パフォーマンスを見ていると、観客は1つのテクニックしか使われていないと思い込むため、毎回手品が演じられるたびに、それがどのように機能しているかについての仮説が否定されているように感じます。

これは、「AstraはQwenを改善するために重みを読み書きできる」という投稿で行われている実験とほぼ同じです。投稿の要旨には次のように書かれています。

生の重みを見るだけで、GPT-6 Astraはネットワークが何を学習するように訓練されたかを判断できます。そして、環境フィードバックなしに、ゼロから、PPOで1億ステップ訓練されたネットワークを凌駕する小さなゲームプレイネットワークを作成することに何ら問題はありません。

同様に、勾配なしでQwen3.5-0.8Bの数学能力を向上させるように求められたAstraは、Qwen自身のモデルカードが警告している、その重みに起因する問題を特定し、重みの0.016%をネイティブに編集することでこれを修正します。同じサンプリング設定で、この重み補正によりMATH-500は7.9%から48.1%に向上し、命令追従タスクにそのまま汎化し、IFEvalを3倍に向上させます。

これを読んだら、「生の重みを見るだけで」Qwenの実験が機能したと仮定しますか？実際にはそうではありません。事実、たとえ「小さなゲームプレイネットワーク」の実験でさえ、「生の重みを見るだけ」では機能しません。生の重みを調べる実験、ゲームプレイネットワークを改善する実験、そしてQwenの数学能力を改善する実験があります。しかし、後者の2つは単に生の重みを調べているだけではありません。

投稿が実際に行っていることと、そのテクニックがどのように機能するかをまとめた表を以下に示します。

¹ 失敗した記録されたエピソードが1つ提供された。
² 1回の試行で、重みの3.5%を変更。
³ 重みはゼロから始まるため、読み取るものはない。
⁴ BreakoutではPPO-500Mを凌駕 (517 vs. 25) するが、Seaquest (53 vs. 89) とAsterix (53 vs. 55) では負ける。
⁵ 最大16のテキストを実行し、出力ではなくアテンションパターンのみを見る。

「生の重みを見るだけ」の設定（コンテキスト内の生の浮動小数点数、ツールなし、ネットワーク実行なし）は、実験1、2、4、および17K–172Kの重みを持つネットワークにのみ現れます。実際の言語モデルが関わるすべての実験ではPythonが使用されており、Qwenの結果、つまり見出しとなっている結果では、最大50バッチの練習問題でモデルを実行することもできます。

Qwenの結果が実際に示しているのは、Astraが人間のMLエンジニアができるタスクを考案し実行するようにプロンプトできるということです。人間のMLエンジニアは、ネットワークの重みを「直接」分析したり、変更したりするコードスニペットを常に書いています。これを生産的に行う方法を見つけることは決して簡単なことではありません。そして、1〜2年前のAIモデルであれば、これらのタスクすべてで失敗していたでしょう。

しかし、私にとって、Qwenの結果やPythonを使用する他の実験は、重みを直接読み取る実験と同じ投稿や論文に含めるべきではありません。「小さなゲームの重みをゼロから作成する」ことと、「サンプルタスクでの大規模モデルのパフォーマンスを向上させる」ことの両方を達成できる単一のテクニックがあれば、それは重みの深い能力（それをゼロから書き出すことができる）と、それが既存の大規模ネットワークを理解していることを示唆します。しかし、それは単一のテクニックではないため、まったく真実ではありません。