Qwen 3.8はGPT-5.5 Proの推論プリフィルの後を追う
Qwen 3.8 follows GPT-5.5 Pro reasoning prefills (gist.github.com)
要約
この研究では、オープンソースモデルの推論能力を評価するため、GPT-5.5 Proの推論の一部を「プリフィル」として与えた場合のモデルの応答を比較しました。その結果、Qwen 3.8モデルは、プリフィルなしの場合と比較して、GPT-5.5 Proの推論を大幅に取り込むようになり、特に合成パズルにおいて顕著な改善が見られました。これは、QwenがGPT-5.5 Proまたは類似モデルから学習した可能性を示唆しています。
全文翻訳
推論プリフィルに関するオープンモデルでの実験、v1.1
推論プリフィルに関するオープンモデルでの実験およびStolen Thoughtsの続編です。
v1.1では、GPT-5.5 Proをティーチャーとして推論プリフィル実験を再実行しました。
各問題について、ターゲットモデルから2つの応答を生成しました。
- 通常の、プリフィルなしの応答。
- GPT-5.5 Proの推論の最初の1%をターゲットモデルの推論チャンネルに挿入した応答。
可視的な回答は自由に生成されたままでした。その後、ティーチャーの可視的な回答のどれだけが、ターゲットモデルの回答の最初の100トークンに含まれていたかを測定しました。前回の投稿と同様に、各スコアはユニグラム、バイグラム、トライグラムのソースリコールの平均です。デルタは絶対的なパーセンテージポイントの変化です。
全問題
評価には45問が含まれます。STEM 15問、非STEM 15問、合成パズル15問です。
| モデル | n | プリフィルなし | GPT-5.5 Pro 推論プリフィル | デルタ |
|---|---|---|---|---|
| DeepSeek V4 Flash | 45 | 27.30% | 26.13% | −1.17 pp |
| Inkling | 45 | 19.99% | 20.45% | +0.46 pp |
| Kimi K3 | 45 | 31.11% | 35.65% | +4.54 pp |
| Qwen3.8 A95B | 45 | 16.79% | 34.97% | +18.18 pp |
カテゴリ別 Qwen
| カテゴリ | n | プリフィルなし | GPT-5.5 Pro 推論プリフィル | デルタ |
|---|---|---|---|---|
| STEM | 15 | 19.26% | 46.24% | +26.99 pp |
| Non-STEM | 15 | 20.62% | 33.42% | +12.80 pp |
| Puzzle | 15 | 10.49% | 25.23% | +14.75 pp |
| All | 45 | 16.79% | 34.97% | +18.18 pp |
考察
Qwenは以前の実験ではOpus 4.8にほとんど動きを見せませんでしたが、今回の実験ではGPT-5.5 Proに対して+18.18ポイント動き、特にプライベートな合成パズルに大きな影響がありました。データは、QwenがOpusではなく、GPT-5.5 Pro、またはそれに非常に近いGPTモデルから学習した可能性を示唆しています。
Kimi K3は、プリフィルなしの場合（31.11%）とプリフィルありの場合（35.65%）の両方でGPT-5.5 Proとの重複が最も高いですが、プリフィルによる改善幅は+4.54ポイントに留まりました。