HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

LLMが小学5年生以降の教材を見ずに学習した場合、何が起こるか?

What happens when an LLM never sees material beyond fifth grade? (littlelearner-ll.github.io)

198 pointsby porridgeraisin168 コメント

要約

LittleLearnerは、小学5年生までの米国公立学校のカリキュラムに限定されたデータセットで学習させた大規模言語モデル(LLM)の研究プロジェクトです。実験の結果、モデルの能力は学習データセットの範囲内に留まり、スケーリングや追加学習を行っても、カリキュラム外の知識や能力を meaningfully に向上させることはできませんでした。この研究は、LLMの能力限界が事前学習データによって設定されることを示唆しています。

全文翻訳

LittleLearnerと話す

ブラウザ上で動作するホスト型5Bモデル。
新しいタブで開く ↗ チャットが以下にロードされない場合。

ℹ️ 研究成果物: このモデルは子供向けに設計されたり、安全性が調整されたりするものではありません。学術研究目的で使用されます。

モデルが知識を獲得する方法を研究するための制御されたサンドボックス

現代のLLMはすべてを一度に学習するため、新しいスキルが「学習」されたのか、単に「引き出された」のかを判断するのは困難です。私たちは学習分布自体を制限します。具体的には、880億トークンのコーパスを米国の初等教育カリキュラムにフィルタリングし、そこからモデルをゼロから学習させ、フィルタリングされていない対照群と比較します。

LittleCurriculum

Common Core基準(K–5)に沿った5段階のフィルタリングパイプラインを通じてFineWeb-Eduから抽出された880億トークンのコーパスです。5年生以上の概念、事実、語彙は明示的に除外されています。

LittleLearner

LittleCurriculumでゼロから学習された3つのスケール(0.6B / 1.3B / 5B)のモデルです。解釈可能な知識の境界を持つチャット可能なモデルです。それぞれに、比較のためのフィルタリングされていない対照モデルが付属しています。

引き出し、獲得ではない

私たちの実験では、スケーリング、ポストトレーニング(SFT+GRPO)、およびコンテキスト内学習はカリキュラムで教えられたことを増幅しますが、範囲外のパフォーマンスを意味のあるレベルで改善するものはありません。これは、事前学習のフィルタリングが効果的な能力の上限を設定することを示唆しています。

モデルチェックポイント

3つのスケール(0.6B / 1.3B / 5B)のLittleLearner、それぞれにアーキテクチャ、トークン、レシピを共有するフィルタリングされていない対照モデルが付属しています。

Base: 事前学習済みモデル。
GRPO: MathCAMPSでポストトレーニングされた数学の専門家。応答は数学指向の出力になる傾向を示す場合があります。
Chatty: 一般的なチャット動作に合わせて調整されたバリアント。

スケールLittleLearner · K–5chatty対照モデル · フィルタリングなし

能力はカリキュラム内に留まる

標準的な介入は、モデルを事前学習データが教えた範囲を超えて押し出すことができるでしょうか?実験的に制御された境界があるため、明確に質問できます。私たちの実験では、各介入は範囲内の能力を増幅しますが、範囲外のパフォーマンスを意味のあるレベルで改善するものはありません。

スケーリング

モデルサイズの拡大は、モデルの制御された知識露出内のパフォーマンスを向上させ、同じ学習軌道に沿った問題にわずかに拡張しますが、露出外のより高度な能力を必要とする問題に対する改善はほとんどありません。

モデルサイズ別の学年別MathCAMPS精度

ポストトレーニング

GRPOによるポストトレーニングは、K–5の範囲内の能力を大幅に向上させますが、範囲外のデータでトレーニングした場合でも、K–5を超える範囲外の能力を回復できません。

ポストトレーニングはK–5を増幅し、K–5を超えるギャップは増幅しない

コンテキスト内学習

テストしたプロンプトを使用したコンテキスト内学習は、5B LittleLearnerでは、K–5を超える範囲での新しい推論能力を解き放ちません。

プロンプト条件別の精度

何を教えますか?

LittleLearnerの学習露出が明示的に指定されているため、行動的および表現的な変化は、導入された概念に直接関連付けることができます。私たちが興奮している3つの方向性があります:

01

RL & 発見

RLは能力を生み出せるか?

事前学習はK–5に制限されているため、RL下で現れる能力はRLプロセス自体に起因すると考えられます。報酬駆動の発見のための扱いやすい代理。

02

継続学習

ある概念が学習されるのを見る

負の数を導入し、サンプル効率、保持、干渉を測定します。または境界付近の動作をプローブします。モデルは応答しますか、遠慮しますか、それとも幻覚を見ますか?

03

教育科学

機械学習者 vs. 人間の子供の学習者

指定された露出により、人間とモデルの制御された比較が可能になります。モデルと子供は、分数学習のために同様の露出を必要としますか、それとも文章問題で同様のエラーを犯しますか?

+

あなたの番

あなた自身の質問を持ってきてください

既知の境界線があなたのアイデアをクリーンな実験に変えます!

この研究が役立つと思ったら

私たちの論文を引用してください:

@misc{littlelearner2026,
      title={{LittleLearner}: Language Models Under Pedagogically-Controlled Knowledge Exposure},
      author={Fanfei Li and Jana Zeller and Manuel Prada-Corral and Thaddäus Wiedemer and Prasanna Mayilvahanan and Ryan Cotterell and Wieland Brendel},
      year={2026},
      eprint={2608.13545},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2608.13545}
}