モデルは意図的に「賢くなく」なっている
Models Are Getting Dumber on Purpose (w4g1.dev)
要約
AIモデルは、推論能力を向上させる一方で、事実知識を犠牲にする傾向があります。これは、事実の記憶に多くのパラメータを費やすよりも、推論手順を効率的に学習させる方が、計算コストやモデルの陳腐化の観点から有利であるという意図的な設計判断によるものです。このアプローチは、外部知識ベースやツールとの連携を前提とし、ハルシネーション(幻覚)の抑制にも繋がると期待されています。
全文翻訳
モデルは意図的に「愚か」になっている
推論スコアは上昇し続けている一方で、トークンあたりの計算量は低下しています。GLM-5.2 は、トークンあたり約400億のパラメータをアクティブにして、AIME 2026で99.2%のスコアを記録しました。Qwen3.5は170億アクティブで91.3%を記録しました。DeepSeek V4-Flash は130億アクティブで動作します。規模で言えば、GPT-4は2023年に約2800億のアクティブパラメータで動作していたと噂されており、AIMEの問題をかろうじて解くことができました。小さい方では、Qwen3.5 9B は量子化されて6GBのVRAMに収まり、Artificial Analysisのインテリジェンスインデックスで10Bパラメータ未満の次のベストモデルのスコアを約2倍にします。もし数学とコードのベンチマークだけを見ていれば、モデルはパラメータあたり驚異的な速さで賢くなっていると結論づけるでしょう。
それらは、それらのベンチマークにおいてはそうです。同じモデルに単純な事実に関する質問をすると、状況は一変します。ツールが許可されない事実の想起に関するベンチマークであるSimpleQA では、現在のリーダーはGemini 2.5 Proで53%であり、お金で買える最高の想起能力でも半分の質問を間違えます。小さいモデルはほとんど意味をなしません。Artificial Analysisは、Qwen3.5 4Bと9Bの知識ベンチマークにおけるハルシネーション率を80%から82%と測定しており、これは、事実を知らない場合(ほとんどの場合)、それを作り出していることを意味します。9Bモデルに、19世紀のマイナーな数学者の生年を尋ねると、自信に満ちた、もっともらしい、間違った答えが得られます。パラメータ数が無料で減ったわけではありません。研究室は、世界的な知識を推論スキルと交換しており、その交換は意図的です。
パラメータは何のためにあったのか
事実を記憶するにはスペースが必要です。知識容量に関する研究(「言語モデルの物理学」シリーズに最もクリーンな測定値があります)は、パラメータあたり約2ビットの事実知識というオーダーを置いています。もしあなたが、すべてのマイナーなWikipediaの人物の生年、すべてのオランダの自治体の人口、そしてすべてのnpmパッケージのすべての関数の引数の順序を知っているモデルが欲しいなら、そのために重み(weights)で支払う必要があり、それがフロンティアモデルが数兆パラメータに成長した大きな理由の一つです。
推論は事実よりもはるかにうまく圧縮できます。なぜなら、それは繰り返し適用される比較的少数の手順だからです。問題を部分に分解する、中間状態を追跡する、自身の作業をチェックする、ステップが失敗したときに後退する。検証可能なタスクでの蒸留と強化学習は、それらの手順を驚くほどうまく小さなモデルに転送することが判明しています。Phi-4は140億パラメータで、合成的な教科書スタイルのデータで重点的にトレーニングされており、数学は得意ですがトリビアは苦手です。これは、そのトレーニングデータに何が含まれていたかを正確に示しています。その混合物は、かつては合成データアプローチの限界のように見えていました。今では設計目標のように見えます。
交換で生き残る知識には形があります。これらのモデルはジェネラリストです。ほぼすべてのことについて少しは知っていますが、深く知っていることはほとんどありません。PostgreSQLについて尋ねると、それが何であるか、何に役立つか、そしてMVCCがどのように機能するかを大まかに知っていますが、特定のプランナー機能を追加したバージョンを尋ねると、捏造された事実に逆戻りします。それが重みに保持するのに適切なレイヤーです。なぜなら、広範さがモデルが質問の意味を理解し、何を調べるべきかを知り、ソースがもっともらしいかどうかを判断できるようにするからです。深さは取得するのは簡単で、保存するのは高価なので、失われる部分なのです。
事実は腐るが、手順は腐らない
フロンティアのトレーニング実行には数ヶ月かかり、数億ドルかかります。そして、それが完了した瞬間から、その中の事実は古くなり始めます。ライブラリAPIは変更され、価格は変更され、人々は職を変え、2024年のモデルがJavaScriptエコシステムについて信じていたことの半分は、モデルが出荷される前に時代遅れになっていました。重みに焼き付けられたすべての事実は賞味期限があり、それを更新する唯一の方法は、別のトレーニング実行を行うことです。
手順は腐りません。代数は1970年と同じように現在も機能しており、問題を分解したり、2つのソース間の矛盾を見つけたりすることも同様です。主に手順で構成され、事実のロードが少ないモデルは、知識量の多いモデルのように古くなりません。そのトレーニングカットオフは、世界の現在の状態がそもそも重みに住むことを意図されていなかったため、それほど重要ではありません。これがこのアプローチ全体の最良の議論だと思います。それは、高価で遅い成果物(トレーニング済みモデル)を、毎日変化するもの(真実であること)から切り離します。
ハーネスが知識を運ぶ
モデルが物事を知らない場合、他の何かがそれを知る必要があり、それがハーネスです。知識ベースの検索、ツール呼び出し、Web検索、ドキュメントでいっぱいのファイルシステムです。私は以前、Rustはエージェントのハーネスであり、安価な機械チェック可能なフィードバックのソースであると書きました。これは反対側からの同じ形です。モデルは推論を提供し、それが推論するすべてのものは実行時に供給されます。
この方法でエージェントが動作する様子はすでに確認できます。コーディングエージェントは、依存関係のAPIサーフェスを記憶する必要はありません。なぜなら、呼び出しを行う前にnode_modulesをgrepしたり、ドキュメントを読んだりするからです。そして、その回答は、トレーニングデータで支配的だったバージョンではなく、実際にインストールされているバージョンに基づいています。かつて各フォワードパスの固定コストだった想起は、オンデマンドのルックアップになりました。
GPUで実行できるフロンティアモデル
このトレンドを数年先に進めると、フロンティア品質の推論、Fable品質のモデルが、単一のコンシューマーGPUで実行できるようになると考えています。計算部分はほぼ完了しています。DeepSeek V4-Flashは、トークンあたり約130億のアクティブパラメータで推論しており、コンシューマーGPUの範囲内です。収まらないのは、そのエキスパートにある他の2710億パラメータであり、エキスパートレイヤーは主に事実のストレージです。それが、この交換全体がオプションにする部分です。知識を取り除くと、総サイズはアクティブサイズに向かって縮小し、4ビット量子化された20〜40Bモデルは、2022年からゲームPCに搭載されている24GBカードに収まります。
ただし、それがあまり多くのことを知らないという点が問題です。ツールが接続されていない生の事実に関する質問をすると、正しい行動は、知らないと言って、それを調べることです。まともなハーネスと組み合わせれば、それは私が今日フロンティアモデルで行っていることのほとんどであり、トークンあたりの請求なし、データがマシンから離れることなくローカルで実行できます。
これはハルシネーションをほぼ解決する
私が最も有望だと考えているのは、これがハルシネーションに何をもたらすかです。事実が重みに存在する場合、間違った事実は見つけられず、修正できません。重みをgrepすることはできず、先月からの差分を取ることもできません。そして、1つのエラーを修正することは、他の何かに影響を与える可能性のあるファインチューニングを意味します。モデルは、正しい事実と同じ流暢な自信で間違った事実を述べますが、チェックするアーティファクトはありません。
事実がモデルの外に存在する場合、間違った答えにはアドレスがあります。モデルはドキュメントを引用するので、そのドキュメントを開くことができます。ドキュメントが間違っている場合、ドキュメントを編集します。そして、将来のすべてのクエリはその修正を取得します。これは、次のトレーニング実行を約1年待つよりも優れています。検索はゼロにはなりませんが、モデルがソースを誤読したり、2つを誤って結合したりする可能性があるため、ソースを持つ主張はチェック可能であり、重みからの主張はそうではありません。知識ベース内の間違った事実は、通常のデータバグであり、私たちがすでにトレース、修正、および回帰テストの作成方法を知っている種類のことです。
この未来のバージョンでは、モデルカードが知識のカットオフをまったくリストしなくなる可能性があります。なぜなら、重みに残されたものは数週間ではなく数年のスケールで古くなるからです。モデルは、CPUがプログラムを受け取るのと同じように、実行時に世界の現在の状態を渡されるだけです。