Claude/GPTの知識カットオフと事前学習タイムラインを探る

Claude/GPTの知識カットオフと事前学習タイムラインを探るモデルが何を知っているかと、それがどのようにトレーニングされたかについて教えてくれることの分析。 Shrivu Shankar 2026年8月10日 共有 注意深くキュレーションされたリクエストで「プローブ」することにより、最先端モデルのトレーニング方法に関する隠された事実を学ぶことができます。 ニッチな事実でスコアリングすることで、「非圧縮知識プローブ」を使用してGPT-5やOpusのようなモデルがいくつのパラメータを持っているかを近似できます。 モデルがトークンをどのように分解するかを測定することで、「データ混合推論」を使用してモデルのトレーニングに使用されたデータセットの混合（少なくともトークナイザー）に関する事実を明らかにできます。 日付または自己識別関連の質問でスコアリングすることで、トレーニングタイムラインを推定することもできます（この記事）。 ここにあるすべては推定です。検証するための公開されている正確な情報がそれほど多くないため、この記事のいくつかの推測は完全に間違っている可能性があります。 最先端モデルはどのようにトレーニングされるか モデルトレーニングの3つの主要な段階。 簡単な予備知識として（詳細についてはAlex Waのブログを参照）、大規模言語モデルのトレーニング方法は3つの段階に収束しています。 大量の汎用データ（インターネットをスクレイピングするなど）を取り込み、そのデータで大規模なオートコンプリートモデルを「事前学習」します。 ドメイン固有の「教科書品質」データを使用して、ベースモデルを改善し、長文理解などの特定のベース機能を拡張します。 ベースモデルを「アシスタント」ペルソナに変え、その個性、推論能力、ツール呼び出しを洗練させます。 推論と問題解決能力の向上にポストトレーニングでますます多くのコンピューティングリソースが費やされていますが、最もコストがかかりデータ集約的なステップの1つは、事前トレーニングチェックポイントの生成です（「チェックポイント」とは、大規模なclaude-super-secret-2026-11-01-base.cpktファイルを考えてください）。すべてのラボの運営方法はわずかに異なりますが、表示される可能性のあるもの（約44ページ）は次のとおりです。 「事前トレーニング」チームが開始し、ベースチェックポイントを取得するために数ヶ月にわたる実行を監視します。これらの事前トレーニングモデルは、しばしば、しかし必ずしもそうではありませんが、リリースされたモデルのメジャーバージョン（GPT-4 → GPT-5）を意味します。 それが進行中、他のチームは最新のベースモデルの改善方法について実験を実行します。ポストトレーニングと機能の進歩は、しばしばリリースされたモデルのマイナーバージョンとして現れます。これらのチームは、単一のポストトレーニングモデルを、モデルファミリー（Fable/Opus/Sonnet/Haiku、Sol/Terra/Luna）となる小さなバリアントに「蒸留」することもあります。ラボは、バージョンN+1チェックポイントのx%が完全に焼き上げられたバージョンNチェックポイントよりも優れているとすぐに、不完全な事前トレーニングチェックポイントからポストトレーニングモデルをリリースすることもできます。 一般に公開されるモデルは、最新のチェックポイントと、それに適用された最高の機能およびポストトレーニング技術の集大成です。 これを念頭に置いて、公式APIを通じてモデルをプローブするだけで、このプロセスのどの程度「見える」のか興味がありました。 モデル知識タイムライン 歴史的なクイズ 事前トレーニングチェックポイントの日付を推定するために、Wikipediaから毎日の事実のデータセット（例: 2025年の米国）を作成し、すべてのモデルに与えられた日の出来事に関する8択クイズを実施しました。次に、エラー率のタイムラインを分析することで、トレーニングデータセットからの信号がいつ失われるかを大まかに把握できます。 全データセットを表示。 GPT-5.4の場合、事実推定の知識カットオフがOpenAIが公開した知識カットオフと一致していることがわかります。これは、モデルが未来の出来事を推測する能力が高く、トレーニング中にデータ内の最近の出来事がアンダーサンプリングされているというアーティファクトによるものです。これも、カーブの開始または終了ではなく中間点を使用する理由です。 次にこれをすべてのモデルにプロットできます。 全データセットを表示。 モデルのカーブをフルビューアで並べて比較すると、カットオフが発生した場所とその急峻さを大まかに把握しやすくなります。これらのチャートをしばらく見つめた後、以下のような推測をしています。 AnthropicのモデルOpus 4.7以降はすべて同じトレーニング実行からのもので、カットオフは2025年後半頃です。これは、それらがすべて非常に似た実効知識カットオフ（緑色）を共有していることから導き出されます。ここでの私の中心的な仮定は、事前トレーニングベースモデルの完了日は、使用されたデータセットのタイムスパンと強く相関しているということです。もしそれが間違っていれば、これらの結果はオフセット（例: 実際には2026年1月）でずれる可能性があります。また、Opus 4.7+モデルがすべて公開された信頼性の高い全体的な知識カットオフが同一であることも興味深いです。これは新しいポストトレーニング技術が使用されているためかもしれません。 OpenAIのGPT-5.6ファミリーは、2026年2月下旬頃に完了した、GPT-5.5とは別の独自のチェックポイントから来ています。これは、以前のモデルとは異なる実効知識カットオフを持っていることから導き出されます。Lunaは未来を予測できるように見えますが、それは「低い」推論努力で全体的に高いエラー率を持っているアーティファクトです。 Opus 5は少し変わっています。公開された信頼性の高い全体的な知識カットオフは2026年5月ですが、以前の2026年1月のカットオフモデルよりも何も知らないように見えます。私は、使用したプローブ質問の種類によるアーティファクトかどうかをテストするためにいくつかの削減実験を行いましたが、実際にはそうではありませんでした。カットオフはコーディングパッケージバージョンのリコールにも適用されます。 自己申告日付 モデルに今日が何日か尋ねたらどうなるでしょうか？ 全データセットを表示。 破線上の対角線は、モデルの自己申告が事実知識と一致していることを示します。それより下では、モデルは自身の過去に生きていると考えています。最近のOpenAIモデルは除外されています。APIはすべてのリクエストに実際の日付を挿入するためです（TIL！この機能は多くの人々を悩ませています）。 事実ベースの推定とかなり相関しています。注意深く見ると、モデルファミリーの中にいくつかの垂直線が見られます。 GPT-4.1 nano → GPT-4.1 mini → GPT-4.1 Opus 4.7 → Sonnet 5 → Fable/Opus 5 X =「事前トレーニングコーパス」、Y =「ポストトレーニング動作」としてこのグラフを解釈すると、これらの垂直ストリップ（X一定、Y増加）は、 recency-biased データセットでのアクティブなポストトレーニングを可視化します。古い教師モデルのコピーからの蒸留が、小さいモデルが古い日付を自己申告する原因である可能性があります。 自己申告アイデンティティ モデルが自分自身をどのように見ているかを見ることで、トレーニングタイムラインとデータセットを間接的に予測することもできます。モデルが事前トレーニングデータセットで「私はXです」を多く見るほど、他の接地コンテキストが与えられない場合にそれを繰り返す可能性が高くなります。 全データセット。 各行は実際のモデル、各列は50回の「あなたはどのモデルですか？」プローブ（5つのフレーズ×10サンプル、推測を促し、システムプロンプトなし）から抽出された自己申告アイデンティティです。セルの色合い = その名前を主張するモデルの応答の割合。緑色の輪郭 = その主張はモデルの真のファミリーと一致します（太い輪郭 = 正確なバージョン — これは一度も起こりませんでした）。さらにいくつかのクールなビジュアル。 これらのチャートをしばらく見つめた後： 垂直バンドは、ラボが過去のモデルの出力（ユーザーから）でトレーニングしている明確なパターンを示しています。OpenAIの場合はGPT-4、GPT-4o、しばらくGPT-4.1、最近ではGPT-5と「ChatGPT」です。Anthropicの場合は3.5 Sonnet、その後最近のモデルはSonnet 4.5に切り替わります。これは、それぞれChatGPT.comとClaude.aiからのチャットでトレーニングしていることと非常によく一致しているようです。ユーザーは最新のモデルとチャットし、そのセッションはトレーニング資料（直接またはWebの汚染を介して）になりました。これらが内部合成データセットから来ている可能性は低いと思われます。なぜなら、それらはモデルのアイデンティティを抑制するのがはるかに簡単だからです（消費者チャットセッションでシステムプロンプトに埋め込まれているのではなく）。チャットでのトレーニングは新しい情報ではありませんが、このようなプローブで文字通り表現されているのを見るのは興味深いです。 OpenAIモデルが（テスラモデルSを一時的に除く）他のラボのモデルとして識別されることは決してありませんが、AnthropicのSonnet 5が定期的にGPT-4として自己識別するのは少し刺激的です。意図的にGPT-4を蒸留しているとは考えにくいですが、古いChatGPTチャットの多くがまだ（テキストの末尾）