HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Claude/GPTの知識カットオフと事前学習タイムラインを探る

Exploring Claude/GPT Knowledge Cutoffs and Pre-Training Timelines (blog.sshh.io)

130 pointsby sshh1216 コメント

要約

この記事では、大規模言語モデル(LLM)の知識カットオフと事前学習のタイムラインを、モデルへの質問を通じて推定する方法を探求しています。モデルがどの程度過去の事実を知っているかを調べることで、その学習データセットの時期や、モデルのアーキテクチャ、トレーニングプロセスに関する洞察を得ることができます。

全文翻訳

Claude/GPTの知識カットオフと事前学習タイムラインを探る

注意深くキュレーションされたリクエストでフロンティアモデルを「プローブ」することで、それらがどのようにトレーニングされたかについての隠された事実を学ぶことができます。

  • ニッチな事実に基づいてスコアリングすることで、「圧縮不可能な知識プローブ」を使用して、GPT-5やOpusのようなモデルがいくつのパラメータを持っているかを近似できます。
  • モデルがトークンをどのように分解するかを測定することで、モデルのトレーニングに使用されたデータセットの混合(少なくともトークナイザー)に関する事実を明らかにできます(「データ混合推論」を使用)。
  • 日付や自己認識に関する質問でスコアリングすることで、トレーニングのタイムラインを推定することもできます(この記事)。

ここにあるすべては推定値です。検証するための公開されている正確な真実はそれほど多くないため、この記事のいくつかの推測は完全に間違っている可能性があります。

フロンティアモデルのトレーニング方法

画像: モデルトレーニングの3つの主要段階を示す図

モデルトレーニングの3つの主要段階。

簡単な入門として(Alex Waのブログを参照)、大規模な大規模言語モデルをどのようにトレーニングするかは3つの段階に収束しています。

  1. 大量の汎用データ(インターネットをスクレイピングしたもの)を取得し、そのデータで大規模な自動補完モデルを「事前学習」します。
  2. ドメイン固有の「教科書品質」データを使用して、ベースモデルを改善し、長文理解などの特定のベース機能を拡張します。
  3. ベースモデルを「アシスタント」ペルソナに変え、その個性、推論能力、ツール呼び出しを洗練させます。

推論と問題解決能力の向上にポストトレーニングでますます多くの計算能力が費やされていますが、最もコストがかかりデータ集約的なステップの1つは、その事前トレーニングチェックポイント(「チェックポイント」とは、大規模な claude-super-secret-2026-11-01-base.cpkt ファイルを想像してください)を生成することです。

すべてのラボが若干異なる運営をしていますが、見られる可能性のあるもの(約44ページ)は次のとおりです。

  • 「事前トレーニング」チームが開始し、数ヶ月にわたる実行を監視してベースチェックポイントを取得します。これらの事前トレーニングモデルは、多くの場合(常にではないが)、リリースされたモデルのメジャーバージョン(GPT-4 → GPT-5)を示唆します。
  • それが進行中、能力チームとポストトレーニングチームは、最新のベースモデルを改善する方法について実験を実行します。ポストトレーニングと能力の進歩は、リリースされたモデルのマイナーバージョンとして現れることがよくあります。これらのチームは、単一のポストトレーニングモデルを、モデルファミリー(Fable/Opus/Sonnet/Haiku、Sol/Terra/Luna)となる小規模なバリアントに「蒸留」することもあります。ラボは、バージョンN+1チェックポイントのx%が100%完成したバージョンNチェックポイントよりも優れているとすぐに、中途半端な事前トレーニングチェックポイントからポストトレーニングモデルをリリースすることもあります。
  • 公開されるモデルは、最新のチェックポイントに、適用された最高の能力とポストトレーニング技術のセットを組み合わせたものです。

これを念頭に置いて、公式APIを通じてモデルをプローブするだけで、このプロセスのどの程度「見ることができる」のか興味がありました。

モデルの知識タイムライン

歴史的クイズ

事前トレーニングチェックポイントの日付を推定するために、Wikipediaから毎日(例: 2025年のアメリカ合衆国)の事実のデータセットを構築し、すべてのモデルに、特定の日に何が起こったかについて8択の多肢選択クイズを実施しました。次に、エラー率のタイムラインを分析することで、トレーニングデータセットからの信号がいつ失われたかを大まかに確認できます。

画像: GPT-5.4の事実推定知識カットオフがOpenAIの公開知識カットオフと一致していることを示すグラフ

データセット全体を表示。GPT-5.4では、事実推定の知識カットオフがOpenAIの公開知識カットオフと一致していることがわかります。モデルが未来の出来事を推測する能力が高く、またトレーニング中にデータ内の最近の出来事が過小評価されているというアーティファクトのため、滑らかになっています。これも、カーブの開始または終了ではなく中間点を使用する理由です。

次にこれをすべてのモデルにプロットできます。

画像: 複数のモデルの推定知識カットオフと公開日を比較するグラフ

データセット全体を表示。推定知識カットオフと公開日。

フルビューアでモデルカーブを並べて比較すると、カットオフが発生した場所とその急峻さが大まかにわかりやすくなります。

これらのチャートをしばらく見つめた後、私の推測は次のとおりです。

  • AnthropicのモデルOpus 4.7以降はすべて、2025年12月下旬頃にカットオフされた同じトレーニング実行からのものです。これは、それらがすべて非常に似た実効知識カットオフ(緑色)を共有していることから導き出されます。ここでの私の中心的な仮定は、事前トレーニングベースモデルの完了日は、使用されたデータセットのタイムスパンと強く相関しているということです。それが間違っていれば、これらの結果はオフセット(例: 実際には2026年1月)でずれる可能性があります。また、Opus 4.7+モデルがすべて公開された信頼性の高い全体的な知識カットオフが同一であることも興味深い点です。これは新しいポストトレーニング技術が使用されているためでしょうか?
  • OpenAIのGPT-5.6ファミリーは、2026年2月下旬頃に完了した独自のチェックポイントから来ており、GPT-5.5とは別です。これは、以前のモデルとは異なる実効知識カットオフを持っていることから導き出されます。Lunaは未来を予測できるように見えますが、それは「低い」推論努力で全体的に高いエラー率を持っているアーティファクトです。
  • Opus 5は少し珍しいです。公開された信頼性の高い全体的な知識カットオフは2026年5月ですが、以前の2026年1月のカットオフモデルよりも多くのことを知っているようには見えません。プローブ質問の種類によるアーティファクトかどうかをテストするためにいくつかの削減実験を行いましたが、それほどではありませんでした。カットオフは、コーディングパッケージのバージョンに関する記憶にも適用されます。
自己申告の日付

モデルに今日が何日かを尋ねたらどうなるでしょうか?

画像: モデルが今日の日付を自己申告する様子を示すグラフ。対角線上が一致、下回ると過去を認識していることを示す

データセット全体を表示。破線の対角線上で、モデルの自己申告は事実上の知識と一致します。その下では、モデルは自分自身が過去に生きていると考えています。最近のOpenAIモデルは除外されています。なぜなら、APIはすべてのリクエストに実際の日付を注入するからです(TIL!この機能は多くの人々を非常に悩ませていますこのリンク)。

事実ベースの推定とかなり相関しています。注意深く見ると、モデルファミリーの一部に数本の垂直線が見られます。

  • GPT-4.1 nano → GPT-4.1 mini → GPT-4.1
  • Opus 4.7 → Sonnet 5 → Fable/Opus 5

このグラフを X = 「事前トレーニングコーパス」 Y = 「ポストトレーニングされた動作」と解釈すると、これらの垂直ストリップ(X一定、Y増加)は、最近性を重視したデータセットでのアクティブなポストトレーニングを視覚化しています。古い教師モデルのコピーからの蒸留が、小規模モデルが古い日付を自己申告する原因となっている可能性があります。

自己申告のアイデンティティ

モデルが自分自身を誰だと考えているかを見ることで、トレーニングのタイムラインやデータセットに関する予測を間接的に行うこともできます。モデルが事前トレーニングデータセットで「私はXです」を多く見るほど、他の根拠となるコンテキストが与えられない場合にそれを繰り返す可能性が高くなります。

画像: モデルが自己申告するアイデンティティの分布を示すグラフ

データセット全体。各行は実際のモデル、各列は50回の「あなたはどのモデルですか?」プローブ(5つのフレーズ × 10サンプル、推測を促し、システムプロンプトなし)から抽出された自己申告のアイデンティティです。セルの色合い = その名前を主張するモデルの応答の割合。緑色の輪郭 = その主張がモデルの実際のファミリーと一致すること(太い輪郭 = 正確なバージョン — これは一度も発生しませんでした。さらにいくつかの興味深いビジュアル。)。

これらのチャートをしばらく見つめた後:

  • 垂直バンドは、ラボが過去のモデルの出力(ユーザーから)でトレーニングしている明確なパターンを示しています。 OpenAIの場合はGPT-4、GPT-4o、しばらくGPT-4.1、最近ではGPT-5と「ChatGPT」です。Anthropicの場合は3.5 Sonnet、その後より最近のモデルがSonnet 4.5に切り替わります。これは、それぞれChatGPT.comとClaude.aiからのチャットでトレーニングしていることと非常によく一致しているようです。ユーザーは最新のモデルとチャットし、そのセッションがトレーニング資料(直接またはWebの汚染を介して)になりました。これらが内部合成データセットから来ている可能性は低いと思われます。なぜなら、それらはモデルのアイデンティティを抑制するのがはるかに容易だからです(消費者チャットセッションでシステムプロンプトに埋め込まれているのと対照的です)。チャットでのトレーニングは新しい情報ではありませんが、このようにプローブで文字通り表現されているのを見るのは興味深いです。
  • OpenAIモデルが(一時的なTesla Model Sを除いて)他のラボのモデルとして識別されることは決してないのに、AnthropicのSonnet 5が定期的にGPT-4として自己識別するのは、少し刺激的です。意図的にGPT-4を蒸留しているとは考えにくいですが、古いChatGPTのチャットの多くがClaudeのトレーニング混合物にまだ入り込んでいる可能性があります。また、Sonnet 3.5の系統を通じて世代間で引き継がれている可能性もあります(つまり、Sonnet 5はSonnet 3.5データでトレーニングされており、それ自体がGPT-4を強く含むデータセットを持っていた可能性があります)。さらに、フォローアップ実験では、モデルXのようにアイデンティティの質問に答えるように求められた場合、ClaudesはOpenAIモデルの測定された癖を68%で再現します。OpenAIモデルはClaudesに対して8%を達成します。

以上です。これが少しでも興味深いものであったなら幸いです。データをもっと探求したい場合は、以下のリンクを参照してください。

投稿なし