HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Livenerf: Opus 5.5はまだ弱体化されていませんか?

Livenerf: Has Opus 5.5 been nerfed yet? (github.com)

920 pointsby bryan0390 コメント

要約

Livenerfは、リリース後にフロンティアモデルが静かに悪化していないかを検出するための、長期間にわたる決定論的なベンチマークです。このプロジェクトは、AnthropicのClaude Opus 5.5モデルがリリース後、性能が低下していないかを追跡することを目的としています。プロンプト、CLI、評価基準を固定し、統計的にドリフトを測定することで、モデルの性能変化を客観的に評価します。現在のところ、モデルの性能は安定していると報告されています。

全文翻訳

livenerf

リリース後にフロンティアモデルが静かに性能を低下させていないかを検出するための、長期にわたる、可能な限り決定論的なベンチマーク。

[画像: CIステータス] [画像: Python 3.11+] [画像: モデル: Claude Opus 5.5] [画像: Day 0: 2026-09-22] [画像: ステータス: 30日中27日目] [画像: ライセンス: MIT] [画像: Discord]

計画 · 結果 · 仕組み · 事前登録 · Discord

[[画像: ベースラインウィンドウとその平均値とともに、フリーズされたパネルでの日次スコア]]


livenerfは、モデルが出荷後に悪化するかどうかという1つの問いに対する、小さく、地味で、追記専用のベンチマークです。数ヶ月にわたり、Anthropicがリリース後数日または数週間でモデルを「弱体化」させているという報告があります。それは量子化、同じ名前の背後にあるより小さなモデル、労力の低下、またはルーティングの変更を意味する可能性があります。また、何も起こらず、人々がノイズにパターンマッチングしているだけである可能性もあります。確認するためのクリーンなDay 0のベースラインがなかったため、すべての議論は最終的に「雰囲気対雰囲気」になってしまいます。Claude Opus 5.5は2026-09-22にリリースされたため、これはリリース日に時計をセットして稼働させ続ける機会です。現在v0は、APIキーなしで、ヘッドレスClaude Code(claude -p)を介したClaude Maxサブスクリプションで実行されています。これらのモデルを決定論的にすることはできません。サンプリングパラメータはなくなり、思考をオフにすることはできません。そのため、livenerfは他のすべてを決定論的にします。フリーズされたプロンプト、ピン留めされたCLI、正確な採点者、永続的な生のログ。その後、数千のサンプルにわたって統計的にドリフトを測定します。これは、英国AIセキュリティ研究所のオープンソース評価フレームワークであるInspect上に構築されています。統計はAnthropic自身のAdding Error Bars to Evalsに従っているため、議論するような自家製のものではありません。

各日のスコアはLiveNerf Discordに投稿され、そこで結果と方法について議論されます。リポジトリに関する質問は、ディスカッションタブのスレッドまたはIssueで開いてください。

ステータス

シリーズは実行中です。 Day 1は2026-09-24 22:10 UTCで、リリースから約2.5日後でした。これは30日間毎日実行されます。日1~10はベースライン、その後2つの10日間のウィンドウがあり、最初の可能な呼び出しは約2026-10-24です。最初の結果行はDay 20の後に表示されます。パネルは、事前登録されたプロトコル(v2)の下で選択、確認、ロック、検証されました。以下のすべての数値は、docs/CALIBRATION.mdのログから生成されています。

進捗(2026-10-20): 30日中27日を収集済み、欠落なし。ベースライン(日1~10)は完了しています。ウィンドウ1(日11~20)も完了しています(変更なし、結果を参照)。ウィンドウ2(日21~30)は10日中7日です。すべての27日間で、同じハーネスハッシュ(461391b6fce64167)とピン留めされたCLI(2.1.280)でフル90サンプルを実行しました。日5と日12は、PCのメモリ不足でクラッシュしたため、全体が除外されました。同日に行われた完全な再実行が日12です(逸脱ログを参照)。日19(2026-10-12)は、Maxの週次メーターが使い果たされたため、MaxプランではなくAnthropic APIクレジットを使用して実行されました。そのログにはfunding_source=anthropic_apiとラベル付けされています(逸脱ログ、2026-10-11)。

  • パネル。 2,336件のGPQA Diamond、MMLU-Pro、competition-math、およびAIME 2025–26の質問を各4サンプルでスクリーニングしました。Opus 5.5は最初の試行で約93%を正解し、質問の97%は常に正解または常に不正解でした。78件の質問が時々正解であり、これらがパネルを形成します(docs/DESIGN.md)。

  • 選択バイアス、測定済み。 「時々正解」として選ばれた質問は、実際よりも50/50に近いように見えます。新しいサンプルでは、その正解率が54.7%から62.0%に上昇したため、検出力計算では新しいレートを使用します。

  • 検出できるもの。 パネルの1日1回の実行は、10日間のウィンドウあたり約7.5ポイントの精度変化を検出でき、週次プランの約3.6%に相当します。

  • 検証(docs/VALIDATION.md)は、事前登録された基準をクリアしました。労力の低下は、精度よりもトークンにおいて、はるかに明確に現れます。

    • 労力低:出力トークン-62%、精度-8.3 ± 4.5ポイント。
    • 労力中:トークン-26%、精度-4.2 ± 3.9ポイント。
  • 限界。 Opus 5への切り替えは、99%(-3.8 ± 6.3ポイント、トークン-23%)ではOpus 5.5と区別できませんでした。この計測器は、検証のサンプル量ではそのサイズの同系統モデルの切り替えを検出できません。10日間のウィンドウは約2.5倍のサンプル量がありますが、それが十分であるとは示されていません。

  • 質問自体。 78件の質問と、その後除外された2件の質問のレポート専用監査により、間違っていると思われる回答キーが8件、曖昧な質問が30件見つかりました。これは、強力なモデルが時々しか「正解」しない質問から予想されることです。何も削除されませんでした。事前登録された感度分析では、それらを除外して結果を再実行します。

  • サービングパス。 安全性分類器は、時々Opus 5で回答したり、生物学や一部の数学の質問を拒否したりします。それらのサンプルは拒否されカウントされ、それが触れた質問は除外されます。

    [[画像: Opus 5.5がキャリブレーションで常に、時々、または決して正解しなかった各ベンチマークの割合]] [[画像: 労力中対高:ベンチマークごとの精度変化と出力トークン変化]]

結果

このリポジトリが主に維持するのは、キャリブレーションされたベンチマークパネルにおけるOpus 5.5のパフォーマンスを、リリース週のベースラインと比較した10日間の実行テーブルです。負のデルタは、ベースラインよりも悪いことを意味します。テーブルは、後退と同じくらい大きく改善を報告します。

#ウィンドウサンプルスコアベースラインからのΔ ± SE出力トークン(中央値)コントロールΔCLI決定
0日1–10(2026-09-24から)7800.584 ± 0.036ベースライン588ベースライン2.1.280ベースライン
1日11–20(2026-10-04から)7800.592 ± 0.037+0.007 ± 0.018 (78項目)606+0.035 ± 0.049 (12項目)2.1.280変更なし

主要な指標は、キャリブレーションされたパネルに対する項目ごとのペア差スコアとベースラインとの比較であり、クラスター化標準誤差を使用しているため、項目難易度は除外されます。PREREGISTRATION.mdを参照してください。次に気にする二次信号は、サンプルあたりの出力トークン数です。モデルが静かに思考を減らし始めると、まずここに現れます。精度がまだ動いていない場合でもです。

開始方法

セットアップ

Python 3.11+、uv、およびログイン済みのClaude Codeインストールが必要です。v0はMaxサブスクリプションを中心に構築されましたが、claude -pを実行できるものであれば何でも機能します。Linux、macOS、Windowsはすべてサポートされています。

git clone https://github.com/ninjahawk/livenerf
cd livenerf
uv sync

これにより、ピン留めされたInspectがインストールされ、claudecodeモデルプロバイダーが登録されます。このプロバイダーは、ハーメチックなclaude -p呼び出しをラップするため、InspectはMaxサブスクリプションを他のモデルAPIと同様に扱います。

CLIをピン留めしてください。これはオプションではありません。Claude Codeのアップデートはハーネスを変更し、変更されたハーネスは変更されたモデルとまったく同じように見えます。自動アップデートをオフにし、ピン留めするバージョンを書き留めてください。

export DISABLE_AUTOUPDATER=1              # これを~/.claude/settings.jsonの