HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

GPT-5.5 Codexの推論トークンクラスタリングがパフォーマンス低下を招いている可能性

GPT-5.5 Codex reasoning-token clustering may be leading to degraded performance (github.com)

191 pointsby maille61 コメント

要約

GitHubのIssueで報告された内容によると、GPT-5.5 Codexでは推論トークン数が特定の固定値(516、1034、1552)に集中する異常なパターンが観測されています。このクラスタリングは、複雑なタスクにおけるパフォーマンス低下と関連している可能性があり、推論バジェットの制限や隠れたトークン数制限を示唆しています。この現象はGPT-5.5に特有で、時間とともに顕著になっています。

全文翻訳

GPT-5.5 Codexの推論トークンクラスタリングが、複雑なタスクでのパフォーマンス低下につながる可能性 #30364

要約

Codexのtoken_countメタデータに集計パターンが見つかりました。具体的には、gpt-5.5の応答が、推論出力トークン数(reasoning_output_tokens)がちょうど516になる場合に不均衡に多く、さらに1034と1552の付近に固定境界のスパイクが見られます。

これはモデル固有の現象であり、全体的な推論トークン強度の低下と一致しており、複雑または重要度の高いCodexタスクでのパフォーマンス低下を説明するのに役立つ可能性があります。

これは#29353に関連しています。この問題では、推論トークン数がちょうど516で終了したgpt-5.5の実行が誤った回答を返したというタスクレベルでの再現が報告されていました。本件は、2月から6月までのより広い期間にわたる集計証拠を追加するものです。

これは隠れた思考連鎖(chain-of-thought)の切り捨てを証明するものではありません。より狭い主張は、CodexテレメトリがGPT-5.5固有の固定トークンクラスタリング異常を示しており、これは閾値処理された推論予算の挙動と一致するように見える、ということです。

環境

証拠

メトリック値
分析された応答レベルのトークンレコード数390,195
対象セッション数865
reasoning_output_tokens = 516の正確なイベント数3,363
全応答におけるGPT-5.5の割合19.3%
正確な516イベントにおけるGPT-5.5の割合82.0%
GPT-5.5の正確な516 / 516以上 の比率44.0%
GPT-5.5以外 の正確な516 / 516以上 の比率1.3%

モデルレベルの結果:

モデル応答レコード数正確な516 / 516以上
gpt-5.575,40144.0%
gpt-5.425,21419.8%
gpt-5.2247,5750.34%
gpt-5.3-codex13,3330.0%
gpt-5.3-codex-spark26,1790.0%

月ごとの正確な516クラスタリングは急増しました:

月正確な516 / 516以上
2026年2月0.11%
2026年3月2.45%
2026年4月4.25%
2026年5月53.30%
2026年6月35.84%

同時に、全体的な推論トークン強度は低下しました:

月平均推論トークン数P90推論トークン数
2026年2月268.1772
2026年3月256.8723
2026年4月228.7669
2026年5月106.9344
2026年6月168.5515

なぜこれが疑わしいのか

この異常は、単に推論トークン使用量が全体的に多いというわけではありません。2月から4月にかけて平均およびP90の推論トークン強度が低下した一方で、正確な516でのクラスタリングは急増しました。

クラスタリングはモデル間で均等に分布しているわけでもありません。GPT-5.5は応答全体の19.3%しか占めていませんが、正確な516イベントの82.0%を占めています。その正確な516 / 516以上 の比率は、GPT-5.5以外のベースラインと比較して約33.6倍高くなっています。

固定値である516、1034、1552も注目に値します。これらは、自然に変動する推論トークン分布ではなく、繰り返し現れる閾値境界のように見えます。

期待される動作

複雑なCodexタスクの推論トークン数は、タスクの複雑さに応じて自然に変動するはずであり、単一のモデルファミリーに対して特定の固定値に不均衡に集中するべきではありません。

実際の動作

gpt-5.5の応答は、ちょうど516の推論トークン数に強く集中しており、1034および1552付近にも関連するスパイクが見られます。このパターンは、他のいくつかのモデルでははるかに弱いか、存在しません。

依頼

Codexチームは、gpt-5.5に推論予算、ルーティング、切り捨て、フォールバック、またはスケジューラ動作があり、応答が516/1034/1552の推論トークン付近で終了する原因となっているかどうかを調査していただけますでしょうか?

もしこれが予期された動作である場合、正確な516が通常の停止点、予算上限、パフォーマンス低下ティア、またはその他の内部閾値を示しているのかを知ることが有益でしょう。

有用な内部検証チェック:

  1. モデルごとのreasoning_output_tokensを持つtoken_countイベントをクエリする。
  2. 0、516、1034、1552の正確な値のカウントを比較する。
  3. モデルごとおよび日ごとに count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516) を計算する。
  4. gpt-5.5をgpt-5.2、gpt-5.4、およびCodex固有のバリアントと比較する。
  5. 一致する複雑なタスクをGPT-5.2とGPT-5.5でリプレイし、特に正確な516応答とより長い推論応答を分離して品質評価を行う。