GPT-5.5 Codexの推論トークンクラスタリングがパフォーマンス低下を招いている可能性
GPT-5.5 Codex reasoning-token clustering may be leading to degraded performance (github.com)
要約
GitHubのIssueで報告された内容によると、GPT-5.5 Codexでは推論トークン数が特定の固定値(516、1034、1552)に集中する異常なパターンが観測されています。このクラスタリングは、複雑なタスクにおけるパフォーマンス低下と関連している可能性があり、推論バジェットの制限や隠れたトークン数制限を示唆しています。この現象はGPT-5.5に特有で、時間とともに顕著になっています。
全文翻訳
GPT-5.5 Codexの推論トークンクラスタリングが、複雑なタスクでのパフォーマンス低下につながる可能性 #30364
要約
Codexのtoken_countメタデータに集計パターンが見つかりました。具体的には、gpt-5.5の応答が、推論出力トークン数(reasoning_output_tokens)がちょうど516になる場合に不均衡に多く、さらに1034と1552の付近に固定境界のスパイクが見られます。
これはモデル固有の現象であり、全体的な推論トークン強度の低下と一致しており、複雑または重要度の高いCodexタスクでのパフォーマンス低下を説明するのに役立つ可能性があります。
これは#29353に関連しています。この問題では、推論トークン数がちょうど516で終了したgpt-5.5の実行が誤った回答を返したというタスクレベルでの再現が報告されていました。本件は、2月から6月までのより広い期間にわたる集計証拠を追加するものです。
これは隠れた思考連鎖(chain-of-thought)の切り捨てを証明するものではありません。より狭い主張は、CodexテレメトリがGPT-5.5固有の固定トークンクラスタリング異常を示しており、これは閾値処理された推論予算の挙動と一致するように見える、ということです。
環境
- 製品: Codex
- 最も関与が疑われるモデル:
gpt-5.5 - データソース: Codex
token_countメタデータ - 分析期間: 2026年2月1日~6月27日 UTC
- 関連する問題: gpt-5.5 xhigh sometimes short-circuits with reasoning_output_tokens=516 and wrong final_answer in Codex Desktop #29353
証拠
| メトリック | 値 |
|---|---|
| 分析された応答レベルのトークンレコード数 | 390,195 |
| 対象セッション数 | 865 |
reasoning_output_tokens = 516の正確なイベント数 | 3,363 |
| 全応答におけるGPT-5.5の割合 | 19.3% |
| 正確な516イベントにおけるGPT-5.5の割合 | 82.0% |
| GPT-5.5の正確な516 / 516以上 の比率 | 44.0% |
| GPT-5.5以外 の正確な516 / 516以上 の比率 | 1.3% |
モデルレベルの結果:
| モデル | 応答レコード数 | 正確な516 / 516以上 |
|---|---|---|
gpt-5.5 | 75,401 | 44.0% |
gpt-5.4 | 25,214 | 19.8% |
gpt-5.2 | 247,575 | 0.34% |
gpt-5.3-codex | 13,333 | 0.0% |
gpt-5.3-codex-spark | 26,179 | 0.0% |
月ごとの正確な516クラスタリングは急増しました:
| 月 | 正確な516 / 516以上 |
|---|---|
| 2026年2月 | 0.11% |
| 2026年3月 | 2.45% |
| 2026年4月 | 4.25% |
| 2026年5月 | 53.30% |
| 2026年6月 | 35.84% |
同時に、全体的な推論トークン強度は低下しました:
| 月 | 平均推論トークン数 | P90推論トークン数 |
|---|---|---|
| 2026年2月 | 268.1 | 772 |
| 2026年3月 | 256.8 | 723 |
| 2026年4月 | 228.7 | 669 |
| 2026年5月 | 106.9 | 344 |
| 2026年6月 | 168.5 | 515 |
なぜこれが疑わしいのか
この異常は、単に推論トークン使用量が全体的に多いというわけではありません。2月から4月にかけて平均およびP90の推論トークン強度が低下した一方で、正確な516でのクラスタリングは急増しました。
クラスタリングはモデル間で均等に分布しているわけでもありません。GPT-5.5は応答全体の19.3%しか占めていませんが、正確な516イベントの82.0%を占めています。その正確な516 / 516以上 の比率は、GPT-5.5以外のベースラインと比較して約33.6倍高くなっています。
固定値である516、1034、1552も注目に値します。これらは、自然に変動する推論トークン分布ではなく、繰り返し現れる閾値境界のように見えます。
期待される動作
複雑なCodexタスクの推論トークン数は、タスクの複雑さに応じて自然に変動するはずであり、単一のモデルファミリーに対して特定の固定値に不均衡に集中するべきではありません。
実際の動作
gpt-5.5の応答は、ちょうど516の推論トークン数に強く集中しており、1034および1552付近にも関連するスパイクが見られます。このパターンは、他のいくつかのモデルでははるかに弱いか、存在しません。
依頼
Codexチームは、gpt-5.5に推論予算、ルーティング、切り捨て、フォールバック、またはスケジューラ動作があり、応答が516/1034/1552の推論トークン付近で終了する原因となっているかどうかを調査していただけますでしょうか?
もしこれが予期された動作である場合、正確な516が通常の停止点、予算上限、パフォーマンス低下ティア、またはその他の内部閾値を示しているのかを知ることが有益でしょう。
有用な内部検証チェック:
- モデルごとの
reasoning_output_tokensを持つtoken_countイベントをクエリする。 0、516、1034、1552の正確な値のカウントを比較する。- モデルごとおよび日ごとに
count(reasoning_output_tokens = 516) / count(reasoning_output_tokens >= 516)を計算する。 gpt-5.5をgpt-5.2、gpt-5.4、およびCodex固有のバリアントと比較する。- 一致する複雑なタスクをGPT-5.2とGPT-5.5でリプレイし、特に正確な516応答とより長い推論応答を分離して品質評価を行う。