HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

なぜ Gemini 4 Carbon は時間がかかるのか?

Why is Gemini 4 Carbon taking so long? (kernel.dev)

244 pointsby deenadz128 コメント

要約

Gemini 4 Carbon がコード修正に時間がかかる理由を調査した記事です。GPT-6 Astra との比較実験では、Gemini 4 Carbon は原因特定に時間がかかり、修正コードの生成に至るまでさらに遅延が見られました。定期的なチェックインを導入した改良実験では、Gemini 4 Carbon のパフォーマンスが向上したことから、遅延は知識不足ではなく、モデルの行動様式に起因すると結論づけています。

全文翻訳

なぜ Gemini 4 Carbon は時間がかかるのか?

サンプル試行:原因特定にかかる時間 vs. 初めての編集にかかる時間

各実行開始からの経過時間(分)。GPT-6 Astra は最大努力、Gemini 4 Carbon は高設定。

このサンプル試行では、両モデルとも早期に原因を特定しました。Astra は 1 分以内、Carbon は約 6 分でした。Astra はその 3 分後に修正コードを書き上げましたが、Carbon はさらに 25 分間、コードを一切書きませんでした。

Carbon は原因が分からなかった(知識のギャップ)か、あるいは分かっていながらも進み続けた(正しい回答には報酬を与え、余分なステップには罰を与えない訓練から学習した一般的な習慣)可能性があります。それらを区別するために、5 ターンごとに同じチェックインを自動的に挿入する修正ハーネスで試行の 1 つを再実行しました。「修正を行うのに十分な情報を持っていますか?」

チェックイン付きサンプル試行:原因特定にかかる時間 vs. 初めての編集にかかる時間

上記の試行と同じバグとスケール。Gemini 4 Carbon は高設定で、5 ターンごとにチェックインを挿入(円)。

チェックインを導入したところ、Carbon は 37 分ではなく 28 分で完了し、原因特定から編集までの待機時間は 25 分から約 10 分に短縮されました。これは、遅延の原因が Carbon の知識ではなく、その行動様式にあることを示唆しています。