なぜAIの1日のコストが1ヶ月分のサーバー費用を超えたのか?
Why did one day of AI cost more than a month of servers? (junueno.dev)
要約
ある日、LLM APIのコストグラフに突如として富士山のようにそびえ立つピークが現れ、その1日だけで1ヶ月分のサーバー費用を上回るAI利用料が発生しました。この異常な出費の原因は、デプロイ順序の誤りと、タスクキューの自動リトライ機能、そして処理の非べき等性が組み合わさった「リトライストーム」でした。LLMへの呼び出し自体は成功しているにもかかわらず、データベースへの書き込み失敗により、同じ処理が21回も繰り返され、その都度課金が発生していたことが判明しました。
全文翻訳
AIの1日のコストがサーバー1ヶ月分を超えたのはなぜか?
2026-06-29 · llm, claudecode, idempotency, ai
Claudeで作成。
いつもの話:CFOが2日で本番リリースしたSaaSを運用している。エンジニアではない役員がClaude Codeで素早く何かを作り、エンジニア(私)がバックエンドを一つずつ確認していく。見るたびに、何かが出てくる。
今回は「シークレットがどこにあるか」でもなく、「テストが一つもない」でもなかった。今回は、お金が燃えた。
ある日、LLM APIのコストグラフを見ていたら、富士山のように突き出た一日があった。他の日はすべて床に張り付いているのに、その日は空を突いていた。その一日の請求額だけで、その月の請求額の約半分を占めていた。
正直に言って、その数字を見たとき胃が落ち込んだ。なぜなら、AI利用のその一日だけで、サーバー一ヶ月分の費用よりも高くついたからだ。サーバーフリート全体を一ヶ月稼働させるよりも、AIに一日話させる方が安い。どうしてそんなことがあり得るのか?
そこで、それを作った人(CFO)に尋ねてみた。「その日、何をしたのですか?」
答えはこうだ:
「正直、何をしたか覚えていません。」
おいおい。
しかし、これは非難の話ではない(まあ、半分はそうではない)。深く掘り下げれば掘り下げるほど、たどり着いたのは「彼らが覚えていないのも当然だ」ということだった。お金を燃やしたのは人間ではない。リトライの仕組みだった。
捜索。最初は一日中叩きまくったと仮定した
最初に考えたのは、「その日、たくさんの機能を構築し、本番環境で何度もテストし、その度に高価なLLMを呼び出した。千回のカットによる死」ということだった。
そして、それはもっともらしいと思えた。その日のコミット履歴は朝から晩までびっしりで、AI生成フローの周りで20以上の変更があった。「人間の繰り返しによるスローバーン」にはそれらしい顔があった。
その後、アプリ側のログ(タスクキュー、DB、リクエスト)を実際に調べたところ、全く違う絵が見えてきた。それはスローバーンではなかった。同じ重いバッチが、機械によって、何度も、完全に再実行されていた。 単一のテナントに対して、通常一度実行されるジョブが21回実行されていた。
人間は一日で同じボタンを21回押さない。ボタンを押していたのは人間ではなかった。
最も恐ろしかったのは「成功してから、失敗する」ことだった
これが今回のインシデントの核心なので、ゆっくり説明しよう。
バッチは複数のLLMを順に呼び出し、結果をDBに保存していた。フローは、大まかに言うとこうだ:
- 複数のLLMにクエリの山を投げる(ここがお金がかかる部分)
- 返された結果をDBに書き込む
問題はステップ2にあった:書き込みが、追加されるはずだったがまだ存在しないカラムを参照していた。DBにカラムがなかったので、column does not exist というエラーが発生し、ジョブは500エラーを返した。
「失敗した」と聞くと、自然に「呼び出しが失敗して、一回無駄にした」と想像するだろう。違う。すべてのLLM呼び出しは成功した。 すべて200 OK。つまり、すべてが正規に請求された。 あなたは支払い、結果を受け取った。そして、最後のステップ、保存でつまずいたのだ。
レストランに例えるならこうだ:フルコースを終え、勘定を済ませ、感謝の言葉を言おうとした瞬間に転び、記憶を失う。気がつくと席に戻っており、同じフルコースを再び食べ始めている。21回。「食べたもの(請求されたもの)は消えないが、ラウンドごとにゼロから始まる。」
「リトライストーム」という言葉がある。通常は「呼び出しが失敗し、再び失敗し、また失敗する」という、ミスの連続を想像するだろう。しかし、これはミスではなかった。成功を捨てて、毎回新しい成功を引き出す嵐だった。 それが直感に反する部分であり、最も恐ろしい部分だ。
どうしてこうなったのか?原因は二つあった
機械が21回繰り返したのは、二つの落とし穴が組み合わさったためだ。
落とし穴1:デプロイ順序が逆だった。 新しいカラムが存在することを前提としたコードが本番環境にデプロイされたが、そのカラムを追加するマイグレーションがまだ本番環境に適用されていなかった。コードが先、スキーマが後。その順序では、コードは存在しないカラムにアクセスしようとして、決定論的に失敗する。そして「決定論的」というのが肝心だ。これは、何度リトライしても決して解決しない種類の失敗だ。
落とし穴2:失敗したとき、タスクキューが親切にも再実行してくれる。 マネージドタスクキューは、ジョブが500エラーで失敗したのを見ると、「ああ、失敗したな、もう一度実行してあげよう」と自動的に行う。一時的なネットワークの不調であれば、それは正しい親切だ。しかし、この失敗は「カラムが存在しない」というものだった。何度リトライしてもカラムが増えることはない。親切心から、修正不可能な失敗を無限に繰り返していた。
そして、バッチが冪等(既に処理された作業をスキップしない)でなかったため、リトライごとに最初からやり直しになる。そのため、各ラウンドでLLMの全額請求が発生する。
決定論的な失敗 × 自動リトライ × 非冪等。それらが組み合わさると、お金は静かに燃える。その人が覚えていないのも無理はない――彼らは何もしていないのだ。ボタンを押し続けていたのはキューだった。
私が説明すると、CFOは顔をしかめた。「うーん?」 (エンジニアではない人にとって、「成功して、請求され、そしてその成功を捨てられた」というのは、本当に受け入れがたいことだ。)
私が学んだこと:リトライは親切ではない
同じ状況にある人(誰かの稼働中の本番環境を引き継いだ人)に役立つだろうから、自分用に教訓を書き留めておく。
- 決定論的な失敗は、リトライしても改善しない。 スキーマの不一致、4xxクラスの「お前が間違っている」エラー――いくら投げても結果は同じだ。これらは即座に「中止」として扱い、常にリトライの上限を設定すること。リトライは万能の保険ではない。
- 副作用が大きいほど、冪等性が必要になる。 請求APIやLLM呼び出しのような、コストのかかる作業を実行するバッチは、最初から「既に完了したものをスキップ」する必要がある。それがなければ、リトライは「やり直し」ではなく「二重請求」になる。
- デプロイ順序は「スキーマ、次にコード」とする。 まずDBの変更を適用し、それからそれを使用するコードをデプロイする。逆にすると、ギャップで決定論的なエラーを大量生産することになる。
- コストが観測できなければ、「燃え尽きた後」にしか気づかない。 これに気づいた唯一の理由は、私がコストグラフを偶然見たからだ。スモークディテクター(本番とテストの別々のキー、予算アラート)がなければ、請求書が届くまで誰も気づかない。
Vibeコーディングは、エンジニアではない人が本番環境で構築できる敷居を確かに下げた。しかし、「どのように壊れるか」と「どのように高価になるか」を見るスキルは、依然として別個のものだ。 その部分は、それを引き継ぐエンジニアの仕事のままだ。
機能は二日で構築できる。「失敗を優雅にリトライする」瞬間が「成功を捨てて二重請求する」に変異するのを防ぐ――それは二日では来ない。
リトライは必ずしも親切ではない。
AIの請求書がサーバーの請求書より大きくなるのを見るのは二度とごめんだ。だから、自分への警告としてここに残しておく。