Kimi K3のセルフホスティング:ハードウェアコスト20%増で、タスク解決率20%向上
Self-hosting Kimi K3: 20% more hardware cost, 20% better task resolution (aistack.imec-int.com)
要約
Kimi K3モデルをセルフホスティングする際のコストとパフォーマンスに関する分析です。8x B300 GPUノードを使用すると、8x B200ノードと比較してハードウェアコストが約20%増加しますが、タスク解決率は24パーセンテージポイント向上し、86.4%に達しました。ただし、ベンチマークタスクが学習データに含まれている可能性があり、この解決率は参考程度に留めるべきです。また、AIエージェントの利用拡大に伴うトークン費用の増加と、API利用からセルフホスティングへの移行を検討する際の考慮事項についても解説しています。
全文翻訳
GPUにどれだけの開発者が収容できるか?
更新(2026年7月29日): SGLangで提供されるKimi K3を同じセットアップで実行しました。1.4TBの重みを持つK3は、GLM-5.2に使用された8×B200ノードのメモリ予算(合計HBM 1.5TBでKVキャッシュの余裕がない)に収まりません。そのため、この実行では8×B300ノードを使用しました。これは、GPUあたり192GBではなく288GBのHBM、ノードあたり2.3TBをもたらします。これは、レンタルプロバイダーによりますが、8×B200セットアップと比較して平均で約20%高いハードウェアコストになります。
私たちの実行では、K3は16の同時セッション(GLM-5.2は24を管理)を提供しました。集約トークンスループットは約30%低く(16ユーザーで122 vs 170 tok/s)、中央値タスク時間は約50%長くなりました(38 vs 26分)。これにより、K3はClaude Codeのベースラインと比較して約8倍遅くなります。しかし、K3は品質でそれを補い、タスクの86.4%を解決し、GLM-5.2とOpus 4.8(両方とも62.5%)を24パーセンテージポイント上回りました。注意点として、SWEBench Proからの私たちのベンチマークタスクがK3のトレーニングデータに含まれていた可能性があるため、その解決率には注意が必要です。この記事のグラフのみが新しいK3データで更新されています。
なぜあなたのトークン請求額
が今年急増したのか
01
今年の前半には、警告の兆候があちこちで見られました。GitHub Copilotはトークンベースの請求に切り替え[1]、Uberは年間のAIツール予算をわずか4ヶ月で使い果たし[2][3]、開発者は月額29ドルから750ドルへのコスト増加を報告しました[4]。私たちはそれに「トークンマキシング」「トークンパニック」「トークンバジェット」といった言葉さえ発明しました。
平均的な従業員[5]は、現在AI APIの使用に年間約140ドルを費やしています。無害に聞こえますが、テールエンドを見ると、90パーセンタイルは年間約7,300ドルに近く、99パーセンタイルは年間約90,000ドルに迫ります。多くの組織にとって、エージェンティブAIの採用は始まったばかりなので、今後数年間でこれらの数字が変化すると予想されます。
請求額がこれほど変動するのはなぜでしょうか?AIエージェントの使用方法のためです。現在、主要なモデルプロバイダーのARR[4]の70%以上はコーディング用途から来ています。ワークフローをエージェントに委ねるほど、トークン請求額は高くなります。
多くの組織は、OpenAIやAnthropicのような主要なフロンティアモデルプロバイダーのAPIアクセスからAIコーディングエージェントの採用を開始します。数ヶ月後、トークン価格モデルが高価になり、ユーザーがより新しく高価なAIモデルにアップグレードし、組織でのエージェント採用が急増するなど、さまざまな理由で代替案を検討する組織が増えています。 sensibleな代替案は確かに検討する価値があります。APIルーターへの切り替え、ルーチンワークにはより安価なモデルティアを使用し、困難な20%のみをフロンティアモデルにエスカレートするなどです。
しかし、トークン消費量が大幅に増加した場合、または機密データを扱っている場合は、APIアプローチを完全に放棄し、独自の推論スタックをセットアップすることを検討したいかもしれません。ハードウェアの所有権が検討事項になる場合、GPUのレンタルまたは所有が実際に何をもたらすかを理解する必要があります。いつ切り替えるのが理にかなっているのでしょうか?ご自身で判断するためのツールを以下に示します。
プールは24時間年中無休で支払い、
チームは1日8時間しか使用しない
02
独自のGPUの購入またはリースが理にかなっているかどうかを調査することにしました。正しく設定されると、Anthropic、OpenAI、その他のモデルプロバイダーが提供するものと同様に、コーディングツールに接続できるAPIエンドポイントが得られます。
フロンティアAPIとは対照的に、独自のAPIエンドポイントには出力トークン/秒の上限がありますが、システムが完全にロードされた場合にのみ到達します。一人で作業する開発者は、その上限のほとんどを使用しませんが、48の同時エージェントセッションに並列でサービスを提供する同じハードウェアは異なります。上限は、モデル、GPU、およびサービング構成によって決まります。
020k40k60k124816243264合計トークン/秒 同時ユーザー →
図 01
合計トークン/秒 vs 同時ユーザー
ハードウェアセットアップBで実行されるモデルAの例。
トークン消費量ごとに課金されるAPI使用モデルとは異なり、独自のセットアップを実行することは、基盤となるインフラストラクチャとその維持コストを支払うことを意味します。ほとんどの場合、トークンを生成していないときでも、それに対して支払っていることになります。そのトレードオフがあなたに適しているかどうかは、2つの質問で決まります。1つ目は、プールのどれだけを使用しているかです。まず、それに対処しましょう。
ピークに合わせてサイジングし、24時間年中無休で支払います。利用率が、コストの成否を分ける要因です。
実際の需要は一定ではなく、スパイク状です。多くの組織にとって、コーディングタスクのトークンは夜間はほぼゼロになり、午前中に増加し、昼食時に目に見えて減少し、午後に再びピークに達します。これは、ピーク負荷のためにハードウェアを購入することを意味しますが、24時間年中無休で支払います(「GPUスポットインスタンス」をレンタルする場合を除く。ただし、この場合は信頼性が低くなります)。ピークの使用状況の形状は、音量と同じくらい重要です。単一タイムゾーンのチームは、タイムゾーン全体に分散された同じ人数の場合よりも、トークン需要を狭いスパイクに集中させます。同じトークン、高いピーク使用率ですが、より長く分散されます。エンタープライズ推論ワークロードに関する公開データは、内部開発者ツールを提供する場合、平均GPU使用率が15〜22%[6][7]であると報告していますが、適切に管理されたデプロイメントでも、現在めったに25〜35%を超えることはありません(これは寛大です)。下のグラフは、数週間前の私たちの友人であるTechWolfからの実際のトークン使用量を2日間示しており、まさに私たちが説明していることを反映しています。
claude_codecowork0200 MIL400 MIL600 MIL800 MIL1 BIL16200004081216200004081206/2506/2606/27トークン消費時間
図 02
実生活のトークン使用量はスパイク状で、組織ごとに異なります
ここで、1つの新興トレンドがあなたの味方になる可能性があります。組織がエージェント駆動ワークフローで成熟するにつれて、人々からのセッションよりも自動化されたエージェントからのセッションが増えています(スケジュールされたジョブ、深夜3時にバグレポートを自律的に拾い上げるエージェントなど)。これにより、営業時間外の作業が可能になります。意図的にスケジュールされた場合、これらの自動化されたセッションは、すでに支払っている夜間の容量を吸収できます。
次に、2番目の質問に取り組みましょう。遅く感じる前に、何人の開発者がプールを共有できますか?
48人の開発者が1台のボックスを共有するとどうなるか?
03
1人の開発者が占有するトークンプールは素晴らしく感じられます。トークンは、あなたが読めるよりも速くストリーミングされます。問題は、5人、10人、または20人の同時開発者セッションで何が起こるかです。AIコーディングエージェントは、トークンを消費するだけでなく、Webを閲覧し、ファイルを実行し、コードをコンパイルする、貪欲でバースト的なクライアントだからです。
フロンティアモデルプロバイダーAPIから離れる際の主な懸念事項の1つは、開発者エクスペリエンスです。ベンチマーク結果を見ると、GPUセットアップでモデルがどれだけうまくパフォーマンスするかを測定するために、トークン/秒が使用されることがよくあります。これは理解しやすい指標ですが、このコンテキストではあまり役に立ちません。結局のところ、満足のいく結果なしに数千のトークンを消費することもできますし、10倍のトークンを使用する小さなモデルに切り替えることもできます。
価値提供のより良い単位は、正常に完了したタスクであり、一般的に定量化するのは難しいですが、以下でよく参照することになります。タスクが開始から終了までどれくらいの時間がかかるか、およびエージェントがモデルを待っている間にトークンがどれだけ速くストリーミングされるかを理解したいでしょう。
価値提供のより良い単位は、タスクの正常な完了です。
タスク完了を測定可能にするために、ScaleLabsのSWEBench Proからタスクのサブセットを使用します。これは、一般的に個々のモデルを互いに比較するために使用されますが、私たちのチームは、実際のユースケースでコストとパフォーマンスを比較するために、これを特に使用しています。組織にとって意味のあるものです。
いくつかのグラフは、モデルとハードウェアの組み合わせのパフォーマンスをさらに評価するのに役立ちます。まず、特定のハードウェアセットアップで、指定されたモデルを使用してコーディングタスクのサブセットを実行し、ユーザーの同時実行レベルを上げて、個々のタスクの完了時間への影響を評価します。これにより、タスクが完了するのに時間がかかりすぎる前に、選択したセットアップでアクティブにできる同時ユーザーの数を特定するのに役立ちます。
01020301248163248分/タスク 同時ユーザー →
図 03
分/タスク vs 同時ユーザー
ハードウェアセットアップBでコーディングタスクを実行するモデルAの例。
この情報を一緒に見ると便利です。ハードウェアの使用量と、速度の観点からの開発者エクスペリエンスのトレードオフは、便利な意思決定を可能にする1つのグラフに示されることがよくあります。以下のグラフを使用して、異なるモデル/ハードウェアの組み合わせが、ユーザーの同時実行が増加するにつれて、生成できる最大トークン出力にどのように近づくかを示します。開発者がタスクの解決を待つ時間を監視しながら。
02040600102030C=1C=2C=4C=8C=16C=32C=64C=128トークン/秒 中央値タスク時間 →
図 04
トークン/秒 vs 中央値タスク時間
ハードウェアセットアップBでコーディングタスクを実行するモデルAの例。Cは同時ユーザー数です。
これらの値を理解することで、組織のニーズに合ったオプション間のパフォーマンスと開発者エクスペリエンスの違いをよりよく理解できるようになります。
過去数週間、私たちのチームは、SWEBench Proから選択された64の実際のコーディングタスクの約100回の実行を、さまざまな適切なハードウェア構成で実行し、正確なメトリック(中央値タスク時間、tok/s/uなど)を計算しました。Artificial Analysis[9]によるオープンウェイト品質ランキングに基づいて、各ハードウェアティアに、メモリ予算に適合する最先端モデルをペアにしました。
- vLLMで提供される単一H200上のQwen3.6-35B-A3B-FP8
- vLLMで提供される4×H200上のDeepSeek-V4-Flash
- SGLangで提供される8×B200ラック上のGLM-5.2。
- vLLMで提供されるNVIDIAのDGX Spark上のQwen3.6-35B-A3B-FP8
次のセクションでは、実際のパフォーマンスを掘り下げ、購入したGPUとレンタルGPUのコスト分析、およびフロンティアモデルプロバイダーとオープンウェイトAPIプロバイダーからのトークン購入との比較をまとめます。これらは、多くの組織が現在考えている質問であり、それらに答えるためのツールを提供したいと考えています。
[画像: 暗い表面に落ちる金貨 — ハードウェア選択の背後にあるコスト。]
デスク上のSparkから8×B200ノードまで:どのボックスを購入するか
04
ハードウェアのレンタルまたは購入に興味がある場合、いくつかのオプションがあります。以下に、この記事全体で参照する4つの人気のある候補を紹介します。それぞれに、ハードウェアにうまく適合する最先端のオープンウェイトモデルが付属しています。
NVIDIAに大きく依存していることがわかります。これは、私たちが入手できたものに大きく関係しています。他のサプライヤーからも同様の代替品が間違いなくありますが、それについては後続の投稿で説明します。今のところ、これらは特定の推奨ではなく、参照選択肢として考えてください。
- 最も安価なオプション、NVIDIA DGX Sparkから始めましょう。これは、調達部門と話すことなくセルフホスティングを試したいチーム向けのボックスです。デスクに設置され、会議旅行よりも安価です。Qwen3.6-35B-A3B(「Qwen3.6」と呼びます)を収容できます。このマシンにとっては驚くほど大きなモデルです。記事の後半で、開発者エクスペリエンスの観点から何を提供するかを見ていきます。
- 次はNVIDIA H200です。強力な単一アクセラレータです。驚くべきことに、DGX Sparkと比較して、ホストできるモデルの数ではそれほど多くの利点はありません。これは主に利用可能なメモリ(DGX Sparkは128GB、H200は141GB)によって決まります。ただし、より大きなトークンプールが得られ、高同時実行でのスループット速度につながります。
- より強力なモデルをホストしたいが、予算を完全に使い果たしたくない場合は、4xH200を備えたNVIDIA HGX H200が堅実なオプションです。4xH200を使用すると、DeepSeek-V4-Flashのようなより大きなモデルをホストできます。これは、速度、同時実行性、品質の点で非常に良い妥協点を提供します。
- さらに進んで、8xB200を備えたHGX B200は強力なリファレンスシステムであり、GLM-5.2のような最先端のオープンソースモデルを提供できます。これは現在、品質の点でフロンティアモデルに最も近いものです。品質が主な懸念事項である場合のオプションです。
次に、これらの候補を開発者エクスペリエンス、コスト、およびホストできるモデルの品質の観点からテストします。始めましょう。
それらのプールはどれくらい大きいか?
05
デスクのすぐそばにあるDGX Sparkはどうでしょうか?まあ、驚くことではありませんが、大きなトークンプールは付属していません。私たちのテストでは、1〜2の同時ユーザー以上にプッシュできず、タイムアウトエラーの連発に直面しました。Qwen3.6に満足しているなら、それはあなたに適しているかもしれませんが、速度、同時実行性、またはモデル品質のスケーリングは期待しないでください。LinkedInの見出しにもかかわらず、手頃なデスクトップボックスにフロンティアインテリジェンスを簡単にダウンロードできる段階にはまだ達していないことを示しています。コード補完のような簡単なもの?それはそれほど問題ではありません。
図 05
集約出力スループット vs 同時実行
システム全体の持続スループット(GPUあたりではない)
このプロフェッショナルH200に追加料金を支払うことで、同じモデルでQwen3.6が少なくとも30倍のトークン/秒を生成できるようになります。実際、Qwen3.6が単一のH200でもこれほど多くのトークンを生成することに驚かないでください。まだかなり小さく(したがって能力が低い)モデルです。また、HGX H200上のDeepSeek-V4-Flashがさらに大きなトークンプール(もちろん4xH200上)を備えており、高同時実行でのみその可能性に到達することもわかります。対照的に、HGX B200上のGLM-5.2の場合、最も強力なハードウェアで実行されているにもかかわらず、トークンプールは小さくなります。実際、16の同時セッションはGPUをほぼ飽和させ、GLM-5.2の合計プールは約175トークン/秒です。より大きく、より強力なモデルはより小さなトークンプールを伴い、選択したハードウェアではそれを完全に補うことはできません。
おそらく、いくつかの線がテーパーオフするのではなく、クラッシュダウンしているという、驚くべき不快なことに気づいたでしょう。次のセクションで、開発者エクスペリエンスを確認した後、それにズームインします。
開発者は速度にどれくらい満足していますか?
06
個々の開発者が、信頼しているCodexやClaudeのコンパニオンと比較して、あなたのソリューションをカタツムリのように感じる可能性があるため、トークンプールを最大化しないかもしれません。後者をベースラインとして、GLM-5.2が8の同時セッションからすでに苦労していることがわかります。これは印象的なHGX B200ハードウェアにもかかわらずです。比較的小さなプールサイズと同様に、フロンティアモデルを大規模に提供することが非常に困難であることがわかります。スペクトルの反対側では、DGX Sparkは1ユーザーでも遅く、複数のユーザーには使用できません。
[画像: データセンターの通路を長時間露光で撮影した写真。サーバーラックの間を駆け抜ける暖かい光の筋が、遠くの光に向かっている — レスポンスの速さ、または遅さへの言及。]
DeepSeek-V4-FlashとQwen3.6の両方が、最大32ユーザーまで長く持ちこたえ、その後ダイブします。DeepSeek-V4-FlashはQwen3.6-35B-A3Bに近いですが、より高価なハードウェアで実行されていることに注意してください。この投資をより高品質にトレードオフしながら、負荷下での速度を維持します。もちろん、両方ともGLM-5.2と比較して、支払う価格は品質の低下です。詳細は後述します。
図 06
タスク時間 vs 同時ユーザー
中央値分/タスク(エージェントフェーズ)。Opus 4.8(API)ベースラインは水平線として描かれています。
したがって、大まかに言うと、開発者がドアをノックして速度について不平を言い始める前に、各セットアップでホストできる同時ユーザー数は次のようになります。
| モデル | 快適な同時実行性 |
|---|---|
| Qwen3.6 (DGX Spark) | わずか1 — それでも遅く、Claude Codeより約3倍遅い |
| Qwen3.6 (H200) | 容易に32、48ではClaude Codeの2倍遅い |
| DeepSeek-V4-Flash | 容易に32、48ではClaude Codeの2倍遅い |
| GLM-5.2 | 8が限界 — すでにClaude Codeより3倍遅い |
そして、問題の象徴:このプロットでも次のプロットでも、Qwen3.6(H200)とDeepSeek-V4-Flash(HGX H200)が同時実行48および64の後で急落しているのがわかります。これは驚くべきことで、理論的には線はGPUの最大出力に収束するはずなので、直感的に期待することではありません。では、なぜこれほど早く崩壊するのでしょうか?理由は、推論エンジン(vLLM)の仕様、デフォルトパラメータ、およびそれがプリフィルとデコードリクエストの間のコンピューティングをどのようにバランスさせるか、さらに効果的なKVキャッシュサイズとその使用状況などの重要なリソースにあります。
さらに、GLM-5.2の同時実行レベルに失望しているかもしれません。1つの原因は、低同時実行ではトークン生成を高速化しますが、高同時実行ではパフォーマンスを低下させる可能性のある投機的デコーディングの使用である可能性があります。
しかし、すぐに絶望しないでください。ワークロードに合わせて推論エンジン(例:vLLM)を最適化すれば、このような問題に対処し、システムからさらに多くのものを引き出すことができます。これについては、今後のブログ投稿で詳しく説明します。
プロットに戻ります。これらの同時実行レベルで、開発者を満足させながら、まだいくつかのトークンを無駄にしていることに注意してください。前のプロットの情報を1つにまとめて、システムごとのこのギャップを明らかにできます。たとえば、HGX H200上のDeepSeek-V4-Flashでc=32の場合、開発者が満足していると、1381トークン/秒しか使用しませんが、c=64のプールは1717トークン/秒、つまり24%増加します。
図 07
スループット vs タスク速度
集約出力トークン/秒と個々のタスクの完了速度。
このトレードオフに注意してください。実際の環境では適応できますが、システムから広告されている通りの完全なプールが得られると単純に期待しないでください。
これらすべては私にいくらかかるのか?
07
AIコーディングエージェントへの投資方法となると、選択肢はモデルAPIプロバイダーに固執するか、ハードウェアを完全に購入することに限定されません。GPUをレンタルするという選択肢もあります。サプライヤーは、HyperscalersからNeoScalers、AI Factories、その他のパーティーまで多岐にわたります。それぞれに異なる価格がありますが、異なる保証、サービス、統合もあります。
いつものように、モデルの品質は非常に重要です。公平に比較するために、さまざまなモデルプロバイダーの公式APIに対してSWEBench Proタスクセットを再実行し、トークンコストを追跡しました。購入またはレンタルするハードウェアの場合、コストはタスクセットの実行にかかる時間によって決まります。前述のように、これは同時実行性に依存します。各システムについて、コストの観点から最適な同時実行性、つまりGPUを最適に使用する同時実行性を採用します。これはユーザーエクスペリエンスに影響を与える可能性がある点に注意してください。
DGX Sparkは価格設定とパフォーマンスの点で根本的に異なるため、この比較には含めていません。Qwen3.6の購入/レンタルコストは1つのH200用、DeepSeek-V4-FlashはHGX 4xH200用、GLM-5.2はHGX 8xB200用です。これらのコストを5年間で減価償却しますが、追加の電力またはメンテナンスコストは含めていません。これらは組織の仕様に大きく依存するためです。
| システム(モデル/HW/ウォールタイム) | APIコスト | 購入コスト | 購入コスト(使用率30%) | レンタルコスト |
|---|---|---|---|---|
| Qwen3.6 (1xH200, 28分) | $57.67* | $0.43 | $1.43 | $1.62 |
| DeepSeek-V4-Flash (4xH200, 31分) | $2.13 | $1.90 | $6.33 | $7.19 |
| GLM-5.2 (8xB200, 101分) | $92 | $13.84 | $46.12 | $71.23 |
| Anthropic API (Opus 4.8) | $98 | N/A | N/A | N/A |
- Alibabaのリスト価格(モデルのキャッシュなし)
*ハードウェアの購入およびレンタル価格は、2026年7月時点の公開広告レートです[10][11][12][13]。
同じワークロードと3つの完全に異なる回答。私たちの計算からの最も関連性の高い興味深いテイクアウェイ:4×H200は、DeepSeekの2.13ドルの請求書を上回る前に、89%(昼夜問わず、5年間すべて)稼働し続ける必要があります。一方、B200ラックは、フロンティアAPIを上回るためにわずか15%の使用率しか必要としません。レンタルレートでは、フロンティア品質のタスクをタスクあたり1.11ドル(レンタルコストを64タスクで割ったもの)で販売しており、APIの請求額よりも安価です。
利用率のしきい値、例えば15%を下回っている場合、GPUのレンタルはより安価で手頃なオプションになる可能性があります。これは、オフピーク時間中に使用をオフにすることができるためです。それはそうでしょうか?まあ、驚くべきことに、それはモデルタイプに強く依存します。Qwen3.6の場合、GPUのレンタルはAPIよりも35倍安価です。GLM 5.2のコスト削減も見られますが、23%というより控えめなものです。しかし、DeepSeekの場合、数字は逆です。ワークロードに特化した最適化なしでは、実際にはDeepSeek自身のAPIよりもはるかに高価です。
コストの決定において重要なのは、オープンかクローズドかの議論よりも、特定のワークロードの実行コストです。コーディングエージェントの場合、入力トークンの最大98%がキャッシュされ、ここでDeepSeek-V4-Flash API価格は、より小さなQwen3.6モデルさえも圧倒します。
単一の勝者はいません。現実世界の利用率で価格設定された場合、購入はボックスを稼働させ続けた場合にのみ価値があります。4×H200は89%ロードされ、B200ラックはわずか15%です。それ以下では、レンタルまたは安価なオープンウェイトAPIがしばしば勝ちます。コストだけでなく、制御、プライバシー、レイテンシなど、請求書では価格をつけられないものに対してGPUを購入してください。
しかし、私はラボのクローズドフロンティアモデルが好きです?
08
そして、あなたは一人ではありません。しかし、あなたはそれらから離れることについて読んでいます。真実を言うと、オープンウェイトモデルはAnthropic、OpenAI、またはGoogleのフロンティアモデルに数ヶ月遅れていますが、最良のものは2026年までに非常に実用的になりました。さらに、GLM 5.2やKimi K3のような新しいリリースにより、オープンウェイトとクローズドモデルのギャップは急速に縮まっています。GLM-5.2のようなモデルの場合、少なくともHGX B200システムが必要です。H200または4xH200を使用する場合、同じパフォーマンスを期待しないでください。
オープンウェイトとクローズドモデルのギャップは急速に縮まっています。
私たちが実行したタスクでは、Artificial Analysis[9]のようなモデル品質評価者の一般的な洞察を再現しました。完全を期すために、SWE Bench Proからの64タスクのサンプルで、Claude Codeをハーネスとして使用した、問題のモデルの解決率(すべての実行と同時実行のプール)を以下に示します。
| モデル | 解決率 |
|---|---|
| Kimi K3 | 86.4% |
| GLM-5.2 | 62.5% |
| Anthropic Opus 4.8 (API) | 62.5% |
| DeepSeek-V4-Flash | 39.1% |
| Qwen3.6 | 35.4% |
ただし、このようなベンチマークは、モデルがユースケースでどれだけうまく機能するかを測定するための代理にすぎないことを覚えておいてください。自分でテストする必要があります。幸いなことに、モデルの品質だけなら、限定的なテストで無料または安価なAPIで判断できます。
では、GPUには何人の開発者が収容できるのか?
09
0から64の間です。少なくとも、私たちが調査した構成によると、しかしそれが範囲であるという事実が私たちのポイントです。独自のハードウェアへの投資を真剣に考えている場合、関連する可能性のある重要なテイクアウェイを次に示します。
- あなたのDGX Sparkは本当に単一ユーザー向けです。 小さなモデルと中程度のトークンプールを備えた良い日には、1人の開発者を収容できます。スケーリングを探しているなら、これは最良の選択肢ではありません。中程度のタスクで個々の開発者エクスペリエンスを探しているなら、それは素晴らしいワークホースです。
- しかし、単一のH200でQwen3.6を実行すると、容易に32の同時セッションを提供でき、4×H200とDeepSeek-V4-Flashを使用すると、より高品質で同じことができます。8つのB200を積み重ねると、チームはフロンティアに近いモデルであるGLM-5.2を提供できるようになります。しかし、突然、タスク実行が完全に遅くなり始める前に、8人の開発者に逆戻りします。
- GPUのレンタルは実際のコスト削減になる可能性がありますが、モデルに大きく依存します。 私たちのテストでは、Qwenの場合、最大35倍のコスト削減(!)が見られましたが、DeepSeekの場合はAPIよりもコストが高くなりました。これは、適切なワークロードからモデルとハードウェアへのマッピングがいかに重要であるかを示しており、あるインフラストラクチャから別のインフラストラクチャへの切り替えは、単なるフラットなコスト削減をもたらす決定ではないことを示しています。
- ワークロードがあるしきい値を超えると、独自のハードウェアの購入が興味深くなる可能性があります。 これは、品質、速度、コストのどの組み合わせが組織で実際に必要とされるかに依存します。ワークロードがレンタルされたB200ラックを15%でも稼働させ続けることができるなら、驚くべきことに、フロンティアAPI価格をフロンティアに近い品質で上回る途上にあります。そうでない場合は、トークン請求書から逃れるためだけにセルフホストしないでください。アイドル状態のGPUラックは、現在のAPI請求書よりもタスクあたりのコストが高くなります。データ感度など、他の理由があるかもしれません。
もちろん、あなたの経験は異なる場合があります。したがって、独自のワークロードを測定してください。ピークをよりよく把握してください。そして、組織がAIコーディングエージェントの使用に成熟するにつれて、それを続けてください。現在の数字は現時点ではAPIの使用を示しているかもしれませんが、数ヶ月後には大きく異なる可能性があります。その間、私たちはそのパズルを助けるためのツールと洞察を構築していきます。
同じハードウェアにより多くの開発者を収容したい場合は、まさに次の投稿で説明します。推論エンジンをワークロードに合わせて調整し、1台のボックスでできることを倍増させます。続報をお待ちください。
貢献者
Steven L.、Wouter V.d.B.、Michaël M.、Ioana F.、Jan F.、Christian M.、Maxim C.、Arathy U.、Bohdan D.、Sepideh P.、Baptist V.、Jeroen B.、Robbert V.C.、Mathias F.、Hendrik M.、Jannick V.
参考文献
上記で引用された数字は、これらのソースに由来します。
- GitHub Blog(Mario Rodriguez)、「GitHub Copilot is moving to usage-based billing」(2026年4月)github.blog
- Forbes(Janakiram MSV)、「Uber Burns Its 2026 AI Budget In Four Months On Claude Code」(2026年5月)forbes.com
- Bloomberg(Natalie Lung)、「Uber Caps Employee Spending on AI Tools Like Claude Code to Manage Costs」(2026年6月)bloomberg.com
- SemiAnalysis(Crystal Huang、Joey Brookhart、Dylan Patel)、「TokenBudgeting: Our Conversations with Enterprises on Token Spend」(2026年6月)newsletter.semianalysis.com
- Ramp Economics Lab(Ara Kharazian)、「How much does it cost to be AI-pilled?」— Ramp AI Index(2026年6月)ramp.com
- Spheron(Mitrasish)、「AI Inference Cost Economics in 2026: GPU FinOps Playbook」(2026年4月)spheron.network
- VentureBeat、「5% GPU utilization: The $401 billion AI infrastructure problem enterprises can’t keep ignoring」(2026年5月)venturebeat.com
- Hebbia(Jake Skinner)、「The Hidden Economics of LLM Inference」(2026年4月)hebbia.com
- Artificial Analysis、モデル比較:Claude Opus 4.8、DeepSeek V4-Flash、Qwen3.6-35B-A3B、GLM-5.2(2026年7月アクセス)artificialanalysis.ai
- TRG Datacenters、「NVIDIA H200 Price Guide」(2026年7月アクセス)trgdatacenters.com
- GetDeploying、「H200 Cloud Pricing: Compare 34+ Providers」(2026年7月アクセス)getdeploying.com
- Tech-Insider、「NVIDIA Blackwell GPU Pricing 2026: B200, B300 & DGX Costs」(2026年7月)tech-insider.org
- Spheron、「NVIDIA B200 Cloud Pricing 2026: Per-Hour Rental Cost Across Providers」(2026年6月)spheron.network
- TechWolf、aistackと共有された内部開発者トークン使用データ(2026年7月)techwolf.com
付録:私たちの方法論
私たちの哲学の中核は、AIスタック(ソフトウェアとハードウェアの両方)を考える際に、実際のワークロードの詳細が重要であるということです。これを測定するために、コーディングエージェントの動作を可能な限り模倣するシステムをセットアップしました。設定可能なシステムの部分は、一方では推論エンジンです。
-
基盤となるハードウェア。テストしました
- デスクに設置されたDGX Spark(Lenovo ThinkStation PGX)
- オンプレミスのデータセンターでホストされた単一H200(24 CPUコア、64GBメモリ)
- オンプレミスのデータセンターでNVLink経由で接続されたHGX 4xH200
- 専用AIクラウドインフラプロバイダーによってホストされたHGX 8xB200
-
前述のさまざまなモデル
- vLLM設定(MTP投機的デコーディングを使用)を使用したDGX Spark上のQwen3.6-35B-A3B
- vLLM設定(MTP投機的デコーディングを使用)を使用したH200上のQwen3.6-35B-A3B
- テンソル並列4およびvLLM設定(MTP投機的デコーディングを使用)でホストされたDeepSeek-V4-Flash(8xH200レシピを適応させました)
- テンソル並列8およびSGLang設定(EAGLE投機的デコーディングを使用)でホストされたGLM-5.2(modal.com/blog/introducing-auto-endpointsで推奨されている設定)
一方、ワークロードを模倣する必要があります。設定できます。
-
エンドポイントに対して並列でエージェントコーディングタスクを実行するワーカーの数。これらは異なるDockerコンテナであり、それぞれがHarborタスク形式[参照]からコーディングタスクを取得します。これらのワーカーはサンドボックスプロバイダーのインフラストラクチャでホストされ、コモディティCPUで実行されます。
-
各タスク実行は3つのフェーズで構成されます。
- 前提条件がインストールされていることを確認するためのセットアップ
- 推論エンドポイントへのリクエストを駆動する実際のコード生成ループ
- 生成されたコードがテストに合格したかどうかを確認する最終評価
-
最初のフェーズと2番目のフェーズは、開発者がコーディング以外で行う作業(たとえば、2つのタスクの間にコーヒーを飲むなど)の基本的な類似性として機能するため、削除しないことを選択しました。ただし、必要に応じて異なる分析のために分離できます。たとえば、グラフのタスク時間は実際のコード生成のみに報告されます。セットアップと評価を含めると、エンドポイントの効果的な同時実行性が低下します。なぜなら、いつでも一部のエージェントがそのようなフェーズにあり、リクエストを送信していないからです。
-
固定タスクセットとして、ScaleLabsのSWEBench Proから64タスクをサンプリングしました。これには独自のプラットフォームを使用しますが、正確性を確保するためにHarborで取得した数値も再現しました。
推論エンジンとワーカーの両方で、ワークロードが基盤となるハードウェアおよびソフトウェア推論スタックとどのように相互作用するかを詳細に分析できる多くのメトリックをキャプチャします。これにより、設定をさらに最適化し、同じGPUにより多くの開発者を収容できます。これについては、次のブログ投稿で説明します。
トークン/秒を測定するために、タスクセットの大部分で持続スループットを確認します(たとえば、少数の残りのタスクしかないキューの終端を除く)。特にGLM-5.2の場合、これよりもはるかに高い個々の短いピークがありますが、テストされたワークロードでは、これらのレベルは長期間一貫していません。
観測にはばらつきがあります。トークン/秒、タスク時間、解決率(すべての実行で平均)では小さいですが、高同時実行でのQwen3.6とDeepSeek-V4-Flashのスループットの崩壊の発生では特に顕著です。これは、多数のワーカーを使用する場合の着信リクエストの確率論に関連しています。これが発生する最も低い同時実行レベルを選択しました。これは、セットアップが本番環境ではもはや信頼できないことを示しているためです。