Etched Sohu対Nvidia: Transformer ASIC対GPU (2026)
Etched Sohu vs. Nvidia: Transformer ASIC vs. GPU (2026) – Spheron Blog (spheron.network)
要約
AIチップスタートアップのEtched AIは、Transformer専用ASICであるSohuを発表しました。Sohuは、GPUと比較してTransformer推論において大幅なスループット向上を謳っていますが、その固定機能設計のため、Transformer以外のモデルやタスクには対応できません。実用化には、供給リスクやツールチェーンの移行コストといった課題も存在します。
全文翻訳
Etched Sohu vs NVIDIA: Transformer ASIC vs GPU (2026年)
Etched SohuはTransformer専用ASICであり、Etched AIは8チップのSohuサーバー1台でLlama 70Bに対して毎秒500,000トークンを処理できると主張しています。これはチップあたり約62,500トークン/秒に相当します。比較として、単一のH100 SXM5はvLLMを使用しバッチサイズ1で約700トークン/秒を達成します。このチップあたりの優位性は、Sohuのアーキテクチャを反映しており、チップはTransformerのAttention機構をプログラマブルな計算ユニット上のソフトウェアとしてではなく、固定機能ロジックとしてシリコンに直接実装しています。ここでのトレードオフは、このチップの全てを物語っています。Sohuは、Transformerアーキテクチャが今後数年間AIの主要なアーキテクチャであり続けること、そしてそのワークロードが安定しているため、プログラマビリティを完全に犠牲にすることが正当化されるという賭けです。
現在推論ハードウェアを評価しているチームにとって、実用的な問題はSohuが高速かどうかではありません。それは、アーキテクチャの制約、供給リスク、およびツールチェーン移行コストが特定のワークロードにとって許容可能かどうかです。この記事では、アーキテクチャの詳細、SohuとH100、B200、Groq 3 LPUとの比較、そしてASICの賭けがいつ報われるかの判断フレームワークを提供します。現在利用可能なASICの比較については、SambaNova SN40L vs H200 および B200 ガイドを参照してください。これはRDUアーキテクチャとライブのトークンあたりのコスト計算をカバーしています。
TL;DR: Transformer推論のためのEtched Sohu vs NVIDIA GPU
- 主張: Etchedによると、8チップのSohuサーバー1台でLlama 70Bに対して毎秒500,000トークンを処理でき、チップあたり約62,500トークン/秒です。単一のH100 SXM5はvLLMでバッチサイズ1で約700トークン/秒を処理します。
- 方法: SohuはTransformerのAttention機構を、プログラマブルユニット上でソフトウェアとして実行するのではなく、固定機能シリコンにハードワイヤリングしています。
- その代償: このチップはTransformerのみを実行します。アーキテクチャの変更や、Transformer以外のモデルはハードウェアを無駄にします。
- 代替案: Spheron上のH100は、2026年9月17日現在、オンデマンドで2.98ドル/時であり、設備投資(CapEx)やツールチェーン移行は不要です。
- 結論: ASICへの投資は、持続的で単一アーキテクチャの推論量が多い場合にのみ報われます。ライブGPU価格を比較する。
アップデート: Etched、2026年6月30日にステルスモードを終了
Etchedは2026年6月30日に正式にステルスモードを終了し、この発表により、この話は「興味深い主張」から「資金調達され、契約済みのロードマップ」へと移行しました。具体的な事実は以下の通りです。動作するA0シリコンがデモンストレーションされ、8チップのSohu推論システムがラック規模で公開され、約8億ドルが4回のラウンドで調達され(50億ドルの評価額での5億ドルのラウンドが報告されています)、10億ドル以上の顧客契約が締結され、最初のラックは2026年夏に出荷予定です。変わらない点:独立した第三者ベンチマークがない、公開価格がない、今日Sohuをレンタルするセルフサービスの方法がない。以下のすべて、トークンあたりのコストフレームワークを含め、依然として適用されます。違いは、可用性の問題に「肩をすくめる」のではなく、日付が付いたことです。
Etched AIとSohuチップとは
Etched AIは2022年に設立されたチップスタートアップで、4回のラウンドで約8億ドルを調達しており、その中には50億ドルの評価額での5億ドルのラウンドが含まれています。彼らの最初の製品はSohuチップで、オートリグレッシブ言語モデルの推論用に設計されたTransformer専用ASICです。名前と資金調達は本物です。2026年6月30日のステルスモード終了以来、Etchedは動作するA0シリコンを示し、10億ドル以上の契約を締結しており、最初のラックは2026年夏に出荷予定です。今日、まだ購入またはレンタルできるものではなく、独立したベンチマークもまだ存在しません。
中核となるアーキテクチャの主張は、TransformerのAttention機構をプログラマブルな行列乗算命令としてではなく、固定機能シリコンとして実装することにより、Sohuは同じワークロードクラスではどのGPUも達成できないスループット数値を達成できるということです。NVIDIA GPUは、ソフトウェアで書かれたCUDAカーネルを実行するプログラマブルな計算ユニットです。GroqのLPUは、カスタムコンパイラを持つデータフロープロセッサです。Sohuは異なる立場を取ります。プログラマビリティレイヤーは全くありません。このチップは一つのことを行い、その一つのことを行うために物理的に構築されています。
これは、他のカスタム推論チップとは重要な点で異なります。Groq 3 LPUには、原理的には拡張可能なコンパイラがあります。AMD GPUはROCmをサポートしています。TenstorrentはTT-Metalをオープンソースソフトウェアとして出荷しています。Sohuのアーキテクチャは、同じ意味でのソフトウェア抽象化レイヤーを持っていません。次世代モデルでTransformerのAttention機構が変更された場合、チップは適応できません。ハイパースケーラーが構築したASIC(Trainium 3、Maia 200、Meta MTIA)については、ハイパースケーラーカスタムAIチップのまとめを参照してください。
Sohuアーキテクチャ: Transformer専用への賭け
固定機能Transformerユニット
TransformerのAttention機構は、各レイヤーで3つのコア操作を必要とします。クエリ、キー、バリューのプロジェクションの計算、KVキャッシュを介したマルチヘッドAttentionの実行、そしてフィードフォワードネットワークを介した結果の伝達です。GPU上では、これらのそれぞれがCUDAカーネルであり、異なる実装に置き換えることができます。PagedAttention、FlashAttention-2、FlashAttention-3はすべて、汎用ハードウェア上でのAttention計算を改善するソフトウェア最適化です。
Sohu上では、これらの操作は静的な回路としてハードワイヤリングされています。このチップには、Attentionソフトウェアを実行する汎用行列乗算ユニットはありません。Attention計算を直接実装する物理的な回路があります。これにより、カーネル起動レイテンシ、メモリ割り当て、スケジューラ決定からのすべてのオーバーヘッドが排除されます。また、TransformerのAttentionにマッピングされない計算は実行できません。Sohu上で畳み込み、SSMスキャン、または拡散U-Netステップをコンパイルする方法はありません。なぜなら、ターゲットとなるプログラマブルユニットが存在しないからです。
オンチップメモリ設計
Sohuのスループットの優位性は、主にメモリ帯域幅から来ています。GPUでのオートリグレッシブデコードのボトルネックはKVキャッシュの読み取りです。新しいトークンごとに、HBMから完全なKVキャッシュを読み取る必要があります。H100 SXM5は80GBのHBM3を搭載し、3.35TB/秒の帯域幅を持っています。各トークン生成ステップは、モデルがこれらのKVキャッシュ値をどれだけ速く読み取れるかによって制限されます。
Etchedの公開資料と業界レポートによると、Sohuはチップあたり144GBのHBM3Eを使用しており、H100 SXM5の約1.8倍のメモリ帯域幅を持っています。私たちのHBM3e vs HBM4 vs HBM4e推論ガイドは、同じHBM3E世代がGPUで何を提供するかをカバーしているので、Sohuの帯域幅の優位性がメモリタイプから来ているのか、固定機能アーキテクチャから来ているのかを確認できます。これにより、SohuはH100(80GB)よりも多くのメモリ容量を持ち、H100の3.35TB/秒帯域幅の約1.8倍の帯域幅を持ちます。これは、GPUが使用するのと同じHBMアーキテクチャを使用しており、オンチップSRAMに置き換えるのではなく、そうしています。Groq 3 LPUは根本的に異なるルートを取ります。チップあたり500MBのオンチップSRAMは、150TB/秒の帯域幅を達成しますが、コンテキストウィンドウ容量は非常に限られています。Sohuのスループットの優位性は、GroqのようなSRAMベースの設計からではなく、標準的なHBM3Eの上に構築されたTransformer Attentionパターンのアーキテクチャの専門化から来ています。70B以上のパラメータモデルをフル精度で扱う場合、144GBでもすぐにいっぱいになるため、大規模モデルの重みにはマルチチップ構成が依然として必要です。
Sohuができないこと
これはほとんどのチームにとって最も重要なセクションです。
- ビジョンおよびマルチモーダルモデル: LLaVA、Qwen-VL、LLama 3.2 Visionのようなビジュアルエンコーダーを持つモデルは、エンコーダーが純粋なTransformerパターン以外の畳み込みまたはAttention演算を使用するため、Sohuでは実行できません。
- 拡散モデル: 画像生成(Stable Diffusion、Flux)およびビデオ生成(Wan 2.1、CogVideoX)には、Transformer AttentionではないU-Net畳み込みが必要です。
- 動的なエキスパートルーティングを持つMoE: DeepSeek V4、Mixtral、Qwen3-235B-A22Bは、各トークンでスパースなエキスパート選択を使用しており、固定機能Transformer回路では対応できない不規則なメモリアクセスパターンが必要です。
- SSMおよびMambaアーキテクチャ: 状態空間モデルはAttentionをスキャン操作に置き換えますが、これはTransformer Attentionとは計算的に異なります。
- トレーニングおよびファインチューニング: Sohuにはバックワードパスの実装がなく、推論専用です。
- 将来のアーキテクチャ: 密なTransformer Attentionに準拠しないモデルアーキテクチャは、新しいハードウェアが必要です。
DeepSeek V4とQwen3-235B-A22Bは、2026年4月現在、最も広く展開されているオープンウェイトモデルの2つです。どちらもMoEアーキテクチャです。どちらもSohuと互換性がありません。これはニッチなエッジケースではありません。これは、現在の本番推論ワークロードの相当な割合がSohuで全く実行できないことを意味します。
Etchedの主張する数値 vs 現実的なNVIDIAベースライン
Llama 70Bに対するEtchedの毎秒500,000トークンという数値は、8チップサーバーのものであり、同社の公開資料からのもので、独立して検証されていません。条件は重要です。これはバッチサイズ1付近で測定されたもので、固定機能Attention回路が、GPUが低いトークンあたりの帯域幅を償却するために利用するバッチ処理のオーバーヘッドなしでピーク効率で動作できる状態です。
より高いバッチサイズでは、状況は変化します。GPUスループットは、計算ユニットが複数のリクエストでビジー状態を保つため、バッチ処理でよくスケールします。固定機能Attention回路は、同じ方法でバッチ処理の恩恵を受けません。その利点は、リクエストあたりのデコードスループットであり、多くのリクエストにわたる集約スループットではありません。
| モデル | Sohu チップあたり (Etched主張) | H100 SXM5 (vLLM) | B200 SXM6 (vLLM) | 備考 |
|---|---|---|---|---|
| Llama 70B バッチサイズ1 | 約62,500 tok/s | 約700 tok/s | 約1,200 tok/s | Sohuの数値は8チップサーバーの500k tok/sの主張から導出 |
| Llama 70B バッチサイズ32 | 未定 | 約5,000 tok/s | 約9,000 tok/s | |
| Llama 70B バッチサイズ256 | 未定 | 約45,000 tok/s | 約80,000 tok/s |
Sohuの数値はチップあたりで、Etchedの公開したLlama 70Bに対する8チップサーバーの500,000 tok/sの主張から導出されたもので、独立して検証されていません。NVIDIAの数値は、単一チップでのvLLMとFlashAttention-2を反映しています。調達決定を行う前に、ご自身でベンチマークを実行してください。
バッチサイズの違いは、同時リクエストを持つサービングAPIを実行するチームにとって非常に重要です。バッチサイズ256では、単一のH100は毎秒45,000トークンを生成できます。Etchedの毎秒500kトークンという数値は、バッチサイズ1での8チップサーバーのもので、チップあたり約62,500トークン/秒に正規化されます。公平な比較には、条件を一致させる必要があります。Etchedはバッチサイズ32または256の数値を公開していません。
Sohu vs B200およびB300: 純粋なTransformer推論のスループットとコスト
純粋なTransformerワークロードを持つチームにとって、トークンあたり百万あたりのコスト比較は、生の スループットよりも重要です。式は次のとおりです: 100万トークンあたりのコスト = ($/時) / (トークン/秒 × 3,600) × 1,000,000
| チップ | オンデマンド ($/時, 2026年8月2日) | スポット ($/時, 2026年8月2日) | Llama 70B tok/s (バッチサイズ32) | 100万トークンあたりのコスト (オンデマンド) |
|---|---|---|---|---|
| H100 SXM5 (Spheron) | $3.38 | $1.46 | 約5,000 | 約$0.188 |
| B200 SXM6 (Spheron) | $7.50 | $2.74 | 約9,000 | 約$0.231 |
| B300 SXM6 (Spheron) | $10.21 | $5.81 | 約16,000 (推定) | 約$0.177 (推定) |
| Sohu (Etched, 推定) | 利用不可 | 利用不可 | バッチサイズ1で約62,500/チップ、未検証 (8チップサーバー: 約500k) | 計算不可 |
この表のレートは、2026年8月2日に比較を実行した際のライブレートであり、トークンあたりのコスト比率が内部的に一貫性を保つように固定されています。ライブのSpheronレートは、この記事の他の場所と価格ページに表示されています。
Sohuのトークンあたりのコストは、チップが購入またはクラウドレンタルで利用できず、Etchedが価格を公開していないため計算できません。競争力のあるスループット数値もバッチサイズ1でしか利用できず、これは典型的なサービングバッチサイズでのGPUと比較した場合の実際の優位性を過大評価しています。
今日決定を下すチームにとって、Spheron B200インスタンスはバッチサイズ32で毎秒9,000トークンを提供し、上記の2026年8月2日のレート(現在9.95ドル/時)で100万トークンあたり約0.231ドルとなり、vLLMとTensorRT-LLMの完全なサポート付きで今すぐ利用可能です。スポットは同じ固定レートの日で1時間あたり2.74ドルでしたが、予告なく回収される可能性があるため、SLAを持つものにはオンデマンドが計画レートです。ライブスポットレートは現在1時間あたり5.22ドルです。B300は2026年8月2日に1時間あたり10.21ドルで、推定スループットで100万トークンあたり約0.177ドルとなり、Sohuが提供する必要のあるコストの優位性を狭めました。B300は現在、オンデマンドで1時間あたり5.40ドルです。このASIC比較を超えて、B200がH200およびGB200とどのように比較されるかの詳細については、H200 vs B200 vs GB200 ガイドを参照してください。
Sohu vs Groq 3 LPU: 2つの非GPU推論チップ
SohuとGroq 3 LPUはどちらも、同じボトルネックをターゲットとする非GPU推論チップです。オートリグレッシブデコードのスループットを制限するHBMメモリ帯域幅です。両者は非常に異なるアプローチを取っており、実用的な違いが重要です。Groq 3 LPUアーキテクチャの完全な内訳については、NVIDIA Groq 3 LPU解説投稿を参照してください。
| 次元 | Etched Sohu | Groq 3 LPU |
|---|---|---|
| アーキテクチャ | 固定機能Transformer ASIC | データフローSRAMプロセッサ (プログラマブル) |
| メモリ | チップあたり144GB HBM3E | チップあたり500MBオンチップSRAM |
| メモリ帯域幅 | H100 SXM5帯域幅の約1.8倍 | チップあたり150 TB/s |
| プログラマビリティ | なし (ハードワイヤード演算のみ) | カスタムコンパイラ、ある程度の柔軟性 |
| vLLM互換性 | なし | なし (NVIDIA Dynamo経由で非同期化) |
| エコシステムサポート | スタートアップ (Etched AI) | NVIDIAライセンス、データセンター展開 |
| 生産状況 (2026年4月) | 事前生産、一般公開なし | 初期アクセス |
| アーキテクチャ柔軟性 | Transformerのみ | Transformer中心、限定的なMoEサポート |
最も重要な違いは組織的なサポートです。Groqは200億ドルのライセンス契約でNVIDIAの製品ポートフォリオに買収されました。Groq 3 LPUは、NVIDIAのDGXインフラストラクチャ戦略の一部としてデータセンターに展開されており、NVIDIAのサプライチェーンとエンタープライズ契約がそれを支えています。Sohuはスタートアップチップであり、Etchedは約8億ドルを調達し、10億ドル以上の契約を締結していますが、NVIDIAが提供する組織インフラ、サプライチェーン、エンタープライズサポート契約が不足しています。このリスクプロファイルの違いは、他のすべての比較ポイントを増幅させます。Sohuとは異なり、Groqの現世代LPUは今日レンタル可能であり、CerebrasのWSE-3も同様に、本番トラフィックで実際に利用可能なもう一つの非GPUチップです。私たちのGroq LPU vs Cerebras WSE-3比較は、これら2つのライブオプションのうち、トークンあたり百万あたりのコストが安い方を示しています。
ハイパースケーラー規模で同様の垂直統合型推論ASICへの賭けをOpenAIがどのように進めているかについては、OpenAI Jalapeñoチップ解説ガイドを参照してください。AMDは異なる角度から同様の賭けをしています。2026年8月のTaalas買収により、Transformer Attentionをハードコーディングするのではなく、モデルの重みを直接シリコンにファブリケートするチップがもたらされました。AMDのTaalas買収解説で、そのHC1チップの制約がSohuのものと比較してどうなるかを見てください。韓国のRebellionsは、ベンチャーキャピタルやNVIDIAのライセンス契約ではなく、国家政府がロードマップを資金提供するという点で、組織的サポートの質問をさらに別の方向に進めています。そしてSohuとは異なり、そのATOMチップはすでに商用ワークロードを実行しています。そのサポートがどのように比較され、トークンあたりコストの数値が実際に何を示すかについては、Rebellions AIチップ vs NVIDIA GPUを参照してください。
Transformer-ASICへの賭け: Etchedが何を犠牲にするか
Sohuの根底にある前提は、Transformerアーキテクチャが収束し、今後数年間AIの主要なパラダイムであり続けるため、プログラマビリティを完全に犠牲にすることが正当化されるということです。これは単なるパフォーマンス最適化ではなく、特定のアーキテクチャへの賭けです。
| ワークロード | Sohu | Groq 3 LPU | H100/B200 |
|---|---|---|---|
| 密なTransformer推論 | はい | はい | はい |
| MoE推論 (DeepSeek V4, Qwen3-235B-A22B) | いいえ | 部分的 | はい |
| マルチモーダル (ビジョンエンコーダー + 言語モデル) | いいえ | いいえ | はい |
| 拡散画像/ビデオ生成 | いいえ | いいえ | はい |
| SSM/Mamba | いいえ | いいえ | はい |
| トレーニングおよびファインチューニング | いいえ | いいえ | はい |
| 将来のアーキテクチャ | 高リスク | 中リスク | 低リスク |
この賭けに対する反証はすでに本番環境にあります。DeepSeek V4は2026年初頭現在Hugging Faceで最もダウンロードされているモデルであり、Sohuがサービス提供できない671B MoEアーキテクチャです。Qwen3-235B-A22Bは、オープンウェイト機能の最前線を表す235B MoEモデルです。MoEへの移行は将来のリスクではなく、現在の現実です。
拡散言語モデルは、異なる計算パターンを持つ新興カテゴリです。GPUクラウドでの拡散言語モデルガイドで、dLLMがオートリグレッシブTransformerとアーキテクチャ的にどのように異なるかの詳細な内訳を参照してください。標準的なTransformerと並行してdLLMをサービス提供している、またはサービス提供を計画しているチームは、Transformer専用ASICを使用できません。
Sohuが勝つとき
Sohuの制約が本当に許容できるチームにとって、スループットの優位性は本物です。Sohuのアーキテクチャが意味をなす特定のシナリオは次のとおりです。
- 2年以上固定される単一モデルアーキテクチャを持つ純粋なオートリグレッシブ密なTransformerサービングで、MoEやマルチモーダルを採用しないことが確実な場合。
- バッチサイズ1のデコード速度が重要であり、高い同時実行性でのスループットのトレードオフを受け入れる、極端に低いレイテンシ要件。
- Etchedのコンパイラへの移行コストが追加的でない、既存のCUDAツールチェーン投資がないグリーンフィールドインフラストラクチャ構築。
- モデルアーキテクチャが静的で、非常に高いボリュームでのトークンあたりのコスト削減に焦点が当てられている、コモディティTransformerサービング(ハイパースケール)。
- vLLM、SGLang、TensorRT-LLMから独立した独自の推論スタックを構築および保守するエンジニアリングリソースを持つ組織。
NVIDIAが勝つとき
ほとんどのチームにとって、NVIDIA H100またはB200が現時点での正しい選択です。具体的には:
- ビジョンエンコーダーと言語モデルを組み合わせたあらゆるマルチモーダルワークロード。
- DeepSeek V4、Mixtral、Qwen3-235B-A22Bを含むMoEモデル。
- 画像またはビデオ生成のための拡散モデルサービング。
- SSMまたはMambaアーキテクチャが評価下にあるワークロード。
- 同じインフラストラクチャ上で推論と並行してトレーニングまたはファインチューニングを実行しているチーム。
- 今日vLLM、SGLang、TensorRT-LLM、またはFlashAttentionに依存しているチーム。
- 12〜18ヶ月後ではなく、今すぐ本番ハードウェアを必要とする組織。
- 事前生産のスタートアップツールチェーンのソフトウェアリスクを受け入れられないチーム。
ソフトウェアスタックリスク: CUDA vs Etchedのツールチェーン
CUDAエコシステムは18年の歴史があり、すべての主要な推論フレームワークに深く組み込まれています。vLLMのPagedAttention、TensorRT-LLMのカーネルフュージョン、SGLangのマルチターンセッション管理、FlashAttention-3のハードウェア固有の最適化:これらはすべてCUDAネイティブであり、GPUから移行するには完全な書き直しが必要です。
EtchedはEtched AIによって開発されたカスタムコンパイラを必要とします。vLLMまたはTensorRT-LLMからの移行パスはありません。Sohuへの移行は、独自のツールチェーンでサービングスタックをゼロから再構築し、スタートアップのハードウェアでそれを保守することを意味します。Etchedがスケジュール通りに進み、チップが主張通りにパフォーマンスを発揮すれば、コスト面で勝利します。リリース日を逃したり、ピボットしたり、サプライチェーンの問題が発生したりすると、サービングスタックはサポートされていないハードウェア上にとどまります。
これと比較して、Groq 3 LPUはNVIDIAがサポートし、非同期推論のためにNVIDIA Dynamoと統合されており、エンタープライズサポート契約が付いています。またはTenstorrentと比較してください。少なくともTT-MetalはMITライセンスの下でオープンソースです(Tenstorrent vs NVIDIA投稿で、ソフトウェアの話が実際どのように展開されるかを参照してください)。Sohuは、Groq LPUの組織的サポートもTenstorrentのオープンソースヘッジも持っていません。QualcommのAI200およびAI250は、固定機能スループットではなくメモリ容量に賭けるという、まったく別のパスを取ります。この推論専用の賭けがNVIDIA GPUと比較してどうなるかについては、Qualcomm AI200 vs NVIDIA GPU推論を参照してください。
TCOモデル: ASICへの賭けはいつ報われるか
損益分岐点のロジックには、すべて同時に満たされる必要がある3つの条件があります。
- ASICのトークンあたりのコストは、特定のワークロードとバッチプロファイルにおいて、GPUクラウドよりも実質的に低くなければならない。
- 移行およびツールチェーン書き換えコストは、現実的な期間にわたる累積節約額よりも小さくなければならない。
- アーキテクチャは、次世代モデルがハードウェアを時代遅れにする前に、両方のコストを償却できる十分な期間安定していなければならない。
Sohuに関しては、これらのいずれも今日検証できません。Etchedは価格またはラックあたりのコストを公開していません。ツールチェーン移行コストは不明ですが、成熟したvLLMデプロイメントを持つチームにとっては大きい可能性があります。そして、MoEモデルの本番導入がすでに現実となっていることを考えると、アーキテクチャの安定性という仮定はすでに疑問視されています。
代替案を検討してください。SpheronでH100を時間単位でレンタルすると、2.20ドル/時から利用でき、設備投資のコミットメントもツールチェーン移行も不要です。B200が利用可能になったら、切り替えます。B300がアクセス可能になったら、再び切り替えます。柔軟なGPUクラウドレンタルは、移行コスト、アーキテクチャの賭け、そして今後12ヶ月でリリースされるすべてのモデルへの完全なアクセスを必要としません。
AIインフラチームのための実践的なガイダンス
今日、2026年7月、GPUクラウドは依然としてTransformer推論の正しいデフォルトです。H100とB200は現在利用可能で、vLLMは両方でそのまま動作し、トークンあたりのコスト数値は、本番バッチサイズで独立して検証されていないASICの主張と比較して競争力があります。
今後12〜18ヶ月の間に、スタックが真に純粋なTransformerであり、トークンボリュームがGPUクラウドの支出が意味のある項目となるほど大きい場合は、Sohuを注意深く監視してください。Etchedの早期アクセスリストに登録してください。ただし、実際のバッチサイズでの独立したベンチマークと、vLLMからの明確な移行パスが得られるまで、本番トラフィックをコミットしないでください。
ヘッジ戦略は、Spheron GPUクラウドでコストとスループットのベースラインを構築することです。本番バッチサイズでの秒間トークン数を測定します。トークン百万あたりの実際のコストを計算します。その数値は、Sohu、Groq LPU、またはCerebrasが大規模で実証された場合に移行を正当化するために打ち負かす必要があるすべてのASICの主張のベンチマークとなります。このベースラインなしでは、ASICのスループットの主張には参照点がありません。
推論用のGPUをまだ選択していないチームの場合、AI推論に最適なGPUガイドは、モデルサイズ、バッチサイズ、予算に基づいた具体的な決定基準でH100 vs H200 vs B200 vs L40Sをカバーしています。
Etched Sohuは実際のアーキテクチャへの賭けですが、今日本番ワークロードでは利用できません。Spheron上のH100およびB200 GPUクラウドを使用すると、Transformer推論を今すぐ提供でき、Sohu、Groq LPU、またはCerebrasが大規模で実証された場合に評価するために必要なベンチマークベースラインを構築できます。