Etched Sohu対Nvidia: Transformer ASIC対GPU (2026)

Etched SohuはTransformer専用ASICであり、Etched AIは8チップのSohuサーバー1台でLlama 70Bに対して毎秒50万トークンを処理できると主張しています。これはチップあたり約62,500トークン/秒に相当します。比較として、単一のH100 SXM5はvLLMを使用した場合、バッチサイズ1で約700トークン/秒を達成します。このチップあたりの優位性は、Sohuのアーキテクチャを反映しています。このチップは、プログラマブルな計算ユニット上で実行されるソフトウェアではなく、固定機能ロジックとしてTransformerのAttentionを直接シリコンにハードコーディングしています。ここで示唆されるトレードオフが、この話の全てです。Sohuは、Transformerが今後数年間で主要なAIアーキテクチャであり、そのワークロードが安定しているため、プログラマビリティを完全に犠牲にしても正当化されるという賭けです。 現在推論ハードウェアを評価しているチームにとって、実用的な問題はSohuが高速かどうかではありません。それは、アーキテクチャの制約、供給リスク、およびツールチェーン移行コストが特定のワークロードにとって許容可能かどうかです。この記事では、アーキテクチャの詳細、SohuとH100、B200、Groq 3 LPUとの比較、そしてASICの賭けが成功する時期を判断するためのフレームワークを提供します。現在利用可能なASICとの比較については、SambaNova SN40L対H200およびB200のガイドを参照してください。そこではRDUアーキテクチャとリアルタイムのコスト・パー・トークン計算について説明しています。 更新: Etchedは2026年6月30日にステルスモードを終了しました Etchedは2026年6月30日に正式にステルスモードを終了し、その発表により、この話は「興味深い主張」から「資金調達され、契約済みのロードマップ」へと移行しました。具体的な事実は以下の通りです。動作するA0シリコンが実証され、8チップのSohu推論システムがラック規模で披露され、約8億ドルが4回のラウンドで調達され（50億ドルの評価額での5億ドルのラウンドを含む）、10億ドル以上の顧客契約が締結され、最初のラックは2026年夏に出荷される予定です。変わっていないこと: 独立した第三者ベンチマークがないこと、公開価格がないこと、そして今日Sohuをレンタルできるセルフサービスの方法がないことです。コスト・パー・トークン・フレームワークを含む以下の全ては依然として適用されます。違いは、可用性の問題に「肩をすくめる」のではなく、日付が付いたことです。 Etched AIとSohuチップとは Etched AIは2022年に設立されたチップスタートアップで、4回のラウンドで約8億ドルを調達しており、その中には50億ドルの評価額での5億ドルのラウンドが含まれています。彼らの最初の製品はSohuチップで、自己回帰言語モデルの推論用に設計されたTransformer専用ASICです。名前と資金調達は本物です。2026年6月30日のステルスモード終了以来、Etchedは動作するA0シリコンを実証し、10億ドル以上の契約を締結しており、最初のラックは2026年夏に出荷される予定です。しかし、今日それを購入したりレンタルしたりすることはまだできず、独立したベンチマークもまだ存在しません。 中心的なアーキテクチャの主張は、TransformerのAttentionをプログラマブルな行列乗算命令としてではなく、固定機能シリコンとして実装することにより、Sohuは同じワークロードクラスにおいてGPUでは達成できないスループット数値を達成できるということです。NVIDIA GPUは、ソフトウェアで書かれたCUDAカーネルを実行するプログラマブルな計算ユニットです。GroqのLPUは、カスタムコンパイラを持つデータフロープロセッサです。Sohuは異なる立場を取ります。プログラマビリティレイヤーは全く存在しません。このチップは1つのことしかできませんが、それはその1つのことのために物理的に構築されているからです。 これは、他のカスタム推論チップとは重要な点で異なります。Groq 3 LPUには、原理的には拡張可能なコンパイラがあります。AMD GPUはROCmをサポートしています。TenstorrentはTT-Metalをオープンソースソフトウェアとして出荷しています。Sohuのアーキテクチャは、同じ意味でのソフトウェア抽象化レイヤーを持っていません。もし次の世代のモデルでTransformerのAttentionが変更された場合、チップは適応できません。ハイパースケーラーが構築したASIC（Trainium 3、Maia 200、Meta MTIA）については、ハイパースケーラーカスタムAIチップのまとめを参照してください。 Sohuアーキテクチャ: Transformer専用の賭け 固定機能Transformerユニット TransformerのAttentionは、各レイヤーで3つのコア操作が必要です。クエリ、キー、バリューのプロジェクションの計算、KVキャッシュ全体でのマルチヘッドAttentionの実行、そしてフィードフォワードネットワークを介した結果の伝達です。GPU上では、これらのそれぞれがソフトウェアで切り替え可能なCUDAカーネルです。PagedAttention、FlashAttention-2、FlashAttention-3はすべて、汎用ハードウェア上でのAttention計算を改善するソフトウェア最適化です。 Sohu上では、これらの操作は静的な回路としてハードワイヤードされています。このチップには、Attentionソフトウェアを実行する汎用行列乗算ユニットがありません。Attention計算を直接実装する物理的な回路があります。これにより、カーネル起動レイテンシ、メモリ割り当て、スケジューラ決定からの全てのオーバーヘッドが排除されます。また、Transformer Attentionにマッピングされない計算は実行できないことも意味します。Sohu上で畳み込み、SSMスキャン、または拡散U-Netステップをコンパイルする方法はありません。なぜなら、ターゲットとなるプログラマブルなユニットが存在しないからです。 オンチップメモリ設計 Sohuのスループットの優位性は、主にメモリ帯域幅から来ています。GPU上での自己回帰デコードのボトルネックはKVキャッシュの読み取りです。新しいトークンごとに、HBMからKVキャッシュ全体を読み取る必要があります。H100 SXM5は80GBのHBM3を搭載し、帯域幅は3.35 TB/秒です。各トークン生成ステップは、モデルがこれらのKVキャッシュ値をどれだけ速く読み取れるかによって制限されます。 Etchedの公開資料および業界レポートによると、Sohuはチップあたり144GBのHBM3Eを使用しており、H100 SXM5の約1.8倍のメモリ帯域幅を持っています。HBM3e対HBM4対HBM4eの推論ガイドでは、同じHBM3E世代がGPUで提供するものをカバーしているため、Sohuの帯域幅の優位性がメモリタイプによるものか、固定機能アーキテクチャによるものかを確認できます。これにより、SohuはH100（80GB）よりも多くのメモリ容量を持ち、H100の3.35 TB/秒帯域幅の約1.8倍の帯域幅を持ちます。これは、GPUが使用するのと同じHBMアーキテクチャを使用しており、オンチップSRAMに置き換えるのではなく、GroqのLPUは根本的に異なるルートを取ります。チップあたり500MBのオンチップSRAMは、150 TB/秒の帯域幅を達成しますが、コンテキストウィンドウ容量は非常に限られています。Sohuのスループットの優位性は、SRAMベースの設計（Groqのような）からではなく、標準的なHBM3Eの上に構築されたTransformer Attentionパターンのアーキテクチャの専門化から来ています。70B以上のパラメータモデルをフル精度で使用する場合、144GBでもすぐにいっぱいになるため、大規模モデルの重みには依然としてマルチチップ構成が必要です。 Sohuができないこと これはほとんどのチームにとって最も重要なセクションです。 ビジョンおよびマルチモーダルモデル: 画像エンコーダーを持つモデル（LLaVA、Qwen-VL、LLama 3.2 Vision）は、エンコーダーが純粋なTransformerパターン以外の畳み込みまたはAttention操作を使用するため、Sohuでは実行できません。 拡散モデル: 画像生成（Stable Diffusion、Flux）およびビデオ生成（Wan 2.1、CogVideoX）には、Transformer AttentionではないU-Net畳み込みが必要です。 動的なエキスパートルーティングを持つMoE: DeepSeek V4、Mixtral、Qwen3-235B-A22Bは、各トークンでスパースなエキスパート選択を使用しますが、これは固定機能Transformer回路では対応できない不規則なメモリアクセスパターンを必要とします。 SSMおよびMambaアーキテクチャ: 状態空間モデルはAttentionをスキャン操作に置き換えますが、これはTransformer Attentionとは計算的に異なります。 トレーニングおよびファインチューニング: Sohuにはバックワードパスの実装がなく、推論専用です。 将来のアーキテクチャ: 密なTransformer Attentionに準拠しないモデルアーキテクチャは、新しいハードウェアを必要とします。 DeepSeek V4とQwen3-235B-A22Bは、2026年4月現在、最も広く展開されているオープンウェイトモデルの2つです。どちらもMoEアーキテクチャです。どちらもSohuとは互換性がありません。これはニッチなエッジケースではありません。これは、現在の本番推論ワークロードのかなりの部分がSohuで全く実行できないことを意味します。 Etchedの主張する数値対現実的なNVIDIAベースライン Llama 70Bに対するEtchedの毎秒50万トークンという数値は、8チップサーバーに対するもので、彼ら自身の公開資料からのものであり、独立して検証されていません。条件は重要です。これはバッチサイズ1またはそれに近いサイズで測定されたものと思われます。この場合、固定機能Attention回路は、GPUがその低いトークンあたりの帯域幅を償却するために利用するバッチ処理オーバーヘッドなしで、ピーク効率で動作できます。 より高いバッチサイズでは