Gimlet's Series B

公開日: 2026年9月4日 著者: Zain Asgar, Michelle Nguyen, Omid Azizi, James Bartlett, Natalie Serrino Gimlet LabsのシリーズBを発表 より高速で効率的なAI推論をスケールさせる 本日、Andreessen Horowitzが主導し、Sapphire Ventures、Menlo Ventures、645 Ventures、Arm、Eclipse、Emergence、Factory、Hudson River Trading、M12、OnePrime Capital、Prosperity7、QuantumLight、Samsung Ventures、Tiger Global Management、Triatomic、Wing Ventures、XTX Marketsが参加した、3億ドルのシリーズB資金調達を発表します。 3月以降、数10億ドル相当の契約収益、ギガワット級のデータセンターパイプラインを追加し、数百メガワット級の管理容量へと急速にスケールアップしています。 スループットと速度の必要性 シリーズAからわずか5ヶ月強で、トークンへの需要は驚異的なペースで増加し続けています。月間トークン生成量は過去12ヶ月で6倍になり、2030年までにさらに20倍増加すると予測されています。 この需要をサポートするため、業界は現代史上最も野心的な投資プロジェクトに乗り出しており、年間約1兆ドルに達し、2030年までに累積7兆ドルに達すると予想されています。電力は急速に最も重要なリソースボトルネックになりつつあります。AIデータセンターは2025年に約18ギガワットの容量を消費し、その数は2030年までに3倍になると予想されています。この成長をサポートするには、新しい発電、グリッド容量、相互接続、およびメーター裏のエネルギー生産が必要です。最終的には、スケールで提供できるリソースの限界に達するでしょう。kWあたりのスループットを最大化することで、物理的リソースへの影響を軽減しながら、業界はスケールアップを続けることができます。 生のスループットに加えて、以下の要因により、非常に高速な推論ティアと低遅延トークンへの需要も高まっています。 エージェントワークロード。エージェントはマルチステップの推論ループを実行し、多くの場合、数十回の連続したモデル呼び出しとツールインタラクションが必要です。これらの呼び出し全体で遅延が累積します。 大規模モデル。モデルは数年前の数百億パラメータから、現在では3兆から10兆パラメータにまで拡大しました。 より大きなコンテキストウィンドウ。2023年には、コンテキストウィンドウは最大約10万トークンに制限されていました。現在では、コンテキストウィンドウは100万トークン以上に達します。 業界は、高スループットまたは低遅延を個別に提供できます。問題は、これらの要件が累積する場合です。スループットとインタラクティビティのパレート図は広く流通しており、チームがスループットと遅延の間で行うトレードオフを示しています。課題は、スループットを最大化すること、または速度を最大化することだけでなく、高スループットで高速なトークンを提供することです。 従来の均質な推論インフラストラクチャでは、ユーザーは高スループット、低インタラクティビティの最適解に限定されます。ヘテロジニアスなディサグリゲーションにより、推論クラウドにおけるフロンティアワークロードで3〜10倍のパフォーマンス向上を達成できます。 Gimlet Cloudによる、より高速で効率的な推論の提供 Gimletを設立した際、私たちは以下の立場を取りました。 AI推論は、ソフトウェア（AIだけでなく）において主要なワークロードになるでしょう。 AI推論は、現在可能なレベルよりも、数桁単位で効率が低いのです。 したがって、これらのワークロードの需要を満たすために、AIインフラストラクチャは推論を念頭に置いて、ゼロから再考され、再構築される必要があります。 業界がトレーニングから推論へと主要なワークロードを移行するにつれて、モデルをサービスする最も速い方法は、トレーニング用に構築されたインフラストラクチャ（場合によっては仮想通貨マイニングのようなユースケースでも）を推論用に再利用することでした。しかし、推論はトレーニングとは根本的に異なり、推論内でも、基盤となるハードウェアからの要件には大きな多様性があります。 幸いなことに、チップデザイナーは高度に最適化されたAIアクセラレータを積極的に構築してきました。現在、独自の強みを持つ、大きく差別化されたアーキテクチャにアクセスできます。 異なるチップアーキテクチャは、異なるタスクに優れており、パフォーマンス/効率のトレードオフを提供します。 Gimlet Labsでは、推論パフォーマンスのためにゼロから構築された、最初のマルチシリコンクラウドを構築しています。Gimletは、GPU、ニアメモリコンピューティング、データフローアーキテクチャ、CPUを含む、さまざまな種類のアクセラレータを活用するために、ヘテロジニアスなハードウェア上に構築されています。そして、当社のソフトウェアスタックは、ワークロードをこれらのチップ全体にインテリジェントにディサグリゲートし、各推論ワークロードのフェーズを最も最適なシリコンアーキテクチャで実行します。 モデルを分割し、さまざまな種類のアクセラレータ全体で実行することで、同じ電力フットプリントで5〜10倍のスピードアップ、または同じ遅延で同様のスループット向上を達成できます。これは、今日のAI展開において電力がボトルネックとなっているため、非常に重要です。 粒度の細かいディサグリゲーションによるヘテロジニアスの活用 モデルを分割し、ヘテロジニアスハードウェア全体で実行するには複数の方法があり、異なる分割は異なるパフォーマンス特性を提供します。当社のソフトウェアスタックでは、モデルはトレースされ、さまざまな部分に分解され、ワークロードのSLAと利用可能なハードウェアに基づいてアクセラレータにスケジュールされます。 利用可能なハードウェアに基づいて動的にワークロードを再バランスさせ、コンピューティングが遊休状態になったり未使用になったりしないようにします。たとえあるタイプのハードウェアが特定のタスク（デコードなど）で完全に利用されていても、ワークロードがより多くのデコードインスタンスを必要とする場合、必要な容量を提供するために、他の利用可能なハードウェアでそれらを必要に応じて起動できます。 推論ワークロードは複数の方法でディサグリゲートできます。ここでは、いくつかの一般的なディサグリゲーションスキームを示します。それぞれが異なるパフォーマンスのトレードオフを提供します。最もよく知られているディサグリゲーションは、プリフィル/デコードであり、プリフィルフェーズ（非常にコンピューティングバウンド）が1セットのデバイスで実行され、デコードフェーズ（非常にメモリ帯域幅バウンド）が別のセットで実行されます。しかし、スペキュラティブデコードディサグリゲーションやアテンションFFNディサグリゲーションなど、他の手法も多数あります。プリフィル/デコードディサグリゲーションは最も低い遅延を提供しますが、他のタイプは均質な展開よりも高いスループットでスピードアップを提供します。将来の技術コンテンツで取り上げる新しいタイプもいくつかあります。 採用情報 チームを拡大しています。システム、データセンター、コンパイラ、分散システム、ネットワーキング、パフォーマンスエンジニアリングにまたがるAIインフラストラクチャスタック全体で作業する、高度に技術的な研究者、エンジニア、オペレーターのチームに参加することに興味がある場合は、ぜひお話ししたいです。 私たちは、小規模チーム、高いオーナーシップ、フラットな組織を中心にGimletを構築しています。私たちは、人々が仕事に近く、直接協力し、不要なレイヤーやプロセスなしで重要な問題を解決する自由を持つことを望んでいます。 オープンポジションはこちらで確認できます。 推論の未来 フロンティアモデルサイズ、トークン需要、トークン速度、キャッシュ長、チップアーキテクチャはすべて急速に成長しています。私たちが知っているソフトウェアは変化しており、総トークンスループットとモデル速度の両方における根本的なステップチェンジによってアンロックされる新しい製品体験について、お客様と協力できることを嬉しく思います。 現在、フロンティアラボやその他の大規模な推論消費者の皆様と協力していますが、より広範なオーディエンスに容量を追加するために急速に拡大しています。低遅延推論へのアクセスについて詳しく知りたい場合は、こちらまでご連絡ください。この旅にご協力いただいた投資家の皆様に改めて感謝いたします。 Xで共有