Gimlet's Series B

GimletのシリーズBを発表

大規模AI推論をより高速に、より効率的に

本日、Andreessen Horowitzが主導し、Sapphire Ventures、Menlo Ventures、645 Ventures、Arm、Eclipse、Emergence、Factory、Hudson River Trading、M12、OnePrime Capital、Prosperity7、QuantumLight、Samsung Ventures、Tiger Global Management、Triatomic、Wing Ventures、XTX Marketsが参加した、3億ドルのシリーズB資金調達を発表します。

3月以降、当社は数十億ドル規模の契約収益、ギガワット級のデータセンターパイプラインを追加し、数百メガワット級の管理容量へと急速にスケールアップしています。

スループットと速度の必要性

わずか5ヶ月前のシリーズA以降も、トークンの需要は驚異的なペースで増加し続けています。月間トークン生成数は過去12ヶ月で6倍に増加し、2030年までにさらに20倍に増加すると予測する向きもあります。

この需要を支えるため、業界は現代史上最も野心的な投資プロジェクトに乗り出しており、すでに年間1兆ドル近くに達し、2030年までに累積7兆ドルに達すると予想されています。電力は急速に最も重要なリソースボトルネックになりつつあります。AIデータセンターは2025年に約18 GWの容量を消費し、その数は2030年までに3倍になると予想されています。この成長を支えるには、新しい発電、グリッド容量、相互接続、およびメーター behind のエネルギー生産が必要です。最終的には、大規模に供給できるリソースの限界に達するでしょう。kWあたりのスループットを最大化することで、業界は物理的リソースへの影響を低減しながらスケールアップを続けることができます。

生の スループットに加えて、以下のような要因により、非常に高速な推論ティアと低レイテンシトークンへの需要も高まっています。

• エージェント型ワークロード。 エージェントは多段階の推論ループを実行し、多くの場合、数十回の逐次的なモデル呼び出しとツールインタラクションを必要とします。レイテンシはこれらの呼び出し全体で累積します。
• より大きなモデル。 モデルは数年前の数百億パラメータから、現在では3兆〜10兆パラメータに達しています。
• より大きなコンテキストウィンドウ。 2023年には、コンテキストウィンドウは約10万トークンに制限されていました。現在では、コンテキストウィンドウは100万トークン以上に達することができます。

業界は、高スループットまたは低レイテンシを個別に提供することは可能です。問題は、これらの要件が累積する場合です。スループットとインタラクティビティのパレート図は広く流通しており、チームがスループットとレイテンシの間で行うトレードオフを示しています。課題は、スループットを最大化すること、または速度を最大化することだけでなく、高スループットで高速なトークンを提供することです。

従来の均質な推論インフラストラクチャでは、ユーザーは高スループット、低インタラクティビティの最適化に限定されます。異種分散により、当社の推論クラウドでは、最先端のワークロードで3〜10倍高速なパフォーマンスを達成できます。

Gimlet Cloudで、より高速で効率的な推論を提供

Gimletを設立した際、私たちは以下の立場を取りました。

1. AI推論は、ソフトウェア（AIだけでなく）における主要なワークロードになる。
2. AI推論は、本来あるべき効率よりも大幅に（数桁オーダーで）非効率である。
3. したがって、AIインフラストラクチャは、これらのワークロードの需要を満たすために、推論を念頭に置いてゼロから再考し、再構築する必要がある。

業界がトレーニングから推論へと主要なワークロードを移行するにつれて、モデルをサービスする最も速い方法は、トレーニング用に（そして場合によっては仮想通貨マイニングのようなユースケースでも）構築されたのと同じインフラストラクチャを推論用に再利用することでした。しかし、推論はトレーニングとは根本的に異なり、推論内でも、基盤となるハードウェアからの要件には大きな多様性があります。

幸いなことに、チップ設計者は高度に最適化されたAIアクセラレータを積極的に構築してきました。現在、私たちは、それぞれ独自の強みを持つ、大きく差別化されたアーキテクチャにアクセスできます。

異なるチップアーキテクチャは、異なるタスクに優れており、パフォーマンス/効率のトレードオフを提供します。

Gimlet Labsでは、推論パフォーマンスのためにゼロから構築された、最初のマルチシリコンクラウドを構築しています。Gimletは、GPU、ニアメモリコンピューティング、データフローアーキテクチャ、CPUを含むさまざまな種類のアクセラレータを活用するために、異種ハードウェア上に構築されています。そして、当社のソフトウェアスタックは、これらのチップ全体でワークロードを知的に分散し、各推論ワークロードのフェーズを最も最適なシリコンアーキテクチャで実行します。

モデルを分割し、さまざまな種類のアクセラレータ全体で実行することで、同じ電力フットプリントで5〜10倍の速度向上、または同じレイテンシで同等のスループット向上を達成できます。これは、今日のAIデプロイメントにおいて電力がボトルネックとなっているため、非常に重要です。

詳細な分散による異種性の活用

モデルを分割し、異種ハードウェア全体で実行するにはさまざまな方法があり、異なる分割は異なるパフォーマンス特性を提供します。当社のソフトウェアスタックでは、ワークロードのSLAと利用可能なハードウェアに基づいて、モデルがトレースされ、さまざまな部分に分解され、アクセラレータにスケジュールされます。

利用可能なハードウェアに基づいてワークロードを動的に再バランスさせるため、コンピューティングが遊休状態になったり、未使用になったりすることはありません。たとえある種類のハードウェアが特定のタスク（デコードなど）で完全に利用されていたとしても、ワークロードがより多くのデコードインスタンスを必要とする場合、必要な容量を提供するために、必要に応じて他の利用可能なハードウェアでそれらを起動できます。

推論ワークロードは、複数の方法で分散できます。ここでは、いくつかの一般的な分散スキームを示します。それぞれが異なるパフォーマンスのトレードオフを提供します。

最もよく知られている分散タイプは、プリフィル/デコードです。プリフィルフェーズ（非常にコンピューティングバウンド）は1セットのデバイスで実行され、デコードフェーズ（非常にメモリ帯域幅バウンド）は別のセットで実行されます。しかし、スペキュラティブデコード分散やアテンションFFN分散など、他の多くの技術もあります。プリフィル/デコード分散は最も低いレイテンシを提供しますが、他のタイプは、より高いスループットを持つ均質なデプロイメントよりも高速化を提供します。また、現在開発中の新しいタイプがいくつかあり、これについては今後の技術コンテンツで取り上げます。

採用情報！

チームを拡大しています。システム、データセンター、コンパイラ、分散システム、ネットワーキング、パフォーマンスエンジニアリングにまたがるAIインフラストラクチャスタック全体で作業する、高度に技術的な研究者、エンジニア、オペレーターのチームに参加することに興味がある方は、ぜひお話ししたいです。

私たちは、小規模チーム、高いオーナーシップ、フラットな組織を中心にGimletを構築しています。私たちは、人々が仕事に近く、直接協力し、不要なレイヤーやプロセスなしで重要な問題を解決する自由を持つことを望んでいます。

Gimlet Labsの募集職種をご確認ください。

推論の未来

最先端モデルのサイズ、トークン需要、トークン速度、キャッシュ長、チップアーキテクチャはすべて急速に成長しています。私たちが知っているソフトウェアは変化しており、総トークンスループットとモデル速度の両方における根本的なステップチェンジによって解き放たれる新しい製品体験を、お客様と共に取り組めることを楽しみにしています。

現在、私たちは最先端の研究室やその他の大規模な推論消費者にサービスを提供していますが、より広範なオーディエンスに容量を追加するために急速に拡大しています。低レイテンシ推論へのアクセスについて詳しく知りたい場合は、Gimlet Cloudについてお問い合わせください。この旅にご協力いただいた投資家の皆様に改めて感謝いたします。