HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

Metaのギガワット級スーパーコンピュータクラスター「Prometheus」

Meta's GB{2,3}00 Cluster (engineering.fb.com)

73 pointsby stokedmartin29 コメント

要約

Metaは、次世代の基盤モデルをトレーニングするためのギガワット級スーパーコンピュータクラスター「Prometheus」を構築しています。このインフラは、NVIDIAのGB200 NVL72(Catalina)およびGB300 NVL72(Clemente)GPUを採用し、最終的には100万基のGPU規模への拡張を目指しています。効率的な運用と高い信頼性を実現するため、先進的な冷却システムと専用ネットワークを備えています。

全文翻訳

Inside Prometheus: Meta’s Journey to a Gigawatt-Scale Supercluster

  • Museファミリーの基盤モデルの最近のリリースを受けて、そのすべてを可能にしたインフラストラクチャの内部を紹介します。
  • ギガワット級スーパーコンピュータであるPrometheusの第一段階はすでに完了しており、約100万基のGPUを擁する規模への拡張を目指しています。
  • Prometheusは、効率的な運用を支援するために、クローズドループ液体冷却などの技術も採用しています。

現在、オハイオ州ニューアルバニーで、Metaはこれまでにない野心的なAIインフラストラクチャプロジェクトに取り組んでいます。ギガワット級スーパーコンピュータであるPrometheusは、数十億人もの人々に新しいAI体験をもたらす次世代の基盤モデルをトレーニングするためのインフラストラクチャの進化です。

2年前、ニューアルバニーは従来のデータセンターサイトでウェブトラフィックを処理していました。ハードウェア、ネットワーク、および建屋設計の進歩により、このサイトを最先端モデルのトレーニングプログラムの本拠地とするために改修しました。スーパーコンピュータは段階的に構築されており、第一段階はすでに完了し、当社のMuse基盤モデル(Muse Wonderモデルなど、パーソナルおよびプロフェッショナルなエージェントタスクで最先端のパフォーマンスを発揮する当社の最先端モデルを含む)のトレーニングに使用されました。

大規模なトレーニングジョブでは、パフォーマンスを維持するためにすべてが最適に機能する必要があります。単一ホストの問題がジョブ全体を遅延または停止させ、その「グッドプット」を低下させる可能性があります。システムの安定性と信頼性の向上に注力することで、事前トレーニング実行で85%以上、Muse Wonderの強化学習(RL)実行で90%以上のグッドプットを達成することができました。これらのトレーニング実行中、中断間の平均時間(MTBI)は、GPU時間で約47,000時間という全体的なウォールクロック時間を達成しました。それ以来、ファームウェア修正によりMTBIを54,000 GPU時間以上に増加させるなど、フリート全体でさらなる変更を加え、継続的に改善しています。

現在、Meta Superintelligence Labsの次の最先端モデルを念頭に置いて、Prometheusの拡張を続けています。

[動画: https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_Video_v1.mp4]

Prometheusスーパーコンピュータは、Metaのニューアルバニー(オハイオ州)データセンターに収容されています。

スーパーコンピュータ:新しいAI機能の解放

現在、Prometheusは、複数の相互接続された建屋にまたがる数百数千基のGPUアレイで構成されています。これには、従来のデータセンター建屋、AI最適化データセンター建屋、および迅速展開構造物が含まれ、すべてが数マイルのファイバーで緊密に相互接続され、単一の機械として機能します。

この容量により、従来は実用的ではなかった、より大規模なモデルとより長いコンテキストウィンドウを追求することが可能になります。フルスケールでは、Prometheusは約100万基の分散GPUを搭載し、すべてが同期して動作します。

AIハードウェアの複数世代

Prometheusは現在、2つのNVIDIA GPUプラットフォームを展開しており、3番目のプラットフォーム(NVIDIAのVera Rubin NVL72に基づく)が間もなく登場します。それぞれがパフォーマンスと効率における世代的な飛躍を表しており、72基のGPUが同じネットワークファブリック内で単一のアクセラレータとして機能するNVL72ラックアーキテクチャを活用しています。

Catalina: NVIDIA GB200

当社の最初のプラットフォームであるCatalinaは、NVIDIA GB200 NVL72を活用しています。当社は、36基のGPUがNVLinkを介して相互接続され、統一された72-GPUドメインを形成する2ラック構成であるArielバリアントを展開しています。Catalinaは、Grand Teton H100と比較して、生のコンピューティング能力とメモリ容量を向上させています。これは、Open Rack V3 (ORv3)高電力ラック(HPR)構造を活用しており、これはOpen Compute Project (OCP)に寄贈されたオープンハードウェア設計です。

GB200 NVL72のArielバリアントは、各NVIDIA Blackwell GPUにNVIDIA Grace CPUと2x NVIDIA ConnectX-7 400G NICを1:1のCPU対GPU比でペアリングし、業界よりも早くGPUあたり800GのI/Oを展開できるようにします。Arielを選択したのは、GB200 NVL72がNVIDIA H100と比較して、FLOPS、HBM帯域幅、スケールアップ帯域幅、スケールアップドメインサイズなど、ほぼすべての次元でスケールアップし、GPUあたりのスケールアウト帯域幅は400Gのままであったためです。この不均衡がパフォーマンスに影響すると予想されたため、GPUあたり800Gのスケールアウトを提供する構成を選択しました。これにより、領域が時間とともに拡大し、800Gスケールアウトが利用可能になった際にも、仕様の均一性が高まりました。

[動画: https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB200_GIF_v1.mp4]

Catalina GB200 NVL72の主な特徴:

  • 72基のNVIDIA Blackwell GPU(13.4 TBのHBM3e、GPUあたり192 GB)。
  • 720 PFLOPSのFP8トレーニングコンピューティング能力(FP4では1,440 PFLOPS)。
  • 130 TB/sのピークNVLink帯域幅(ドメイン内)。
  • **576 TB/sのピーク集約メモリ帯域幅。
  • 約120 kWのシステム総電力(2ラックペア)。
Clemente: NVIDIA GB300 NVL72

当社の2番目のプラットフォームであるClementeは、NVIDIA GB300 NVL72に移行し、GPUレベルとプラットフォームレベルの両方でCatalinaを改善しています。GB300は、GPUあたりのHBM容量を1.5倍(192 GBから288 GBへ)、FP4スループットを同様のファクターで向上させ、アテンション(softmax)アクセラレーションを約2倍にしています。プラットフォームレベルでは、GB200 NVL72で制約となっていたスケールアウトがもはや制約ではなくなりました。NVIDIA ConnectX-8 SuperNICは、GPUあたりネイティブで800Gを提供するため、Arielで早期に展開した機能がベースラインとなります。これと2:1のGPU対CPU比により、Clementeは単一ラックに72-GPUドメイン全体を収容でき、物理的な展開を合理化します。Clementeは、当社のモジュラーAir-Assisted Liquid Cooling(AALC)で展開するか、新設計のデータセンターでFacility Liquid Cooling(FLC)を使用できます。サービス性も大幅に向上し、ケーブル配線が削減されています。

[動画: https://engineering.fb.com/wp-content/uploads/2026/10/AIM-1210-Superclusters_GB300_GIF_v1.mp4]

Clemente GB300 NVL72の主な特徴:

  • 72基のNVIDIA Blackwell Ultra GPU(20.7 TBのHBM3e、GPUあたり288 GB — GB200より50%多い)。
  • **1エクサフロップを超えるFP4コンピューティング能力。
  • 130 TB/sのピークNVLink帯域幅(GPUあたり1.8 TB/s双方向)。
  • **約135 kWのラック電力。
  • **GB200 NVL72と比較して5-10%のパフォーマンス向上。

スーパーコンピュータの接続

従来のウェブサービスでは、データセンターネットワークは、インスタンス間で高帯域幅、高性能、および多数のサーバーにわたる厳密な同期調整を通常必要としないリクエストとレスポンスを転送します。大規模AIトレーニングはこれらすべてを必要とするため、それらを接続するネットワークはAIワークロードの重要な部分となっています。これを最良の形で対処するため、標準のデータセンターネットワークに加えて、数年前にEthernetベースのバックエンド(BE)ネットワークを導入し、データセンター建屋の内外で直接GPU間通信を可能にしました。

大規模な事前トレーニングジョブは、トレーニングをデータ並列モデルレプリカに分割し、ネットワーク使用量の階層を作成します。レイテンシに敏感で帯域幅に敏感な操作はレプリカ内で集中し、より高いレイテンシや低い帯域幅に耐性のあるトラフィックはレプリカ間でスケジュールされます。当社のネットワークは、建屋内の低レイテンシ・高帯域幅ファブリックと、建屋ファブリックを接続する集約ネットワークで、この階層に一致するように設計されています。

Meta Superintelligence Labsと緊密に連携し、並列化設計、トラフィックパターン、通信アルゴリズム、およびソフトウェアが、ネットワーク通信への露出を最小限に抑えるように最適化されていることを確認しています。これにより、GPUはネットワークを待つことなく、可能な限りビジーな状態を保ちます。

Metaチームは、過去数年間にわたる以前の建屋規模の24,000 GPUクラスターおよびリージョン規模の100,000+ GPUクラスターでこれらのネットワーキングコンセプトを採用し、Prometheusではそれらを新しいレベルのスケールと距離に引き上げました。

ネットワークファブリック

建屋レベルでは、各Ethernetベースのファブリックが、高帯域幅・低レイテンシのマルチレイヤートポロジーを介して最大20,736基のGPUを相互接続します。初期設計では、従来のロードバランシング技術の下で衝突する少数の大規模で長寿命なネットワークフローを持つトレーニングコレクティブによって引き起こされるネットワーク輻輳を軽減するために、Disaggregated Scheduled Fabric (DSF)を使用しました。これは、ファブリック内のサブパケットレベルのマルチパスルーティングとパケット再順序付け、および仮想出力キューとクレジットベースのエンドツーエンドフロー制御を利用することで実現されます。

Ethernet NICテクノロジーが進歩し、エンドポイントでのパケット再順序付けが可能になったため、Non-Scheduled Fabric (NSF)に更新することができました。これは、Minipack3とDynamic Load Balancing、およびNVIDIA Spectrum-4スイッチASICベースのMinipack3N(ConnectX NIC上のNVIDIAのAdaptive Routingを使用)のような、浅バッファの51.2T Ethernetスイッチを利用しています。DSFとNSFの両方は、MetaのFBOSSネットワーキングスタックに基づいているため、Prometheusのファブリックを迅速に反復および最適化する制御と、これらのクラスターを大規模に運用するための可視性を提供します。

集約

Backend Aggregation (BAG)ネットワークは、Prometheusクラスター全体で建屋レベルのファブリックを接続するマルチレイヤーのハブアンドスポークネットワークであり、2 kmから100 km以上に及びます。Arista 7800シリーズシャーシで実行され、ディープバッファリングされたBroadcom Jericho3シリコンを搭載しており、リージョンペアあたり複数のPbpsの帯域幅を提供します。

[画像]

このネットワーク上で事前トレーニングを実行するには、Meta Superintelligence Labsとの専用の最適化作業が必要であり、特にこれらの長距離での光速の制約を考慮して、トレーニングが遅延しないようにしました。

[画像]

これらをまとめると、Prometheusネットワークの複雑さには、数百万マイルのファイバースレッド、数万のスイッチ、および数百万のオプティクスが含まれます。建屋内の2×400G FR4 LITEショートリーチ・低コストプラグ可能なものから、約10 kmを超えるリンク用の800G-ZRコヒーレントオプティクスまでです。

[画像]

あらゆるレベルでの信頼性のエンジニアリング

Prometheusの規模では、すべてのコンポーネントの信頼性を監視する必要があります。どこか1つの障害でも、トレーニングジョブ全体を停止させ、貴重なコンピューティングリソースを無駄にする可能性があります。

このレベルでの信頼性の維持には、従来のベンダーダイナミクスを超えたNVIDIAとの共同エンジニアリングモデルが必要です。チームはデータセンターに深く組み込まれ、リアルタイムテレメトリを共有し、共同トリアージセッションを実行して、すべてのシステム停止を根本原因まで分解します。

この帰属駆動型アカウンタビリティモデルにより、両サイドが的を絞った改善に集中できます。Metaがスケジューリングとインフラストラクチャを最適化する一方で、NVIDIAはファームウェア、信号診断、メモリ処理に取り組みます。この透明性により、曖昧さがなくなり、両組織間で迅速な修正が促進されます。

72-GPU障害ドメイン

H100世代のNVL8アーキテクチャからNVL72への移行は、インフラストラクチャの回復力に対するアプローチを根本的に再定義しました。NVL8時代では、テンソル並列化のためにNVLinkで緊密に結合されたGPUのグループであるスケールアップドメインは、8ユニットに制限されていました。NVL72では、そのドメインは72基のGPUに拡張され、障害の爆発半径が9倍になります。

より大きなスケールアップドメインはNVL72に帯域幅の利点をもたらしますが、72-GPUラックはキャパシティ計画の割り当て単位にもなります。トレーニング並列化は、2のべき乗のグループサイズに最も効率的にマッピングされるため、各NVL72ドメインは64-GPUスライスを実行し、残りの8 GPUをインラックスペアとして保持します。GPUが故障した場合、スペアがすぐにその場所を引き継ぐため、ジョブはハードウェア修理を待つのではなく、最後のチェックポイントから再開され、ラックはジョブ内に留まります。インラック冗長性により、実効ラック障害率は、ポッド全体を削除できる障害によって設定されたフロアまで低下します。よりまれなラック全体障害に対しては、約2%の追加ラックを予備として保持しています。32,768アクティブGPUトレーニング実行の場合、これは523のNVL72ラック、または37,656 GPUのプロビジョニングを意味し、アクティブフットプリントを約13%上回ります。このマージンのほとんど(11%)は、絶対的な信頼性税ではなく、64/72スライスジオメトリから生じます。

物理的な複雑さは、これらの信頼性要件をさらに増幅します。単一のNVL72ドメインには、200 Gbpsで動作する5,184の調整済み差動ペアシグナリングリンクが含まれており、それぞれがGPU SerDes、コンピューティングトレイPCB、ケーブルカートリッジ、スイッチトレイインターフェイスなど、複数の潜在的な障害点を通ります。この高密度ファブリック全体で200 Gbps/レーンの信号整合性を維持することは、この規模での前例のないエンジニアリング課題です。

障害回復

障害回復は、トレーニング時間への影響を最小限に抑えるために、障害にどのように対応するかを扱います。障害の範囲(つまり、爆発領域)に応じて、2つのメカニズムで対処します。

並列化対応フォールトトレランス(PAFT):障害がデータ並列モデルレプリカに分離できる場合、単一の障害レプリカをオフラインにすることでハードウェア障害の影響を軽減し、残りのクラスターはそのステップを繰り返し、生産的なトレーニングを継続します。侵害されたスライスは、利用可能なスペアホストで再開し、再同期するだけで、潜在的なシステム全体の停止を、集約スループットの軽微で一時的な低下に変換します。

チェックポインティング:障害の爆発領域がデータ並列モデルレプリカよりも大きい場合、ジョブ全体が最後のチェックポイントまで再起動されます。頻繁なチェックポインティングは、これらのイベントで失われる作業量を削減します。当社の分散チェックポインティングアーキテクチャは、モデルの状態(勾配とオプティマイザデータを含む)をマルチティアストレージに非同期に保存します。デルタチェックポインティングとインメモリステージングを使用して、トレーニングスループットへの影響を最小限に抑えながらこれらの保存が行われるようにします。

これら2つの障害回復メカニズムは、ラック内の事前に割り当てられたスペアGPUトレイとスペアラックを利用するスペアリング戦略と組み合わされ、交換用ハードウェアの起動時間とハードウェア障害による作業損失量を最小限に抑えます。

中断の体系的な削減

最先端モデルのトレーニングでは、インフラストラクチャの信頼性には、単純な可用性以上の視点が必要です。根本的な課題は、頻繁なシステム停止なしにトレーニングの勢いを維持することです。Prometheus内では、GPUシリコンの欠陥やネットワークファブリックの異常からストレージのボトルネックや熱的制限まで、ジョブを一時停止して回復サイクルを開始させるあらゆる障害を「中断」と分類します。

これらの中断は、ワークロードが緊密に相互依存しているため、大きな運用オーバーヘッドをもたらします。72-GPUドメイン内の単一障害が、クラスター全体の集約スループットに影響を与える可能性があります。このパフォーマンス損失は、エンジニアリングのイテレーション速度に直接影響し、コンピューティングの効率を低下させ、数十億人もの人々に高度なAI体験を提供するまでの時間を長くします。

[画像]

Prometheusの初期段階(2025年中頃)では、中断率は8,000 GPUあたり1日あたり約1,000イベントに達しました。1年間の厳格なクロスファンクショナルエンジニアリングにより、中断率を99%削減し、クラスターが数万基のGPUからなる複数のトレーニングジョブを並列で維持できるようになりました。

この安定性を達成するには、すべての中断ソースの詳細な分解と、各障害カテゴリに対する的を絞ったエンジニアリングソリューションの展開が必要でした。

NVLink信号整合性:当初はGB200展開の主なボトルネックでした。600,000を超えるNVLink接続では、わずかな信号劣化でも頻繁なNVLink回復サイクルが発生します。継続的なテレメトリと自動フラグ付けを実装し、L11診断バーンを使用して、本番稼働前に弱いリンクを分離しました。当社の分類ツールは、一時的な障害と持続的な信号整合性障害を区別し、的を絞った修理とコンポーネント交換をガイドし、修理されたシステムを本番環境に戻す前に検証します。

メモリ信頼性(HBMおよびLPDDR):GB300をより高いメモリ容量でスケールアップするにつれて、メモリ関連の障害が中断の主要な原因となりました。NVIDIAと緊密に協力し、フリートテレメトリと詳細なエラー分析を使用して、繰り返し発生する障害シグネチャを特定しました。これらは、HBMファームウェア設定の改良、メモリスクラビング、LPDDRの改善されたエラー訂正アルゴリズム、および劣化するデバイスがジョブスループットに影響を与える前に退役させるためのパターンベースの予測検出によって緩和されます。これらの変更をフリート全体に展開し、中断率とハードウェア交換需要への影響を測定しています。

NVLinkスイッチとファブリックの健全性:単一のスイッチ障害がNVL72ドメイン全体を侵害する可能性があります。ファブリックの健全性をミリ秒単位で監視し、自動回復パスを使用して障害のあるコンポーネントを分離し、ジョブの中断なしに残りのインフラストラクチャ全体でトラフィックを再バランスします。

バックエンドネットワークイベント:BAGスーパー・スパイン層では、リンクイベントはハードウェアベースの障害検出によって透過的に管理されます。当社の平面トポロジーは、個々のファイバーまたはポートの障害が同期GPUトラフィックバーストを中断することなくルーティングされることを保証します。

持続的な改善は、運用インフラストラクチャによって推進されています。ニューアルバニーサイトの共同トリアージチーム、スタック全体で修正を同期した3月の包括的な安定性スプリント、および厳格な帰属駆動型アカウンタビリティフレームワークです。すべての修理は、コンピューティングプールに戻される前にシステム整合性を検証するための必須の検疫を受けます。

当社の信頼性ノーススターは、8,000 GPUあたり1日あたり2回の中断、つまり約100,000 GPU時間MTBIです。ピーク中断率から99%の削減を達成したことは、Prometheusの規模では、安定性は解決可能なエンジニアリング結果を持つエンジニアリング課題であることを示しています。

フリート規模でのハードウェアの成熟

数十万基の第一世代アクセラレータを展開すると、低ボリュームでは隠されていた品質の問題が明らかになります。GB200の展開は、ハードウェアの成熟をチームとパートナーにとって主要なエンジニアリング規律に変えました。

エンジニアリングの領域には以下が含まれます:

  • 迅速なファームウェアバンドル展開:10万基以上のGPUに数時間でファームウェアとドライバーの修正を展開できる、信頼性が高く高速なファームウェアバンドル自動化を構築しました。初期ハードウェア導入時の単一ポッドアップグレード時間のP90を7時間以上から2時間に短縮しました。これにより、上位の中断カテゴリに対する迅速な修正をフリートにプッシュできるようになりました。
  • フリートの健全性:マルチラックシステムにわたるテレメトリを相関させ、すべてのジョブ中断を分類して、ソフトウェア修正、ハードウェア修理、および交換の決定をガイドします。利用可能な容量と実効トレーニングスループットに加えてMTBIを追跡し、ハードウェアとソフトウェアの信頼性向上がより生産的なコンピューティングに変換されるための堅牢なフィードバックサイクルを持っています。
  • クロスパートナー認定:生産フリートからの継続的なフィードバックを通じて一貫した品質を確保するために、複数の製造パートナーとの並列検証を実装しています。
  • 自動信号スクリーニング:本番トラフィックがルーティングされる前に、診断ストレステストを使用して600,000を超えるNVLinkパスを検証します。この規模では、わずかな欠陥率でもプロアクティブな特定が必要です。
  • 電源供給ストレステスト:個々のGPUの1,400W負荷下でPSUモジュールと電圧レギュレータがどのように相互作用するかを調査し、高ボリュームでのみ現れる障害モードを表面化させます。
  • 精密液体冷却:コールドプレートとマニホールドアセンブリの厳格な品質ゲートを施行し、最適なジャンクション温度を維持し、フリート全体での漏れを防ぎます。
  • フリートメンテナンス:プロアクティブな準備、迅速な処分、修理のための優先順位付け、およびスペアの事前配置。
  • ヘルスチェック:大規模トレーニングジョブへの含める健全なノードを特定するために使用される高度な取り込み/バーンインおよびジョブ前ヘルスチェック。

BlackwellからVera Rubinまで、新しいプラットフォームアーキテクチャごとに、これらの実際の運用上の洞察が組み込まれ、各ステップでスクリーニングと設計仕様が強化されます。

電力効率の最適化とトランジェント管理

特定の電力エンベロープでのスループットの最大化、遊休電力の最小化、および同期分散トレーニングは、電力供給のハードルをもたらします。数万基のGPUがコンピューティング負荷の高いフェーズと通信サイクルを同時に実行すると、クラスター内で30-40%の大きな電力トランジェント(突然の負荷変動)が発生します。主要なトレーニングジョブの開始または一時停止は、数秒で数10メガワットの負荷シフトを引き起こす可能性があります。

これを、インテリジェントな電力制限を可能にするクラスター全体の電力管理フレームワークであるDynamo Dimmerで対処しています。Dimmerは、ワークロードをハードに停止するのではなく、クラスターが電気的上限に近づくにつれてGPU電力制限を段階的に調整し、トレーニングが中断なく継続されるようにします。このシステムは、ラックレベルのバッテリーバックアップ(BBU)モジュール、ピークスムージング用のキャパシタトレイ(CBU)、施設レベルのバッテリーエネルギー貯蔵システム(BESS)、およびこれらのユニークなAIプロファイルを管理するための電力会社との深い連携によって強化されています。

ヘテロジニアスフリートでの冷却管理

当社の分散アプローチにより、迅速なPrometheus構築が可能になりましたが、さまざまな場所でのサイト固有の電力と冷却の制約にも対応する必要がありました。

当社の物理インフラストラクチャには、これらの高電力ラックに必要な液体冷却を提供するための複数の冷却世代が組み込まれています。Prometheusは、フリーエアデータセンター建屋や迅速展開構造物を含む、モジュラーエアアシスト液体冷却(AALC)の混合で稼働しています。当社の目的構築されたAI最適化建屋は、最大の電力密度を実現するために施設液体冷却(FLC)を使用しています。

自社建屋に加えて戦略的パートナーからのリース容量を統合することで、展開タイムラインと総展開可能容量を加速します。一方、当社の産業用グレードの迅速展開構造物は、建設プレイブックを再定義し、より迅速なタイムラインで本番対応のコンピューティングを提供しています。

効率的な運用

ニューアルバニーでは、長年にわたり地元の電力会社と協力し、サイトのエネルギー料金全額を負担し、地域グリッドに不必要な負担をかけないようにしてきました。また、エネルギー開発者とも協力して、エネルギー使用量を新しいクリーンで再生可能なエネルギーと一致させています。

Metaの最新のAI最適化データセンターは、GPUサーバーを冷却する最も効率的な方法であり、水の効率的な使用をサポートするクローズドループ液体冷却を使用しています。ダイレクトツーチップのクローズドループ液体冷却は、サーバーラックに収容できるGPUの数を増やすことで、スペースを節約するのに役立ちます。また、液体冷却ネットワークラックであるIcePackのようなシステムの設計をOCPを通じて業界全体と共有することで、持続可能性への取り組みを拡大しています。

Prometheusを超えて

NVIDIAと引き続き緊密に協力し、NVIDIA GB300 NVL72とNVIDIA Vera Rubin NVL72の組み合わせでPrometheusの容量を拡大していきます。

NVIDIAの次世代Vera Rubin NVL72プラットフォームは、GPUあたりのパフォーマンスで世代的な飛躍をもたらし、Prometheusの既存のネットワークファブリックに直接統合されます。クラスターが成熟するにつれて、当社の今後のSan Miguelプラットフォームを介してVera Rubinを追加することで容量(主に相互接続されたGB300)を増強し、ワットあたりのコンピューティング能力をさらに向上させます。

[画像]

San Miguel Vera Rubin NVL72の主な特徴:

  • 72基のNVIDIA Vera Rubin GPU(GPUあたり288 GBのHBM4、19.2 TB/sのピーク帯域幅)。*
  • ラックあたり2.52 EFLOPSのFP4トレーニングコンピューティング能力、1.26 EFLOPSのFP8トレーニング能力。*
  • 216 TB/sのピークNVLink帯域幅(GPUあたり3 TB/s双方向)。*
  • *約1,500 TB/sのピーク集約メモリ帯域幅。
  • ラックあたり170 kW超の完全液体冷却コンピューティングトレイ。*
  • GB300 NVL72と比較して、ワットあたりのパフォーマンスが10-20%向上。*

Prometheus内の技術的成果は、今後のスーパーコンピュータ設計の複雑性へのアプローチを形成する青写真の確立に役立ちました。当社の次期スーパーコンピュータであるHyperion(ルイジアナ州リッチランド郡)は、Prometheusからの洞察を念頭に置いてゼロから設計されています。これには、クローズドループ液体冷却、ユーティリティパートナーEntergyとの完全なグリッド接続(Metaは全額を負担)、および次世代ネットワーク設計が採用されます。

ニューアルバニーでの当社のコミュニティ活動について、詳細をご覧ください。(https://datacenters.atmeta.com/2026/10/new-albany-where-ohios-community-spirit-meets-the-frontier-of-ai/)