インフラ・DevOps
45℃冷却設計によりデータセンターの電力消費を劇的に削減し水使用量をほぼゼロに
45°C cooling design cuts data center water use to near zero (blogs.nvidia.com)
要約
NVIDIAの新しいAIサーバーは、冷却液を最高45℃で稼働させる100%液冷システムを採用し、データセンターの冷却エネルギー消費と水使用量を大幅に削減します。この「Rubin世代」のAIインフラは、ドライクーラーベースの設計により、従来の冷却塔システムと比較して水使用量をほぼゼロにし、最大40%を占めていた冷却コストも削減します。これにより、高密度なAIワークロードの効率的な運用と持続可能性が向上します。
全文翻訳
ホットタブの温度は約38度から40度で、ほとんどの人が15分ほどしか浸かることができません。NVIDIAの最新AIサーバーは、冷却液をさらに高温の最高45度(華氏113度)で稼働させることができます。この高温限界が、エネルギー効率を高める要因となっています。NVIDIA AIインフラのRubin世代は、世界で初めて100%液冷を実現しました。システム内のすべてのチップ、すべてのネットワークコンポーネントが、ファンを一切使用しない閉ループで完全に液体によって冷却されます。この液冷方法は、AIファクトリ全体のインフラスタックを設計、構築、運用するためのベストプラクティスをまとめたNVIDIA DSX AIファクトリリファレンスデザインで概説されています。各世代はワットあたりのはるかに高い計算能力を提供しますが、完全液冷AI計算インフラは、データセンターが冷却エネルギー消費を劇的に削減することを可能にし、ハイパースケールでのデータセンター全体のエネルギー使用量に大きな違いをもたらします。
「AIファクトリ向けのNVIDIA DSXリファレンスデザインは水消費ゼロです。私たちは莫大な電力使用量と、ほぼすべての水使用量を排除しました」と、NVIDIAのデータセンター冷却およびインフラ担当ディレクターであるアリ・ヘイダリは述べています。「ドライクーラーベースの設計では、蒸発式水冷のない閉ループシステムであり、一部の気候でチラーが必要となるのは年間わずか1%程度かもしれません。」
歴史的に、冷却だけでデータセンターの電力消費の最大40%を占めており、効率改善が運用費用とエネルギー需要の両方を削減できる最も重要な分野の一つでした。業界の推定では、チラープラントの温度をわずか1度上げるだけで、冷却エネルギーコストを約4%削減できるとされています。大規模になれば、これらの節約は急速に積み上がります。50メガワットのハイパースケール施設は、液冷インフラに移行することで、冷却関連のエネルギーおよび水コストを年間400万ドル以上節約できます。好ましい気候では、NVIDIAの45度液冷アーキテクチャにより、ドライクーラーによるチラーレス運用が可能になり、従来の冷却塔システムの場合、メガワットあたり年間約260万ガロンだった施設の冷却水消費量をほぼゼロに削減できます。これは水使用量を最大100%削減することになります。その理由:従来の空冷データセンターは、IT機器から熱を除去するために大量の冷たい空気に依存しており、暑い時期にはエネルギー集約的な冷却インフラが必要となることがよくあります。NVIDIAの45度液冷では、熱がチップで直接捕捉され、はるかに高温で動作する液体ループを介して輸送されるため、屋外のドライクーラーが年間を通じて効率的に熱を放出でき、機械的冷却の必要性と施設水消費量が大幅に削減されます。サーバー内の何も冷たい空気に依存しないため、データセンターの周囲温度は柔軟です。暑い夏の空気でも問題ありません。液体がすべての作業を行い、同じ液体を閉ループで再循環できるため、チップを冷却するために新しい水は消費されません。
https://blogs.nvidia.com/wp-content/uploads/2026/06/LiquidCoolingInfra_montage_v4.mp4
業界の新たな標準
NVIDIA Rubinプラットフォームは100%液冷インフラを統合しているため、それを構築するすべてのクラウドプロバイダーとデータセンターオペレーターが移行を進めています。エコシステムもこれに追随しています。シュナイダーエレクトリックの先進冷却部門であるMotivairは、約10年間NVIDIAの製品ロードマップと協力してきました。その社長兼CEOであるリチャード・ウィットモア氏は、電力密度が空冷が実行不可能な閾値を超えてから、その関係はさらに強化されたと述べています。「チップあたりのワット数が一定のレベルを超えると、液冷が必須になりました」とウィットモア氏は語りました。
AIインフラは思ったよりも熱い
業界には、冷たいデータセンターが効率的だという長年の誤解があります。数十年前には、データセンターが冷凍庫のように感じられないと、何かがおかしいと人々は考えていました。実際には、チップは直感が示唆するよりもはるかに暖かい環境に耐えることができます。シリコンプロセッサは巨大な内部熱を発生させます。完全に液冷されたチップに45度で入る冷却剤は、その熱負荷をチップ表面全体で吸収した後、約55度で排出されます。それでも性能は低下しません。液冷されたコールドプレートが、冷却剤がラックに45度で入っても、デバイス温度を検証済みの動作限界内に保つため、プロセッサはフル性能で動作し続けます。
ファンなし、コールドアイルなし — 根本的に異なるマシン
従来のデータセンターに入ると、2つのことに気づきます。騒音(冷却ファンが85デシベル以上の総騒音レベルに寄与し、耳栓が必要なほどです)と、冷たい空気をコンポーネントに押し付けるために慎重に管理されたホットアイルとコールドアイルの物理的な配置です。Rubinアーキテクチャは状況を変えます。冷却剤(水75%、プロピレングリコール25%)は、プロセッサに直接設置されたコールドプレートを流れて、発生源で熱を奪います。その冷却剤を最高45度で稼働させることにより、多くの気候で、機械式チラーや騒がしいファンを起動することなく、施設ループが熱を放出できます。AIファクトリでは、冷却剤はクーラント分配ユニットからサーバーへと閉ループサイクルで流れます。これにより、エネルギー節約だけでなく、水消費量を完全に排除する可能性も開かれます。適切な地理的条件(常に涼しい外気がある場所)であれば、液冷データセンターは、発生源で直接熱を捕捉し、建物の外に配置された大型ラジエーターコイルである屋外ドライクーラーに熱を輸送するクーラント分配ユニットを通じて熱を放出できます。ループは一度満たされると、施設の寿命まで閉鎖されたまま動作します。そして、従来の空冷インフラと比較して、AIファクトリ内で劇的に少ないスペースを占めます。「適切な地理的位置と適切なシステム設計があれば、冷凍設備は一切必要ありません」とウィットモア氏は述べました。「建物の外に大きなラジエーターコイルを設置し、気温を冷却のすべてに利用できます。信じられないほど効率的です。」地理的条件の注意点は重要です。スコットランド高地のデータセンターとアリゾナ州フェニックスのデータセンターでは、直面する現実が大きく異なります。しかし、より温暖な気候でも、45度液冷への移行により、オペレーターはチラーレスの理想に大きく近づきます。そこでは、外気温が必要とする場合にのみ、年に数日チラーが稼働するかもしれません。この新しいAIファクトリモデルのもう一つの重要な利点は、廃熱回収の可能性です。AIファクトリの運用から生じる残留熱を、近くの商業ビルや住宅ビルを暖めるために再利用できるのです。
誰も解けなかったエンジニアリング問題
以前の液冷サーバーはハイブリッドでした。GPUとCPUはコールドプレートを持ちましたが、システムの残りの部分は空冷で、移動する空気中に熱を放出するように設計されたフィン付きヒートシンクが使われていました。完全に液冷されたサーバーでは、これらのコンポーネントの冷却は、液体を使用するように完全に再設計される必要がありました。NVIDIAの熱工学チームは、これらのコンポーネントが熱を処理する方法を再検討し、単一の入口と出口を使用してボード上の複数の高電力チップに液体をルーティングする方法を簡素化する冷却ループを設計しました。これにより、よりクリーンなトレイレベルの冷却アーキテクチャが実現しました。目に見える結果の1つは、Rubinサーバーが、空冷サーバーの穴あきベゼルがある場所に、きれいに密閉されたフロントパネルを持っていることです。もう1つは、完全に液冷されたサーバーは、空冷サーバーよりも高いラック密度を可能にするため、以前は6ラックユニットを占めていたシステムが2ラックユニットに収まります。より多くの計算能力、より少ないスペース、より少ない騒音です。液冷インフラのオーバーヘッドパイプは強力なAIサーバーにルーティングされます。AIワークロードは軽くなることはありません。データセンターの建設を推進する計算需要は、他のほとんどのインフラ投資カテゴリーよりも速く成長しています。