バージニア工科大学のMacベーススーパーコンピュータの力と遺産

バージニア工科大学のMacベーススーパーコンピュータの力と遺産

今日のデータセンターと聞くと、Microsoft、Google、Amazon、Metaのような企業が運用する、GPUを搭載したラックの列を思い浮かべることが多いでしょう。これらはOpenAIやAnthropicのようなAIラボで利用されており、そのハードウェアの多くは、新しいモデルのトレーニングか、世界中の何百万人もの人々からのリクエストに応答するための既存モデルの実行という、2つの仕事のどちらかを担っています。

スーパーコンピュータは、同じような部品の多くから構築されますが、目的が異なります。通常は政府の研究機関や大学が所有し、気候、核物理学、新素材のモデリングといった科学シミュレーションのために設計されています。この種の作業は、高精度な数学計算とプロセッサ間の非常に高速な通信を要求します。スーパーコンピュータは、大衆にサービスを提供するのではなく、研究者間で共有され、彼らの大規模なジョブはキューに入り、スケジュールに従って実行されます。

UNIVACやIBM 7030のような初期の例は、原子研究に取り組む科学者によって使用されました。1970年代半ばに登場したCray-1は、そのような作業を新たなレベルに加速させました。これらの各マシンは、それらのブレークスルーを可能にした新技術をもたらしました。また、それらはかなり特注品であり、普通のオタクが決して夢見ることのできないようなコンポーネントで構築されていました。

時が経つにつれて、それは変化しました。1990年代になると、Crayのような企業は、自社のハードウェアが、より多くのプロセッサを製品に詰め込む新興企業に追い越されていることに気づきました。その決め手は何だったのでしょうか？それは、古いスーパーコンピュータが構築されていたカスタムシリコンよりも、はるかに一般的なプロセッサだったのです。

1998年、David Baderは、Intel Pentium IIを含む市販の部品で、彼が「初の正真正格なLinuxスーパーコンピュータ」と呼ぶものを構築しました。[1]

そして2003年、今日の記事の主題であるバージニア工科大学のMacベーススーパーコンピュータに話は移ります。

コストパフォーマンス

これらの写真で見られるように、System X — 「System Ten」と発音されます[2] — は、1,100台のPower Mac G5で構築されました。

［画像: System X］

［画像: System X］

Virginia TechのAdvanced Research Computingウェブサイトからの写真、Wayback Machine経由。

正直なところ、ここで記事を終えてもいいくらいです。このすべてがいかにクールか見てください！Power Mac G5の見た目は本当に大好きです。

バージニア工科大学は2003年の夏にこのスーパーコンピュータを構築し、10テラフロップスを達成することを目標としました。その秋に稼働を開始すると、世界で3番目に高速なコンピュータ、そして学術機関としては最速のコンピュータとしてランクインしました。このビデオからわかるように、G5は予算を破綻させることなくこれらの数値を達成するために選ばれました。

（このビデオは、Power Mac G5自体のAppleの製品紹介の一部として再生されました。）

総費用は520万ドル[3]で、当時最速のスーパーコンピュータであったEarth Simulatorの構築に費やされた4億ドルとはかけ離れたものでした。

（System Xは見た目もはるかにクールでした。）

バージニア工科大学の教員と学生は、無料でこのマシンを利用できました。各G5に搭載されたデュアル2.0 GHzプロセッサのおかげで、彼らのプロジェクトは容易に膨大なリソースを活用できました。

ソフトウェア面では、各ノードはMac OS Xを実行していました。マシンはMac OS X 10.2.7で稼働し、その後すぐにPantherへの移行が計画されていました。

各G5には、4 GBのDDR400 RAM、160 GBのSerial ATAハードドライブ、およびMellanox InfiniBand PCI-Xカードが装備されており、これによりマシンは高速ケーブルで相互に、そしてネットワークに接続されていました。注目すべきは、Power Mac G5はECCメモリをサポートしていなかったことです。これは後に重要になります。

G5は、学生と教員によって開梱され、設置されました。

［画像: System X］

このFAQによると、すべてがかなり迅速にまとまりました。

計画は2003年1月に始まりました。施設計画は2003年4月に始まりました。改修は2003年8月の第1週に始まり、2003年9月23日に完了しました。コンピュータ、ネットワーク機器、ケーブルは2003年9月の第1週に到着し始めました。コンピュータは7日間にわたる6回の出荷で到着し、1回の出荷あたり2時間未満でラックに処理され、シフトあたり最大30人のボランティアで作業が行われました。

イーサネットケーブル（約1200接続）は、社内通信およびネットワークサービスグループの4人のチームによって行われ、14日未満で完了しました。

InfiniBandケーブル（約1700接続）は2003年9月13日に始まり、5人のチームによって10日で完了しました。

私は当時バージニア工科大学の学生でAppleキャンパス代表だったSam Daviesからこの件に関するメールを受け取る幸運に恵まれました。彼は私にこう語りました。

2003年の夏、私はSystem X（公式名称で、非公式にはMacコミュニティや他の皆は「Big Mac」と呼んでいました）の組み立て作業チームの一員になる幸運に恵まれました。

Appleの組み立てラインから出荷された最初の1,100台のG5は、トラックから降ろされ、開梱され、教員、スタッフ、Appleプロジェクト担当者、そして私のような学生ボランティアからなる巨大なチームによってサーバーラックに運び込まれました。出荷された1,100台のうち、1台だけ使用できませんでしたが、それはAppleの営業担当者が落としてしまったためでした。（あのハンドルは鋭い！）

もちろん、タワー型のマシンをラックに詰め込むだけでは、スペース効率は良くありません。翌年、Appleは解決策を用意しました。

Xserve G5

Appleのプレスリリースによると、2004年1月にはこうあります。

Appleは本日、これまでで最も強力なXserveであるXserve G5を発表しました。このシステムは、システムあたり30ギガフロップスを超える処理能力を提供し、PowerPC G4ベースのXserveよりも約60パーセント強力です。Xserve G5は、バージニア工科大学のPower Mac G5クラスタ — 世界で3番目に高速なスーパーコンピュータ — で使用されている、革命的なPowerPC G5 64ビットプロセッサと同じものを搭載しています。1Uラックマウントエンクロージャに比類なきパフォーマンスと管理性を提供するXserve G5は、今日のUNIXベースのアプリケーションに最適なサーバーです。

Xserve G5には、最大8GBのPC3200エラー訂正コード（ECC）メモリを搭載した新しいシステムコントローラが含まれています。最大750GBのストレージを提供する3つのホットプラグSerial ATAドライブモジュール、オプションの内部ハードウェアRAID、1 GBps以上のスループットを誇る133 MHz PCI-XカードをサポートするデュアルPCI-Xスロット、そして高性能ネットワーキングのためのデュアルオンボードGigabit Ethernetを備えています。

プレスリリースは続きます。

「Xserve G5は、お客様が求めていたものをまさに提供します」と、Appleのワールドワイドプロダクトマーケティング担当シニアバイスプレジデントであるPhilip Schillerは述べています。「デュアルG5プロセッシングパワーと最大8GBのECCメモリを搭載したXserve G5は、手頃な価格で管理しやすく、クラスタ化も容易です。2,999ドルからという低価格で、1Uラックマウントデザインにおいてこれ以上の価格性能比を提供するものはありません。」

シングルまたはデュアル2.0 GHz PowerPC G5プロセッサで利用可能なXserve G5アーキテクチャは、215個のインフライト命令、フル対称マルチプロセッシング、2つの倍精度浮動小数点ユニット、最適化されたVelocity Engineを備えた、前例のない大規模並列計算を実行する実行コアに基づいています。Xserve G5は、業界最速のフロントサイドプロセッサバスを備えており、最大1.0 GHzで動作し、プロセッサあたり8 GBpsのスループットを提供します。

Power Mac G5で最初に導入されたエンジニアリングの偉業を基盤として、Xserve G5は、デュアルPowerPC G5プロセッサの信じられないほどのパフォーマンスを、超薄型1Uエンクロージャに詰め込んでいます。革新的な銅製ヒートシンク設計はプロセッサから効率的に熱を除去し、8つの高性能ファンがシステムを冷却するためのエアフローを提供します。ファンは専用のファン制御プロセッサによって個別に管理および監視されており、1つのファンが故障しても他のファンが速度を上げて補償します。1Uエンクロージャには30以上のセンサーがあり、そのうち8つは温度制御専用で、サーバー全体のすべての重要なシステム機能を継続的に監視しています。

Techは2004年1月にSystem XのPower Macバージョンを解体し、その夏にXserve G5で再構築しました。ECCメモリはその大きな理由でした。学校が述べたように、「システムをエラー訂正コード（ECC）RAMを備えたものにアップグレードする必要がありました。Power Macsはそれをサポートしておらず、XServesが登場するところでした。」

新しいアレイは、1,100台のデュアル2.3 GHz Xserve G5サーバーと6台のXserve RAIDで構成されました。これらの2.3 GHzマシンはAppleがバージニア工科大学のためにカスタムビルドしたもので、一般には2005年1月まで購入できませんでした。それぞれが、その素晴らしいECC RAM 4 GBと80 GBのSerial ATAドライブを搭載していました。

設置写真は、G5タワーとG5サーバーの密度における違いを本当によく示しています。

［画像: Xserve System X］

［画像: Xserve System X］

前述のFAQはこのバージョンのSystem Xについていくつかの情報を提供しています。

初期のマシンは、2004年1月14日から1月19日の間に8人で解体されました。

Xserveのアップグレードは、バージニア工科大学とAppleのボランティアチームによって、より分散された期間で完了しました。ラックの準備とイーサネットの事前配線は2月に始まり、10人未満のチームによって完了しました。

マシンは2004年6月中旬から奇数バッチで到着し、ラックへの処理は1シフトあたり最大9時間作業する16人未満のチームによって行われました（最初の出荷：16人のチームが9時間で304台のXserveをラックに設置）。

最終的な配線は、1シフトあたり10人未満のチームによって2週間かけて完了しました。マシンは2004年8月1日までにベンチマークのためにオンラインに戻りました。

新しいハードウェアにより、System Xは12.25テラフロップスに押し上げられました。学校は次のように自慢しました、「アップグレード版は2004年のTOP500リストで7位に入り、トップ10で2番目に安価なシステムと比較して5分の1のコストでした。」

Appleもこれを自慢し、ウェブサイトでこのマシンを取り上げました。

バージニア工科大学は、世界中のどの学術機関よりも高速なスーパーコンピュータを構築したことで国際的な名誉を得ました。そして、それはPower Mac G5を使用して実現しました。そのマイルストーンから、バージニア工科大学はSystem X、1,100台のXserve G5を使用した新しいクラスタで再び前進しました。

[…]

「Power Mac G5から最初のスーパーコンピュータを構築したとき、私たちは、ラディカルに異なる通信技術を使用して大規模なコンピューティングプラットフォームを作成できることを証明しました」と、大学のテラスケールコンピューティング施設（Terascale Computing Facility）のディレクターであり、このシステムの主任設計者であるSrinidhi Varadarajan博士は述べています。

「私たちは、これらのテラスケールコンピューティングマシンを構築する方法を知っていることで認識されています — そして非常に優れた価格性能比で。

「しかし、施設の尺度となるのは、それが生み出す科学の種類です。」

Varadarajan氏は後に、Dellが2012年に買収したバックアップソフトウェア会社AppAssureのCTOになりました。私たち全員がいつか彼のようにクールになれることを願っています。

［画像: Dr. Varadarajan］

Tech、Intelへ移行

2007年半ばまでに、System XはTOP500リストで71位に後退しましたが、Techとその周辺のコミュニティにサービスを提供し続けていました。

2008年11月、その弟機であるSystem Gがオンラインになりました。Intel時代を firmly に捉えたSystem Gは、324台のMac Pro[4]で構成され、それぞれに2つの4コア2.8 GHz Intel Xeonプロセッサ（合計2,592コア）と8 GBのRAMを搭載していました。

2008年11月のTOP500リストで280位でデビューし、Linpackスコアは16.87テラフロップスでしたが、バージニア工科大学は22.8テラフロップスの持続性能を主張しました。

Chris Foresmanは、Ars Technicaのためにこのスーパーコンピュータについて書きました。

バージニア工科大学のハイエンドコンピューティングシステムセンター（Center for High-End Computing System [sic] (CHECS)）は、2003年に1100ノードのG5ベースのスーパーコンピューティングクラスタ「System X」を構築したことで有名です。構築当時、それは持続性能12テラフロップス強で、世界で3番目に高速なスーパーコンピュータとしてランク付けされました。CHECSは、今回は324台のMac Proタワーを使用した新しいクラスタを構築しており、理論上のコンピューティング容量は29テラフロップスになります。

CHECSディレクターのSrinidhi Varadarajan博士によると、新しいシステムはSystem Xに取って代わるものではありません。「計算科学および工学研究者向けのプロダクションマシンであるSystem Xとは異なり、新しいシステムは純粋なコンピュータサイエンス研究システムを意図しています」と彼はArsに語りました。このシステムは、主に2つの分野の研究に使用されます。パフォーマンスを自動的に調整して効率を最大化できる電力認識ソフトウェアシステム、および既存のスレッドコードを高性能クラスタで「マルチコアデスクトップのスケーリングされたバージョンであるかのように」実行できる分散共有メモリシステムです。

記事はさらに、新しいアレイにIntel Xserveが選ばれなかった理由を説明しています。

Varadarajan氏と彼のチームがMac Proを選んだのにはいくつかの理由があります。まず、Xserveは電力密度が高く、熱ホットスポットを防ぐために多くの冷却が必要です。「System Xは、ハイブリッド液体-空気冷却システムを備えた専用施設にあり、ホットスポットなしで大幅に優れた冷却を可能にします。しかし、このマシンは従来の空冷室に収容されています」とVaradarajan氏は述べています。また、Mac Proには多数の電力および温度センサーが内蔵されており、電力/パフォーマンスの研究とチューニングに必要です。さらに、他の研究プロジェクトで使用するためのフルハイトPCI Express 2.0スロットも備えています。そして、一般的な認識に反して、Mac Proは他のシステムよりも価格で優れていました。「Mac Proは、最も安い価格でホワイトボックスを構築するのと比較しても、非常に競争力があります」と彼は付け加えました。

System Gは、可能な限り電力効率が高いように設計されました。古いCHECSウェブサイトからの抜粋です。

このシステムは、クアッドデータレート（QDR）InfiniBand（40Gbps）インターコネクト技術上で動作する最初のスーパーコンピュータです。System G（「グリーン」の略）は、独自の電力認識機能も備えており、数千の電力および熱センサーにより、CHECSの研究者は、控えめな電力要件で高性能を達成するアルゴリズムとシステムソフトウェアを設計および開発し、前例のない規模でそのようなシステムをテストできます。持続的な（Linpack）パフォーマンス22.8 TFlopsを持つSystem Gは、世界最大の電力認識研究システムであり、世界最大級のコンピュータサイエンスシステム研究クラスタの1つです。

このVT Magazineの記事にはさらに詳しい情報があります。

「それは2倍のパワーを持ち、サイズは3分の1で、消費電力は3分の1です」と、工学部コンピュータサイエンス准教授のKirk W. Cameron氏は述べています。Cameron氏は、コンピュータサイエンス准教授でハイエンドコンピューティングシステムセンター（Center for High-End Computing Systems）のディレクターであるSrinidhi Varadarajan氏と共にGの構築を支援しました。

System Xとは異なり、System Gは、まずシステム設計の改善を目的として作成され、次にプロダクションコンピュータとして使用されました。120万ドルのマシンは、新しい高性能ソフトウェアツールとアプリケーションを、最大限の効率で開発するために構築されました。

Cameron氏とVaradarajan氏が、他の教員メンバーと多数の大学院生のチームの支援を受けてGの構築に着手したとき、彼らには最終目標がありました。彼らはGを高速であるだけでなく、環境に優しいものにしたいと考えていました。そのため、「G」はグリーンを意味します。Cameron氏が2004年にバージニア工科大学に着任したとき — Xの開設直後で、Xに惹かれてTechに来た — 「グリーンコンピューティング」はまだ業界の流行語ではありませんでした。しかし、Cameron氏はすでに電力消費の抑制の必要性を見越していました。

彼は以前、ロスアラモス国立研究所でパフォーマンス業務を担当し、研究所のスーパーコンピュータから「可能な限りの電力を絞り出す」ことに携わっていました。これは2002年のことで、最近のエネルギー問題への呼びかけよりもずっと前のことです。Gは2008年に稼働を開始しました。「今では誰もがそれをやっていると言いますが、私たちは幸運にも最初にそれを成し遂げました」とCameron氏は述べています。

このシステムは、電力認識CPU、ディスク、メモリなどの高度な電力管理機能を備えています。高度な電力および熱センサーのネットワークがシステム全体に張り巡らされており、Cameron氏とVaradarajan氏は、各Appleタワーの各CPUユニットがどれだけの電力を消費しているかを追跡できます。

電力キャップを使用することで、システムは使用されていないときや部分的に使用されているときに低電力で動作させることができます。これは、必要以上に電力を消費する古いスーパーコンピュータシステムが継続的にフル稼働していたのとは対照的です。積み重ねられた並列コンピュータが過熱しないように、巨大な空調ユニットの過剰な使用を避けるために、温度管理が慎重に行われています。

「私たちは、コンピュータを最も効率的に使用する方法を見つけようとしました」とCameron氏は述べています。

System Xは大学全体の研究者にサービスを提供し、最終的にはバージニア工科大学のAdvanced Research Computing部門によって運営されていましたが、System Gはコンピュータサイエンスの研究マシンでした。それはCHECSに属し、一部は国立科学財団（NSF）の支援を受け、VTのCorporate Research Centerのキャンパスに設置されていました。

そのため、System Gに関する追加の詳細を見つけるのは困難です。アレイの写真を特定することさえ無駄でした。バージニア工科大学が2008年に公開した写真はウェブ上から消えてしまいました。

そこで、Dr. Cameronは私が彼に送ったSystem Gに関するメールに返信し、可能であればMac Proの写真を提供してくれるよう依頼しました。彼は親切にも、プロジェクトに関する直接の情報と、非常に珍しい写真の数枚を提供してくれました。

［画像: System G］

［画像: System G］

これらは私が目にしたSystem Gの唯一の画像であり、これが実物でどれほど素晴らしいものだったかを想像することはできません。

また、ラックに並べられたMacハードウェアを持つ男性たちは、私たち他の人々よりもはるかにクールであることを改めて証明しています。

［画像: Cameron］

彼はまた、大量のデータをキャプチャして分析しやすくするようにプロジェクトが設計された方法についても洞察を提供してくれました。チームはMac Proの内蔵温度センサーからデータをキャプチャし、ラックに供給される電圧と電流を記録し、部屋自体の環境データをログに記録しました。

これらのすべてのデータは、人間が読める情報に統合され、研究に役立ち、System Gを可能な限り効率的に保つのに役立ちました。

［画像: System G stats］

System X & System G の遺産

両システムは現在存在しませんが、その遺産は残っています。スーパーコンピュータを構築するためにMacハードウェアを選択することは、現状ではありませんが、Varadarajan氏、Cameron氏、その他の人々の仕事は、それが予算内で実現可能であることを証明しました。

System Xは最も有名なMacベースのスーパーコンピュータかもしれませんが、唯一のものではありませんでした。2005年1月、メリーランド州のボウイ州立大学は、100万ドルの224台のXserve G5からなるアレイであるXSEEDを発表しました。同時期に、イリノイ大学アーバナ・シャンペーン校は、640台のデュアルプロセッサ2.0 GHz Xserve G5で構成されたTuring Xserve Clusterを立ち上げました。カリフォルニア大学ロサンゼルス校にはDawsonがあり、これは128台のXserve G5のアレイとして始まりました。

System Gの遺産には、Cameron博士の指導の下での電力使用への焦点が含まれます。彼の仕事は、2000年代初頭から高性能コンピューティングシステムの電力消費を中心に展開してきました。彼はSPECpowerの創設メンバーであり、Green500リストの作成を支援し、スーパーコンピュータ業界がシステムを設計する際にパフォーマンス・パー・ワットを重要な指標として扱うように導くために活動してきました。

彼は今日でもバージニア工科大学の教員メンバーです。

---

System Xに関する私の調査は7月に始まり、単純なブログ記事になるはずだったものが、はるかに大きく、より特別なものになりました。System Gが存在することを知らずにこれを始めましたが、その物語を伝える手助けができたことを嬉しく思います。Cameron博士、Sam Davies氏、Casey Liss氏、Jason Snell氏、その他多くの人々を含む、この記事を可能にしてくれたすべての人々に感謝します。

---

1. NASAのBeowulfプロジェクトは、1994年早くもLinuxを実行する汎用PCを strung together していました。↩︎
2. バージニア工科大学によると、「X」は10テラフロップスの動作速度という当初の目標を表しており、Mac OS Xを表すものではありませんでした。↩︎
3. これはバージニア工科大学が2003年に使用した数字です。学校のFAQの後のバージョンでは、マシンに570万ドル、それを収容する施設の改修に200万ドルがかかるとされていました。↩︎
4. バージニア工科大学のマガジンや学校のプレスリリースを含む一部のバージニア工科大学の情報源では、数は325台となっています。System Gの一次資料（後述）をレビューした結果、アレイは324台のマシンで構成されていたと自信を持って言えます。↩︎