NvidiaのVeraホワイトペーパーにほころびが見られる
Nvidia's Vera Whitepaper Has a Thread Loose (chipsandcheese.com)
要約
この記事は、NVIDIAが発表したサーバーCPU「Vera」に関するホワイトペーパーを分析しています。Veraのハードウェア設計(Olympusコア)は強力である可能性が高いものの、ホワイトペーパーはx86アーキテクチャを誤解を招く形で描写し、自社の技術的優位性を過度に強調していると批判しています。特に、同社の「Spatial Multithreading」という概念は、従来のSMT(Simultaneous Multithreading)と比較して、パフォーマンス上の利点よりもQoS(Quality of Service)に焦点を当てている可能性が指摘されています。
全文翻訳
NVIDIAのVeraホワイトペーパーにはほころびがある
インターネットの皆さん、こんにちは。
NVIDIAは、同社初の自社製OlympusコアをベースにしたサーバーCPU「Vera」を説明する45ページのホワイトペーパーを公開しました。仕様上、Veraは88コアのモノリシックコンピュートダイを備えた魅力的なチップであり、Olympusはバリュー予測、グラフプリフェッチャー、コアあたり2MBのプライベートL2、164MBの共有ラストレベルキャッシュ、そして1.2TB/sを約束する8つのLPDDR5Xメモリインターフェイスを持つ10ワイドのArm v9.2コアです。
残念ながら、NVIDIAはこのペーパーの大部分を使って、それらの興味深い設計選択をx86に対する道徳劇にしようとしています。従来の同時マルチスレッディングはタイムシェアリングとして描かれ、設定可能なNUMAトポロジーは避けられない32ノードの迷路として提示され、4つのSPECコンポーネントは「エージェント型ベンチマーク」となり、未定義のパフォーマンスカウンター比率は因果関係の証拠として推進され、ラベルのないピクトグラムは1.8倍の強化学習結果となります。
イライラさせられるのは、Veraはこのような助けを必要としないことです。初期の独立したテストでは、Olympusは実際に強力であることが示唆されています。ホワイトペーパーの最も強力な主張はハードウェアであり、最も弱い主張はその周りに包まれたストーリーです。そのストーリーを分解してみましょう。
Olympusはこのようなマーケティング以上の価値がある
批判を始める前に、良い点について話しましょう。Olympusは非常にワイドなアウトオブオーダーArmコアです。
[ [画像] ]
そのフロントエンドは、1サイクルあたり10命令をデコードでき、1サイクルあたり最大2回の分岐を処理できます。NVIDIAは、ニューラルブランチプリディクター、バリュー予測、メモリリネーミング、大きな命令ウィンドウ、6つの128ビットSVEパイプ、4つのロードパイプ、2つのストアパイプ、96KBのL1データキャッシュ、そして約10サイクルのアクセスで2MBのプライベートL2を備えていると説明しています。それらのコアが88個、3.4TB/sのコヒーレンシファブリックと分散型の164MBシステムレベルキャッシュの後ろに配置されています。
コアを詳しく見ると、バリュー予測はOlympusのよりユニークな追加機能の1つです。これは長年の研究分野であり、バリュー予測により、コアが結果を正しく予測した場合、依存する命令は遅延の高い操作の後ろに積み重なるのではなく、処理を進めることができます。研究者たちは、Appleがそのコアでバリュー予測を使用していることを発見しており、AMDはファミリー17h(Zen 1および2)で一部の浮動小数点命令の値を予測できると述べています。しかし、AMDのファミリー17hの実装はかなり限定的でしたが、OlympusはAppleのものに近い、より広範なバリュー予測実装を持っているようです。
しかし、グラフプリフェッチャーはNVIDIA独自の機能ではありません。Intelは、少なくとも2022年から出荷されているシリコンに搭載されているデータ依存プリフェッチャー(Data-Dependent Prefetcher)と呼ばれる類似のメカニズムを持っています。Intelの最新のデータセンターCPUであるGranite Rapidsも、ポインタの配列プリフェッチャー(Array of Pointers prefetcher)を備えており、「一定のストライドでプリフェッチされたデータをポインタとして扱い、ポインタの値に対応するメモリアドレスにプリフェッチリクエストを発行する可能性がある」とされています。これは基本的に、NVIDIAがグラフプリフェッチャーについて説明しているプロデューサー・コンシューマーのアイデアと同じです。Intelの実装はかなり制約がありますが、NVIDIAの実装はIntelのものよりも複雑なチェーンを処理できる可能性があります。したがって、Veraのグラフプリフェッチャーはより多くのワークロードを処理できる実装かもしれませんが、プロデューサー・コンシューマー・プリフェッチングは新しいアイデアではありません。
「ニューラルブランチプリディクター」も新しいアイデアではありません。2012年には、AMDはPiledriverマイクロアーキテクチャにパーセプトロンブランチプリディクターを実装し、Zen 1でもパーセプトロンベースのブランチプリディクターを使用し続けました。しかし、Zen 2以降、AMDはパーセプトロンBPUを初期方向予測にのみ使用し、TAGEプリディクターがそれを上書きしました。これは誤予測を30%削減したためです。Zen 5では、AMDはZen 3またはZen 4ですでにそうしていなかったとしても、おそらくTAGEプリディクターに完全にコミットしているでしょう。
SoC側に移ると、Olympusコアの堅牢さを考慮して、NVIDIAはVeraに同様に堅牢なメモリサブシステムを与えています。Veraは8つのSOCAMM2 LPDDR5Xモジュールを最大1.5TBの容量と1.2TB/sの帯域幅でペアにしています。NVIDIAは、搭載されたメモリサブシステムが約50ワットしか消費しないと主張しています。従来のEPYCまたはXeonプラットフォームは、より大容量のDIMMを提供でき、交換も容易ですが、その柔軟性にはボード面積と電力で代償を払います。
最も重要なのは、NVIDIAの結果以上のものがあることです。5月、PhoronixのMichael Larabelは、初期のVeraシステムを現在のArmおよびx86サーバーと比較しました。NVIDIAが許可したテストセット全体で、Veraの幾何平均は5GHzのEPYC 9575Fを10%上回り、Xeon 6980Pの1.55倍、Graceの1.63倍であり、Veraは公開テストで見た中で最も高性能なArmサーバーCPUとなっています。テストには大きな注意点があります。例えば、NVIDIAが許可するワークロードの範囲を選択し、周波数や電力の監視を許可しなかったことです。Phoronixがテストしたシステムは量産前であり、テスト期間は1日だったため、NVIDIAが課した制限に関わらず、テストできる内容にはかなりの限界がありました。これは、VeraがNVIDIAのラボだけでなく、実際の環境で見られるようになるまで、より広範なカバレッジは待たなければならないことを意味します。
それでも、その結果は、NVIDIAのホワイトペーパーのチャートがすべて幻想であるという説明を却下するのに十分強力です。Olympusは高速なCPUコアのようです。では、ホワイトペーパーがNVIDIAの主張を証明していると言えるかどうかを問いましょう。
Spatial Multithreadingは依然としてSMTである
ここに文書の最初の大きな技術的誤りがあります。
図5は、「従来のSMT(x86)」とNVIDIAのSpatial Multithreadingを対比しています。x86側は、ブランチプリディクター、デコード、実行、ロード/ストア、メモリの各ステージが2つのスレッド間で交互に実行される様子を描いています。キャプションでは、Veraはリソースを2つのハードウェアスレッド間で分割することにより、「機会的な時間共有」を回避していると述べています。
[ [画像] ]
NVIDIAの図は、x86-64およびその他のISAにおけるSMTの実装方法について誤解を招く印象を与えます。SMT実装は、サイクルごとにスレッドを選択するか、スレッドに依存しない方法で動作することにより、実行パイプラインのさまざまなステージを共有します。フェッチ、デコード、アロケーションは通常、サイクルごとにスレッドを処理しますが、実行およびメモリアクセスのステージはスレッドに依存せず、同じサイクルで両方のスレッドからのマイクロオペレーションを処理できます。スレッドが競合するステージは、両方のスレッドに供給できる場合にリソースを未使用のままにしません。静的なパーティショニングとサイクルごとの選択は、スレッドの停止がない限り、両方のスレッドに同じ平均スループットを提供します。停止がある場合、サイクルごとの選択は、停止していないスレッドに未使用のスループットを与えることができます。
[ [画像] ]
SMTのためにデコードを静的にパーティショニングするプロセッサと、サイクルごとにサービスするスレッドを選択する8ワイドプロセッサのデコードステージアクティビティの仮説例。サイクルごとのスレッド選択は、一方のスレッドの停止を効率的に隠すことができますが、静的なパーティショニングはスループットを無駄にします。
同じ考え方が、実行およびキャッシュアクセスのようなスレッドに依存しないステージにも当てはまります。各スレッドは、供給できるだけの実行ユニットまたはキャッシュポートを使用できます。対照的に、NVIDIAが示唆するようにリソースを静的にパーティショニングすると、一方のスレッドが計算バウンドになり、もう一方のスレッドのために予約されているため、コアの実行リソースの半分を使用できなくなる可能性があります。
NVIDIAのペーパーのテキストは、NVIDIAのSpatial Multithreadingアプローチの利点として「決定論、分離、サービス品質」を強調しています。パフォーマンスは顕著に言及されていません。サービス品質は、NVIDIAのターゲット市場にとってスループットよりも重要な考慮事項である可能性があり、Spatial Multithreadingは悪い設計点ではないかもしれません。しかし、NVIDIAの図は、Spatial Multithreadingが従来のSMTよりも大きなパフォーマンス向上をもたらすことを意図しているかのような印象を与えます。
スレッド間のリソース干渉を減らすことで、Spatial Multithreadingは従来のSMTアプローチと比較して、決定論、分離、サービス品質を向上させます。その結果、より一貫したレイテンシとスループットを維持しながら、多数のエージェントタスクを同時に実行できるCPUアーキテクチャが実現します。- NVIDIAのVeraホワイトペーパー
Veraの実際のSMTパフォーマンスは不明ですが、フェッチ、デコード、実行、メモリアクセスのパーティショニング戦略以外にも、SMTのゲインには多くの変数が関わってきます。リオーダバッファ、レジスタファイル、メモリ順序付けキューのようなアウトオブオーダーリソースは、複製、静的パーティショニング、ウォーターマーキング、または競合共有される可能性があります。パーティショニングされた構造は、マルチスレッドモードで2つの論理プロセッサ間で分割され、シングルスレッドモードで1つのスレッドのために再結合されました。これは2002年に文書化されています。さまざまなSMT実装は、各構造に対して異なる戦略を使用しており、それらの選択はSMTゲインに大きな影響を与える可能性があります。
また、注意すべき点は、Olympusコアがシングルスレッドモードに戻るのに10,000サイクルかかることです。これは、ソフトウェアがOlympusコアで2番目のスレッドを起動する際に、パーティショニングスキームによるペナルティだけでなく、シングルスレッドへの切り替え遅延も考慮する必要があることを意味します。
Veraがアウトオブオーダーリソースをパーティショニングするためにどのような戦略を使用するか、そしてそのSMTパフォーマンスが他の最新コアと比較してどうなるかは興味深いでしょう。NVIDIAのホワイトペーパーにはその情報がありません。しかし、それは従来のSMTがリソースを未使用のままにする傾向があるかのような誤解を招く図を示していますが、実際にはNVIDIAのSpatial Multithreadingよりもコアに効率的に供給できている可能性があります。
32 NUMAノードのストローマン
次にNVIDIAは、大規模な2ソケットx86システムは「最大32のNUMAドメイン」を公開できるのに対し、Veraはソケットあたり1つを提示すると述べています。この数字はでたらめではありません。多くのチップレットEPYCシステムでは、管理者はキャッシュローカル領域を個別のNUMAノードとして公開できます。すべてのローカリティノブを最大粒度に設定すると、ノード数は大きくなります。
[ [画像] ]
NVIDIAが省略しているのは、これが設定可能であるということです。AMDのチューニングガイドには、NPS4、NPS2、NPS1、さらにはNPS0モードがリストされています。「LLC as NUMA」オプション設定は、各ラストレベルキャッシュドメインを個別に公開できます。したがって、「32 NUMAノード」はチップレットCPUの避けられないユーザーエクスペリエンスではなく、ローカリティ制御スペクトルの片端です。NVIDIAは、オプションのハイグレニュラリティ設定を、x86システムの避けられない現実であるかのように提示しています。
Veraのソケットあたり1つのノードはスケジューリングとメモリ配置を単純化しますが、複数のノードはチューニングされたソフトウェアが物理的ローカリティを利用できるようにします。Veraはよりシンプルなプレゼンテーションを選択しており、NVIDIAはその方が意図したソフトウェアスタックにより適合すると主張する自由があります。しかし、OSから見えるNUMAノードは抽象化であり、ワームホールではありません。Veraは依然として88コア、分散キャッシュとホームノード、大規模ダイ周辺のメモリコントローラー、そしてパケットスイッチドコヒーレンシファブリックを備えています。フラットなソフトウェアトポロジーは、大規模なモノリシックコンピュートダイ周辺の距離をより一貫したものにすることができますが、それをなくすことはできません。
[ [画像] ]
ペーパーのコア間ヒートマップは、その利点を定量化するのに良い場所でしょう。代わりに、NVIDIAはコアの識別情報、最小/中央値/最大テーブル、分布、測定手順のない色付きの四角形を提供しています。「最大50%低減」は、NVIDIAの最良の結果を捉えていますが、Veraの典型的な動作ではありません。
ソケットあたり1つのNUMAノードは確かにシンプルですが、ホワイトペーパーはそれをオプションの32ドメインx86構成と比較し、そのエッジケースをベースラインとして提示しています。ここでの反論は、IntelもVeraと同様のメッシュNoCを持っているということです。これらの2つのセットアップの本当の違いは、EPYCのクラスタリングされたセットアップはクラスタ間のレイテンシが高いですが、クラスタ内ではレイテンシが低いことです。一方、VeraとXeonのメッシュセットアップは均一に平均的なレイテンシを持っています。異なる構成は単なるエンジニアリングのトレードオフです。
SPECを「エージェント型AI」に変える
ベンチマークセクションは、CPUに関するはずのペーパーが、床に落ちていたAIカンファレンスのバッジを身につけ始める場所です。
[ [画像] ]
NVIDIAは4つのSPEC CPU 2026整数ワークロード(CPython、GCC、LLVM、Cppcheck)を選択し、「エージェント型ベンチマーク」と呼んでいます。SPEC自体は、それらをPythonインタープリター、2つの最適化コンパイラ、およびC/C++静的アナライザーとして説明しています。これらは正当なCPUプログラムです。それらは大きな命令フットプリント、分岐が多いコード、アロケーション、依存関係チェーンをストレスします。エージェントは確かにそれらのプログラムを呼び出すことができます。
しかし、それらはエージェントではありません。モデルがトークンを提供しているわけでも、エージェントランタイムがツールを選択しているわけでもありません。サンドボックスが開始され、I/Oでブロックされ、コンテキストを取得し、回答を評価し、観察をポリシーにフィードバックしているわけでもありません。これらのワークロードは、エージェント型パイプラインのコード集約部分の有用なプロキシである可能性があります。しかし、それらを「エージェント型ベンチマーク」と呼ぶことは、その部分的な重複を、それらがエンドツーエンドのワークロード全体を表すという主張に変えてしまいます。
ペーパーはSPECの結果を推定値として正しくラベル付けしています。なぜなら、Veraリファレンスハードウェアは実行時には一般的に利用可能ではなかったからです。図15は、完全にロードされた2ソケットシステムの下で、物理コアあたりの4つの選択されたコンポーネントで1.7倍から1.8倍のアドバンテージを示しています。設定ページをめくると、2つのVeraソケットの完全な推定SPECrate 2026 Integer Base合計は925、2つのEPYC 9755ソケットは898であり、システムスループットで3.0%のアドバンテージがあります。
[ [画像] ]
両方の数字は真実である可能性があります。Veraは2つのソケットで176個の物理コアを使用しますが、EPYCシステムは256個を使用します。各スコアを物理コア数で割ると、Veraは整数レートスイート全体でコアあたり約50%高速であり、選択されたテストでは70%から80%に達します。
[ [画像] ]
別の用語の衝突があります。NVIDIAは図19を、完全にロードされたシステムを説明しながら「シングルスレッドIPC」と呼んでいます。
公開された構成では、176個のVeraコアで352コピー、256個のEPYCコアで512コピーが実行され、物理コアあたり2コピーです。おそらくNVIDIAは、その兄弟スレッドがアクティブな間に1つの論理スレッドをサンプリングしたか、カウンターを集計して分割したかのどちらかですが、ペーパーは何も述べていません。SPECの結果は有用であり、Veraのコアあたりのパフォーマンスは実際に強力です。しかし、それらのテストをエージェント型ワークロードとして提示し、正規化された数値を強調することは、開示された結果が正当化するよりも広範なアドバンテージに見せかけています。
命令なしのIPC
NVIDIAは、Olympusの報告されているIPCリードを4つのカウンターグループに帰しています。選択されたワークロードに応じて、Veraはサイクルあたり最大2.3倍の分岐予測、サイクルあたり最大3.5倍の分岐実行、サイクルあたり最大2.4倍の命令フェッチ操作、サイクルあたり最大4.3倍のバックエンド操作を達成するとされています。
[ [画像] ]
これは技術的に具体的ですが、PMUイベント名と定義、生のカウント、サンプリング間隔、クロック周波数などがなければ監査不可能です。ましてや、Arm命令はx86命令と同じ作業単位ではありません。内部バックエンド操作はさらに移植性が低いです。あるマイクロアーキテクチャは命令を複数のマイクロオペレーションに分割するかもしれませんが、別のマイクロアーキテクチャはそれを融合させたままにします。
クロスISAのIPCは、リタイアされた作業量、クロック周波数、コード分析と組み合わせると、依然として有益です。パフォーマンスメトリックとして単独では成り立ちません。2つのバイナリが同じ時間で同じタスクを完了しても、報告されるIPCは大きく異なる場合があります。一方は、作業量が少ない命令をより多くリタイアするだけで、クロック周波数を考慮する必要があり、それは大きく異なる可能性があります。IPCは、コードを実行しているコアの動作を表すものであり、有用な作業の普遍的な尺度ではありません。
ブランチプリディクターの結果を見ると、サイクルあたりの分岐予測が多いことは、有能なプリディクターを示している可能性がありますが、Armバイナリに分岐が多い、ベンチマークがコードをより速く通過する、またはNVIDIAのイベントカウントがEPYCのイベントとは異なる投機的予測を行っている可能性もあります。サイクルあたりのバックエンド操作が多いことは、パフォーマンスと相関するかもしれませんが、どの機能が原因であるかについてはほとんど教えてくれません。バリュー予測、グラフプリフェッチング、またはニューラルプリディクターを分離するには、オン/オフ実験、または少なくともイベント定義とミス率デルタが必要です。VeraとTurinのIPCアドバンテージは現実かもしれませんが、NVIDIAのホワイトペーパーのチャートは、それを示すには結果の粒度が不十分です。
Veraのメモリ優位性は現実であり、誤って帰属されている
メモリセクションには、NVIDIAの最も強力な結果と最も弱い結論の1つが含まれています。
[ [画像] ]
ペーパー内のデュアルソケットEPYC 9755システムと比較して、VeraはNVIDIAのロードレイテンシプロットで約1.1TB/sに達しますが、Turinは400GB/s付近で頭打ちになります。Veraはコアあたり12.7GB/sを示し、Turinは3.1GB/sです。これらの結果は、Turin CPUのテスト結果とは一致しません。
Turinのテストでは、12チャンネルDDR5-6400メモリサブシステムを使用して、約570GB/sを引き出すことができました。これは、最大約400GB/sのメモリ帯域幅しか示さないNVIDIAの結果とは直接矛盾します。これにより、コアあたりのメモリ帯域幅の数値も疑問視され、EPYC 9755のコアあたりの帯域幅は約4.5GB/sに増加します。
Veraは依然として優位ですが、Turinの結果はアドバンテージの大きさを大幅に変化させます。Veraの約1.1TB/sを、測定した570GB/sと比較すると、ホワイトペーパーに示されている約3倍のアドバンテージではなく、1.9倍の帯域幅リードがNVIDIAに与えられます。EPYC 9755のコアあたりの結果を3.1GB/sから約4.5GB/sに修正すると、Veraのアドバンテージは4.1倍から約2.8倍に減少します。そして、AMDが実際にAIヘッドノード向けに提示しているSKUであるEPYC 9575Fを見ると、コアあたりの結果は12.7GB/s対9575Fの約9GB/sとなり、Veraの改善は約40%となります。これらは依然としてVeraにとって良い数値ですが、物語はかなりドラマチックでなくなります。
理論上の数値を見ると、AMDはTurinの限界を12 DDR5-6400チャンネルから614GB/sとリストしています。私たちの570GB/sの結果は、その理論上の限界の約93%に達します。Veraの8つのLPDDR5X-9600インターフェイスは1.2TB/sを提供し、NVIDIAの測定値1.1TB/sはその数値の約92%に達します。つまり、両方のプロセッサは、理論上のメモリ帯域幅の非常に類似した割合を持続的な帯域幅に変換しています。Veraが勝つのは、Turinソケットのピーク帯域幅の約2倍であり、それを競合するコアが少ないためであり、Turinが利用可能なメモリ帯域幅をうまく利用できていないからではありません。
それにもかかわらず、ホワイトペーパーは繰り返しVeraのモノリシックコンピュートダイを、それを「従来のチップレットベースCPU」と比較して称賛しています。モノリシックダイはファブリックトラバーサルを減らし、ロードレイテンシを改善する可能性がありますが、私たちのTurinの結果は、帯域幅の違いの説明を直接弱めます。チップレットベースのEPYC 9755が理論上の限界の約93%に達していることは、このケースではチップレットトポロジーによって明らかに妨げられていません。Veraの帯域幅アドバンテージの大部分は、プロセッサに接続されたメモリインターフェイスから来ています。
この比較はほとんどすぐに古くなりました。NVIDIAは7月21日に技術ブログとホワイトペーパーを公開しましたが、AMDは2日後に第6世代EPYCを発売しました。96コアのEPYC 9686Fは、Veraの88コア数に非常に近く、DDR5-8000またはMRDIMM-12800をサポートする16メモリチャンネルを提供し、ソケットあたり1,024または1,638GB/sを実現します。トップのMRDIMM速度は、Veniceに、Veraよりも総メモリ帯域幅とコアあたりのメモリ帯域幅の両方で理論上の帯域幅を与えます。どちらのSKUを見るかによります。
[ [画像] ]
新しいEPYC仕様と私たちのTurinテストが示すのは、NVIDIAの「最新x86 CPUの3倍のメモリ帯域幅」という主張は、同じプロセッサ世代から引き出せる帯域幅を表していないTurinの結果に依存しているということです。私たちの結果と比較すると、Veraは総帯域幅で約1.9倍、コアあたりの帯域幅で2.8倍を提供します。これは依然として印象的なプラットフォームの結果ですが、モノリシックArmプロセッサがチップレットベースx86 CPUよりも帯域幅で優れている証拠ではありません。
グラフとRLのチャートにはデータが必要
NVIDIAはEPYC 9755に対して2.6倍のPageRankアドバンテージを報告し、Veraが32コアまでほぼ線形にスケーリングするのに対し、EPYCは32コアでわずか10倍のパフォーマンス増加に平坦化することを示しています。NVIDIAは、このTurinに対する改善を、モノリシックコンピュートダイ、高帯域幅Scalable Coherent Fabric、Veraの1.2TB/sのメモリ帯域幅、そしてOlympusコア内のグラフプリフェッチャーに起因すると説明しています。
[ [画像] ]
しかし、ペーパーはGAP Benchmark Suiteをリンクしていますが、このテストの実行方法に重要な要因であるNVIDIAが使用した変数を省略しています。スケーリングプロットは、マシンがソケットあたり88コアと128コアを持っているにもかかわらず、32コアで停止しています。2.6倍の結果は興味深いですが、NVIDIAが使用した変数なしでは、結果は再現不可能である可能性が高いです。
ClickHouseテストについては、NVIDIAはPhoronixの結果を直接リンクしており、Veraは1億行のデータセットを3回通過したテスト済みプロセッサをリードしています。ホワイトペーパーの1.2倍のチャートは、9575Fの結果を使用していないため、依然として選択的ですが、外部テスターが認識可能なワークロードで根本的な結果を生成しました。
次に図24、「VeraはRLトレーニングで1.8倍を達成」に到達します。この図は、小さな完了タスクの四角形の行です。モデル、環境、CPU/GPU割り当て、フレームワーク、バッチサイズ、電力測定、繰り返し回数、またはエラーバーはありません。四角形がサンプル、ステップ、またはNVIDIA本社でのランダムなタイルの配置のいずれを表しているかさえわかりません。
[ [画像] ]
これは悪いベンチマークではありません。単にベンチマークではありません。
周囲のテキストは、より高速なCPUが強化学習のロールアウトを改善できる理由を説明しています。なぜなら、より高速な環境ステップと報酬計算がアクセラレータをより迅速に供給できるからです。しかし、図24はそれを測定することさえ装っていません。
良いCPUは悪い主張を必要としない
45ページの後、Veraに対する私の立場は、Veraホワイトペーパーに対する私の立場よりも肯定的です。
Olympusは、10ワイド固定長デコーダー、大きなプライベートキャッシュ、バリュー予測、積極的な分岐処理、グラフ認識プリフェッチング、そして88コアのモノリシックダイを備えた真剣なコアのように見えます。これらはすべて、非常に高性能なCPUコアを指し示す選択です。メモリセットアップも手抜きではなく、LPDDR5Xサブシステムは最大1.2TB/sのメモリ帯域幅を提供し、メモリ帯域幅に飢えたサーバーワークロードはそれを喜ぶでしょう。そして、初期の独立したベンチマークは、シリコンがホワイトペーパーが書いたチェックの一部を現金化できると述べています。
しかし、ペーパーの競争上の主張ははるかに不安定です。x86 SMTを誤って特徴づけ、オプションのNUMA構成をデフォルトの負担に変え、標準的なCPUテストをエージェント型ワークロードとして再ラベリングし、3%の2ソケットレートリードを1.8倍のコアあたりバーの後ろに隠し、未定義のクロスISAカウンターを比較し、メモリインターフェイスの勝利をモノリシックの美徳に帰し、イラストをパフォーマンスデータとして提示しています。
それらのどれもVeraを遅くするわけではありません。それは単に、NVIDIAの証明がNVIDIAマーケティングの文章よりも小さいということです。
次のラウンドのVeraテストは簡単になるはずです。独立したレビュアーに無制限の量産ハードウェアを提供し、周波数、パッケージ電力、ウォール電力の数値を公開できるようにし、Spatial Multithreadingのオン/オフ結果をテストし、もちろんVeraで任意のベンチマーク/ワークロードを実行できるようにします。Veraがそのアーキテクチャが示唆するように優れているなら、それらのテストはx86 SMTを小さな2車線信号機として描くよりもはるかに説得力があるでしょう。現状では、NVIDIAのマーケティングはVeraを汚すリスクを冒しています。NVIDIAはここで十分なCPUを構築したので、マーケティングパイプラインからパフォーマンスを借りるのをやめることができます。