Vx – 1つの言語で、あらゆるチップに対応
Vx – One Language, Every Chip (vxlang.org)
要約
Vxは、CPU、GPU、NPUなどの異種コンピューティング向けシステムプログラミング言語です。メモリの場所を型システムに組み込むことで、コンパイル時に多くのランタイムエラーを防ぎます。明示的なデータ転送とハードウェア定義に基づいたコンパイルにより、パフォーマンスと正確性を重視したコード開発を可能にします。
全文翻訳
One Language, Every Chip
Vxは、異種コンピューティングのためのシステムプログラミング言語です。CPU、GPU、NPU、アクセラレータのメモリは型システムの一部であるため、ホストスレッドがデバイスポインタを参照すると、深夜のセグメンタント違反ではなく、コンパイルエラーになります。
curl -fsSL https://vxlang.org/install.sh | sh
Apple Silicon上のmacOSおよびLinux x86_64に対応しています。その他のインストールオプション。
異種性はランタイムではなく、型システムに属します。
データの配置場所がその型の要素となる
ほとんどの言語では、アクセラレータをインフラストラクチャとして扱います。つまり、数式を記述し、不透明な大規模ランタイムがそれをどのように転送するかを決定します。Vxでは、これをセマンティクスとして扱います。NPUの高帯域幅メモリに固定されたテンソルは、ホストDRAMにあるテンソルとは異なる型を持ち、それらの間を移動するには明示的なtransfer()が必要です。これは、ハードウェア境界が無料であっても同様です。
Appleのユニファイドメモリでは、その転送はほとんど何もコンパイルされません。それでも明記されるのは、データ局所性はバイナリをプロファイリングするのではなく、ソースを読むことで証明可能であるべきだからです。
// 既にNPUメモリ内に存在する2つの行列。
fn custom_matmul(
a: Pinned<Tensor<f32, [4, 4]>, Topology::NPU[0]>,
b: Pinned<Tensor<f32, [4, 4]>, Topology::NPU[0]>)
-> Verified<Tensor<f32, [4, 4], Memory::NPU_HBM>> {
let mut result =
Tensor<f32, [4, 4], Memory::NPU_HBM>::uninit();
// 計算をアクセラレータにディスパッチします。
spawn on(Topology::NPU[0]) {
for i in 0..4 {
for j in 0..4 {
result[i][j] = 0.0;
for k in 0..4 {
result[i][j] += a[i][k] * b[k][j];
}
}
}
}
return Verified(result);
}
コンパイラが排除するもの
Vxは、通常は実行時クラッシュ、サイレントな破損、またはトレーニングステップ1200でのメモリ不足として現れる一連のバグを、型チェックに前もって組み込みます。
アドレス空間タイピング
デバイスポインタをホストから参照すること。Pinned<T, NPU_SRAM>がホスト式にエスケープすること。
容量制限
ターゲットとするメモリ空間に収まらないワーキングセットを持つ配置。バイナリが存在する前に、宣言されたマシンに対してチェックされます。
シーム契約
非同期transferが可視化されていないバッファを読むこと。SMTプロバーによって解決されます。
線形型
消費されたバッファの使用後移動、およびバリアンスと領域追跡を備えた借用チェッカー。
トポロジー到達可能性
宣言されたパスがない2つのメモリ空間間の転送。
自動微分
その随伴が定義されていない領域での微分。
マシンは宣言されるものであり、仮定されるものではない
ほとんどのコンパイラはコストモデルをハードコードしています。Vxはそれを読み込みます。マシンファイルは、実際の部品のメモリ階層と相互接続を記述し、コンパイラはそれに対して配置を許可または拒否します。
単位は正確な整数変換であり、浮動小数点数ではありません。SIプレフィックスは10進数(GB = 10^9)であり、IECは2進数(GiB = 2^30)です。ベンダーシートからコピーされた数値は、シートが意味したことを意味します。
リポジトリには、H100、H200、B200、A100、MI300X、Apple M4、およびマルチGPUノードのマシンファイルが含まれています。それぞれが出典を引用し、検証されていない数値には検証されていないマークを付けています。
Memory HBM { capacity: 80 GiB, bandwidth: 3.35 TB/s,
managed: explicit, scope: device }
Memory L2 { within: Memory::HBM, capacity: 50 MiB,
bandwidth: 12 TB/s, managed: cached }
Memory SMEM { within: Memory::L2, capacity: 228 KiB,
bandwidth: 128 B/cyc, clock: 1.98 GHz,
replicas: 132, granule: 1 KiB, scope: sm }
Topology Device {
arch: nvptx64,
memory: Memory::HBM,
transfer Memory::CPU_DRAM -> Memory::HBM : 63 GB/s,
}
コンパイル方法
データ指向の並列フロントエンド
すべてのシンボル、名前付き型、およびモノモルフィゼーションされたバリアントは、フラットな256ビット識別子です。名前付き型システムと再帰型のための必須のボクシングはモジュールを分離するため、パイプラインはクエリエンジンやロック競合なしにコア全体で並列に実行されます。コンパイルは、ポインタをたどるツリーではなく、フラットな配列をウォークします。
同じソースコードは、シリアルビルドでもパラレルビルドでも、バイト単位で同一のMLIRにコンパイルされます。これは希望的観測ではなく、テストスイートでアサートされます。ベンチマークスケールで、1スレッドで、4スレッドで、スレッドプールを完全にパスから外した状態で、さらにコーパスを新しいプロセスで再コンパイルして各実行が独自のハッシュシードを取得するようにします。主張は、フロントエンドが出力するMLIRに関するものであり、それ以降すべてはLLVMに属します。
バックエンド
| CPU (x86-64, arm64) | MLIR → LLVM IR → native, AOT or JIT |
| NVIDIA GPU | MLIR → NVVM → PTX → SASS |
| Apple AMX / ANE | CoreMLプリミティブディスパッチ(プラグイン経由) |
| 分散実行 | マニフェスト駆動のワイヤープロトコル上のリモート領域 |
ベンダーは、コンパイラをパッチするのではなく、MLIRパスプラグインを通じて拡張します。
Vxが不適切なツールである場合
PyTorchユーザーはループ中にアーキテクチャを変更し、テンソルの形状を出力し、それに基づいて分岐して続行します。Vxでは、事前にコンパイルされ、データ指向で、静的に領域化されているため、同じ動的な動作には実際の作業が必要です。
Vxは、10種類のシリコンで正確さと速度が求められるものに適した言語です。まだ検討中のものには適した言語ではありません。