HN 日本語サマリー

← 一覧へ戻る
プログラミング

GPU上でのRust SIMD

Rust SIMD on the GPU (vectorware.com)

206 pointsby sagacity101 コメント

要約

VectorWareは、RustのポータブルSIMD(core::simd)をGPU上で初めて成功裏に使用したことを発表しました。これにより、開発者はGPUハードウェアの全能力を活用する高性能アプリケーションを、Rustの使い慣れた抽象化を用いて記述できるようになります。GPUのSIMT(Single Instruction, Multiple Thread)モデルは、ポータブルSIMDのベクトル処理と直接マッピングされ、CPUと同様の並列処理をGPU上で実現します。

全文翻訳

GPU上でのRust SIMD

[画像: VectorWare logo]VectorWare

Dispatches

2026年8月10日 12分で読めます

Pedantic mode:Off

GPUコードでRustのポータブルSIMDが利用可能になりました。実装アプローチと、これがGPUプログラミングに何をもたらすかを共有します。

VectorWareでは、初のGPUネイティブソフトウェア企業を構築しています。本日、RustのポータブルSIMD(core::simd)をGPU上で正常に利用できるようになったことを発表できることを嬉しく思います。このマイルストーンは、開発者が使い慣れたRustの抽象化を用いてGPUハードウェアの全能力を活用する、複雑で高性能なアプリケーションを記述できるようになるという我々のビジョンに向けた重要な一歩となります。

スレッド以下の並列処理

以前、GPUにRustスレッドを導入した際、各std::threadをGPUのワープにマッピングしました。これによりGPU上で多数の同時実行スレッドを実行できましたが、各スレッド/ワープ内の並列レーンは利用していませんでした。

CPUでは、スレッド内の並列処理の抽象化はSIMDです。単一の命令がベクトルユニットにパックされた複数のデータ要素に作用します。スカラコードが2つの数値を加算する場合、SIMD加算は、例えば8つのf32値の2つのベクトルを取り、一度に8つの合計を生成します。このデータ並列性は、オペレーティングシステムが何かをスケジュールするレベルよりも下の、単一スレッドの内部にあります。

CPU
スレッド
SIMD オペレーション
0 1 2 N ⋯
SIMD レーン

RustのポータブルSIMD

歴史的に、RustでSIMDを記述することは、x86-64の_mm256_add_psやArmのvaddq_f32のような、core::archのアーキテクチャ固有のベンダー組み込み関数に手を伸ばすことを意味しました。これらの組み込み関数は単一の命令セットに固有であるため、複数のアーキテクチャで実行されるプログラムは、それぞれに個別の実装が必要です。

RustのポータブルSIMDは、これらの組み込み関数の上に抽象化レイヤーを追加します。これは、T型のN個の要素のベクトルを表す単一の汎用型Simd<T, N>を提供します。プログラムは、算術演算、比較、削減、レーンシャッフルをSimdに対して一度記述し、コンパイラはそれをターゲットCPUが持つ任意のベクトル命令に低下させます。

VectorWareでは、GPUもポータブルSIMDがターゲットとするもう一つのベクトルハードウェアに過ぎないことに気づきました。 ボーナスとして、ポータブルSIMDはstdではなくcoreにあり、GPUに導入したstdサポートさえ必要としません。

SIMTはSIMDである

GPUは、NVIDIAがSIMT(Single Instruction, Multiple Thread)と呼ぶモデルで実行されます。ワープは1つの命令を発行し、その32のレーンのそれぞれが自身のデータに対してその命令を実行します。多くのデータ要素に作用する1つの命令は、まさにSIMDが意味するところであり、SIMTが追加するレーンごとのアドレッシングはそれを変えません。ワープは幅広のベクトルユニットであり、ポータブルSIMDベクトルは直接そのユニットにマッピングされます。

CPU
スレッド
0 1 2 N ⋯
SIMD レーン
≈
GPU
ワープ
0 1 2 N ⋯
ワープ レーン

例えば、Simd<i16, 32>は、ワープの32レーンのそれぞれに1つのi16要素を与え、そのような2つのベクトルを加算すると、すべてのレーンが一度にその要素を加算する単一のワープ命令にコンパイルされます。

// CPU
let a: Simd<i16, 32> = [1, 1, 1, ..., 1];
let b: Simd<i16, 32> = [2, 2, 2, ..., 2];
let c = a + b;
//vpaddw %zmm2, %zmm1, %zmm0 にコンパイルされる
// a0+b0 レーン 0
// a1+b1 レーン 1
// a2+b2 レーン 2
// a31+b31 レーン 31
// ⋯
println!("{c:?}");

// GPU
let a: Simd<i16, 32> = [1, 1, 1, ..., 1];
let b: Simd<i16, 32> = [2, 2, 2, ..., 2];
let c = a + b;
// add.s16 %rs3, %rs1, %rs2 にコンパイルされる
// a0+b0 レーン 0
// a1+b1 レーン 1
// a2+b2 レーン 2
// a31+b31 レーン 31
// ⋯
println!("{c:?}");

この新しいマッピングは、以前の作業からの並列処理階層を完成させます。CPUでは、スレッドはSIMDレーンを含み、GPUでは我々のstd::threadはワープであり、そのハードウェアレーンが同じ役割を果たします。どちらの場合も、core::simdがそれらのレーンを駆動します。

CPU
⋯
スレッド 0
  0 1 2 N ⋯
スレッド 1
  0 1 2 N ⋯
スレッド N
  0 1 2 N ⋯
SIMD レーン
≈
GPU
⋯
ワープ 0
  0 1 2 N ⋯
ワープ 1
  0 1 2 N ⋯
ワープ N
  0 1 2 N ⋯
ワープ レーン

世界初: GPU上でのcore::simd

以前の投稿と同様に、コードは通常のRustであるため、視覚的に示すのは困難です。ラップトップ上でx86-64 SIMDに低下するのと同じcore::simd型が、ソースコードを変更せずにGPU上のワープ操作に低下します。

ここでは、小さなポータブルSIMDルーチンを定義し、mainから呼び出します。これはモデルのコア機能を行使します。要素ごとの算術演算、レーンマスクを生成する比較、そのマスクによって駆動されるselect、およびレーンを横断する水平削減です。

#![feature(portable_simd)]

use core::simd::cmp::SimdPartialOrd;
use core::simd::num::SimdFloat;
use core::simd::{Select, Simd};

// ポータブルSIMD。この正確な関数はCPU上でもコンパイル・実行され、
// ターゲットに応じてx86-64、Arm、またはスカラコードに低下します。
fn relu_dot(a: Simd<f32, 32>, b: Simd<f32, 32>) -> f32 {
    // 要素ごとの乗算: 32個の積が一度に計算される。
    let products = a * b;

    // レーンごとの比較はマスクを生成する。レーンごとに1つのブール値。
    let positive = products.simd_gt(Simd::splat(0.0));

    // 正の積を保持し、残りをゼロに置き換える。
    let clamped = positive.select(products, Simd::splat(0.0));

    // 全レーンを横断して単一のスカラーに削減する。
    clamped.reduce_sum()
}

fn main() {
    // 通常のRustで構築された2つの32幅ベクトル。
    let a = Simd::<f32, 32>::splat(2.0);
    let b = Simd::<f32, 32>::from_array(std::array::from_fn(|i| i as f32 - 16.0));

    // 要素ごとの演算、比較マスク、セレクト、削減:
    // すべて通常のポータブルSIMDであり、すべてGPU上で実行される。
    let result = relu_dot(a, b);

    // 我々のstdサポートを使用してGPUから印刷される。
    println!("relu_dot = {result}");
}

エントリポイントは、GPU固有のアノテーションのない通常のfn mainです。我々のツールチェーンはそれをGPUカーネルにコンパイルし、結果は我々のstdサポートを使用してデバイスから印刷されます。

以下は、プログラムがGPU上で実行され、CPU上で実行した場合と全く同じ出力を生成したときの録画です。

実装

前述の通り、マッピングは単一の観察に基づいています。ワープは、レーンが個別にアドレス指定可能なベクトルユニットであるということです。Simd<T, N>がレーンごとにレイアウトされると、各操作ファミリには直接ワープレベルの対応物があります。

SIMD要素ごとの操作は簡単なケースです。加算、乗算、比較、その他のレーンごとの演算子は、AddのようなSimd上の通常のRustトレイト実装から来ます。GPUはそれらをネイティブに実行します。

reduce_sumやreduce_maxのようなSIMD削減は、すべてのレーンをスカラーに結合します。これらはGPUのワープシャフル命令を使用してレーン間で値を交換・結合し、すべてのレーンで同じスカラー結果を生成します。

simd_swizzle!やローテーションのようなSIMDクロスレーンシャッフルは、レーン間で要素を移動します。SIMDレーンはGPUワープレーンであるため、これらはGPUレーンをデータ交換に非常に適した同じワープシャフルプリミティブにマッピングされます。

SIMDマスクも同様にきれいにマッピングされます。Mask<T, N>は、各SIMDレーンに1つの述語を与えます。Mask::selectは、すべてのワープレーンで選択を実行します。水平マスククエリ(anyやallなど)は、GPUのvoteおよびballot命令を使用します。

ループカウンターや定数のような周囲のコードのスカラ値は、すべてのレーンによって同一に計算されるため、通常のCUDAと同様にワープ全体に単純に複製されます。これは、ISPCのようなデータ並列言語が明示するユニフォーム対バリアブルの区別と同じですが、ここではRust自身の型から派生します。プレーンなf32はユニフォームであり、Simd<f32, 32>はバリアブルです。

レーンとの連携

抽象化とハードウェアが一致しない唯一の場所は、レーン数です。CPUでは、Simd<T, N>は1から64までの任意のNを許可しますが、GPUハードウェアには固定幅があります。NVIDIAでは32レーン、AMDでは32または64レーンです。マッピングは、Nがその幅と一致する場合にのみ1対1になります。より小さいNは一部のレーンをアイドル状態にし、より大きいNは一部またはすべてのレーンに複数の要素を処理させます。

ワープの幅よりも多くの作業がある場合、どのレーンが何をするかを指定する方法が必要です。ワープをそれ自体の小さな「マシン」と考えるのが役立ちます。レーン間でデータを移動および結合するための固定セットのプリミティブと、どのレーンがアクティブで各レーンがどれだけのデータを保持しているかに関する不変条件があります。「プログラミング」とは、これらのルール内でレーンに作業を配置することです。

VectorWareでは、そのマシンにIR(中間表現)を提供します。 独立したデータ構造ではなく、型、ジェネリクス、定数ジェネリクス、トレイト境界を使用してRustの型システムでエンコードします。プログラムは、投票、シャッフル、削減、スキャン、ギャザー、スキャッター、アトミック、およびベクトルがワープより幅広の場合のストリップマイニングのような型付けされた操作で構成されます。オペランド、実行形状、および容量も型付けされます。操作は型に形状を保持するため、多くの無効なプログラムは構築できません。

IRはGPU上でインタープリターを必要としません。各操作は、手書きのPTXよりもコストゼロで、対応する命令に直接低下します。同じ型により、CPU上でも実行できます。決定論的にIRを実行する参照インタープリターを構築しました。これは、ワープレーンプログラミングのためのMiriのようなものです。GPUコードのシミュレーションや差分テストに使用します。

我々の作業は現在NVIDIAを対象としていますが、ここにあるものはCUDA固有ではありません。AMDのWavefrontsやVulkanのサブグループは、同様のプリミティブとセマンティクスを公開しています。IR自体はアーキテクチャに依存しないRustです。

利点

同じソースコードがCPUとGPUの両方で実行されます。すでにポータブルSIMDを使用しているコードやライブラリは、書き直しなしでGPU実行の候補になります。

変更されていないCPUコードは、GPUのレーンレベルの並列処理を使用できます。GPU対応コードは、PTXに直接マッピングされるcore::arch組み込み関数を使用することで、さらに進むことができます。

Simd<T, N>は通常の所有値です。借用チェッカー、ライフタイム、型チェックは、CPUの場合とまったく同じようにそれに適用されます。GPU固有のベクトル型や新しいアノテーションセットを追加しているわけではありません。Rustの既存のポータブルSIMDをGPUのネイティブ実行モデルにマッピングしています。VectorWareでは、GPUを通常のRustプラットフォームのように動作させています。

欠点

ポータブルSIMDはRustではまだ不安定です。ナイトリー版の#![feature(portable_simd)]が必要であり、安定化する前にそのインターフェースが変更される可能性があります。

ワープよりも狭いベクトルはレーンをアイドル状態にし、ワープよりも広いベクトルは各操作をより多くの命令に変換します。抽象化がゼロコストになるのは、ベクトル幅がワープレーン数と一致する場合のみです。

すべてのクロスレーン操作が効率的なワープ命令にマッピングされるわけではありません。ハードウェアがサポートするパターンに一致するシャッフルは安価ですが、任意の置換はいくつかの命令や共有メモリを介した移動を必要とする場合があります。削減やall/anyのような水平操作は、ワープ内での同期ポイントとしても機能するため、スケジューラが作業をどれだけ自由にオーバーラップできるかを制約します。

他のRust機能との相互作用において抽象化が正しく機能するように、コンパイラを変更する必要がありました。これは未知の領域であるため、すべてのケースを網羅したとはまだ確信が持てません。

今後の作業

SIMD、スレッド、およびasyncがすべてGPUにマッピングされたため、自然な次のステップはそれらを組み合わせることです。スレッドはワープ全体に作業を分散し、core::simdは各ワープ内のレーンにデータを分散し、asyncはそれらの間の並行処理を構造化します。

また、行列形状のSIMDをGPUのテンソルコアに低下させること、および通常のスカラRustループをSimd操作に自動ベクトル化して、core::simdに対して記述されていなくてもコードがワープレベルの並列処理を取得できるようにすることにも関心があります。Rustコンパイラチームのメンバーとして、これのどれだけがコンパイラ自体で発生するかを探求することに熱心です。

CPUとGPU間で共有されるベクトル表現は価値がありますが、今日のポータブルSIMD型がその基盤として適切であるかは明らかではありません。一つには、それらはcoreおよびstd API内でほとんど独自の領域にあります。さらなる探求が必要です。

VectorWareはRustのみに焦点を当てていますか?

GPUで進歩できる速度は、Rustの抽象化とエコシステムの力の証です。

企業として、誰もがRustを使用しているわけではないことを理解しています。将来の製品は、複数のプログラミング言語とランタイムをサポートします。しかし、Rustは高性能で信頼性の高いGPUネイティブアプリケーションの構築にユニークに適していると信じており、それが私たちが最も興奮していることです。

フォローしてください

X、Bluesky、LinkedInでフォローするか、ブログを購読して、進捗状況を把握してください。今後数ヶ月で、私たちの仕事についてさらに共有します。また、hello@vectorware.comまでご連絡ください。