HN 日本語サマリー

← 一覧へ戻る
プログラミング

RustにおけるSIMDの現状(2026年)

The state of SIMD in Rust in 2026 (shnatsel.github.io)

209 pointsby verdagon65 コメント

要約

この記事は、RustにおけるSIMD(Single Instruction, Multiple Data)技術の2026年時点での進捗状況を概観します。自動ベクトル化、ポータブルSIMD抽象化、プラットフォーム固有のイントリンシックといった主要なアプローチを解説し、命令セットの互換性や浮動小数点演算の精度といった課題、そして利用可能なライブラリについて掘り下げています。

全文翻訳

RustにおけるSIMDの現状 2026年

昨年から多くの進歩があり、私もその一部に貢献しました!

昨年の調査の後、最も有望に見えたSIMDライブラリへの貢献を開始しました。それがきっかけとなり、今ではFearless SIMDのメンテナーになっています。

利益相反を避けるため、他のライブラリ(std::simd、wide、pulp、macerator)の作者にこの記事のドラフトのレビューとフィードバックを依頼しました。しかし、編集権は私にあり、すべての誤りは私の責任です。

今年の調査は、以前のものよりも詳細です。さあ、準備をして、最初から見ていきましょう!

SIMDとは何か? なぜSIMDか?

算術演算を行うハードウェアは安価であり、今世紀のCPUには豊富に搭載されています。しかし、命令デコードブロックは1つしかなく、それを高速に動作させるのは難しいため、算術ハードウェアは大幅に活用されていません。

命令デコードのボトルネックを回避するために、CPUに一度に多数の数値をフィードし、加算のような単一の算術演算を実行させることができます。これが「Single Instruction, Multiple Data」、略してSIMDの名前の由来です。

2つの数値を加算する代わりに、数値の2つのバッチ(「ベクトル」)を加算でき、これは単一の加算を行うのとほぼ同じ時間がかかります。

最近のx86チップでは、これらのバッチは最大512ビットのサイズにでき、理論上はf64の数学演算で8倍、u8の演算で64倍の高速化が期待できます。実際には、遅くも速くもなり得ます。

命令セット

歴史的に、SIMD命令はCPUアーキテクチャが設計された後に追加されたため、SIMDは各アーキテクチャで独自のマーケティング名を持つ拡張機能となっています。

ARMは「NEON」と呼んでおり、すべての64ビットARM CPUに搭載されています。

WebAssemblyにはマーケティング部門がないため、「WebAssembly 128ビットパックSIMD拡張」と呼んでいます。

64ビットx86は「SSE2」と呼ばれるものを出荷しましたが、これは128ビットベクトル用の基本的な命令を備えています。しかし、その後、SSE 4.2でさらに多くの操作が追加され、AVXとAVX2で256ビットベクトルが追加され、AVX-512で512ビットベクトルとさらに多くの操作が追加されるなど、多くの拡張機能が追加されました。

上記の段落の「その後」という言葉が問題を引き起こします。

このCPUはその命令を持っているか?

x86_64 CPUでプログラムを実行している場合、そのCPUが特定のSIMD拡張機能を持っているとは限りません。そのため、デフォルトでは、コンパイラはSSE2を超える命令の使用を許可されていません。なぜなら、それはすべてのx86_64 CPUで動作しないからです。

この問題には2つの回避策があります。

自社のサーバーまたはパブリッククラウドでのみバイナリを実行する会社に勤務している場合、それらがすべて10年以上前に導入されたAVX2を少なくとも持っていると断言し、AVX2を持たないもの上で実行された場合にプログラムがクラッシュまたは誤動作するようにすることができます。

RUSTFLAGS='-C target-cpu=x86-64-v3' cargo build --release

しかし、他の人が実行するためにバイナリを配布している場合、それは実際には選択肢ではありません。

代わりに、関数マルチバージョン化と呼ばれることを行うことができます。同じ関数を異なるSIMD拡張機能のために複数回コンパイルし、プログラムが実際に実行されるときに、CPUがどの機能をサポートしているかを確認し、それに基づいて適切なバージョンを選択します。

幸いなことに、この問題はx86でのみ発生します。

ARMは64ビットCPUでNEONを必須とし、それ以降、有用なSIMD拡張機能を追加していません(詳細は後述)。

WebAssemblyでは、SIMDありとなしの2つの異なるバイナリをコンパイルし、JavaScriptを使用してブラウザがSIMDをサポートしているか確認する必要があります。

SIMDを使うには?

SIMDを活用するには3つの方法があります。

  1. 自動ベクトル化: &[i32].sum()
  2. ポータブルSIMD抽象化: i32x4 + i32x4
  3. プラットフォーム固有のイントリンシック - しばらくお待ちください、もっと大きなコードブロックが必要です。
#[cfg(all(any(target_arch = "x86", target_arch = "x86_64"),target_feature = "sse2"))]
_mm_add_epi32(__m128i , __m128i)
#[cfg(all(target_arch = "aarch64", target_feature = "neon"))]
vaddq_u32(int32x4_t, int32x4_t)

それぞれの方法と、各プログラミングモデルの状態を見ていきましょう。

自動ベクトル化

プレーンなRustを書いて、コンパイラのヒューリスティックに任せましょう!

コンパイラが確実に(それなりに)ベクトル化できる方法でコードを書くことに注意すれば、かなりうまく機能させることができます。これには通常、&[i32]の代わりに&[i32].as_chunks()をイテレートしたり、アセンブリをベンチマークまたは確認して動作したことを検証したりすることが含まれます。詳細については、コンパイラがコードを最適化してくれると信頼できますか? を参照してください。

これは最も使いやすいオプションで、依存関係は不要で、コンパイラがサポートするどんなにマイナーな命令セットでも自動的にサポートします。

欠点は、この方法があまり信頼できないことです。関数が大きくて複雑になるほど、コンパイラがベクトル化できない可能性が高まります。また、コンパイラバージョンや周囲のコードの変更によってパフォーマンスが大きく変動する可能性もあります。

浮動小数点型も特別な注意が必要です。

浮動小数点数は奇妙です。 妥当な精度で浮動小数点数の配列を合計するような些細なことでも、驚くほど複雑になります。浮動小数点数の合計を管理する を参照してください。

以前は、自動ベクトル化は浮動小数点型では機能しませんでした。なぜなら、結果の精度が変わってしまうからです(多くの場合、より良い結果になりますが、コンパイラは観測可能な結果を変更することは許可されていません)。

これはRust 1.98で変更され、algebraic_add()のような代数演算が安定化しました。これにより、コンパイラは観測可能な結果を変更できるようになり、より安全な-ffast-mathのようになります。ほとんどの場合、ベクトル化の対象となるためには、コードを書き直してこれらの演算を使用する必要があります。

そして、依然としてマルチバージョン化を何らかの方法で実現する必要があります。なので、ついでに見ていきましょう...

multiversion クレート

以下で説明するオールインワンSIMDクレートもマルチバージョン化を提供しますが、自動ベクトル化に最も役立つmultiversionを簡単に見てみましょう。

使い方は非常に簡単です。関数の注釈に#[multiversion(targets = "simd")]を追加するだけです。

しかし、その簡単さの裏には、文書化されていない落とし穴があります。#[multiversion]で注釈付けされた関数を呼び出すには、わずかなオーバーヘッドがあります。これは非常に小さいですが(十数命令未満)、対象の関数自体が非常に小さい場合、顕著なオーバーヘッドとして現れます。

経験則として、関数にループが含まれている場合は#[multiversion]を追加し、数個の値しか処理しない場合は#[inline(always)]を追加してください。ただし、呼び出しチェーンのどこかに#[multiversion]が存在することが前提です。

以下でリストされている他のクレートにはこの落とし穴はなく、より多くのボイラープレートを犠牲にする代わりに、関数のサイズについて考える必要はありません。

multiversionは、定義済みのSIMDレベルを選択するのではなく、必要なCPU拡張機能を正確にリストできる唯一のクレートです。そのため、コードが非常に新しい命令から恩恵を受ける場合、それを選択できます。しかし、私の経験では、自動ベクトル化されたコードではこれはほとんど発生しません。

AVX-512の場合、multiversionはそれが存在するかどうかをチェックしますが、実際に高速かどうかはチェックしません。これは実際にはパフォーマンスを低下させる可能性があります(詳細は後述)。ボイラープレートを犠牲にすれば回避できます。すべての関数にこれを記述する必要があります。

#[multiversion::multiversion(targets(
    "x86_64+cmpxchg16b+popcnt+sse3+sse4.1+sse4.2+ssse3", // x86_64-v2
    "x86_64+avx+avx2+bmi1+bmi2+cmpxchg16b+f16c+fma+lzcnt+movbe+popcnt+sse3+sse4.1+sse4.2+ssse3+xsave", // x86_64-v3
    "x86_64+fxsr,adx,avx512bitalg,avx512bw,avx512cd,avx512dq,avx512f,avx512ifma,avx512vbmi,avx512vbmi2,avx512vl,avx512vnni,avx512vpopcntdq,bmi1,bmi2,cmpxchg16b,fma,gfni,lzcnt,movbe,pclmulqdq,popcnt,vpclmulqdq,xsave,xsavec,xsaveopt,xsaves", // Ice Lake以降
))]

ポータブルSIMD抽象化

プロダクションレディなものがいくつかあります。望ましい機能は以下の通りです。

  • 固定幅ベクトル: f32x4、u8x16などの形式でコードを記述します(サイズ固定)。
  • ハードウェア幅ベクトル: ハードウェアがサポートする最大のベクトルサイズを、事前に知ることなく使用します。
  • 要素型に対するジェネリック: f32x4とf64x2の両方で動作するコードを記述します。
  • ベクトル幅に対するジェネリック: f32x4、f32x8、f32x16のすべてで動作するコードを記述します。

TL;DRテーブル:

std::simd (nightly)fearless simdwidepulpmacerator
マルチバージョン化📦/🛠️✅❌✅✅
固定幅ベクトル✅✅✅☑️❌
ハードウェア幅ベクトル📦/🛠️✅🛠️✅✅
要素型に対するジェネリック✅✅🛠️🛠️✅
ベクトル幅に対するジェネリック✅✅🛠️✅✅
イントリンシックへの安全なアクセス🛠️✅☑️✅🛠️
三角関数📦/🛠️🛠️☑️🛠️🛠️
  • ✅ はい
  • ☑️ はい、ただし注意が必要
  • 📦 サードパーティ製クレートで利用可能
  • 🛠️ 自作する必要がある
  • ❌ 全く不可能

そして命令セットのサポート:

std::simdfearless simdwidepulpmacerator
SSE2✅✅✅☑️🐌
SSE4.x✅✅✅☑️✅
AVX2✅✅✅✅✅
AVX-512✅✅✅✅✅
NEON✅✅✅✅✅
WASM✅✅✅✅✅
その他すべて✅🐌🐌🐌🐌*
  • ✅ 最適化されたルーチンあり
  • ☑️ 実装されているが未使用。オプトインするにはカスタムディスパッチの記述が必要。
  • 🐌 自動ベクトル化に依存、しばしば遅い
  • macerator は作者が「退屈だった」ため、LoongArch もサポートしています。
std::simd

std::simdは完全なSIMDソリューションではありません。むしろ、標準ライブラリに絶対に必要とされるビルディングブロックのセットであり、それ以外のすべてはエコシステムクレートに任されています。

最大の欠点は、nightly版でのみ利用可能であり、APIの破壊的な変更が頻繁ではないものの発生することです。そのため、ある日コンパイラを更新したらコードがコンパイルできなくなり、修正する必要が出てくるかもしれません。しかし、それに問題がなく、固定幅ベクトルとマルチバージョン化だけが必要な場合は、非常に優れています!

std::simdの存在意義は、LLVMの直上に位置し、LLVMがターゲットにできるあらゆるプラットフォーム(大規模銀行が使用するような奇妙なCPUや、中国政府が使用するようなCPUを含む)をターゲットにできることです。一方で、LLVMがstd::simdが利用できる完全に一致する操作を持っていない場合、代替案はなく、SIMDは実際には使用されません。

これは驚くほど頻繁に発生します。そのsin()関数は、SIMD形式でスカラー実装を出荷するのは最も避けるべきことです。そしてreduce_sum()は、パフォーマンスと精度の両方で最悪のケースです。したがって、浮動小数点数に対する非自明な関数の使用は避けるべきです。

適切な三角関数に最も近いのはsleefクレートで、SLEEFのstd::simdへの部分的なポートですが、少し バグがあります。そして、これがこの記事で私が提供できる最良の三角関数です!

std::simdは、マルチバージョン化に関してユニークな柔軟性を持っています。このセクションの他のSIMDクレートのいずれかからmultiversionクレートまたはマルチバージョン化を使用できます。他のすべてのクレートは、独自の組み込みマルチバージョン化でのみ機能します。

そのSimd<T, N> APIは、Nで数学演算ができれば非常にエレガントに機能するように見えますが、それはできません。この機能はnightly版でも非常に不完全です。それなしでSimd<T, N>を使用してハードウェアサイズのベクトルを取得することは、具体的な型では可能ですが冗長であり、ジェネリック関数では不可能です。

多くのケースでstd::simdを直接使用でき、それなりのパフォーマンスが得られる場合でも、サードパーティ製クレートを通じて機能を断片的に追加するだけでは限界があります。例えば、sleefクレートはmultiversionクレートと連携しません。sleefをフォークして自分でペアにする必要があります。サードパーティの拡張機能は単独では機能しますが、組み合わせることはできません。

必要なのは、すべての部分が連携して動作するオールインワンソリューションです。ところで...

fearless_simd

Fearless SIMDは、すべての部分が連携して動作するオールインワンソリューションです。

テーブルの美しい緑のチェックマークの列を見てください!

テーブル以外では、fearless_simdに固有の機能は以下の通りです。

  1. 他のクレートと比較して、内部で桁違いに少ないunsafeコードで動作します巧妙な設計のおかげで。
  2. マルチバージョン化が、たとえ小さな関数でも、うまく機能します。関数に#[simd]を付けるだけで完了です。手続き型マクロが嫌いな場合は、手動モードも利用可能です。
  3. マルチバージョン化は、最終的なバイナリをビルドする人が制御します。ライブラリをパッチすることなく設定可能です。

主な欠点はボイラープレートです。代わりに

fn my_func(a: A, b: B) {

と書く代わりに、以下のように書く必要があります。

#[simd]
fn my_func<S: Simd>(simd: S, a: A, b: B) {

これは非常に長いです。

AVX-512は、パフォーマンスを低下させない最近のCPUでのみ使用されます(ハードウェアセクションを参照)。手動でmultiversionを設定してこのように動作させることは可能ですが、デフォルトではなく、多くのボイラープレートが必要です(上記参照)。他のすべてのSIMD抽象化クレートは、AVX-512が存在するかどうかをチェックするだけです。

最近v1.0がリリースされ、セキュリティポリシーなども整備されました。

最大のギャップは三角関数です。まだSLEEFのようなものをfearless_simdの仕組みに移植したものはありません。

wide

wideは多くの利点があります。優れたプラットフォームカバレッジ、多数の実装済み操作、そしてすでにv1.0です。三角関数も含まれていますが、その精度は明示的に指定されていません。

最大の欠点は、マルチバージョン化との根本的な非互換性です。これはx86をターゲットにしていない場合や、既知のハードウェアに対して常に-C target-cpu=でビルドしている場合は問題ありませんが、それ以外の場合はパフォーマンスが著しく低下します。唯一の回避策はcargo multiversですが、これは長時間実行されるプログラムにのみ有効で、それ以外の場合は起動コストがSIMDによるパフォーマンス向上を上回ってしまいます。

もう一つの欠点は、要素型またはベクトル幅に対するジェネリックをサポートしていないことです。ただし、マクロを使用して回避できます。関数をジェネリックにする代わりに、macro_rules!でラップし、T::from_sliceの代わりに$type::from_sliceと記述します。少しボイラープレートが増えますが、ジェネリック境界のボイラープレートは削除されるため、一長一短です。私はそれを試しましたが、それほど悪くはありませんでした。特にpasteクレートのようなものをインポートすると便利です。

f32とf64のような少数派の型のみをターゲットにしている場合、ジェネリックを持つライブラリであっても、マクロアプローチを使用することを検討する価値があります。なぜなら、それは「ジェネリック」サイズの配列も可能にするからです。実際のジェネリック配列サイズはnightly版のみで不完全な機能です。しかし、generic-arrayクレートを使用するか、最大のSIMDサイズのアレイを作成することでも回避できます。

pulp

pulpは、faer線形代数ライブラリをサポートするために構築されました。これがその優先順位を決定しています。実装されている操作は主に数学演算(例:スワップなし)であり、APIはネイティブ幅のベクトル向けです。

固定幅ベクトルは技術的には可能ですが、完全に文書化されておらず、使用は非常に困難です。それらを調査中に、修正をいくつか提供しました。これには健全性バグの修正も含まれます。

要素型に対するネイティブなジェネリックサポートはありませんが、wideで説明したマクロトリックはここでもうまく機能するはずです。

そのマルチバージョン化は、私がこれまで見た中で最も冗長です。ボイラープレートを削減するマクロがありますが、それでも代替手段と比較するとかなり冗長です。

macerator

maceratorはpulpの関連クレートで、同様のデザインです。これはburnのCPUバックエンドをサポートするために構築されました。

pulpと比較して、要素型に対するジェネリックコードのサポートを追加しましたが、イントリンシックへの安全なアクセスとほとんどのドキュメントを削除しました。固定幅ベクトルへの対応はありません。

また、デフォルトでSSE4.2を有効にし、LoongArch用の最適化されたコードパスを追加します。

std::simd以外でf16データに対するポータブル操作がいくつかあるのはこのライブラリだけですが、サポートされている操作のリストは非常に限られています。AVX-512で使用するにはnightlyコンパイラが必要ですが、NEONはstableで動作します。標準ライブラリのf16はnightly版のみであり、このクレートはそれなしでやりくりする必要があるため、依然としてかなり扱いにくいです。

burn以外でcrates.ioで使用されているものはありません。

その他

単一の特定のプロジェクト向けに作成されたSIMDクレート(例:jxl_simd、pathfinder_simd)は、一般ユーザー向けではないため除外します。また、開発が主にAI駆動であるクレート(例:magetypes、simdeez、thermite)も除外します。なぜなら、特に後者の2つは懸念されるほど バグが多いため、プロダクションでの使用を推奨できないからです。

イントリンシックへの安全なアクセス

ポータブルSIMDは良いですが、特定の命令セットにしかない非常に特定の命令を使いたい場合があります。その場合は、イントリンシックを直接使用する必要があります。

Rust v1.87以降では、プラットフォーム固有のイントリンシックを安全に呼び出すことができます。

#[target_feature(enable = "avx2")]
unsafe fn add_avx2(a: __m256, b: __m256) -> __m256 {
    _mm256_add_ps(a, b) // これはavx2イントリンシックです
}

2つの注意点があります。

  1. メモリからデータをロードまたはストアするためのイントリンシックは、生のポインタを操作するため、依然としてunsafeです。
  2. 定義した関数add_avx2は、#[target_feature(enable = "avx2")]で注釈付けされていない関数から呼び出すには、依然としてunsafeブロックが必要です。

しかし、両方に対する確立された解決策があります。

  1. 境界チェックを追加するロード/ストアの安全なラッパーを使用します。これはオプティマイザによって簡単に削除され、マシンコードではパフォーマンスが失われません。
  2. CPU機能が実行時に利用可能かを確認し、それを型レベルトークンにエンコードし、それを使用してそれらの機能が必要な関数を安全に呼び出します。

このリストにあるすべては、これらの2つのアイデアのさまざまな実装です。

archmage

archmageはCPU機能トークンを提供し、安全なロード/ストアラッパーのためにsafe_unaligned_simdクレートを使用します。

その中心は#[arcane]手続き型マクロです。

定義済みのSIMDレベルの選択肢があります。通常のSSE2/SSE4.2/AVX2、そしてAVX-512には2つの異なるレベルがあります。初期の低速実装と、実際に有用なIce Lake以降です。ARMでは、ベースラインNEONに加えていくつかの拡張レベルがあります。

32ビットx86のサポートはありません(常にスカラーフォールバックになります)。しかし、2026年ではそれほど大きな問題ではありません。

fearless_simd

fearless_simdは、kernel!マクロを介して、archmageとほぼ同じツールを提供します。

これは手続き型マクロではなく、宣言型マクロです。これによりビルド時間が改善されますが、archmageとは異なり、ジェネリックまたはconst-generic関数に注釈を付けることはサポートされていません。イントリンシックとジェネリックはそもそも相性が良くないため、通常は大きな問題ではありません。

安全なロードはポータブルSIMD抽象化を通じて行うことができるため、safe_unaligned_simdをバンドルしていませんが、生のポインタでロードを記述したい場合(通常は既存のコードを移植する場合)は自分でインポートできます。

SIMDレベルはポータブルSIMD抽象化と同じです。そのため、本当に知っている場合でも、初期の低速なAVX-512を選択したり、NEONの非ベースライン拡張機能(aesやbf16など)にアクセスしたりすることはできません。

利点としては、ポータブルSIMDとイントリンシックを簡単に組み合わせることができます。これにより、アルゴリズムの大部分をポータブルSIMDで記述し、本当に必要な場合にのみ少数のイントリンシックを使用できます。

pulp

pulpはこの点において、欺瞞的なほど強力です。

aes機能の_mm_aesenc_si128のような、どのSIMDレベルにも含まれていないイントリンシックを使用したい場合、自分でSIMD機能トークンを作成せずに安全に行うための最良の方法(そして唯一の方法)です。

残念ながら、その方法を文書化していません。

ドキュメントを調べると、Avx512ifmaのようなさまざまなCPU機能の名前を持つ構造体が見つかります。それらを構築する方法と、それに対応するCPU機能のイントリンシックがあります。したがって、それを構築して関数を呼び出すだけだと思いますよね?間違いです。

それは可能で、動作しますが、パフォーマンスは非常に悪いです。追加のCPU機能を必要とするイントリンシックを、それらが保証されていない関数から呼び出しています(CPU機能のチェックは失敗する可能性があることを思い出してください)。そのため、イントリンシックは独自の個別の関数に入れる必要があります。そして今、単一の命令を呼び出すために、関数呼び出しのオーバーヘッド(数命令)を支払っています。「数命令」は1つよりも多いので、関数呼び出しのオーバーヘッドが支配的になり、パフォーマンスが急落します。

代わりに、必要なすべての機能が有効になっているコンテキストを作成し、そのコンテキストから多数のイントリンシックを呼び出す必要があります。以下のようになります。

pulp::simd_type! {
    pub struct Ifma {
        pub ifma: "avx512ifma",
    }
}

if let Some(isa) = Ifma::try_new() {
    isa.vectorize(
        #[inline(always)]
        || {
            // ここにホットループ全体を配置します。
            // isa.ifma._mm512_madd52lo_epu64(...)
        },
    );
}

実際に実行できる、より完全な例についてはこちらを参照してください。

完全を期すために、同様の機能がfearless_simdリポジトリで独立したクレートとして提案されていたことにも言及すべきです。それは完全に実装されましたが、それを維持する人がいなかったため、マージされませんでした。もしpulpで気になる点があれば、代わりにそれを試してみてください。

イントリンシックの状態

SIMDイントリンシックは、std::simdと自動ベクトル化を除くすべてのSIMDコードの基盤となります。それらは非常に単純です。イントリンシックは特定のCPU命令に明確にマッピングされるはずです。それらがシンプルで重要であることを考えると、うまく機能することを期待するでしょう。

RustでもC++でもCでも、うまくいきません。

「この正確な命令をくれ」と「コンパイラ最適化」の間には根本的な緊張関係があります。コンパイラにSIMDイントリンシックを純粋なブラックボックスとして扱わせると、他の場所で非効率が生じます。

例えば、ARMで遭遇した実際のバグは、u32x4::from([1,2,3,4])が遅かったことです。これは文字通り定数をロードするだけで、u32x4は4つのu32の配列と同じメモリレイアウトを持っているため、非常に安価であるはずです。単一のロードで済みます。

基盤となるARMロードイントリンシックvld1_u32_x4は、コンパイラではブラックボックス操作として実装されていました。そのため、LLVMが見たのはスタック上の値に対するブラックボックス操作だけでした。生成されたアセンブリは、まず定数をレジスタにロードし、それをスタックに配置し、そしてブラックボックスvld1_u32_x4を通じてレジスタに再度ロードしました。

修正は、vld1_u32_x4のブラックボックス実装を削除し、コンパイラが適切に最適化できる通常のロードの互換性ラッパーにすることでした。この調査と修正の実装に協力してくれたRust stdarchメンテナーのFolkert de Vriesに感謝します。

では、すべてのイントリンシックを通常のコンパイラ操作のラッパーにしましょうか?そうできればいいのですが。

vld1_u32_x4は実際にはブラックボックスではありません。それは、まだ最適化パスを記述していないハードウェア操作です。そして、エキゾチックな操作をコンパイラが理解できる基本ブロックにしたい場合(または、わずかに異なるハードウェア命令の一般的な動作を抽象化したい場合)、その操作は複数の基本ブロックで構成される必要があります。これは、LLVM以外のバックエンドのサポートを容易にするため、Rustにとって非常に魅力的ですが、Clangもこの方向に向かっています。

しかし、目的の操作を複数のビルディングブロックから生成するには、オプティマイザがそれらを単一の命令に再結合する必要があります。これは、これらのブロックを並べ替えてパターンマッチングを壊すような、無関係な最適化パターンによって簡単に台無しにされる可能性があります。そのため、これらの最適化は、単純なテストケースでは機能するが、実際のコードでは壊れることがあります。

したがって、SIMDイントリンシックは、期待される命令への低レベル化と、期待されるコンパイラ最適化との間の終わりのない綱引きに陥っています。

そして、根本的な制限に加えて、コンパイラの命令選択バグもあります。LLVMが定数インデックスを持つ512ビットベクトルシャッフル操作を見て、「ああ、わかった、最適化できるぞ!」と思ったのですが、その「最適化」はSSE4.2時代の操作を使用しており、私が要求した実際のシャッフル命令を実行するよりもはるかに、はるかに遅いことがありました(これは私の報告を受けてLLVM 23で修正されました)。または、効率的なエンコーディングを目的としたイントリンシックを、非効率的なエンコーディングに低レベル化することもありました。私は文字通り、そのようなコンパイラバグのリストを持っています。Rust固有のものは報告後に修正されましたが、Rust、C++、Cすべてに影響するLLVMのバグがいくつか未修正のままです。

そして、もしあなたが疑問に思っているなら、これはLLVMだけの問題ではありません。GCCも同様の問題を抱えており、MSVCはこれに関して、主要なオープンソースコンパイラのどちらよりも明らかに劣っています。

ボーナス豆知識: Intelは、検索可能なIntrinsics GuideにいくつかのAVX-512命令を含め忘れてしまいました。そのため、ほとんどのコンパイラはそれらを実装しておらず、高レベル言語からそれらの命令にアクセスできなくなっています。私はrustcにそれらを貢献しましたが、まだstableではリリースされていません。

インラインアセンブリ

コンパイラをそのように出し抜いて、イントリンシックの問題をすべて回避できると思うかもしれません。そして、ある程度はできますが、今度はインラインアセンブリブロックが本物のブラックボックスになります。

最適化の問題がすべて復活するだけでなく、インラインアセンブリブロックへの出入りにはオーバーヘッドがあります。

これは、比較的大きな関数をインラインアセンブリで書きたい場合や、コンパイラ最適化を犠牲にする覚悟がある場合にはうまく機能しますが、命令を1つか2つ使用したいだけの場合は利益がありません。

コンパイラ機能の要望リスト

簡潔に、重要度順にリストします。

  1. min_generic_const_argsがあれば、ハードウェア幅SIMDベクトルと配列を組み合わせて使用できるようになります。回避策(巨大な配列を使用する、generic-arrayクレートを使用する、またはマクロをジェネリックの代わりに使う)はありますが、すべて部分的または醜いです。
  2. Struct Target Features RFCがあれば、fearless_simd/pulp/maceratorはもはや関数に#[simd]アノテーションを必要としなくなります。ボイラープレートが減るだけでなく、最も重要なのは、それらを付け忘れてパフォーマンスを低下させるという事故を防げることです。
  3. イテレータがマルチバージョン化と競合しないようにする方法が必要です。Struct Target Features RFCもこれを解決するでしょう。あるいは、GCCの__attribute__((flatten))の同等の機能でも十分ですが、それにはさらに多くのボイラープレートまたはprocマクロが必要です。
  4. generic_const_args(minではない方)は、特定のイントリンシックをポータブル抽象化にラップする際にビルド時間を大幅に短縮し、std::simdの使用をはるかに快適にします。

標準ライブラリでは、クラターのようなイントリンシック変更の検証を希望します。また、std::simdがstableで利用可能になれば、エコシステムクレートはコードの大部分を削除し、すべてのマイナーなプラットフォームのサポートを得られるでしょう。

結論

RustエコシステムにおけるSIMDのサポートは大幅に成熟しました。

改善できる点(特に三角関数)はまだありますが、コンパイラ機能とライブラリエコシステムの最近の進歩により、メモリ安全性が必要不可欠でない場合でも、RustはSIMDコードにとって魅力的なものとなっています。

ボーナスラウンド:ハードウェアの状態

5つの異なる命令セットでポータブルSIMDコードを記述した後、私には意見があります。

x86

これは混沌としており、その原因はIntelにあります。

AVX2は、私がこれまで扱った中で最も一般的でありながら最も呪われた命令セットです。

単純で直接的なSIMD操作を実装しようとすると、半分の時間はAVX-512とNEONがネイティブでそれを持っているのに、AVX2は複雑で遅いエミュレーションを必要とします。適切な256ビットISAではなく、2つの128ビット実行ユニットが一緒に詰め込まれたようなものであるという事実は、ほとんど役に立ちません。

しかし、さらに悪化します。2013年にAVX2を搭載したCPUが登場したにもかかわらず、AVX2を持たない最新のIntel CPUは2021年に発売されました!そのため、AVX2を確実に利用できるとは限らず、SSE4.2(...メモを確認... 2008年!)で我慢するしかないのです。

これが、2026年になってもFirefoxハードウェア調査のx86 CPUの15%がまだAVX2を持っていない理由です。彼らのためにSSE4.2コードパスを書き、保守しなければならないなんて!今は何年だ?!

Intelは2015年にAVX-512を発売し、AVX2の狂気の多くを修正しましたが、その後...CPUに搭載しなかったのですか?それは主にサーバーにしか存在せず、他のすべてはAVX2またはSSE4.2でしか動作しませんでした。そのため、Intelは3つの完全に異なるSIMD拡張機能を同時に持っています!

しかし、待ってください、さらに悪化します!

初期のAVX-512搭載Intel CPUでAVX-512命令を実行すると、たとえ1つのコアであっても、すべてのコアのCPU周波数が低下しますstackoverflowの回答。どこかでAVX-512ワークロードが発生すると、チップ全体のパフォーマンスに悪影響が出ます!皮肉なことに、AVX-512は多数のコアを持つハイエンドCPUにしか搭載されておらず、この種のフォールアウトは特に悪いです。

これらのCPUで、すべてのコアを同時に長時間実行すればAVX-512から恩恵を受けられると思うかもしれませんが、その場合、結局メモリ帯域幅がボトルネックになり、CPUが何をしているかは関係なくなります。そのため、これらのCPUではAVX-512は実際にはパフォーマンスを向上させず、むしろ低下させることが多く、メモリに触れない人工的なマイクロベンチマークを除いてはそうです。

AVX-512はAVX2と比較して大幅な改善であるため、これは非常に残念です。512ビット幅はさておき、サポートされている操作の適切なセットだけを提供してください!

このダウンクロッキング動作は2019年のIce Lakeアーキテクチャでようやく修正されました。完全ではありませんが、AVX-512が全体として収益性を高めるのに十分です。これが、fearless_simdがIce Lake以降およびダウンクロッキングの問題がなかったAMDでのみAVX-512をサポートする理由です。

AMDは、Zen 4をリリースしたことでIntelの失敗を露呈しました。Zen 4はハードウェアで512ビット操作をネイティブに持っていませんでした。ほとんどの512ビット操作を256ビット実行ユニットにマッピングしましたが、それでもベンチマークではIntelのネイティブ512ビットハードウェアを圧倒しました。ネイティブ512ビットハードウェアを備えたZen 5は、この決着をつけました。Intelが最近苦戦しているのも不思議ではありません。

AMDも無罪ではありません。Zenでは散布/収集命令がハードウェアでネイティブに実装されておらず、多数の小さなロードを発行するよりも遅くなるため、それらを使用できないのは彼らのせいです。Intelも初期のAVX2 CPUで散布/収集をスカラーロードよりも遅くしましたが、最終的には(ある程度)改善しました。AMDは試みさえしませんでした。

LLVMは、コードの自動ベクトル化時にAVX-512の散布/収集命令を生成することがあり、これはIntelではパフォーマンスを1.75倍低下させ、AMDでは4倍低下させます。そのため、LLVMがなぜわざわざそれを行うのかさえ疑問です。これをヒットするには-C target-cpu=を渡す必要があると思いますが、広範にはテストしていません。

Steamハードウェア調査によると、システムの23.9%がAVX-512を搭載しています。これはハイエンド/ゲーミングシステムに偏っています。例えば、Firefoxグラフィックス調査のSSE4.2しか持たないシステムの15%は、ここではわずか2%です。また、AVX-512のオプション機能別の内訳も示されており、そこから23.9% (avx512vnni)から23.90%(ベースラインavx512f)を引くと、非常に遅いAVX-512を持つシステムの割合は-0.05%と推測できます。この割合がマイナスになる理由についてのあなたの推測は、私の推測と同じくらい良いものです。

したがって、少なくともデスクトップでは、壊れたAVX-512は存在しないため、心配する必要はありません。そのため、Ice LakeをAVX-512の要件とすることは、何も失うことなく有用な命令を追加できますが、ベースラインAVX-512を使用することもひどいものではありません。

Skylakeサーバー(AVX-512は存在するがパフォーマンスが低下する)の普及に関する公開データはありません。Ice LakeをAVX-512の要件とすることで、SkylakeがAVX2を使用するようにし、そのパフォーマンス低下を防ぐことができます。

Intelは、AVX-512をAVX10に置き換えることで、再び問題を悪化させるところでした。AVX10はAVX-512ですが、256ビットまたは512ビットのベクトルを持ち、どちらかはわかりません。しかし、AMDの明らかに優れた設計(512ビットベクトルを256ビットハードウェアにマッピングするだけ)がこの災害を回避し、Intelを健全なプログラミングモデルに戻させました。ふう。ありがとう、AMD。

今年、ついに、AVX-512は、AVX 10.2へのブランド変更により、今後のIntel CPUで必須となります。これは、結局のところ私たちが望んでいたことです。

まあ、ブランド変更は別として。

また、ゼロに近い浮動小数点値での演算はパフォーマンスを急落させます。AMDはそれらの場合、約2倍遅くなりますが、Intelでは30倍の遅延が発生します。

どういうわけか、SIMDについて恐ろしいことを学ぶたびに、それはいつもIntelのせいでした。

ARM

AVX2が間違っていたことのすべてを、64ビットNEONは正しく行っています。

128ビットベクトルしかないため、SSE4.2の同等物だと思うかもしれませんが、実際にはAVX2に近いものです。

NEONはAVX2と同じレジスタ空間を持っており、これは実際にはしばしば制限要因となります。そして、2つの128ビット実行ユニットを並べて明示的に扱うのではなく、強力なARMコアは命令レベル並列性を通じて128ビット操作を透過的に並列実行しますが、安価で電力制約のあるコアはそれらを1つずつ実行できます。

NEONはまた、一般的な操作を「うまく機能させる」ために、128ビットを超える命令をちょうど十分に追加しています。私のSIMDベース64デコードのテストでは、同じアルゴリズムがNEONでAVX2よりも1.5倍から2倍高速に実行されます(ただし、AVX-512よりは2倍遅いです)。

そして、これらすべてが、複数の異なるモデルではなく、単一のシンプルなプログラミングモデルで実現されています。そして、64ビットARMチップでは必須であり、マルチバージョン化の必要はありません!

Aarch64 NEONに対する唯一の批判は、単一のチップに2種類のコア(「パフォーマンス」と「効率」)があり、実行特性が完全に異なるため、パフォーマンスコアで高速な命令シーケンスが効率コアで遅くなり、その逆もまた然りであることです。そのため、ターゲットとする特定のCPUを知っていても、最適な実装を選択することはできません。すべてトレードオフです!そして、ARM CPUの多様性を考慮すると、事態はさらに悪化します。幸いなことに、NEONは妥当なパフォーマンスで直接ハードウェア命令として実装された十分な操作を持っており、これが完全な悪夢になるのを防いでいます。

一方、SVEはほとんど役に立ちません。SVE2は現在ARM CPUで必須ですが、ハイエンドサーバーチップでも128ビット幅で実装されているため、追加の手順を踏んだ扱いにくいNEONにすぎません。技術的には、単一世代のサーバーARMチップで256ビットSVEがクラウド向けに存在しましたが、それはSVE2ではなく、クラウドではいずれにしてもAVX-512を使用します。おそらく、256ビットSVE2ハードウェアが普及するまで、あと10年ほど待つ必要があるかもしれませんが、現時点では、気にしないでください。

ARMにはAVX-512に対する答えがありません。AVX-512は、4倍のレジスタ空間と、一度に2048ビットを処理する4つの512ビット実行ユニットを備えています。しかし、彼らのターゲット市場を考慮すると、そして優れたAVX-512が結局メモリ帯域幅でボトルネックになることを考えると、ARMにそれが必要だとは確信していません。AVX-512の主な利点は、サポートされている操作の範囲がはるかに広いことであり、NEONはすでにそれを備えています。

RISC-V

RISC-Vベクトル(RVV)は完全に無関係です。なぜなら、ベクトル対応のRISC-Vハードウェアが完全に無関係だからです。RISC-Vは安価なマイクロコントローラーで支配的ですが、2026年におけるベクトル対応RISC-Vハードウェアのパフォーマンス/価格比は壊滅的です。おそらくTenstorrentは、2028年頃に実際にシリコンをテープアウトする際にそれを変えるかもしれませんが、2026年では間違いなく心配する必要はありません。

たとえまともなハードウェアが存在したとしても、仕様の書き方により、特定の重要な命令がコンパイラには使用不可能になっています。これだけでも、難解なコンパイラフラグをいじらない限り、パフォーマンスはばかげたレベルまで低下します。

その他

残りのSIMD対応アーキテクチャは非常にマイナーなので、誰かがあなたにそれらの作業を依頼しない限り、それらについて考える必要はありません。POWERとs390xの場合はIBMおよび/または銀行、LoongArchの場合は中国政府です。std::simdはまだ64ビットSPARCでCIを実行していますが、誰もそれをサポートするためにあなたにお金を払うことはないでしょう。