HN 日本語サマリー

← 一覧へ戻る
プログラミング

Goにおけるプラットフォーム非依存SIMD

Platform-independent SIMD in Go (go.dev)

414 pointsby yurivish152 コメント

要約

Go 1.26および1.27で、SIMD(Single Instruction Multiple Data)操作のための実験的なAPIが導入されました。これにより、CPUの並列処理能力を最大限に活用し、計算負荷の高いタスクのパフォーマンスを大幅に向上させることが可能になります。今回のAPIは、様々なアーキテクチャ間の差異を吸収し、プラットフォームに依存しない統一的なインターフェースを提供することを目指しています。

全文翻訳

Goにおけるプラットフォーム非依存のSIMD

Go 1.26および1.27には、Single Instruction Multiple Data (SIMD) 操作のための実験的なAPIが含まれています。SIMDは、多くの最新CPUのネイティブ機能であり、ソフトウェアがデータのベクトルに対して均一な操作を非常に高速に実行できるようにします。例えば、単一の命令で8組のfloat64値を加算するといったことが可能です。これは、暗号化からデータ処理、AIに至るまで、計算負荷の高い多くのタスクを大幅に高速化できます。実際、GoのGreen Teaガベージコレクタでさえ、メモリ内のライブオブジェクトのスキャンを高速化するためにSIMDを利用しています。

これらの新しい実験的APIが登場する前は、Goからこの機能にアクセスする唯一の方法は、Goアセンブリを書くことでした。これは、真にパフォーマンスが重要な計算カーネルに対してのみ価値があり、SIMDの恩恵を受けられるはずの多くのソフトウェアが、CPUの多くの能力を未使用のままにしていました。

Go 1.26はamd64向けのSIMD APIを導入し、Go 1.27はarm64(特にNEON)とwasm向けのAPIを追加しました。しかし、SIMD APIの基本的な課題は、サポートする操作だけでなく、ベクトルの表現方法においても、プラットフォーム間で膨大なバリエーションが存在することです。一部のプラットフォームは固定サイズのベクトル(通常128ビットから512ビット)を提供しますが、他のプラットフォームではベクトルのサイズがビルド時に不明であり、プログラム起動時にクエリする必要があります。これらのプラットフォームの広範な機能に完全にアクセスできるようにするため、これらのAPIはアーキテクチャ依存のarchsimdパッケージに配置されています。

しかし、Go 1.27はこれらのアーキテクチャ依存APIを超えて、C++のHighwayに loosely 基づいた、実験的で完全にポータブルな、プラットフォームおよびサイズに依存しないSIMDインターフェースを導入しています。目標は、SIMDサポートを持つプラットフォームで「一度書けばアセンブリに近いパフォーマンス」のsimdコードをサポートし、SIMDサポートを(まだ)持たないプラットフォームでは、適切なエミュレーションを提供することです。simdパッケージは現在、amd64でAVX、AVX2、AVX512、arm64でNEON、wasmのSIMD命令をサポートしています。

動機: SIMDアーキテクチャ間のバリエーション

SIMDアーキテクチャはいくつかの次元で異なります。単一の固定ベクトルサイズを提供するもの(wasm、PowerPC、s390x、128ビット)があります。複数の固定ベクトルサイズを提供するもの(amd64は128、256、512ビット、loong64は128および256ビット)もあります。Riscv64は128ビットから65536ビットのサイズ未指定のベクトルをサポートしますが、長さは2のべき乗に制限されます。Arm64は1つの固定サイズ(128ビット、NEON)と1つの可変サイズ(128〜2048ビット、2のべき乗のみ、SVE)をサポートします。特定のアーキテクチャインスタンスで、そのインスタンスが実際にサポートするサイズを決定するには、機能チェックが必要です。amd64ですが、AVX、AVX2、またはAVX512のいずれかですか?Arm64ですが、NEONまたはSVEですか?SVEの場合、どのくらいの大きさですか?どのSVEのバリアントですか:SVE、SVE2、またはSVE2.1ですか?

異なるSIMDアーキテクチャは、ベクトルマスキングの処理方法が異なります。ベクトルでは、ベクトル全体にわたるif-then-elseはマスクを使用して実装できます。操作を実行しますが、マスクが「true」の場合にのみ結果(またはロード、またはストア)を割り当てます。一部のSIMDバリアントはマスクを提供しません。すべての操作はすべての要素に対して機能し、「マスキング」はベクトルビットマスクとベクトルブール演算(wasm、AVX、AVX2、NEON)で行われます。一部は特別なマスクレジスタを提供し、1つのビットが1つのベクトル要素に対する操作を制御します(AVX512およびRVV)。他のもの(SVE)は、ベクトルバイトごとに1ビットを割り当てますが、各要素のマスクビットの最下位ビットがマスク操作を制御します。AVX2はマスクされたロードとストアもサポートしますが、マスクとしてプレーンなベクトルを使用し、最上位ビットが操作を制御します。

3つ目のバリエーションのソースは、操作自体にあります。各アーキテクチャは、ベクトル要素を並べ替えるための独自のプリミティブを提供します。一部は定数入力を必要とし、他は可変入力をサポートします。異なるSIMDアーキテクチャは、異なる暗号関連操作をサポートします。基本的な算術演算でさえ、サポートが異なる場合があります。例えば、wasmには64ビット整数のベクトルの比較がありません。特定のアーキテクチャ上の特定のベクトル長であっても、命令サポートは「機能」に依存し、チェックする必要があります。

Goのアーキテクチャ依存のarchsimdパッケージは、アーキテクチャ間で可能な限り均一になるように設計されていましたが、これらの多くの奇妙な点は残っており、マルチプラットフォームSIMDの設計、記述、テストを面倒なものにしています。archsimdパッケージで異なるアーキテクチャをより似ているように見せるために、もっとできることはありますが、効率を犠牲にしない限り、それ以上は進めません。

概要

新しいsimdパッケージは、型システムから固定サイズのベクトルを削除し、すべての異なるプラットフォームの共通部分にある操作のみをサポートすることで、これらの違いを隠蔽します。そして、共通部分にないギャップを、他のSIMD命令による効率的なエミュレーションで埋めます。目標は、以下の操作セットです。

  1. ベクトル化された実装の恩恵を受ける多くのデータ処理アルゴリズム(ただし、特定のベクトルサイズに依存しない)をサポートするのに十分であること。
  2. ソースコードの操作が基盤となるハードウェアと一致する場合、アセンブリ言語と同等の効率であること。
  3. それ以外の場合は、可能な限り最良のエミュレーションであること。
  4. 読みやすく理解しやすいこと(LLMがコードを書く場合でも、特に)。

SIMD命令を持たないプラットフォームや、archsimdでサポートされていないプラットフォームでは、すべての操作がエミュレートされるため、simdパッケージを使用して書かれたコードは常に実行されます。

この実験的パッケージを使用するには、実験的なarchsimdパッケージを使用する場合と同様に、ビルド時にGOEXPERIMENT=simdを設定してください。

simdのベクトル型は、単に大文字化され、複数形になったプリミティブ型です。例えば、simd.Uint8sやsimd.Float32sです。ベクトルはスライスからロードおよびストアされます。例えば:

// innerProduct は x と y の内積を返します。
func innerProduct(x, y []float32) float32 {
    var a simd.Float32s
    var i int
    for i = 0; i < len(x)-a.Len()+1; i += a.Len() {
        u := simd.LoadFloat32s(x[i : i+a.Len()])
        v := simd.LoadFloat32s(y[i : i+a.Len()])
        a = u.MulAdd(v, a)
    }
    if i < len(x) {
        u, _ := simd.LoadFloat32sPart(x[i:])
        v, _ := simd.LoadFloat32sPart(y[i:])
        a = u.MulAdd(v, a)
    }
    return sum(a)
}
// sum は x の要素のスカラー合計を返します。
func sum(x simd.Float32s) float32 {
    s := make([]float32, x.Len())
    x.Store(s)
    var r float32
    for _, e := range s {
        r += e
    }
    return r
}

この例は、このパッケージの最初の実験的リリースにおける制限の1つも示しています。ベクトル内のすべての要素の合計を共通の方法で取得する手段がないため、Go 1.27のsimdではサポートされていません。ただし、ReduceSumは次のリリースで登場する予定なので、sumは単にsimd.ReduceSumに置き換えることができます。

SIMD比較はマスク値を生成します。これは対応するベクトル要素幅に固有であるため、Int8sの比較はMask8sなどを生成し、マスク値はベクトルを選択およびフィルタリングするために使用できます。

Go 1.27時点でのサポートされているsimdパッケージの操作

この表では、VとUはベクトル型、Mはマスク型、Eはスカラー型、Wは幅を表します。

パッケージレベルのロード/ブロードキャスト関数
関数Int8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
LoadV([]E) VYYYYYYYYYY
LoadVPart([]E) (V, int)YYYYYYYYYY
BroadcastV(E) VYYYYYYYYYY
ストア/文字列操作
(x V).Method(...)Int8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
Store(s []E)YYYYYYYYYY
StorePart(s []E) intYYYYYYYYYY
String() stringYYYYYYYYYY
算術演算
(x V).Method(...) VInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
Abs() VYYYYY
Add(y V) VYYYYYYYYYY
AddSaturated(y V) VYYYY
Average(y V) VYY
Div(y V) VYY
IfElse(mask MaskWs, y V) VYYYYYYYYYY
Len() intYYYYYYYYYY
Masked(mask MaskWs) VYYYYYYYYYY
Max(y V) VYYYYYYYY
Min(y V) VYYYYYYYY
Mul(y V) VYYYYYYYY
MulAdd(y V, z V) VYY
Neg() VYYYYYY
Not() VYYYYYYYY
Or(y V) VYYYYYYYY
Sqrt() VYY
Sub(y V) VYYYYYYYYYY
SubSaturated(y V) VYYYY
Xor(y V) VYYYYYYYY
ブールおよびベクトルマスキング操作
(x V).Method(...) VInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
And(y V) VYYYYYYYY
AndNot(y V) VYYYYYYYY
CarrylessMultiplyEven(y V) VY
CarrylessMultiplyOdd(y V) VY
IfElse(mask MaskWs, y V) VYYYYYYYYYY
Masked(mask MaskWs) VYYYYYYYYYY
Not() VYYYYYYYY
Or(y V) VYYYYYYYY
Xor(y V) VYYYYYYYY
比較操作
(x V).Method(...) MInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
Equal(y V) MaskWsYYYYYYYYYY
Greater(y V) MaskWsYYYYYYYYY
GreaterEqual(y V) MaskWsYYYYYYYYY
Less(y V) MaskWsYYYYYYYYY
LessEqual(y V) MaskWsYYYYYYYYY
NotEqual(y V) MaskWsYYYYYYYYYY
変換操作
(x V).Method(...) UInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
ConvertToFloatW() FloatWsY
ConvertToIntW() IntWsYYYYY
ConvertToUintW() UintWsYYYY
ToMask() (to MaskWs)YYYY
マスクメソッド
(m M).Method(...) M)Mask8sMask16sMask32sMask64s
And(y M) MYYYY
Or(y V) VYYYY
String() stringYYYY
ToIntWs() (to IntWs)YYYY
シフトおよびローテート操作
(x V).Method() VInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
RotateAllLeft(dist uint64) VYYYYYY
RotateAllRight(dist uint64) VYYYYYY
ShiftAllLeft(dist uint64) VYYYYYY
ShiftAllRight(dist uint64) VYYYYY
コストゼロのリシェイプ操作
(x V).Method(...) UInt8sInt16sInt32sInt64sUint8sUint16sUint32sUint64sFloat32sFloat64s
ToBits() UintWsYYYYYY
ReshapeToUint8s() Uint8sYYY
ReshapeToUint16s() Uint16sYYY
ReshapeToUint32s() Uint32sYYY
ReshapeToUint64s() Uint64sYYY
BitsToFloatW() FloatWsYY
BitsToIntW() IntWsYYYY

プラットフォーム固有コードとの移行

simdパッケージがアプリケーションのすべての部分にとって制限が多すぎる場合や、必要な機能のエミュレーションがまだ提供されていない場合があります。その場合、simdパッケージはアーキテクチャ固有のSIMDへの移行と、そこからの移行をサポートします。simdパッケージの各ベクトル型には、anyを返すToArch()変換メソッドがあり、これはプラットフォームのアーキテクチャ固有の型に型アサートできます。元に戻すには、simd.<SimdType>FromArch関数のいずれかを使用します。ポータブルコードでは、エミュレーションを含む、各プラットフォームのアーキテクチャ固有のコードを書く義務が生じます。

これは、現在欠落しているがGo 1.28で追加される予定のメソッド/関数の完全な例です。例えば、アルゴリズムがInt8s.OnesCount()(Go 1.27のsimdにはありません)を必要とするとします。プラットフォームごとにアルゴリズム全体を書き直すのではなく、欠落している操作のみを実装することが可能です。

まず、AVXおよびAVX2はサポートしていますがAVX512はサポートしていないamd64の場合:

//go:build goexperiment.simd && amd64
package simd_test
import (
    "simd"
    "simd/archsimd"
)
var popcnt4x16 = [16]int8{0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4}
var popcnt4x32 = [32]int8{
    0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4,
    0, 1, 1, 2, 1, 2, 2, 3, 1, 2, 2, 3, 2, 3, 3, 4,
}
// OnesCount は各要素の1ビットの数を返します。
func OnesCount(v simd.Int8s) simd.Int8s {
    switch x := v.ToArch().(type) {
    case archsimd.Int8x16:
        lut := archsimd.LoadInt8x16Array(&popcnt4x16)
        mask0f := archsimd.BroadcastInt8x16(0x0f)
        lo := x.And(mask0f)
        hi := x.ToBits().ReshapeToUint16s().ShiftAllRight(4).
                ReshapeToUint8s().BitsToInt8().And(mask0f)
        return simd.Int8sFromArch(lut.PermuteOrZero(lo).
                Add(lut.PermuteOrZero(hi)))
    case archsimd.Int8x32:
        lut := archsimd.LoadInt8x32Array(&popcnt4x32)
        mask0f := archsimd.BroadcastInt8x32(0x0f)
        lo := x.And(mask0f)
        hi := x.ToBits().ReshapeToUint16s().ShiftAllRight(4).
                ReshapeToUint8s().BitsToInt8().And(mask0f)
        return simd.Int8sFromArch(lut.PermuteOrZeroGrouped(lo).
                Add(lut.PermuteOrZeroGrouped(hi)))
    case archsimd.Int8x64:
        return simd.Int8sFromArch(x.OnesCount())
    default:
        // GODEBUG=simd=0 エミュレーション
        return OnesCountEmulated(v)
    }
}

インターフェース変換と型スイッチは非効率に見えるかもしれませんが、コンパイラ側のsimdの実装はコードを特殊化し、型スイッチを最適化で除去します。

NEONとWasmは両方ともInt8s.OnesCount()をサポートしているため、それらの実装ははるかにシンプルですが、それでもInt8s.ToArchとInt8sFromArchを使用します。

//go:build goexperiment.simd && (wasm || arm64)
package simd_test
import (
    "simd"
    "simd/archsimd"
)
// OnesCount は各要素の1ビットの数を返します。
func OnesCount(v simd.Int8s) simd.Int8s {
    // SVEが追加されたら、これは機能しなくなります
    switch x := v.ToArch().(type) {
    case archsimd.Int8x16:
        return simd.Int8sFromArch(x.OnesCount())
    default:
        // GODEBUG=simd=0 エミュレーション
        return OnesCountEmulated(v)
    }
}

ハードウェアSIMDサポートを持たない人もいることを忘れないでください:

//go:build goexperiment.simd && !(amd64 || wasm || arm64)

package simd_test
import (
    "simd"
)
// OnesCount は各要素の1ビットの数を返します。
func OnesCount(v simd.Int8s) simd.Int8s {
    return OnesCountEmulated(v)
}

演習を完了するために、すべての実装でフォールバックとして共有される個別のエミュレーション関数:

//go:build goexperiment.simd
package simd_test
import (
    "simd"
)
// OnesCountEmulated は各要素の1ビットの数を返します。
func OnesCountEmulated(v simd.Int8s) simd.Int8s {
    a := [2]uint64{}
    v.ToBits().ReshapeToUint64s().Store(a[:])
    a0, a1 := a[0], a[1]
    m1 := uint64(0x5555555555555555)
    m2 := uint64(0x3333333333333333)
    m4 := uint64(0x0f0f0f0f0f0f0f0f)
    a0 = (a0 & m1) + ((a0 >> 1) & m1)
    a1 = (a1 & m1) + ((a1 >> 1) & m1)
    a0 = (a0 & m2) + ((a0 >> 2) & m2)
    a1 = (a1 & m2) + ((a1 >> 2) & m2)
    a0 = (a0 & m4) + ((a0 >> 4) & m4)
    a1 = (a1 & m4) + ((a1 >> 4) & m4)
    a[0], a[1] = a0, a1
    return simd.LoadUint64s(a[:]).ReshapeToUint8s().BitsToInt8()
}

APIの共通部分とメソッドのエミュレーション

simdパッケージが提供するどのような操作であっても、ほとんどのアーキテクチャで許容できるほどうまく実行される必要があります。最初のステップとして、どこでもサポートされている操作は、simdで簡単にサポートできます。これには通常、ロード、ストア、算術演算、比較(ただし、すべての比較ではありません!)が含まれます。

異なるアーキテクチャからのSIMDメソッドの単純な共通部分を取ると、多くの穴が残ります。これらは、さまざまなアーキテクチャ固有のarchsimd APIにエミュレーションを追加することで埋められます。これらのAPIにはすでに、Goプログラマーの生活を簡素化するための多くの単純なエミュレーションが含まれています。符号付き整数と符号なし整数の加算は同じ命令を使用しますが、Goがintとuintの両方に+演算子をサポートするのと同じ方法で、archsimdパッケージはInt8x16.Add(Int8x16)とUint8x16.Add(Uint8x16)の両方を提供します。これらは同じ命令にコンパイルされます。現代のプログラミング言語は、プログラマーにビット操作で浮動小数点数の否定や絶対値を実装する方法を知ることを期待していません。そのため、archsimdは必要に応じてそれを実装するか、見方によっては「エミュレート」します。

2つまたは3つの命令しか必要としないエミュレーションが多くあります。例えば、一部のアーキテクチャはベクトル要素全体で同じシフト距離のみをサポートしますが、他のアーキテクチャはベクトル要素ごとに異なるシフト距離をサポートします。simdでスカラーシフトをサポートするために、ベクトルシフトでスカラーシフトをエミュレートします。一部のアーキテクチャは、一部の符号なし比較を欠いています。これらは単なる符号付き比較に、定数との2回のXOR演算を加えたものです。

すべての欠落している命令がそれほど単純なわけではありません。「キャリーレス乗算」命令は、暗号化やCRCチェックサム計算に重要ですが、常にサポートされているわけではありません。それをsimd APIから除外すると、一部の重要なアルゴリズムでの使用が妨げられます。そのため、エミュレーションを提供します。そして、重要な用途の1つが暗号であるため、その実行時間は入力に依存しません。

他のケースでは、「ペア加算」(「水平加算」とも呼ばれる)のようなプリミティブ命令を実装する代わりに、次のリリースでは、ペア加算が通常使用される、より高レベルの操作である合計削減を提供します。これは、ユーザーをベクトル長への依存から保護するのに役立ちます。ペア加算のハードウェア命令が存在する場合でも、削減ステップの数はベクトル長に依存します。

archsimdで今後1年ほどで登場すると予測されるものを含む、すべてのプラットフォームをサポートするという制約は、simdにメソッドを追加する際に、いくぶん保守的なアプローチを強制します。Riscv64、ppc64、s390x、loong64はすべて独自のSIMD拡張を持っています。

GODEBUG設定

ハードウェアサポートがあるプラットフォームでは、さまざまなハードウェア構成でsimdを使用するコードのテストを容易にするために、GODEBUGを使用して動作を変更できます。プログラムを実行する前にGODEBUG環境変数を設定できます。

Go 1.27では、SIMDサポートのレベルは、ベクトル長によって大まかに記述されます。

  • GODEBUG=simd=0: ハードウェアサポートが利用可能な場合でも、SIMD操作にはエミュレーションを使用します。
  • GODEBUG=simd=128: 128ビットベクトルとその機能を使用します。機能が利用できない場合は、すぐにパニックします。
  • GODEBUG=simd=256: 可能であれば、256ビットベクトルとその機能を使用します。
  • GODEBUG=simd=512: 可能であれば、512ビットベクトルとその機能を使用します。
  • GODEBUG=simd=+128: 一部の機能がサポートされていなくても、128ビットベクトルとその機能を使用します。サポートされていない命令が使用された場合、コードはパニックしますが、使用されていない場合は実行される可能性があります。例として、Raspberry PiはNEONをサポートしていますがPMULL(キャリーレス乗算)を欠いています。
  • GODEBUG=simd=+256: 一部の機能がサポートされていなくても、256ビットベクトルとその機能を使用します。サポートされていない命令が使用された場合、コードはパニックしますが、使用されていない場合は実行される可能性があります。例として、Apple Siliconのamd64エミュレーションはAVX2をサポートしていますが、VPCLMULQDQ(再び、キャリーレス乗算)はサポートしていません。
  • GODEBUG=simd=+512: 一部の機能がサポートされていなくても、512ビットベクトルを使用します。

実装の詳細

simdを使用するコードをデバッグしている場合、またはスタックトレースを見ているだけでも、奇妙な追加の型やメソッドに気づくでしょう。その理由は、simdがパッケージであり、内部実装パッケージであり、コンパイラのフロントエンドでのAST書き換えでもあるからです。

AST書き換えは、simd型を参照する関数、変数、型の複数の特殊化されたコピーを作成します。ここで、simd型はsimd/internal/bridge内のサイズ特殊化型への参照に置き換えられます。これらのブリッジ型のそれぞれは、メソッドのセットが制限されたarchsimd型として定義されます。特殊化された関数、変数、型には、@simdNNNという形式のサフィックスが付与されます。ここで、NNNはベクトル長(128、256、または512)またはエミュレーションを示す0です。シグネチャには現れないが内部でsimdを参照する関数は、プログラム起動時に検出されたSIMDレベルでスイッチし、その関数の適切な特殊化されたバージョンを呼び出すラッパーに変換されます。特殊化された関数は、ディスパッチオーバーヘッドなしで(おそらくインライン化されて)他の特殊化された関数を直接呼び出します。この書き換え戦略は、コードの重複とSIMDパフォーマンスの間の妥協として選択されました。オーバーヘッドは、SIMD計算内のディスパッチを回避するために必要な限り高く持ち上げられますが、それ以上高くはありません。SIMDディスパッチが計算内で「低すぎる」ように見える場合、simd型の偶発的な言及がそれを上に移動させます。この例のように:

func BenchmarkVpsumdSIMD(b *testing.B) {
    // ベンチマークループが直接特殊化されたvpsumd3を呼び出すように、"simd"を参照します
    var _ simd.Uint64s
    var w, x, y, z uint64 = ... // マジック定数は省略。
    var lo, hi uint64
    for b.Loop() {
        // vpsumd3はsimdの処理を行いますが、simdシグネチャを持たないため、
        // 非SIMDエミュレーションと比較できます。
        lo, hi = vpsumd3(w, x, y, z)
    }
    sinkLo, sinkHi = lo, hi
}

今後の予定

近日中にarchsimdをさらに詳しく説明するブログ記事を公開する予定です。

Go 1.28では、archsimdにSVEサポートを追加し、simdにも追加したいと考えています。さらに重要なのは、simdパッケージがすでにサポートしている操作(例:OnesCount、マスク操作、削減操作、ベクトルシャッフル操作)を追加したいと考えています。Go 1.28には、ハードウェアベクトル実装を持っているが、1つまたは少数の操作しか欠いていないプラットフォーム(例:Raspberry Pi)のために、完全なエミュレーションまでダウングレードすることを回避するための、少数の「機能バリアント」も含まれる予定です。