Loongson CPUの失われたアトミックアップデート
The Lost Atomic Update on Loongson CPU (jia.je)
要約
LoongArch CPUで、OpenMPのアトミック命令が稀にアトミック性を失うというCPUの不具合(エラッタ)が発見されました。この問題は、Debianパッケージング中に発見され、AIの助けを借りて最小再現コードが作成され、原因が特定されました。Loongson社は迅速に修正ファームウェアを提供し、まもなくリリースされる予定です。
全文翻訳
1つのCPUアトミック命令、1つのパッケージング無限ループ:Loongson CPUにおける失われた更新の物語
TL;DR
2026年2月、Wang Miao氏はLoongArchサーバー上でDebianのnormalizパッケージをビルド中に奇妙な現象に遭遇しました。数学ソフトウェアの組み込みテストがタイムアウトし、無限ループから抜け出せなくなっていたのです。コードを追跡した結果、問題はごく普通の操作、すなわち共有変数へのOpenMPの#pragma omp atomicによる加算にあることが判明しました。ループの終了条件は、累積値がある特定の値に達することでしたが、累積結果は常にその値より小さく、無限ループを引き起こしていました。プログラムが大規模でコードが複雑だったため、人間が理解できる最小限の例にまで縮小することはできず、この件は棚上げされました。
半年後の8月、Wang Miao氏は再び私に連絡をくれ、この問題の再調査を希望しました。今回はアプローチを変え、人間が問題を見つけるのではなく、AIに最小再現コードの発見を支援させ、人間がAIの調査を指示するという方法を取りました。約2日後、安定した再現コードが得られ、ようやく根本原因を発見しました。それは、CPUのアトミック加算命令が、時折アトミックでなくなるというものでした。これにより、新たなCPUの不具合を発見したことになります。Loongson社にこの件を伝えたところ、わずか2週間で、パフォーマンスへの影響はほとんどない修正策を見つけ、テストファームウェアを提供してくれました。テストファームウェアで問題が解決することを確認し、Loongson社によると、このファームウェアは建国記念日(10月1日)前にリリースされる予定で、読者はファームウェアをアップデートすることで問題を修正できるようになります。
それでは、最初から最後まで、この物語を語りましょう。
起源
loong13は、LoongArchへのDebian 13安定版のコミュニティメンテナンスによるポートであり、Wang Miaoはそのメンテナーの一人です。ビルドおよびパッケージングプロセス中に、normalizの組み込みテストが抜け出せないループに陥り、パッケージングがタイムアウトすることが発見されました。当時、根本原因をすぐに特定できなかったため、このパッケージをスキップせざるを得ませんでした。しかし、他のいくつかのパッケージがnormalizに依存しているため、永遠にスキップし続けるわけにはいかず、2月に問題の調査に注力し始めました。以前、他のパッケージをビルド中に、コード内に隠れた競合状態やメモリ順序の問題を発見したことがあり、このような問題は、弱いメモリモデルを使用するLoongArchで表面化しやすい傾向がありました。そのため、当初は原因がこのソフトウェアの同様の問題ではないかと推測しました。しかし、調査が始まると、驚くべきことに、驚きが待っていました。
最初の調査ラウンド
最初のラウンドはnormalizのソースコードから始まりました。normalizはOpenMPを使用してデータを並列処理します。問題のあるコードスニペットは次のように要約できます。
func (std::list<std::vector<int>> LatticePoints) {
size_t nr_to_match = LatticePoints.size(); // 入力サイズ
size_t nr_points_matched = 0; // 処理済みの点の数
while (true) {
size_t nr_points_done_in_this_round = 0; // このラウンドで処理された点の数
#pragma omp parallel
{
auto P = LatticePoints.begin(); // スレッドプライベートなリストポインタ
size_t ppos = 0; // スレッドプライベートなリストポインタ位置
#pragma omp for
for (ppp = 0...nr_to_match){
if (skip_remaining) { // 特定の場合、skip_remainingが設定され、未処理の点をスキップする
continue;
}
// pposとpppの違いに基づいて、Pをpppが指す位置に移動させ、pposを維持する
if ((*P)[0] == 0) { // 処理済みであることを意味する
continue;
}
#pragma omp atomic
nr_points_matched++;
#pragma omp atomic
nr_points_done_in_this_round++;
// Pが指すオブジェクトを処理する
(*P)[0] = 0;
}
}
// このbreakは決して実行されない
if (nr_points_matched == nr_to_match)
break;
}
}
このコードの要点は、与えられたLatticePointsリストに対して、プログラムは各点を並列に処理します。各データポイントを処理する際に、一部のポイントは一時的にスキップされる可能性があり、すべてのデータポイントが処理されるまで繰り返しパスが必要になります。このコードでは、nr_to_matchはデータポイントの総数、nr_points_matchedは既に処理されたポイントの数、nr_points_done_in_this_roundはこのラウンドで処理されたポイントの数です。ループの終了条件は、nr_points_matchedがnr_to_matchに等しくなること、つまりすべてのデータポイントが処理されることです。無限ループの直接の原因は、nr_points_matchedがnr_to_matchに到達しないため、ループが終了できないことです。gdbを使用すると、これが起こるとき、LatticePointsリストのすべてのポイントが処理済みとしてマークされており、nr_points_matchedの増加が停止するにもかかわらず、ループの終了条件が決して満たされないため、ループが継続していることがわかります。問題は、カウンターnr_points_matchedの値が、実際に処理されたデータポイントの数と一致しないのはなぜか、ということです。コードによれば、このラウンドでのnr_points_matchedのインクリメントは、それらが常に一緒にアトミックにインクリメントされるため、nr_points_done_in_this_roundのインクリメントと等しくなるはずです。しかし、実際の出力はそうではありませんでした。2つのカウンターの値はわずかに異なり、その差は不安定で、実行ごとに結果が変動しました。
最初に除外されたのはメモリ順序の問題でした。このコードは他の変数を同期するためにアトミック変数に依存していません。つまり、アトミック変数自体のみを操作し、常に読み取るため、コードの観点からは論理的に正しいです。次に疑われたのは、OpenMPの実装に問題があるかどうか、つまり#pragma omp atomicで注釈付けされたアトミック操作が本当にアトミシティを保証しているかどうかでした。逆アセンブルを見ると、コンパイラは予想通り、これらのアトミック操作に対してLoongArch64のamadd.d命令を生成していることがわかります。これを調査するために、元の2つのカウンターに加えて、追加の2つのstd::atomicカウンターを制御用として設定し、結果が一致するかどうかを確認しました。結果として、4つのカウンターの値(ラウンドごとのインクリメントから計算)は一致するはずでしたが、実際にはランダムな不一致を示しました。これは、アトミック加算命令が特定の条件下で更新を失うことを示唆していました。
しかし、単純なアトミック加算プログラムでアトミック加算命令のアトミシティをテストしても、失われた更新を再現できませんでした。最小再現コードを見つけるために、前述のnormalizの処理ロジックを類似のテストプログラムに簡略化しましたが、それでも問題は再現できませんでした。そのため、実際に実行されているnormalizコードの計算ステップをコメントアウトし続け、失われたアトミック加算をトリガーする最小限の条件を見つけようとしました。奇妙な現象は、ほとんどの計算ステップをコメントアウトした後でも、問題が持続したことでした。プログラムが複雑すぎたため、最終的に、失われたアトミック加算を確実に再現する最小コードスニペットを見つけることはできませんでした。
2回目の調査ラウンド
6ヶ月後も問題は未解決のままでした。LoongLeak/LoongBleed脆弱性が公開されたことで、normalizにおける失われたアトミック加算が再び注目を集めました。今回は、AIに調査を支援させることを試みました。その方法は、まずAIに上記のnormalizコードに無限ループ問題があることを指摘し、AIにそれを確認・再現させ、その後、可能な原因を見つけさせるというものでした。最初の会話ラウンドで、AIは問題のあるループに気づきましたが、アトミック加算命令が原因であるという結論には至りませんでした。その後、AIに問題がLoongArchでのみ発生し、他のアーキテクチャでは発生しないことを示唆しましたが、AIは依然として明確な結論を出すことができませんでした。最終的に、アトミック加算に問題が限定されているという事実を直接AIに伝え、それを再現して最小再現コードを提供するように依頼しました。その会話ラウンドで、AIは最終的に処理関数内のmemcpy呼び出しに注目しました。これはまさに最初のラウンドで見落とされていた部分でした。memcpyの実装はglibc内にあり、glibcは現在利用可能なハードウェア機能に基づいて最適な実装を選択します。ハードウェアがベクトル命令セット(LoongArchのLSX/LASX)をサポートしている場合、glibcのmemcpyはその対応するベクトル命令を使用してメモリコピーを高速化します。そして、まさにこれらのベクトル化されたメモリコピーが、LoongArch64で失われたアトミック加算をトリガーしていたのです。2日後、AIは問題を確実に再現する最小プログラムを生成しました。
範囲の拡大
アトミック加算命令が更新を失う可能性があることを発見した後、新たな疑問が生じました。第一に、アトミック加算だけが影響を受けるのか、それとも他のアトミック命令も同じ問題を抱えているのか?第二に、他のメモリ操作も同様の問題を引き起こすのか?
最初の質問については、まずCAS命令を調査しました。なぜなら、CAS命令はアトミック加算の実装に使用でき、問題が発生した場合に容易に判断できるからです。結果として、CAS命令も同じ条件下で問題を抱えていることが判明しました。アトミックスワップ、アトミックマックス、アトミックミン、アトミックビットワイズAND、アトミックビットワイズORなどの他のアトミック命令については、失われた更新結果から検出するのが容易ではないため、当初は検証しませんでした。例えば、アトミックマックス中に更新が失われた場合、最大値を更新した操作が失われなければ、結果は正しいです。
熟考の末、検証スキームを見つけました。そのような命令が更新を失うかどうかを確認するために、すべての操作の結果を記録し、後で検証しました。アトミックマックスを例にとると、1からnまでの数に対して並列にアトミックに最大値を取る場合、最終結果はnになるはずです。各アトミックマックスはメモリを更新し、古い最大値を返します。入力kの操作について、返された古い値がkより小さい場合、その操作は最大値を更新しました。アトミシティは、最大値を更新したすべての操作の戻り値が重複しないことを保証します。重複が発生した場合、アトミック命令の更新が失われたことになります。検証の結果、これらのアトミック命令はすべて同じ条件下で更新を失うことが示されました。
2番目の質問については、テストの結果、LASXベクトル化メモリ読み取り(xvld)のみが失われたアトミック命令をトリガーすることがわかりました。通常のスカラ読み取りおよびLSXベクトル化メモリ読み取り(vld)は問題を引き起こしませんでした。その後、Rong "Mantle" Bao氏は独立して、アトミック変数のメモリ位置と読み取りメモリ位置の間に特定の相対関係がある場合、通常のスカラ読み取りでも失われたアトミック命令をトリガーする可能性があることを発見しました。これは、LASXがなくても問題が発生する可能性があることを意味しますが、確率は低くなります。これらの複雑なトリガー条件は、この問題が長期間発見されなかった理由を説明しています。
特定の結論
具体的な結論を提示する前に、背景を説明しましょう。Loongsonの3C6000/Sおよび3A6000はLA664コアを使用しており、その命令セットはSIMD拡張を備えたLoongArch64です。これらのうち、128ビットSIMD拡張はLSX、256ビット拡張はLASXと呼ばれます。以前のLA464コア(例:3A5000)にはこの問題はありません。LASXには、一度に32バイトをベクトルレジスタに読み込むことができるメモリ読み取り命令xvldが含まれています。Loongsonのアトミック命令は、am<OP>[_db].<width>と要約できます。ここで、<OP>は特定の原子操作(例:amadd、amcas、amswap、ammax、amxor、amand、amorなど)です。[_db]はデータバリア(db)を伴うかどうかを示し、<width>は操作のデータ幅、例えば.dは64ビット、.wは32ビットです。
実験結果をまとめると、失われたアトミック操作を再現するには、以下の3つの条件がすべて同時に満たされる必要があります。
- スレッドが異なる物理コアで実行される(つまり、同じ物理コア上の2つのSMT論理コアではない)。
- これらのスレッドが、データバリアなしで同じアドレスに対してアトミック操作を実行する。
- 少なくとも1つのスレッドが、アトミック操作の間にメモリ読み取りをインターリーブする。
ここで、メモリ読み取り操作はLASXベクトル化メモリ読み取りxvldである可能性があります。読み取りメモリアドレスとアトミック操作のメモリアドレスの間に特定の相対関係がある場合、メモリ読み取り操作は通常のスカラ読み取りであることもあります。
再現と測定
最小再現コードは、AIによるnormalizコードの簡略化から得られました。normalizの各データポイントは2208バイト、つまり276 uint64_tです。2つのスレッドがこれらのポイントをシャードでトラバースします。各ポイントについて、まずベクトル化されたメモリコピー(memcpy)を行い、次に3つの共有カウンター(データバリアなしのアトミック加算命令に対応)それぞれに対してリラックスしたアトミック加算を1回行います。各ラウンドの後、3つのカウンターが等しいかどうかを確認します。等しくない場合、更新が失われたことになります。
3C6000/S上で、2つの異なる物理コア(例:CPU0とCPU2)を使用し、1ポイントあたり2208バイト、1試行あたり200ラウンド、合計30試行で、以下の結果が得られました。
| アトミック操作 | 両方LASXコピー | 両方LASX読み取り | 片方LASXコピー |
|---|---|---|---|
amadd.d | 67% | 100% | 53% |
amadd.w | 73% | 100% | 67% |
amcas.d | 77% | 97% | 17% |
amcas_db.d | 0% | 0% | 0% |
ammax.d | 43% | 100% | 50% |
amswap.d | 53% | 100% | 53% |
表中のパーセンテージは、「30試行のうち失敗した試行の割合」です。「両方LASX読み取り」が問題を引き起こしやすいことがわかります。確率はほぼ100%です。データバリア付きのamcas_db.dは、同じ条件下で常に0%です。
余談:なぜAOSCは後に再現できなくなったのか
この問題を再現する過程で、小さな余談がありました。それは、この話全体の中で最も興味深い部分でもあります。問題が最初に発見された2月には、AOSC OSとDebianの両方でnormalizの無限ループを再現できました。しかし、8月に再調査した際、AOSCはいかなる方法でも再現できませんでしたが、Debianは依然として再現できました。当時、なぜこのような不一致が発生したのかわからず、Debianで実験を続けました。
後に、AIが問題をmemcpyに絞り込んだことで、その理由がわかりました。2月以降にAOSCが出荷したCore 13リリースでは、glibcの--enable-multi-archオプションが誤って無効化されていたため、システムのmemcpyはLASXアクセラレーションパスを使用しなくなっていました。一方、Debianのglibcは通常通りベクトルアクセラレーションを有効にしていたため、そのmemcpyはLASXを使用していました。2月には、AOSCとDebianの両方がLASXアクセラレーションパスを使用していました。8月になると、AOSCのmemcpyはLASXアクセラレーションを使用しなくなったため、当然ながらトリガーできなくなりました。DebianでGLIBC_TUNABLES=glibc.cpu.hwcaps=-LASXを使用してLASXアクセラレーションを無効にしても、問題のトリガーは停止しました。
したがって、AOSCがCore 14をリリースし、--enable-multi-archオプションを再度有効にすると、問題は再発するでしょう。memcpyが一般的に使用されていることを考えると、影響を受けるプログラムの数は想像よりも多いかもしれませんが、トリガー確率が低いために気づきにくいだけです。
影響分析
問題のあるアトミック命令の中でも、ammaxやamminなどは、C標準に現在のところ対応するアトミック操作インターフェースがないため、コンパイラが生成するのは困難です。また、amcasはLoongArch64 v1.1で新しく追加された命令であるため、コンパイラがデフォルトで生成するものでもありません。最も大きな影響を与える可能性のあるものは、アトミック加算命令であるamaddです。この命令は通常、参照カウントに使用されます。参照カウントのインクリメントが失われると、カウントは実際の参照数より少なくなり、オブジェクトが早期に解放される原因となり、use-after-freeやdouble freeなどのメモリ安全性問題を引き起こす可能性があります。また、もう一つのトリガー条件であるベクトル化メモリ読み取りは、memcpyのような関数によって容易にトリガーされます。Rust標準ライブラリでは、std::sync::Arcの参照カウントやstd::sync::mpscのSenderのクローンも、データバリアなしのamadd命令を使用していることがわかりました。安全なRustプログラムを構築したところ、Arcまたはmpscのいずれかを使用するとプログラムがクラッシュし、SIGABRTやglibcによるヒープ破損の報告として現れました。これはuse-after-freeが発生したことを意味します。
しかし、この問題はセキュリティ攻撃に利用するのは困難です。これをトリガーするには、2つのスレッドが同じオブジェクトの同じカウンターに対して同時にリラックスしたアトミック操作を実行し、かつ少なくとも1つがベクトル化メモリ読み取りを行っている必要があります。このトリガー条件は、潜在的な攻撃者と被害者が同じプロセス内に存在し、プロセス分離によって分離できないことを意味するため、一方的に悪用するのは困難です。
回避策
一般的に、高水準言語のコードでは、開発者はコンパイラが生成するアトミック命令を制御できないため、アプリケーション開発者が直接的な回避策を講じることはできません。ソフトウェアレベルの回避策は、主にコンパイラを通じて実装されます。つまり、コンパイラはデータバリアなしのアトミック命令(am<OP>.*)を生成するのではなく、データバリア付きのアトミック命令(am<OP>_db.*)を生成するか、LL/SCループを使用してアトミック操作を実装します。しかし、既存のバイナリに対してこれらの回避策を適用するには、完全な再コンパイルが必要です。したがって、ソフトウェアレベルで問題を回避するためのコストは高くなります。
修正
Loongson社に報告した後、修正は迅速に行われました。2026年8月26日に問題を電子メールでLoongson社に送信したところ、わずか2週間後の2026年9月9日にはテストファームウェアを受け取りました。3A6000と3C6000/Sの両方で、テストで正常に戻りました。Loongson社によると、このファームウェアは建国記念日(10月1日)前にリリースされる予定です。
修正は、MCSR24のビット13を1に設定することです。MCSR24は内部CSRであり、その機能はマニュアルに記載されていません。このビットを設定した後、更新の損失は発生しなくなりました。テストの結果、パフォーマンスの低下は非常に小さいことが示されました。シングルコアパフォーマンスは影響を受けず、マルチコアパフォーマンスはわずかに低下するだけです。
影響を受けるユーザーが一時的にファームウェアをアップデートできない場合、Linuxカーネルにこのビットを直接書き込むという選択肢もあります。これはファームウェア修正を適用するのと同等であり、マザーボードのファームウェアアップデートを待つ必要がなくなります。
結論
振り返ってみると、この物語は純粋なソフトウェアの問題から始まりました。パッケージング中の無限ループ、時折誤ってカウントするカウンター。最終的には、CPUのアトミック加算命令がアトミックでないことが判明しました。問題の発見から原因の特定まで半年を要しましたが、真に効果的な進捗はわずか2日間で達成され、AIと人間の両方が不可欠な役割を果たしました。残りの時間は、問題の確認、トリガー条件の発見、テスト範囲の拡大、そしてファームウェア修正の待機に費やされました。
実際、同様の不具合はすべてのベンダーのCPUで非常に一般的です。興味のある読者は、ARMのコアに対するソフトウェア開発者向け不具合通知を参照できます。その多くはメモリアクセスまたはアトミック命令に関係しており、いくつかの深刻なもの(CPUがデッドロックする)さえあります。しかし、ユーザーエクスペリエンスに実際に影響を与えるものは、実際には非常に少ないです。このような問題については、複雑なシステムでいつか突然表面化し、不安定なエラーレポートとして現れるのを待つよりも、特定原因を特定し、できるだけ早く修正する方が良いでしょう。
謝辞
この作業はWang Miao氏によって開始および主導されました。私は再現とレポートの作成を担当しました。amcasにも問題があることを彼らに知らせた後、Rong "Mantle" Bao氏が同様のCPU問題を発見し、一緒に修正されました。報告および修正プロセス全体における迅速かつ専門的な作業をしていただいたLoongson社のチップR&D部門およびデベロッパーコミュニティオペレーション部門に感謝します!