HN 日本語サマリー

← 一覧へ戻る
プログラミング

Tokio/Rayonの落とし穴とAsync/Awaitが並行処理に失敗する理由

The Tokio/Rayon Trap and Why Async/Await Fails Concurrency (pmbanugo.me)

71 pointsby LAC-Tech43 コメント

要約

async/awaitは開発者にとって容易に書ける構文を提供しますが、その裏には構造的な複雑さが隠されています。この記事では、async/awaitが非同期処理と並行処理を混同し、CPUバウンドなタスクがI/O処理をブロックしてパフォーマンスを低下させる「コンピュートの落とし穴」や、無制限のタスク実行がメモリ枯渇を引き起こす問題、そして開発者が手動でスケジューラのように振る舞う必要が生じる状況を解説します。代替案として、Project Tinaのようなスレッド・パー・コア、共有なしのフレームワークが提案されています。

全文翻訳

Tokio/Rayonの落とし穴と、なぜAsync/Awaitが並行処理に失敗するのか

過去10年間で、async/awaitは並行処理の戦いに勝利しました。なぜなら、それは驚くほど容易だからです。開発者は、事実上同期コードと見分けがつかない非同期コードを書くことができます。

しかし、その馴染み深い構文の下には、巨大な構造的複雑さが隠されています。それは制御フローを隠蔽し、ハードウェアの現実を不明瞭にし、最終的にはスケジューリングの負担を開発者に戻します。

Rich Hickeyは、彼の講演「Simple Made Easy」でこれを完璧に表現しました。「容易(Easy)」とは、馴染みがありすぐに手に取れるものを指し、「単純(Simple)」とは、構造的に絡み合っていないものを指します[1]。async/awaitは書くのは容易ですが、運用するのは非常に複雑です。

Rob Pikeは、2023年のGopherConAUでの講演で、このアーキテクチャのシフトについて語りました。

goroutines、channels、selectと比較して、async/awaitは言語実装者にとって構築が容易で小規模です…しかし、それは開発者に複雑さの一部を押し付け、しばしばBob Nystromが「色付き関数(colored functions)」と呼んだものにつながります。…しかし、提供する並行処理モデルが何であれ、それを一度だけ正確に行うことが重要です。なぜなら、複数の並行処理実装を提供する環境は問題を引き起こす可能性があるからです。[2]

Pike氏の「複数の並行処理実装」とasync/awaitに関する発言は、まさに今日本番環境で失敗していることです。

本番環境の落とし穴:非同期処理と並行処理の混同

async/awaitの根本的な落とし穴は、非同期処理(I/O待ち中に処理を譲ること)と並行処理(複数のことを同時に扱うこと)を混同している点です。

この構文は、インターリーブされたステートマシンを、独立したシーケンシャルなスレッドのように偽装するため、落とし穴となります。この幻想に惑わされて、開発者はブロッキングコードを書くのと同じようにasync関数を書きます — ネットワーク経由でデータベースレコードを取得し、すぐにデータを処理します。しかし、そのデータ処理が10MBのJSONペイロードの解析、巨大なコレクションの走査、あるいは計算負荷の高い暗号証明の実行を伴う場合はどうなるでしょうか?

協調型エグゼキュータが停止します。

EXPECTATION: Fast I/O Tasks yield quickly. High throughput. Incoming Network Traffic Task Queue (Stable / Low) Executor (1 OS Thread) I/O yield I/O yield
REALITY: The Compute Trap One CPU task stalls the executor. Queue explodes. Incoming Network Traffic Task Queue (Unbounded) OOM CRASH Executor (1 OS Thread) Heavy Compute Task (bcrypt, parsing, etc.) THREAD HALTED

RustのTokioやNode.jsのような協調型ランタイムでは、スレッドはawaitポイントに到達するまで処理を譲りません。関数内の50ミリ秒のCPUバウンドなタスクは、実行スレッド全体を停止させます。突然、数千もの無関係なネットワークリクエストのレイテンシが急増し、システムは応答しなくなります。その間、ハードウェアはほとんど利用されていません。

破られた約束:人間の介在するスケジューラ

これらのレイテンシの急増が発生した場合、常に同じ答えが返ってきます。「ランタイムを分離せよ」。I/OにはTokioを使用し、CPUバウンドな作業はRayonのような専用スレッドプールに送れ、と。

最近のポストモーテムは、その結果生じる悲劇を浮き彫りにしています。PostHog[3]やMeilisearch[4]のエンジニアリングチームは、本番環境でこれらの複雑さを解きほぐすことの痛ましい現実を記録しています。開発者は、各関数が「I/Oプール」または「Computeプール」のどちらに属するかを注意深く分析し、それらの間のメッセージパッシング境界を手動で調整する必要があります。

開発者がI/Oとコンピューティングを手動で分割し、デッドロックを防ぐために境界を厳密に管理し、2つの異なるメンタルモデルを持つ2つの異なるランタイム間でデータを転送しなければならない場合、async抽象化は失敗したことになります。言語機能は並行処理の複雑さを隠すことを約束しました。その代わりに、アプリケーション開発者を人間の介在するスケジューラに変えてしまったのです。

デフォルトでの無制限は、デフォルトでのOOM(Out-Of-Memory)

async/awaitランタイムの2番目の障害モードは、無制限のキャパシティをどれほど摩擦なく実現してしまうか、ということです。

tokio::spawn(...)の呼び出しは安価です。トラフィックの急増中に下流のデータベースが遅くなった場合、イングレスネットワークループは喜んで接続を受け入れ、タスクを生成し続けます。これらのエコシステムでは、非同期タスクとメモリ割り当ては通常デフォルトで無制限であるため、システムは抵抗しません。

インフライトタスクは無期限にキューイングされます。アプリケーションはRAMを消費し続け、最終的にOSのメモリ不足(OOM)キラーによってプロセスが強制終了されます。主要プラットフォームのポストモーテムは、一貫して同じ根本原因を明らかにしています:キューはオーバーロードを解決せず、クラッシュを遅延させるだけで、それを壊滅的なものにする。無限のキャパシティは嘘であり、そうでないかのように見せかけるデフォルトは危険です。

ワークスティーリングの神話

システムがこれらのボトルネックに達すると、開発者はしばしば、負荷を分散するために、よりスマートで先制的なワークスティーリングスケジューラを要求します。コアがアイドル状態であれば、公平性を保証するためにビジーなコアからタスクを「盗む」べきだ、というのがその仮定です。しかし、大規模なスケールでは、公平性はスループットの敵です。ワークスティーリングはCPUキャッシュの局所性を破壊します。

WhatsAppが100コア以上のマシンでErlang BEAM仮想マシンを限界までプッシュしたとき、システムは詰まりました。Robin Morissetが詳述したように、アイドル状態のスレッドが作業を盗もうとすると、スケジューラの実行キューへのアクセスを同期するために使用されるロックであるグローバルなrunq_lock[5]を巡って、CPUサイクルをすべて費やしてしまいました。

ワークスティーリングのコスト:キャッシュ局所性の喪失
CPU Core 1 Overloaded L1 / L2 Cache (HOT) Task A State Data Task B State Data CPU Core 2 Idle L1 / L2 Cache (COLD) No Task B State Here Main Memory (DRAM) Shared across all cores Task B

  1. Core 2がTask Bを「盗む」
  2. キャッシュミス!
  3. 約100nsのRAMフェッチペナルティ

最適化されたロックを使用しても、ステートマシンを別のCPUコアに移動すると、L1およびL2キャッシュを放棄することになります。盗まれたタスクごとに100ナノ秒以上のメインメモリフェッチペナルティが発生する場合、公平性は重要ではありません。すでにI/OとCPUタスクを分離するためにスレッドを手動でパーティション化しなければならないのであれば、汎用的なワークスティーリングアルゴリズムはすでにあなたを裏切っています。あなたはランタイムよりもワークロードのトポロジーをよく理解しています。

代替案

私はasync/awaitの複雑さと落とし穴にうんざりしていました。BEAMの堅牢な耐障害性を望んでいましたが、ガベージコレクションとグローバルワークスティーリングの不透明な操作なしで。Leslie Lamportが長年主張しているように、ステートマシンは並行プログラミングの数学的に健全な基盤です。async/awaitは、ステートマシンをあなたから隠そうとするコンパイラの魔法に過ぎず、それはうまく機能しません。

ステートマシンを隠す代わりに、それを公開し、ユーザーにより良い制御プリミティブを与えるのはどうでしょうか?その結果がProject Tinaです。これは、意見が強く、共有せず、コアあたりのスレッドを持つ並行処理フレームワークです。

Tina: Thread-Per-Core (Shared-Nothing) No Work Stealing • No Mutexes • Strict Cache Locality
SHARD 0 (Core 0) 1 OS Thread Scheduler Loop Isolate A (TCP Conn) Isolate B (HTTP) Isolate C (Worker) ↻ Strict Tick Sequence
SHARD 1 (Core 1) 1 OS Thread Scheduler Loop Isolate X (Router) Isolate Y (TCP Conn) Isolate Z (Worker) ↻ Strict Tick Sequence
Mailbox (Lock-Free) Mailbox (Lock-Free)
NO SHARED MEMORY

Tinaは、巨大なスループットと信頼性を保証するために厳格な制約を採用しています。

  1. 1つのプリミティブ。1つのメンタルモデル。 asyncやawait、Promises、Futuresはありません。あなたはIsolate(並行処理作業の単位)を書きます。ハンドラは、メッセージに応答してEffectを返す標準的な同期関数です。
  2. コアあたりのスレッド(共有なし)。 TinaはワークロードをOSスレッドにシャードします。ワークスティーリングはありません。Isolateは決して移行しません。すべてのコア間通信は、メッセージングサブシステムを介して行われます。
  3. 厳密に制限されている。 メモリはプロセス起動時に事前割り当てられます。メールボックスは厳密に制限されています。トラフィックの急増が発生し、メールボックスがいっぱいになった場合、呼び出し元は即座に通知されます。システムは、プロセスをOOMクラッシュさせるのではなく、予測可能に負荷を軽減します。
  4. アーキテクチャ上の決定論。 最新のasyncランタイムでは、タスクのポーリング順序とスレッドプールのスケジューリングは、不透明で非決定的なカオスの原因です。タスクがいつ、どこでウェイクアップするかを正確に知ることはめったにありません。Tinaはこれを剥ぎ取ります。スケジューラは、コアごとに厳格で、可視的で、単一スレッドのループです。フレームワークが実行順序、I/O、およびクロックを明示的に制御するため、システムの動作は劇的に予測可能になります。これにより、Tinaの究極の超能力が解き放たれます:決定論的シミュレーションテスト(DST)。単一スレッドでネットワークパーティションやメッセージドロップをシミュレートでき、同じシードで毎回まったく同じ実行順序が得られます。
まとめ

async/awaitは並行処理を容易に書けるようにしますが、システムを運用する上では複雑にします。開発者にステート遷移、厳格なメモリ境界、および意図的なアーキテクチャトポロジーを事前に明示的に管理させることで、ランタイムマジックを構造的な保証に置き換えます。なぜなら、

予測可能性は簡潔さを凌駕する。

Tinaはオープンソースです。アーキテクチャを表示し、設計ドキュメントを読み、コードをGitHubでレビューできます。

注記と参考文献

フットノート

  1. Rich Hickey, “Simple Made Easy”, Strange Loop 2011。↩

  2. Rob Pike, “What We Got Right, What We Got Wrong”, GopherConAU 2023。↩

  3. PostHog Engineering, “Untangling Rayon and Tokio”, posthog.com/blog。↩

  4. Louis Dureuill, “Don’t mix Rayon and Tokio”, blog.dureuill.net 。↩

  5. Robin Morisset, “Optimizing the BEAM’s Scheduler for Many-Core Machines”, Code BEAM Europe ↩