Show HN: Runloom – Python用のGo風コルーチン(フリー・スレッド対応)
Show HN: Runloom – Go-style coroutines for Python free-threaded (github.com)
要約
Runloomは、Python 3.14以降のフリー・スレッド環境(GILオフ)向けに、Go風のスタックフルコルーチンを提供します。async/awaitを使わずにブロッキングコードを記述でき、1つのプロセス内で数百万ものコルーチンを各コアで並行実行可能です。手書きのアセンブリによるコンテキストスイッチとC言語によるワーク・スティーリング・スケジューラを組み合わせ、Goに匹敵するパフォーマンスを実現しています。
全文翻訳
Runloom
Python向けのGoスタイルのスタックフルコルーチン。ブロッキングコード(fiber(fn)、通常のrecv/send、async/awaitなし)を記述し、1つのプロセス内の全コアで100万個のコルーチンを実行できます。手作りのアセンブリコンテキストスイッチ+Cによるワークスティーリングスケジューラ+netpollを、フリースレッドPython 3.14t(GILオフ)向けに構築しました。
import threading, runloom
from urllib.request import urlopen
runloom.monkey.patch()
def crawl(url):
# urlopen()はブロッキングに見えますが、monkey.patch()により、
# ゴルーチンはOSスレッドではなくソケットで待機するため、64回のフェッチが実際のコア上で並行して行われます。
body = urlopen(url, timeout=10).read()
print(threading.get_native_id(), len(body))
def main():
for _ in range(64):
runloom.fiber(crawl, "http://example.com")
runloom.run(8, main) # 8つのハブスレッド → 3.14t(GILオフ)の実際のコア数
Runloom vs Go
同じマシン(64コア、フリースレッドCPython 3.13t)、8つのハブ/GOMAXPROCS=8、ウォーム状態での比較。
Goは約210万スパン/秒です。
| メトリック | runloom | Go | 判定 |
|---|---|---|---|
スパン — 純粋なC(c_entry) | 229万/秒 | 210万/秒 | Goを上回る |
スパン — Python(runloom.fiber) | 135万/秒 | 210万/秒 | 0.65倍 |
| コンテキストスイッチ | 約75 ns yield · 約560 ns chan RT | 約50 ns Gosched | 同等 |
| コネクション/秒 — チャーン(リクエストごとに新規接続) | 約7.5~7.8万/秒 | 約7.5~7.8万/秒 | 同等 |
| リクエスト/秒 — キープアライブエコー、Pythonハンドラ | 59.6万/秒 | 60.3万/秒 | 0.99倍 — 同等(CハンドラはGoを上回る) |
| メモリ — アイドル状態のファイバー | 8.8 KB | 2.7 KB | 3.3倍(唯一の明確な差) |
短く言うと:スパン、スケジューリング、スループットにおいて、runloomはGoと互角に戦い、生の生成速度ではGoを上回ります — Pythonハンドラを使用しても、コンパイル言語であるGoに匹敵するスタックフルコルーチンランタイムです(飽和状態でのリクエスト/秒は59.6万対60.3万、CハンドラはGoを上回ります)。唯一の正直な欠点はメモリです:中断されたファイバーはCPythonの評価フレームを保持するため、Goよりも1ファイバーあたり約3.3倍のRSSを消費します。完全なクロスランタイムの数値+コールドスパン対Nの曲線:ベンチマークレポート · パフォーマンス概要。
runloom.optimize("throughput") # runloom.fiber → 最大スパンレート(fiber_fast)
runloom.optimize("memory") # runloom.fiber → 小さく適切なサイズのスタック(デフォルト)
インストール
pip install runloom
import runloom # スケジューラ+チャンネル、およびmonkey/time/context/sync/aio
Linux (x86_64/aarch64)、macOS (arm64/x86_64)、Windows (AMD64) 用のCPython 3.11~3.14向けのプリビルドホイール(コンパイラ不要)が利用可能です。それ以外の環境ではソースからビルドします。ランタイム依存関係はありません。
何をするものか
- 手作りのアセンブリコンテキストスイッチ (x86_64 SysV, aarch64) — 約80 ns/スワップ、システムコールなし;Windows Fibers / POSIX
ucontextフォールバック。 - M:N ワークスティーリングスケジューラ (3.13t) — ハブごとにChase-Lev deque、ハブごとのMPSCサブミッション、ウェイクされたゴルーチンは元のハブにルーティングされます。
- ゴルーチンごとの
PyThreadStateスナップショット — cframe、datastack、exc_info、contextvars、再帰;100万個のyieldされたゴルーチンは、フレームチェーンの断絶なしにハブスレッドを共有します。 - netpoll — epoll / kqueue / IOCP / WSAPoll / select;ゴルーチンはfdの準備ができ次第透過的に待機し、3状態のpark-commitでロストウェイクフリーです。
- Goスタイルのチャンネル —
Chan(capacity),select,for v in ch。 - スタールール隔離+復旧 — 予期しないブロッキングコールは、そのハブのみをスタールさせ、ランタイムがそれを検出し復旧します(デフォルトオン、3.13t)。
monkey.patch()により、ブロッキングする標準ライブラリ(socket,time,threadingなど)が協調的になり、既存のブロッキングコードをそのまま実行できます。
すでにasync defコードをお持ちですか? runloom.aio ブリッジは、それをシングルスレッドスケジューラ上で実行します(runloom.aio.run(main()) ≈ asyncio.run)。これはゼロリライトでの移行パスであり、マルチコアでの高速化ではありません(マルチコア高速化には、run(n>1, main)で同期APIを使用してください)。
正直な制限事項
- マルチコアでの利点は、フリースレッドCPython 3.13tが必要です(3.11以降はフレームスナップショットが利用可能)。GILビルドでもrunloomは動作しますが、安価なスパン、ゴルーチンモデル、netpollは利用できるものの、asyncioのようにシングルコアになります。
- runloomは、コアあたりのPythonの速度を向上させるものではありません。CPythonの約8万ピュアPythonオペレーション/秒/コアという定数は変えられません。これにより、1つのプロセスがブロッキングモデルで全コアのその速度に同時に到達できるようになります。スケジューラ自体はGoクラスです。
- ゴルーチンあたりのメモリ消費量がGoより多い(アイドル状態のファイバーで約3.3倍 — CPythonの評価フレーム。Cハンドラを使用するとそのほとんどが解消されます)。
- プリエンプションはPythonバイトコード境界でのみ発生します — タイトな純粋Cコール(例:
numpy)内のゴルーチンは、それが返るまでハブを保持します(Go + cgoと同じ)。 - Linux x86_64 / 3.13tが主要で、徹底的に検証されたターゲットです(200万コネクション実行、ファジング、サニタイザ、形式モデル)。その他のバックエンドも同期して維持されていますが、それほど深くテストされていません。
プラットフォームサポート
| OS / アーキテクチャ | スイッチ | netpoll | テスト済み |
|---|---|---|---|
| Linux x86_64 | fcontext-asm | epoll | はい — ハードウェア、3.11 / 3.12 / 3.13t / 3.14t(プライマリ) |
| Linux aarch64 | fcontext-asm | epoll | QEMU |
| macOS x86_64 / arm64 | fcontext-asm | kqueue | ハードウェア、3.14t |
| FreeBSD / GhostBSD | fcontext-asm | kqueue | ハードウェア、3.12 |
| Windows 10/11 / Server 2022 | Fibers | IOCP→WSAPoll→select | ハードウェア、3.14t |
| Solaris / Android / その他のBSD | ucontext / asm | select / epoll / kqueue | レビュー済み |
ドキュメントとレイアウト
docs/ に完全なガイドがあります:クイックスタート · Asyncioブリッジ · 同期API · チャンネル · M:N並列処理 · クックブック · APIリファレンス
| ディレクトリ | 内容 |
|---|---|
src/runloom_c/ | C拡張:スケジューラ、チャンネル、netpoll、アセンブリバックエンド、M:Nハブ、スタールール復旧 |
src/runloom/ | Pythonレイヤー:aio、sync、monkey、time、runtime |
tests/ · examples/ · benchmark/ · docs/ | テスト · 実行可能な例 · ベンチマーク+パフォーマンスハーネス · ドキュメント |
ソースからのビルド(コントリビューター):クローンしたディレクトリで pip install -e . を実行(Cコンパイラが必要。scripts/install.sh / scripts stall.bat でブートストラップ可能)。フリースレッドCPythonでrunloomをハックするには、3.13tインタプリタを使用してください。