HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Runloom – Python用のGo風コルーチン(フリー・スレッド対応)

Show HN: Runloom – Go-style coroutines for Python free-threaded (github.com)

38 pointsby Uptrenda15 コメント

要約

Runloomは、Python 3.14以降のフリー・スレッド環境(GILオフ)向けに、Go風のスタックフルコルーチンを提供します。async/awaitを使わずにブロッキングコードを記述でき、1つのプロセス内で数百万ものコルーチンを各コアで並行実行可能です。手書きのアセンブリによるコンテキストスイッチとC言語によるワーク・スティーリング・スケジューラを組み合わせ、Goに匹敵するパフォーマンスを実現しています。

全文翻訳

Runloom

Python向けのGoスタイルのスタックフルコルーチン。ブロッキングコード(fiber(fn)、通常のrecv/send、async/awaitなし)を記述し、1つのプロセス内の全コアで100万個のコルーチンを実行できます。手作りのアセンブリコンテキストスイッチ+Cによるワークスティーリングスケジューラ+netpollを、フリースレッドPython 3.14t(GILオフ)向けに構築しました。

import threading, runloom
from urllib.request import urlopen
runloom.monkey.patch()

def crawl(url):
    # urlopen()はブロッキングに見えますが、monkey.patch()により、
    # ゴルーチンはOSスレッドではなくソケットで待機するため、64回のフェッチが実際のコア上で並行して行われます。
    body = urlopen(url, timeout=10).read()
    print(threading.get_native_id(), len(body))

def main():
    for _ in range(64):
        runloom.fiber(crawl, "http://example.com")

runloom.run(8, main)   # 8つのハブスレッド → 3.14t(GILオフ)の実際のコア数

Runloom vs Go

同じマシン(64コア、フリースレッドCPython 3.13t)、8つのハブ/GOMAXPROCS=8、ウォーム状態での比較。
Goは約210万スパン/秒です。

メトリックrunloomGo判定
スパン — 純粋なC(c_entry)229万/秒210万/秒Goを上回る
スパン — Python(runloom.fiber)135万/秒210万/秒0.65倍
コンテキストスイッチ約75 ns yield · 約560 ns chan RT約50 ns Gosched同等
コネクション/秒 — チャーン(リクエストごとに新規接続)約7.5~7.8万/秒約7.5~7.8万/秒同等
リクエスト/秒 — キープアライブエコー、Pythonハンドラ59.6万/秒60.3万/秒0.99倍 — 同等(CハンドラはGoを上回る)
メモリ — アイドル状態のファイバー8.8 KB2.7 KB3.3倍(唯一の明確な差)

短く言うと:スパン、スケジューリング、スループットにおいて、runloomはGoと互角に戦い、生の生成速度ではGoを上回ります — Pythonハンドラを使用しても、コンパイル言語であるGoに匹敵するスタックフルコルーチンランタイムです(飽和状態でのリクエスト/秒は59.6万対60.3万、CハンドラはGoを上回ります)。唯一の正直な欠点はメモリです:中断されたファイバーはCPythonの評価フレームを保持するため、Goよりも1ファイバーあたり約3.3倍のRSSを消費します。完全なクロスランタイムの数値+コールドスパン対Nの曲線:ベンチマークレポート · パフォーマンス概要。

runloom.optimize("throughput")   # runloom.fiber → 最大スパンレート(fiber_fast)
runloom.optimize("memory")       # runloom.fiber → 小さく適切なサイズのスタック(デフォルト)

インストール

pip install runloom
import runloom      # スケジューラ+チャンネル、およびmonkey/time/context/sync/aio

Linux (x86_64/aarch64)、macOS (arm64/x86_64)、Windows (AMD64) 用のCPython 3.11~3.14向けのプリビルドホイール(コンパイラ不要)が利用可能です。それ以外の環境ではソースからビルドします。ランタイム依存関係はありません。

何をするものか

  • 手作りのアセンブリコンテキストスイッチ (x86_64 SysV, aarch64) — 約80 ns/スワップ、システムコールなし;Windows Fibers / POSIX ucontext フォールバック。
  • M:N ワークスティーリングスケジューラ (3.13t) — ハブごとにChase-Lev deque、ハブごとのMPSCサブミッション、ウェイクされたゴルーチンは元のハブにルーティングされます。
  • ゴルーチンごとのPyThreadStateスナップショット — cframe、datastack、exc_info、contextvars、再帰;100万個のyieldされたゴルーチンは、フレームチェーンの断絶なしにハブスレッドを共有します。
  • netpoll — epoll / kqueue / IOCP / WSAPoll / select;ゴルーチンはfdの準備ができ次第透過的に待機し、3状態のpark-commitでロストウェイクフリーです。
  • Goスタイルのチャンネル — Chan(capacity), select, for v in ch。
  • スタールール隔離+復旧 — 予期しないブロッキングコールは、そのハブのみをスタールさせ、ランタイムがそれを検出し復旧します(デフォルトオン、3.13t)。
  • monkey.patch() により、ブロッキングする標準ライブラリ(socket, time, threadingなど)が協調的になり、既存のブロッキングコードをそのまま実行できます。

すでにasync defコードをお持ちですか? runloom.aio ブリッジは、それをシングルスレッドスケジューラ上で実行します(runloom.aio.run(main()) ≈ asyncio.run)。これはゼロリライトでの移行パスであり、マルチコアでの高速化ではありません(マルチコア高速化には、run(n>1, main)で同期APIを使用してください)。

正直な制限事項

  • マルチコアでの利点は、フリースレッドCPython 3.13tが必要です(3.11以降はフレームスナップショットが利用可能)。GILビルドでもrunloomは動作しますが、安価なスパン、ゴルーチンモデル、netpollは利用できるものの、asyncioのようにシングルコアになります。
  • runloomは、コアあたりのPythonの速度を向上させるものではありません。CPythonの約8万ピュアPythonオペレーション/秒/コアという定数は変えられません。これにより、1つのプロセスがブロッキングモデルで全コアのその速度に同時に到達できるようになります。スケジューラ自体はGoクラスです。
  • ゴルーチンあたりのメモリ消費量がGoより多い(アイドル状態のファイバーで約3.3倍 — CPythonの評価フレーム。Cハンドラを使用するとそのほとんどが解消されます)。
  • プリエンプションはPythonバイトコード境界でのみ発生します — タイトな純粋Cコール(例: numpy)内のゴルーチンは、それが返るまでハブを保持します(Go + cgoと同じ)。
  • Linux x86_64 / 3.13tが主要で、徹底的に検証されたターゲットです(200万コネクション実行、ファジング、サニタイザ、形式モデル)。その他のバックエンドも同期して維持されていますが、それほど深くテストされていません。

プラットフォームサポート

OS / アーキテクチャスイッチnetpollテスト済み
Linux x86_64fcontext-asmepollはい — ハードウェア、3.11 / 3.12 / 3.13t / 3.14t(プライマリ)
Linux aarch64fcontext-asmepollQEMU
macOS x86_64 / arm64fcontext-asmkqueueハードウェア、3.14t
FreeBSD / GhostBSDfcontext-asmkqueueハードウェア、3.12
Windows 10/11 / Server 2022FibersIOCP→WSAPoll→selectハードウェア、3.14t
Solaris / Android / その他のBSDucontext / asmselect / epoll / kqueueレビュー済み

ドキュメントとレイアウト

docs/ に完全なガイドがあります:クイックスタート · Asyncioブリッジ · 同期API · チャンネル · M:N並列処理 · クックブック · APIリファレンス

ディレクトリ内容
src/runloom_c/C拡張:スケジューラ、チャンネル、netpoll、アセンブリバックエンド、M:Nハブ、スタールール復旧
src/runloom/Pythonレイヤー:aio、sync、monkey、time、runtime
tests/ · examples/ · benchmark/ · docs/テスト · 実行可能な例 · ベンチマーク+パフォーマンスハーネス · ドキュメント

ソースからのビルド(コントリビューター):クローンしたディレクトリで pip install -e . を実行(Cコンパイラが必要。scripts/install.sh / scripts stall.bat でブートストラップ可能)。フリースレッドCPythonでrunloomをハックするには、3.13tインタプリタを使用してください。