HN 日本語サマリー

← 一覧へ戻る
プログラミング

Python 3.14がメタルにコンパイルされる – インタプリタなし

Python 3.14 compiled to metal – no interpreter (github.com)

41 pointsby hamza_q_21 コメント

要約

Rustで書かれたPython 3.14用のJITおよびAoTネイティブコンパイラ兼ランタイム「pon」が開発されている。このプロジェクトはインタプリタやバイトコードを使用せず、Pythonコードを直接マシンコードにコンパイルする。目標は、CPythonのテストスイートをパスし、高速なJIT実行、単一バイナリ実行可能ファイルの配布、およびパッケージマネージャーなどのツールを標準搭載したPythonランタイムの実現である。

全文翻訳

pon

[画像: pon — Python, compiled to metal — no interpreter]

ponは、Rustで書かれたPython 3.14向けのJIT & AoTネイティブコンパイラおよびランタイムです。インタプリタもバイトコードもありません。すべてのモジュールはruffパーサーで解析され、共有IRに低レベル化され、Craneliftを通じてマシンコードにコンパイルされます。これは、プロセスの内部でJIT(pon run)として、またはスタンドアロンのネイティブ実行可能ファイルにAoT(pon build)として行われます。メモリは参照カウントではなくGreen Teaガベージコレクタによって管理され、CPython v3.14.0に対するバイト単位で正確な差分ハーネスによって正しさが強制されます。

最終的な目標は、Python版のbun/v8です。CPythonテストスイートをパスし、CPythonをはるかに超えるマルチティアJITを実行し、シングルバイナリ実行可能ファイルを配布し、すぐに使えるバッテリー(パッケージマネージャー、ツール)を含んだランタイムです。このプロジェクトは活発に開発中であり、現在の状況と将来の方向性についてはステータスを参照してください。

クイックスタート

# JIT: 解析 → IR → Cranelift → 実行、インプロセス
printf 'def add(a, b):\n    return a + b\n\nprint("hello, world")\nprint(add(2, 3))\n' > hello.py
cargo run -p pon -- run hello.py

# AoT: 同じIRをcranelift-object経由でネイティブ実行可能ファイルにリンク
cargo run -p pon -- build hello.py -o hello
./hello

どちらのパスも、CPythonが出力するのと同じバイトを出力します。このプロパティは野心的なものではなく、適合性スイートの終了条件です(適合性を参照してください)。

pon run <ファイル> [引数]
pon build <ファイル> -o <出力> [--allow-dynamic] [--opt] [--target <トリプル>]
pon repl
pon -c 'print(40 + 2)'
pon - < script.py

アーキテクチャ

[画像: pon workspace architecture]

1つのIR、2つのバックエンド、1つのランタイムABI。すべてのティア—ベースラインJIT、最適化JIT、およびAoT—は同じIRに低レベル化され、同じpon_*ヘルパー関数を呼び出します。

source.py
   │ ruffパーサー (ピン留め 0.14.0, PythonVersion::PY314)
AST ──> PON IR (pon-ir, すべてのティア向けの単一IR)
   │
   ├── pon run:   pon-codegen ──> cranelift-jit ──> プロセス内のネイティブコード
   │                 ティア0ベースライン (すべてボックス化済み)
   │                 ティア1型付き: インラインキャッシュ、OSR、バックグラウンドコンパイル
   │
   └── pon build: pon-codegen ──> cranelift-object ──> オブジェクトファイル ──> リンク済み実行可能ファイル
   │
pon-runtime  (オブジェクトモデル、組み込み、NULLセンチネル pon_* ABI)
pon-gc       (Green Teaガベージコレクタ)

オブジェクトモデル: CPythonのヒープオブジェクトレイアウトから参照カウントヘッダーを除いたもの。エラーはABIをNULLセンチネルとして横断し、アンワインドしません。整数は任意精度です(PyLongの背後にあるnum-bigint)。タグ付きの小さな整数用の高速パスが型付きティアに導入される予定です。

ティアリング: ティア0は型フィードバックなしで、すべてボックス化された状態でコンパイルし、正しさのベースラインとなります(PON_TIER0_ONLY=1で強制)。ランタイムヘルパーは、最初の実行からのFeedbackCell型プロファイルを供給します。ホットな関数はバックグラウンドスレッドで再コンパイルされ、実行中のループはオンスタックリプレイスメントを通じて最適化コードに入ります。

GC: Green TeaコレクタがすべてのPythonオブジェクトを所有します。ティア0はセーフポイントでのレジスタフラッシュトランポリンを備えた保守的なスタックスキャンを使用します。型付きティアは、正確なCraneliftユーザーのスタックマップにアップグレードします。

ワークスペース

クレート役割
pon-irruffベースのフロントエンド: Python 3.14を解析し、共有PON IRに低レベル化
pon-codegenIR → Cranelift CLIF、すべてのバックエンドとティアで共有
pon-jitインプロセスコンパイル、ティアリング、インラインキャッシュ、OSR、バックグラウンドコンパイル
pon-aotcranelift-objectバックエンド: オブジェクトファイルとリンク済みネイティブ実行可能ファイル
pon-runtimeオブジェクトモデル、組み込み、標準ライブラリネイティブモジュール、pon_*ヘルパーABI
pon-gcGreen Teaガベージコレクタ
pon-abiコード生成とランタイム間で共有されるABI型
ponponバイナリ: run/build/replエントリポイント + パッケージマネージャー(インデックスクライアント、リゾルバ、wheel/sdistインストール)
pon-conformance差分適合性スイート、ファジング、ベンチマーク、フロアラチェット

すべての依存関係は、ルートCargo.tomlの[workspace.dependencies]の下に一度だけ宣言されます。メンバークレートはそれを継承するだけです(AGENTS.mdを参照)。

適合性 & テスト

正しさの契約は差分です。コーパスモジュールは、ponがCPython v3.14.0(TZ=UTC、PYTHONHASHSEED=0)とバイト単位で同一の出力を生成した場合にのみ合格します。合格セットはコミットされたフロアファイルにラチェットされ、CIはフロアを下回るあらゆるリグレッションで失敗します。

スイート測定内容コミット済みフロア
cpythonコーパスモジュール、JIT、CPython 3.14とのバイト単位の正確性244モジュール (conformance-floor.json)
cpython-aot-subsetAoTコンパイルされネイティブバイナリとして実行される同じコーパス206モジュール (aot-parity-floor.json)
cpython-fullCPython自身のテストスイート(Lib/test)、pon下で実行進行中 (conformance-full-floor.json)
fuzzCPythonとの差分ファジング; ゼロの乖離を維持する必要がある—
ft-stressデフォルトランタイムでのGILなし/スレッドストレス—

常時実行されるゲートはscripts/gate.shです。その出力のみがゲートの主張としてカウントされます。

bash scripts/gate.sh fast    # ビルド + ワークスペーステスト + 適合性フロア + AoTフロア + ft-stress
bash scripts/gate.sh full    # + cpython-full, ベンチマーク, tier0-only差分, ファジング, パッケージマネージャーE2E

# 個別のメーター
cargo run -q -p pon-conformance -- --suite cpython --check-floor
cargo run -q -p pon-conformance -- --mode aot --suite cpython-aot-subset --check-floor
cargo run -q -p pon-conformance -- --suite cpython --modules <file.py>      # 単一モジュール、差分
cargo run -q -p pon-conformance -- --suite fuzz --seed 42 --count 200 --jobs 8

コーパスファイルは一度ロードされると不変です。新しいカバレッジは新しいモジュールとなり、マニフェストに入る前にpython3.14とのバイト単位の同一性が検証されます。CPythonの問題である乖離(ponの問題ではない)は、隠蔽されるのではなく、pon-conformance/divergence-ledger.tomlに記録されます。

パッケージマネージャー

ponには、pubgrub解決と標準のpyproject.tomlに基づいたuvスタイルのパッケージマネージャーが含まれており、PyPIシンプルインデックス、wheel、sdist、編集可能インストール、VCS要件を対象としています。そのrunコマンドは、管理されたインポートルートを追加しながら、直接スクリプトディスパッチと同じランタイムパスを実行します。これは現在活発に開発中であり、まだランタイムゲートに統合されていません。

pon init | add | remove | install | lock | run | list | freeze | show | download | check | cache | env

ピン留めされたツールチェーン

これらのピンはワークスペース全体で確定しており、Cargo.lock / rust-toolchain.tomlによって強制されます。安易にドリフトさせないでください。

コンポーネントピン
ツールチェーンnightly-2026-04-29 (rust-toolchain.toml)
MSRVrust-version = "1.94.0", edition 2024
パーサーruff gitタグ 0.14.0, PythonVersion::PY314
バックエンドすべて cranelift-* クレート =0.133.1、ロックステップ
BignumPyLongの背後にあるnum-bigint 0.4.6
CLIFフラグpreserve_frame_pointers=true; JITではis_pic=false / AoTではis_pic=true
参照CPython v3.14.0、pon-conformance/vendor/cpython-3.14/REVISIONにピン留め

ステータス

今日検証されていること(すべてラチェットされ、CIでチェックされたフロアの後ろにあります):

  • pon runとpon buildはエンドツーエンドで動作します。上記のクイックスタートは、スモークテスト済みの例です。
  • JIT下でCPython 3.14とバイト単位で同一の209の差分コーパスモジュール。そのうち172モジュールはAoTコンパイルでもパスします。
  • パフォーマンス基盤が整っています:バックグラウンドコンパイル、OSR、インラインキャッシュ、型フィードバック。

まだ完了していないこと—これがアクティブなロードマップであり、順序通りです:

  1. CPythonテストスイート(cpython-full):継続的な作業。失敗は波ごとにクラスター化され、解消されます。
  2. 標準ライブラリの構築:_io/os、math/struct/random、collections/itertools/json、datetime、importlibの互換性。それぞれがネイティブモジュールと差分コーパスモジュールとして着地します。
  3. パフォーマンスラチェット:タグ付き小整数フリップ、TLABアロケーション、辞書高速パス、浮動小数点アンボクシング、呼び出し/属性特殊化、ジェネレータティアリング—≥5倍のCPython幾何平均ターゲット(数値≥20倍)を目指します。
  4. AoT互換性の拡大:フルコーパスに向けて、およびシングルバイナリ製品の洗練。
  5. GILなし/フリースレッドランタイムの強化:スレッド/GC/シグナルストレスがデフォルトランタイムパスに適用され、残りのギャップはラチェットされたスイートで追跡されます。

言語レベルでの既知のギャップは、上記のラチェットされたフロアを通じて解消されます。コミットされたフロアファイルが、このREADMEではなく、権威ある互換性ベースラインです。