Show HN: Nimic – AOTコンパイルを備えたシステム言語としての純粋なPython
Show HN: Nimic – Pure Python as a systems language with AOT compilation (github.com)
要約
Nimicは、Pythonのサブセット(ドメイン固有言語)を使用してAOT(事前)コンパイル可能なコードを記述し、Pythonを離れることなくCレベルのパフォーマンスを達成することを目指す純粋なPythonモジュールです。ctypesモジュールを基盤とし、Nimプログラミング言語にトランスパイルされることで、ネイティブな動作とPythonの記述性を両立させています。これにより、Python開発者は低レベルのシステムプログラミングにおいて高いパフォーマンスを得ることが可能になります。
全文翻訳
Show HN: Nimic – 純粋なPythonをAOTコンパイル可能なシステム言語として使用
Nimicは、純粋なPythonをシステム言語としてAOTコンパイル(Ahead-Of-Time compilation)を可能にします。CPython内で直接システムレベルの機能(組み込みのctypesモジュールを利用)を提供し、全く同じコードを効率的なネイティブバイナリにAOTコンパイルできます。
Nimプログラミング言語に密接に従い、nimicはネイティブ型、ポインタおよびそれらに対する操作、マルチディスパッチ、演算子オーバーロード、テンプレートなどをエミュレートします。Nimicコードは静的型付けされたPythonのサブセット(ドメイン固有言語)であり、Nimにトランスパイルされることで、Pythonを離れることなくC言語レベルのパフォーマンスを実現します。
主要原則: nimicコードは、CPythonで変更なく実行でき、かつ等価なNimコードにトランスパイルされる、有効なPythonコードです。
nimicで構築されたプロジェクト
インストール
python3 -m pip install nimic
なぜNimicなのか?
執筆時点では、NimicはCPythonランタイムで直接動作する包括的なシステム言語機能を提供し、対応するコードを効率的なネイティブバイナリまたはCモジュールにAOTコンパイルできる唯一のパッケージです。なぜNimなのか?その構文はPythonによく似ており、Pythonでその構造をエミュレートする方法はかなり明確であり、パフォーマンスはC言語に匹敵します(C言語にコンパイルされるため)。
- nimicコードは型ヒントとctypesシムを備えた標準的なPythonであるため、完全に有効なCPythonスクリプトであり、開発中にPython REPLを使用したり、重いアルゴリズムループの途中にブレークポイントを挿入して変数をネイティブに検査したりできます。
-ロックインフリー: 特別なランタイムエンジンは不要です。Nimコンパイラが利用できない場合でも、スクリプトは(一部のエミュレーションオーバーヘッドにより標準Pythonより遅いですが)CPythonがインストールされているあらゆるマシンで実行されます。
-シームレスな配布: これを使用して、高性能なロジックをPythonでネイティブに開発し、Pythonツールでデバッグし、Nim経由でネイティブ実行可能ファイルまたはC拡張機能にコンパイルできます。 - レイトレーサーを使用したベンチマークは、単一の512x288シーンのレンダリング時間を、純粋なPythonでの数時間からM1 CPUコア1つでわずか10分に短縮したことを示しています。
このモジュールはまだ開発途上であり、現在以下のNimの型と機能をサポートしています。
- 固定幅の整数型および浮動小数点型
- 構造体とオブジェクト
- 列挙型
- 配列と動的配列(シーケンス)
- 文字列
- 名前付きタプル
- バリアント型
- ジェネリクスを使用したマルチディスパッチ
- 演算子オーバーロードと型区別
- イテレータ
- ビット演算、参照、ポインタキャスト、ポインタ算術
- Nim標準ライブラリの一部
- テンプレートとコンパイル時条件
類似プロジェクト
CPythonランタイムでPythonコードを実行することをサポートするプロジェクト:
- Cython (https://github.com/cython/cython): CythonはPythonコードをC/C++コードに変換しますが、C関数の呼び出しや変数およびクラス属性でのC型の宣言もサポートします。
- Mypyc (https://github.com/python/mypy/tree/master/mypyc): MypycはPythonモジュールをC拡張機能にコンパイルします。標準のPython型ヒントを使用して高速なコードを生成します。
- Pyccel (https://github.com/pyccel/pyccel): アクセラレータを使用するPython拡張言語
- Shed Skin (https://github.com/shedskin/shedskin): 純粋だが暗黙的に静的型付けされたPython 3プログラムを最適化されたC++に変換できるトランスパイラです。
- Numba (https://github.com/numba/numba): LLVMを使用したNumPy対応の動的Pythonコンパイラです。
異なる言語とランタイムを持つプロジェクト:
- SPy (https://github.com/spylang/spy) は、Pythonの「便利な」動的機能の多くを維持しながら静的にコンパイルできるように特別に設計されたPythonのバリアントです。
- Codon (https://github.com/exaloop/codon) は、ランタイムオーバーヘッドなしでネイティブマシンコードにコンパイルされる高性能Python実装です。
- Mojo (https://github.com/modular/modular/tree/main/mojo): Pythonの構文とエコシステムをシステムプログラミングおよびメタプログラミング機能と組み合わせることで、研究と本番環境のギャップを埋める新しいプログラミング言語です。
クイック例
この例(ppm-to-mp4コンバーターコードの一部を適応させたもの)は、メモリ割り当て、ポインタ演算、構造体キャストなどの低レベルシステムロジックを、コンパイル前に標準Pythonインタープリタ内で直接処理するnimicの能力を示しています。
from __future__ import annotations
from nimic.ntypes import *
from nimic.system.ansi_c import c_malloc, c_free, csize_t
@ptr
class Frame(Object):
Y: ptr[UncheckedArray[uint8]]
Cb: ptr[UncheckedArray[uint8]]
Cr: ptr[UncheckedArray[uint8]]
lumaWidth: int32
lumaHeight: int32
size: int32
buffer: UncheckedArray[uint8]
with var:
width = 1920
height = 1080
size = width * height
frame = cast[Frame](
alloc_shared0(
3 * sizeof(pointer) + # Y, Cb, Cr pointers
3 * sizeof(int32) + # lumaWidth, lumaHeight, size
size # buffer
)
)
frame.size = int32(size)
frame.lumaWidth = int32(width)
frame.lumaHeight = int32(height)
frame.Y = cast[ptr[UncheckedArray[uint8]]](addr(frame.buffer))
frame.Cb = frame.Y # For simplicity, point Cb and Cr to the same buffer
frame.Y[0] = uint8(1)
assert frame.Cb[0] == uint8(1)
def fourCC(a: char, b: char, c: char, d: char) -> uint32:
"""{.inline.}"""
return (uint32(ord(a)) << 24) | (uint32(ord(b)) << 16) | (uint32(ord(c)) << 8) | uint32(ord(d))
with var:
stackBase = array[20, ptr[uint8]]() # A small stack for pointers
stack = cast[ptr[ptr[uint8]]](addr(stackBase[0])) # Pointer to the top of the stack
with let:
indexBytes = 1024
base = cast[ptr[uint8]](c_malloc(csize_t(indexBytes))) # Allocate memory
with var:
p = base.copy() # copy pointer as mutable
with let:
BOX_trak = fourCC('t','r','a','k') # Example FourCC code
x = BOX_trak
cast[ptr[ptr[uint8]]](stack).contents = p # save pointer p to stackBase
stack <<= cast[ptr[ptr[uint8]]](cast[intp](stack) + sizeof(pointer)) # update stack pointer (push)
p <<= cast[ptr[uint8]](cast[intp](p) + 4) # Move pointer forward by 4 bytes
p.contents = uint8((x >> 24) & 0xFF) # Write the first byte of x
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8((x >> 16) & 0xFF) # Write the second byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8((x >> 8) & 0xFF) # Write the third byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8(x & 0xFF) # Write the fourth byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
stack <<= cast[ptr[ptr[uint8]]](cast[intp](stack) - sizeof(pointer)) # restore stack pointer (pop)
with let:
atomStart = cast[ptr[ptr[uint8]]](stack).contents # Get the saved pointer
with let:
xu = uint32(cast[intp](p) - cast[intp](atomStart)) # Calculate offset
arr = cast[ptr[UncheckedArray[uint8]]](p)
arr[0] = uint8((xu >> 24) & 0xFF)
arr[1] = uint8((xu >> 16) & 0xFF)
arr[2] = uint8((xu >> 8) & 0xFF)
arr[3] = uint8(xu & 0xFF)
assert arr[3] == uint8(8) # pointer offset should be 8
with let:
arr = cast[ptr[UncheckedArray[uint8]]](atomStart)
assert arr[4] == uint8(ord('t')) # Check the first byte written
c_free(base) # Free allocated memory
モジュールアーキテクチャ
nimic/
├── ntypes.py — Public API: type system + Nim keyword/builtin shims の再エクスポート
├── ntypesystem.py — Core type system (Object, NScalar, seq, dispatch, distinct, converter)
├── transpiler.py — ASTベースのPython → Nimソースコードトランスパイラ
├── inliner.py — テンプレート関数インライン化 (@template, @template_expand)
├── ncode/ — Nim定義 (pydefs.nim, pystd/)
├── nimpy/ — Pythonライブラリ生成用API
├── std/ — Nim標準ライブラリのPythonシム (math, options, os, paths, strformat, ...)
└── system/ — Nim systemモジュールのPythonシム (ansi_c)
ntypesystem.py — コア型システム
低レベルメモリから高レベル抽象化までレイヤー化されています。
| レイヤー | クラス | 目的 |
|---|---|---|
| メモリ | Ntype, NTypeRegistry | 値セマンティクスを持つctypesベースのバッファ |
| スカラー | NScalar → NInteger / NFloat | 算術プロモーションを備えた固定幅型(int8..int64, uint8..uint64, float16..float64) |
| 構造体 | Object | アノテーションによるフィールド、ctypes.Structureによるバックアップを持つNimの「object」 |
| 列挙型 | NIntEnum | 自動登録を備えたNimの整数列挙型 |
| バリアント | Object + match kind: | Nimの「case object」 — 識別された共用体(discriminated unions) |
| コンテナ | seq[T], UncheckedArray[T] | 拡張可能なシーケンスとポインタインデックス配列 |
| ディスパッチ | @dispatch, DispDict, NMetaClass | 型アノテーションによるNimスタイルのマルチディスパッチ |
| 修飾子 | @distinct, @converter | 型の区別と自明な型変換 |
| 文字列 | string | Nim互換の&, %, isEmptyを持つstrサブクラス |
ntypes.py — 公開API & キーワード
ntypesystemのすべてを再エクスポートし、Nimキーワード/ビルトインエミュレーションを追加します。
- コンパイラヒント —
const,let,var,block,export,alias(Pythonではノーオペレーション、Nimではスコープ) - 参照型 —
ref,ptr,mut@(@演算子はアイデンティティを返します) - 列挙型ユーティリティ —
NStrEnum(succ/pred/ord/nrange/low/high付き) - キャスト & メモリ —
cast[T](x),sizeof(x),addr(x),unsafe_addr(x) - 型エイリアス —
SomeInteger,SomeFloat,untyped,char,u64,i64,f64 - イテレーション —
fields(obj),fields(a, b),countdown(a, b) - コンパイル時 —
comptime(x),defined(varname),static - テンプレート —
@template,@template_expand(inlinerから再エクスポート)
transpiler.py — Python → Nim トランスパイラ
_UnparserがNim構文を出力するように拡張された、変更されたCPython ast.pyです。インデント、型定義、関数シグネチャ、演算子、インポート、制御フローのために30以上の変換ルールを実装しています。
inliner.py — テンプレートインライニング
@template + @template_expandデコレータは、型指定のないテンプレートのASTレベルの関数インライン化を実行し、パラメータ名を呼び出し引数に置き換えます。
DSL規約
NimicはPython構文を使用しますが、ランタイムの動作とNimのトランスパイルセマンティクスで二重の意味を持つ特定の規約があります。
| 規約 | 例 | 目的 |
|---|---|---|
with let/var/const: | with let: x = vec3(1,2,3) | 変数宣言スコープ修飾子 |
mut @ アノテーション | def f(x: mut @ Vec3): | ミュータブル引数(Nimではvar) |
{.pragma.} ドキュメント文字列 | """{.inline.}""" | Nimプラグマ(inline, borrow, noSideEffect) |
@dispatch | @dispatch def f(x: float64): | 引数型によるマルチディスパッチ |
@distinct | @distinct class Color(Vec3): | 独立した型(暗黙的な変換なし) |
@template | @template def toUV(v): | テンプレート(呼び出しサイトでインライン化) |
@converter | @converter def toVec3(uv): | 暗黙的な型変換 |
<<= | dst <<= -src | ミュータブル変数への値代入 |
match kind: | match kind: case K.a: ... | バリアント型の定義(case object) |
comptime(expr) | if comptime(cond): | コンパイル時評価(Nimではwhen) |
fields(obj) | for f in fields(obj): | オブジェクトフィールドのイテレーション |
with export: | with export: mod1, mod2 | モジュールの再エクスポート |