HN 日本語サマリー

← 一覧へ戻る
プログラミング

Show HN: Nimic – AOTコンパイルを備えたシステム言語としての純粋なPython

Show HN: Nimic – Pure Python as a systems language with AOT compilation (github.com)

8 pointsby dima-quant2 コメント

要約

Nimicは、Pythonのサブセット(ドメイン固有言語)を使用してAOT(事前)コンパイル可能なコードを記述し、Pythonを離れることなくCレベルのパフォーマンスを達成することを目指す純粋なPythonモジュールです。ctypesモジュールを基盤とし、Nimプログラミング言語にトランスパイルされることで、ネイティブな動作とPythonの記述性を両立させています。これにより、Python開発者は低レベルのシステムプログラミングにおいて高いパフォーマンスを得ることが可能になります。

全文翻訳

Show HN: Nimic – 純粋なPythonをAOTコンパイル可能なシステム言語として使用

Nimicは、純粋なPythonをシステム言語としてAOTコンパイル(Ahead-Of-Time compilation)を可能にします。CPython内で直接システムレベルの機能(組み込みのctypesモジュールを利用)を提供し、全く同じコードを効率的なネイティブバイナリにAOTコンパイルできます。

Nimプログラミング言語に密接に従い、nimicはネイティブ型、ポインタおよびそれらに対する操作、マルチディスパッチ、演算子オーバーロード、テンプレートなどをエミュレートします。Nimicコードは静的型付けされたPythonのサブセット(ドメイン固有言語)であり、Nimにトランスパイルされることで、Pythonを離れることなくC言語レベルのパフォーマンスを実現します。

主要原則: nimicコードは、CPythonで変更なく実行でき、かつ等価なNimコードにトランスパイルされる、有効なPythonコードです。

nimicで構築されたプロジェクト

インストール

python3 -m pip install nimic

なぜNimicなのか?

執筆時点では、NimicはCPythonランタイムで直接動作する包括的なシステム言語機能を提供し、対応するコードを効率的なネイティブバイナリまたはCモジュールにAOTコンパイルできる唯一のパッケージです。なぜNimなのか?その構文はPythonによく似ており、Pythonでその構造をエミュレートする方法はかなり明確であり、パフォーマンスはC言語に匹敵します(C言語にコンパイルされるため)。

  • nimicコードは型ヒントとctypesシムを備えた標準的なPythonであるため、完全に有効なCPythonスクリプトであり、開発中にPython REPLを使用したり、重いアルゴリズムループの途中にブレークポイントを挿入して変数をネイティブに検査したりできます。
    -ロックインフリー: 特別なランタイムエンジンは不要です。Nimコンパイラが利用できない場合でも、スクリプトは(一部のエミュレーションオーバーヘッドにより標準Pythonより遅いですが)CPythonがインストールされているあらゆるマシンで実行されます。
    -シームレスな配布: これを使用して、高性能なロジックをPythonでネイティブに開発し、Pythonツールでデバッグし、Nim経由でネイティブ実行可能ファイルまたはC拡張機能にコンパイルできます。
  • レイトレーサーを使用したベンチマークは、単一の512x288シーンのレンダリング時間を、純粋なPythonでの数時間からM1 CPUコア1つでわずか10分に短縮したことを示しています。

このモジュールはまだ開発途上であり、現在以下のNimの型と機能をサポートしています。

  • 固定幅の整数型および浮動小数点型
  • 構造体とオブジェクト
  • 列挙型
  • 配列と動的配列(シーケンス)
  • 文字列
  • 名前付きタプル
  • バリアント型
  • ジェネリクスを使用したマルチディスパッチ
  • 演算子オーバーロードと型区別
  • イテレータ
  • ビット演算、参照、ポインタキャスト、ポインタ算術
  • Nim標準ライブラリの一部
  • テンプレートとコンパイル時条件

類似プロジェクト

CPythonランタイムでPythonコードを実行することをサポートするプロジェクト:

異なる言語とランタイムを持つプロジェクト:

  • SPy (https://github.com/spylang/spy) は、Pythonの「便利な」動的機能の多くを維持しながら静的にコンパイルできるように特別に設計されたPythonのバリアントです。
  • Codon (https://github.com/exaloop/codon) は、ランタイムオーバーヘッドなしでネイティブマシンコードにコンパイルされる高性能Python実装です。
  • Mojo (https://github.com/modular/modular/tree/main/mojo): Pythonの構文とエコシステムをシステムプログラミングおよびメタプログラミング機能と組み合わせることで、研究と本番環境のギャップを埋める新しいプログラミング言語です。

クイック例

この例(ppm-to-mp4コンバーターコードの一部を適応させたもの)は、メモリ割り当て、ポインタ演算、構造体キャストなどの低レベルシステムロジックを、コンパイル前に標準Pythonインタープリタ内で直接処理するnimicの能力を示しています。

from __future__ import annotations
from nimic.ntypes import *
from nimic.system.ansi_c import c_malloc, c_free, csize_t

@ptr
class Frame(Object):
    Y: ptr[UncheckedArray[uint8]]
    Cb: ptr[UncheckedArray[uint8]]
    Cr: ptr[UncheckedArray[uint8]]
    lumaWidth: int32
    lumaHeight: int32
    size: int32
    buffer: UncheckedArray[uint8]

with var:
    width = 1920
    height = 1080
    size = width * height
    frame = cast[Frame](
        alloc_shared0(
            3 * sizeof(pointer) +  # Y, Cb, Cr pointers
            3 * sizeof(int32) +    # lumaWidth, lumaHeight, size
            size                   # buffer
        )
    )

frame.size = int32(size)
frame.lumaWidth = int32(width)
frame.lumaHeight = int32(height)
frame.Y = cast[ptr[UncheckedArray[uint8]]](addr(frame.buffer))
frame.Cb = frame.Y # For simplicity, point Cb and Cr to the same buffer
frame.Y[0] = uint8(1)

assert frame.Cb[0] == uint8(1)

def fourCC(a: char, b: char, c: char, d: char) -> uint32:
    """{.inline.}"""
    return (uint32(ord(a)) << 24) | (uint32(ord(b)) << 16) | (uint32(ord(c)) << 8) | uint32(ord(d))

with var:
    stackBase = array[20, ptr[uint8]]() # A small stack for pointers
    stack = cast[ptr[ptr[uint8]]](addr(stackBase[0])) # Pointer to the top of the stack

with let:
    indexBytes = 1024
    base = cast[ptr[uint8]](c_malloc(csize_t(indexBytes))) # Allocate memory

with var:
    p = base.copy()  # copy pointer as mutable

with let:
    BOX_trak = fourCC('t','r','a','k') # Example FourCC code
    x = BOX_trak

cast[ptr[ptr[uint8]]](stack).contents = p  # save pointer p to stackBase
stack <<= cast[ptr[ptr[uint8]]](cast[intp](stack) + sizeof(pointer))  # update stack pointer (push)

p <<= cast[ptr[uint8]](cast[intp](p) + 4) # Move pointer forward by 4 bytes
p.contents = uint8((x >> 24) & 0xFF) # Write the first byte of x
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8((x >> 16) & 0xFF) # Write the second byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8((x >> 8) & 0xFF)  # Write the third byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)
p.contents = uint8(x & 0xFF)      # Write the fourth byte
p <<= cast[ptr[uint8]](cast[intp](p) + 1)

stack <<= cast[ptr[ptr[uint8]]](cast[intp](stack) - sizeof(pointer))  # restore stack pointer (pop)

with let:
    atomStart = cast[ptr[ptr[uint8]]](stack).contents # Get the saved pointer

with let:
    xu = uint32(cast[intp](p) - cast[intp](atomStart)) # Calculate offset
    arr = cast[ptr[UncheckedArray[uint8]]](p)
    arr[0] = uint8((xu >> 24) & 0xFF)
    arr[1] = uint8((xu >> 16) & 0xFF)
    arr[2] = uint8((xu >> 8) & 0xFF)
    arr[3] = uint8(xu & 0xFF)

assert arr[3] == uint8(8)  # pointer offset should be 8

with let:
    arr = cast[ptr[UncheckedArray[uint8]]](atomStart)
assert arr[4] == uint8(ord('t')) # Check the first byte written

c_free(base) # Free allocated memory

モジュールアーキテクチャ

nimic/
├── ntypes.py       — Public API: type system + Nim keyword/builtin shims の再エクスポート
├── ntypesystem.py  — Core type system (Object, NScalar, seq, dispatch, distinct, converter)
├── transpiler.py   — ASTベースのPython → Nimソースコードトランスパイラ
├── inliner.py      — テンプレート関数インライン化 (@template, @template_expand)
├── ncode/          — Nim定義 (pydefs.nim, pystd/)
├── nimpy/          — Pythonライブラリ生成用API
├── std/            — Nim標準ライブラリのPythonシム (math, options, os, paths, strformat, ...)
└── system/         — Nim systemモジュールのPythonシム (ansi_c)
ntypesystem.py — コア型システム

低レベルメモリから高レベル抽象化までレイヤー化されています。

レイヤークラス目的
メモリNtype, NTypeRegistry値セマンティクスを持つctypesベースのバッファ
スカラーNScalar → NInteger / NFloat算術プロモーションを備えた固定幅型(int8..int64, uint8..uint64, float16..float64)
構造体Objectアノテーションによるフィールド、ctypes.Structureによるバックアップを持つNimの「object」
列挙型NIntEnum自動登録を備えたNimの整数列挙型
バリアントObject + match kind:Nimの「case object」 — 識別された共用体(discriminated unions)
コンテナseq[T], UncheckedArray[T]拡張可能なシーケンスとポインタインデックス配列
ディスパッチ@dispatch, DispDict, NMetaClass型アノテーションによるNimスタイルのマルチディスパッチ
修飾子@distinct, @converter型の区別と自明な型変換
文字列stringNim互換の&, %, isEmptyを持つstrサブクラス
ntypes.py — 公開API & キーワード

ntypesystemのすべてを再エクスポートし、Nimキーワード/ビルトインエミュレーションを追加します。

  • コンパイラヒント — const, let, var, block, export, alias(Pythonではノーオペレーション、Nimではスコープ)
  • 参照型 — ref, ptr, mut@(@演算子はアイデンティティを返します)
  • 列挙型ユーティリティ — NStrEnum(succ/pred/ord/nrange/low/high付き)
  • キャスト & メモリ — cast[T](x), sizeof(x), addr(x), unsafe_addr(x)
  • 型エイリアス — SomeInteger, SomeFloat, untyped, char, u64, i64, f64
  • イテレーション — fields(obj), fields(a, b), countdown(a, b)
  • コンパイル時 — comptime(x), defined(varname), static
  • テンプレート — @template, @template_expand(inlinerから再エクスポート)
transpiler.py — Python → Nim トランスパイラ

_UnparserがNim構文を出力するように拡張された、変更されたCPython ast.pyです。インデント、型定義、関数シグネチャ、演算子、インポート、制御フローのために30以上の変換ルールを実装しています。

inliner.py — テンプレートインライニング

@template + @template_expandデコレータは、型指定のないテンプレートのASTレベルの関数インライン化を実行し、パラメータ名を呼び出し引数に置き換えます。

DSL規約

NimicはPython構文を使用しますが、ランタイムの動作とNimのトランスパイルセマンティクスで二重の意味を持つ特定の規約があります。

規約例目的
with let/var/const:with let: x = vec3(1,2,3)変数宣言スコープ修飾子
mut @ アノテーションdef f(x: mut @ Vec3):ミュータブル引数(Nimではvar)
{.pragma.} ドキュメント文字列"""{.inline.}"""Nimプラグマ(inline, borrow, noSideEffect)
@dispatch@dispatch def f(x: float64):引数型によるマルチディスパッチ
@distinct@distinct class Color(Vec3):独立した型(暗黙的な変換なし)
@template@template def toUV(v):テンプレート(呼び出しサイトでインライン化)
@converter@converter def toVec3(uv):暗黙的な型変換
<<=dst <<= -srcミュータブル変数への値代入
match kind:match kind: case K.a: ...バリアント型の定義(case object)
comptime(expr)if comptime(cond):コンパイル時評価(Nimではwhen)
fields(obj)for f in fields(obj):オブジェクトフィールドのイテレーション
with export:with export: mod1, mod2モジュールの再エクスポート