HN 日本語サマリー

← 一覧へ戻る
プログラミング

ブラウザ上のNumba: JupyterLiteで新しい科学的Pythonスタックを解き放つ

Numba in the Browser: Unlocking a New Scientific Python Stack in JupyterLite (notebook.link)

63 pointsby xalfotis14 コメント

要約

JupyterLiteは、WebAssemblyを利用してブラウザ上でPythonカーネルを実行し、サーバー不要の計算環境を提供します。今回、この環境にNumbaのJITコンパイラが導入され、ブラウザ内で直接Pythonコードを高速化できるようになりました。これにより、科学計算の分野で、より手軽で安価なインタラクティブな開発が可能になります。

全文翻訳

ブラウザでNumbaを実行:JupyterLiteで新しい科学的Pythonスタックを解き放つ

JITコンパイラとそのエコシステムがWebブラウザで完全に動作する​

科学者、学生、エンジニアはJupyter Notebookを使用してインタラクティブにアイデアを探求します。つまり、短いコードを書き、実行し、結果を検査し、そこから続けます。従来、このようなNotebookはすべて、サーバーまたはユーザーのマシンで実行されるPythonプロセスを必要としていました。

JupyterLiteはこのモデルを変更します。そのカーネルはWebAssemblyを通じてローカルのWebブラウザで実行されるため、静的なWebサイトはサーバーを各ユーザーに割り当てることなく、完全な計算環境を提供できます。これにより、ドキュメント、教育、インタラクティブなデモンストレーションのいずれに使用される場合でも、Notebookの共有が大規模かつ安価になります。

しかし、ブラウザベースの科学的Pythonエコシステムには、重要なピースが欠けていました。それはNumbaです。

本日、JupyterLiteとemscripten-forgeを使用して、ブラウザ上で完全に動作するNumba JITコンパイラの最初の動作バージョンを発表できることを嬉しく思います!

[画像: Numba benchmark in JupyterLite]

JupyterLiteでのNumbaの動作。標準Pythonと比較して249倍の高速化を示しています。

この例では、NumbaはWebAssemblyで約250倍の高速化を実現しており、ネイティブでは約90倍です。相対的なゲインが大きいほど、Numbaはブラウザで特に魅力的になります。なぜなら、Pythonインタプリタのオーバーヘッドを回避することがさらに大きな影響を与える可能性があるからです。

これは、Python関数をNumbaの中間表現(IR)に変換し、型付けし、LLVM IRに低下させ、WebAssemblyにコンパイルし、動的にリンクし、実行できることを意味します。すべてリモートのPythonサーバーなしで実行できます。

こちらでお試しください:Numba and its ecosystem in JupyterLite。

長年の要望​

WebAssemblyでのNumbaサポートは長年議論されてきました。この要望は、2018年のnumba/numba#3284でNumbaプロジェクトに早くも登場し、Pyodideコミュニティはpyodide/pyodide-recipes#192でパッケージングの課題を追跡していました。

難しかったのは、NumbaがWebAssembly用にパッケージ化されたことがなかったという単純なことではありませんでした。Numbaはコンパイラであり、その実行モデルはllvmliteとLLVMに依存しています。ネイティブプラットフォームでは、生成されたマシンコードを実行可能メモリに配置してすぐに呼び出すことができます。ブラウザは、アプリケーションがこのように実行可能メモリを作成または変更することを意図的に許可していません。

その結果、Numbaをブラウザに持ち込むには、ビルドシステムを調整したり、いくつかのプラットフォームチェックを修正したりする以上のことが必要でした。llvmlite用のWebAssembly対応実行エンジン、実行中のブラウザプロセス内でLLVMリンカを呼び出す方法、そして生成されたコードを永続的なPythonランタイムに動的にロードする方法が必要でした。

幸いなことに、これは以前にも遭遇した問題でした。

インタラクティブC++からllvmliteへ​

以前のXeus-Cpp in JupyterLiteでの作業により、Clang-Repl C++インタプリタがブラウザに移植されました。Clang-ReplもWebAssembly下でLLVMの従来のJITメカニズムを使用できないため、異なるパイプラインを持つWebAssembly実行モデルを導入しました。

  1. 生成されたLLVM IRをWebAssemblyオブジェクトファイルにコンパイルします。
  2. wasm-ldを使用して、それをWebAssemblyサイドモジュール(動的にロードされる共有ライブラリのWebAssembly相当)にリンクします。
  3. サイドモジュールを実行中のアプリケーションに動的にロードします。
  4. そのシンボルを解決し、コンパイルされた関数を呼び出します。

各新しい入力は、実行中のプログラムを段階的に拡張します。新しくロードされたサイドモジュールはメインアプリケーションとメモリを共有し、そのエクスポートされたシンボルは後でロードされたモジュールで使用できます。

この作業は現在、ブラウザでのXeus-Cppの基盤となっています。また、インタラクティブC++ワークフローに関するFOSDEM 2026の講演の主題でもあります。

このプロジェクトの背後にある中心的な発見は、同様のアーキテクチャをllvmliteに適用できるということでした。

llvmliteを通じて生成されたLLVMモジュールを取得し、WebAssemblyオブジェクトをエクスポートし、LLVMのリンカであるLLDをインプロセス再入可能ドライバ経由で呼び出し、各結果をEmscriptenサイドモジュールとしてロードするWebAssembly実行エンジンを実装しました。インプロセスでLLDを使用することは不可欠です。ブラウザ内でwasm-ldサブプロセスを起動することは選択肢ではありません。

モジュールはグローバルにロードされ、維持されるため、ランタイムライブラリ、コンパイラ生成ヘルパー、およびユーザー関数がお互いを解決できるようになります。これにより、Numbaが必要とする段階的な実行動作が得られ、ブラウザのセキュリティモデルが尊重されます。

スタックをさらに上に移動する前に、このエンジンを直接使用してLLVM IRをコンパイル、最適化、検査、実行しました。また、インプロセスでのGraphvizレンダリングを有効にし、dot実行可能ファイルをサブプロセスとして起動せずに制御フローグラフを表示できるようにしました。

この低レベルのパイプラインは、llvmlite and Graphviz in JupyterLiteで探索できます。

[画像: An LLVM control-flow graph rendered in JupyterLite]

LLVM IRを構築し、その制御フローグラフを完全にブラウザでレンダリングします。

スタックをNumbaまで歩む​

Numbaは、はるかに扱いやすいレベルから始まります。ユーザーは通常のPython関数を書き、@jitまたは@njitを適用します。

from numba import njit

@njit
def add(a, b):
    return a + b

add(1.0, 2.5)

この小さな例の背後には、完全なコンパイラパイプラインがあります。NumbaはPythonバイトコードを読み取り、独自の П中間表現を構築します。引数と中間値の具体的な型を推論し、コンパイラ変換を実行し、型付けされたプログラムをllvmliteを通じてLLVM IRに低下させます。

ネイティブマシンでは、llvmliteは結果をLLVMのJIT実行エンジンに渡します。JupyterLiteでは、代わりにモジュールを新しいWebAssemblyエンジンに渡します。モジュールはコンパイルされ、サイドモジュールとしてリンクされ、実行中のXeus-Pythonカーネルにロードされ、Numbaがそれを呼び出せるようにWebAssembly関数テーブルを通じて公開されます。

単一のユーザー関数は複数のモジュールを含む場合があります。Numbaは最初にNumba Runtime(NRT)のようなランタイムサポートをロードし、次にコンパイラ生成ヘルパーをロードし、最後にユーザー関数とそのCPython呼び出し可能ラッパーを含むモジュールをロードする場合があります。これらのモジュールは、後続のコードが以前のモジュールによって提供されるシンボルを解決できるように、正しい順序でロードされる必要があります。

また、@njit(cache=True)を通じて永続的なオブジェクトキャッシュを追加しました。キャッシュが有効な関数が後続のブラウザセッションで再度使用されると、NumbaはJupyterLiteの永続ファイルシステムからキャッシュされたコンパイルデータを復元します。llvmliteは対応するWebAssemblyオブジェクトを再利用し、新しいカーネルプロセスに新鮮なサイドモジュールを再リンクしてロードします。

結果は、Numbaを模倣したインタプリタでも、Notebookの背後に隠されたリモートサービスでもなく、ブラウザでの本物のNumbaコンパイルと実行です。

emscripten-forgeでのNumbaのパッケージング​

Numbaをブラウザで動作させることができたら、ソフトウェアを採用するための鍵は配布できることです。ここでemscripten-forgeが登場します。Emscripten-forgeは、ブラウザ向けのWebAssemblyソフトウェア配布プラットフォームです。conda/mambaスタックとconda-forgeを基盤としており、Webブラウザ向けの完全なパッケージ管理ソリューションと、Python科学スタック(NumPy、SciPy、LLVM、Clang、LLD)、Rスタック、さらにはネイティブコマンドラインアプリケーションや完全なツールチェーンを含む幅広いパッケージを提供します。

Numbaは現在emscripten-forgeで利用可能であり、JupyterLiteデプロイメントで簡単に使用できるようになりました!

[画像: Installing Numba with Mamba inside JupyterLite]

JupyterLiteのターミナルでMambaを使用して、NumbaのWebAssemblyビルドを動的にインストールします。

Numba上のエコシステムを解き放つ​

スカラー加算のコンパイルは重要なマイルストーンですが、より広範な動機は、Numbaが利用可能になったことで可能になるエコシステムです。

私たちのデモンストレーションは、認識可能なNumbaの例と数値配列カーネルから始まります。次に、Numbaを直接、または独自のコンパイルバックエンドを通じて使用するパッケージを上に見ていきます。

  • PyTensorは、Numbaリンカを使用してシンボリック数値グラフをコンパイルできます。
  • PyMCは、PyTensor上に構築されており、同じブラウザ環境に馴染みのある確率モデルをもたらします。
  • interpolation.pyは、数値経済学で使用されるNumbaアクセラレーテッド補間ルーチンを提供します。
  • Dolo.pyはこのスタックを基盤として、経済学者向けのJIT対応数値ルーチン(確率過程、決定規則)と、動的計画問題の最適化された解法メソッドを提供します。

つまり、1つのコンパイラを有効にすることは、1つのパッケージ以上のものを解き放ちます。これにより、これまでJupyterLiteに完全な実行モデルをもたらすことができなかった統計学、確率論、経済学、科学計算ライブラリへの道が開かれます。

[画像: The Numba ecosystem running in JupyterLite]

JupyterLiteのXeus-Pythonを通じて実行されるNumbaエコシステム。

完全な進行状況は、Numba, PyTensor, PyMC, Interpolation.py, and Dolo.py in the browserで試すことができます。

今後の展望​

現在の作業はエンドツーエンドのアーキテクチャを確立しますが、まだやるべきことはあります。変更を的を絞った貢献としてアップストリームに移行し、Numbaとllvmliteスイート全体でテストカバレッジを拡大し、パフォーマンスと永続キャッシュを改善し、より広範なNumbaエコシステムからのより多くのパッケージを検証したいと考えています。

WebAssemblyターゲット機能(SIMDなど)は、数値カーネルにとってエキサイティングな方向性も提供します。エコシステムレベルでは、Numbaに依存するプロジェクトは、最初からWebAssemblyを除外するのではなく、ブラウザサポートのために評価できるようになりました。

最も重要なことは、この作業は、洗練されたコンパイラスタックがWebブラウザの境界で止まる必要がないことを示していることです。emscripten-forgeを通じてLLVM、LLD、llvmlite、Numbaが利用可能になったことで、JupyterLiteは軽量なPython環境から、本格的なコンパイル済み科学計算のプラットフォームへと成長できます。

コミュニティがこの上に何を作り上げるかを見るのが楽しみです!

著者について​

Anutosh BhatはQuantStackの科学ソフトウェア開発者です。彼はLLVMメンテナーであり、C++用のJupyterカーネルであるXeus-Cppの共著者です。Anutoshは、llvmliteとNumbaのWebAssembly統合を主導しました。

謝辞​

この作業はQuantStackで開発され、LLVM、Clang-Repl、Emscripten、llvmlite、Numba、Xeus-Python、JupyterLite、Graphviz、emscripten-forgeの貢献に基づいています。

これらのプロジェクトのメンテナーおよび貢献者、特にこの作業のアップストリーム化に関する議論でNumbaコミュニティに感謝します。