偶然にも Jax 用の LLVM コンパイラを構築してしまった
We accidentally built an LLVM compiler for Jax (iza.ac)
要約
PennyLane の量子コンパイラ Catalyst の開発チームは、MLIR を使用してハイブリッド量子古典ワークフローを最適化する過程で、JAX を古典 Python 処理の表現に使用しました。その結果、量子命令を含まない純粋な JAX NumPy コードと Python の制御フローを Catalyst の @qjit に渡すと、XLA コンパイラをバイパスし、標準 MLIR を経由して LLVM でコンパイルされることを発見しました。これにより、XLA ランタイムをドロップし、スタンドアロン AOT バイナリ、動的形状配列、ネイティブ Python 制御フローをサポートする、JAX 用の LLVM コンパイラを偶然構築したことになります。
全文翻訳
意図せずJAX用のLLVMコンパイラを構築してしまった話
ソフトウェアを開発していると、ヤクの毛を深く剃りすぎて、予期せず素敵なセーターができあがることがあります(ヤクは、なぜ突然肌寒くなったのか不思議に思っていることでしょう)。
[画像: ヤクの毛を剃る様子]
過去しばらくの間、私のチームと私は、量子ソフトウェアライブラリPennyLaneのためにCatalystという量子コンパイラを開発してきました。私たちの目標は比較的単純でした。MLIRを使用して、大規模なハイブリッド量子古典ワークフローをスケーラブルに最適化することです。これを行うために、古典的なPython処理(NumPyや関連する科学計算ライブラリを含む)をキャプチャし、それを私たちの内部表現に変換するための、高速で堅牢な方法が必要でした。
私たちはいくつかの理由からJAXを選択しました。Python関数をトレースして計算グラフをキャプチャする能力[1]、比較的高いカバレッジでNumPyおよびSciPy APIをサポートしていること、そして既にMLIRまで低レベル化されていることです。また、ネイティブPython制御フロー[2]をキャプチャする能力や、動的形状配列[3]のサポートといった、いくつかの品質向上も目指していました。
しかし、JAXを私たちの量子パイプラインに接続する過程で、私たちはある馬鹿げたことに気づきました。
Catalystの@qjitワークフローに量子命令を一切含める必要はないのです。純粋で標準的なJAX NumPyコードを、ネイティブPython制御フローと共に供給できます。そして、そうすると、CatalystはXLAコンパイラバックエンドを完全にバイパスし、JAX表現を直接標準MLIRに低レベル化し、LLVM経由で機械語にコンパイルします(バックプロパゲーションサポート付き)。
…つまり、私たちは意図せずJAXのためのMLIRコンパイルパイプラインを構築したのです。
import jax.numpy as jnp
from catalyst import qjit
@qjit(autograph=True)
def iterative_layer(weights, inputs, threshold):
x = inputs
while jnp.mean(x) > threshold:
x = jnp.sin(jnp.dot(weights, x))
return x
私たちがこの状況に至った経緯(言い換えれば、当初剃ろうとしていたヤク)を理解するには、量子コンパイルと量子勾配の世界を少し掘り下げる必要があります。私たちの目標は3つありました。
-
既存の成熟した古典コンパイルツール(LLVM)を活用し、それに量子サポートを追加したいと考えました。独自の量子インフラストラクチャをゼロから構築し、古典世界からの機能性をゆっくりと追加していくのではなく。私たちは量子コンピューティングの専門家です。古典ソフトウェアやインフラストラクチャに関しては、なぜ車輪の再発明をする必要があるのでしょうか?[4]
-
量子プログラムを構造化して表現できることを確認したかったのです。つまり、配列操作、量子命令、ループ、if文を自然に織り交ぜることができる能力です。これは、プログラムのコンパクトな表現を維持するのに役立ちます(私たちは自然にループやif文を使って量子アルゴリズムを記述しており、それらが維持されたままコンパイルされるべきです。そうでなければコンパイルは決してスケールしません)。また、量子プログラムのネイティブな動的要素(例: 量子測定と成功まで繰り返すパターンを表すwhileループ)をサポートします。
-
最後に、量子自動微分をサポートし続けたいと考えました。量子ハードウェア上で量子プログラムの勾配を計算する方法を理解するために多大な努力を払ってきました。そして、これが(必要な古典自動微分と並行して)機能し続けることを確認したかったのです。
上記の3つの点を、簡単な声明で要約できるでしょう。
量子アルゴリズムは決して純粋な量子だけではありません[5]。
入力の準備、出力の処理、そして正直なところ、回路を構築すること自体に、膨大な量の古典処理が必要です。これは、量子エラー訂正についてさえも考慮していません。量子エラー訂正では、QPUを取り囲む古典制御ハードウェアは、大規模にパラメータとゲートを計算し、QPUに供給し、測定を実行し、超低レイテンシで決定論的にリアルタイムで反応する必要があります。自然な結論は、量子命令だけをコンパイルするのではなく、ハイブリッド実行グラフ全体を、ベアメタルに可能な限り近い場所で実行される、単一のスタンドアロン実行可能ファイルにコンパイルする必要があるということです。
私たちはMLIR上にこのコンパイラインフラストラクチャを構築することにしました。JAXはPythonレイヤーにとって自然な選択です(微分可能なプログラミングでの使用、および古典コードをキャプチャしてMLIRに低レベル化する能力のため)。そのため、私たちはJAXを拡張して、量子命令セットといくつかの品質向上(Python制御フロー、動的形状配列)をサポートするようにしました。
次に、バックプロパゲーションを処理するために、古典LLVMコード全体で直接バックプロパゲートするようにEnzymeを接続しました。一方、量子勾配を生成するためのカスタムMLIRパスを記述しました。古典JAXコードを直接標準LLVM IRにコンパイルするため、Enzymeのような標準LLVMパスを実質的に「無料で」使用できます。これは、XLAの内部パイプラインに直接接続しようとすると、非常に苦痛な作業になるでしょう。
XLAは、線形代数の最適化とGPUおよびGoogle独自のTPUをターゲットとするための堅実なエンジニアリングです。内部的には、JAXpr(Pythonプログラムの表現)を取得し、MLIR StableHLOダイアレクトに変換し、独自の重い最適化を実行し、最終的にLLVMを使用してCPUおよびGPU(またはTPUを直接ターゲット)の機械語にコンパイルします。
では、XLAが既にLLVMを使用しているのに、なぜ私たちの方法は異なるのでしょうか?
私たちは依然として、線形代数をStableHLOまで低レベル化するという重労働のためにJAXに依存しています。しかし、その表現を従来のXLAパスに送る代わりに、Catalystはそれを傍受し、標準的で汎用的なMLIRダイアレクト(linalg、arith、scfなど)に直接低レベル化します。そこから、それを直接LLVMとEnzymeに供給し、XLAランタイムを完全にドロップします。
(余談:いつか、HLOを完全にバイパスしてNumPyセマンティクスを直接キャプチャできるようになりたいと考えています。しかし、今のところ、JAXに線形代数の低レベル化を任せることで、不必要な苦痛を大量に回避できています!)
フロントエンドのトレースはバックエンドの実行とは完全に分離されているため、量子ビットはオプションです。量子命令がゼロの純粋な古典関数を私たちの@qjit(Quantum Just-In-Time)デコレータ[6]に渡すと、それは機能します。
import jax.numpy as jnp
from catalyst import qjit
import catalyst
# ここには量子コードはありません。純粋なJAX + ネイティブPython制御フローのみです!
@qjit(autograph=True)
def iterative_layer(weights, inputs, threshold):
x = inputs
# 標準のPythonループと条件分岐がシームレスに動作します
# jax.lax.while_loop や jax.lax.cond は不要です!
while jnp.mean(x) > threshold:
x = jnp.sin(jnp.dot(weights, x))
catalyst.debug.print('x={x}', x=x) # ランタイムでの印刷
return x
では…何がポイントなのでしょうか?
正直に言うと、まだ完全にはわかっていません。
はっきりさせておきます。これは標準的なディープラーニングワークロードにおいてXLAに勝るものではありません。 XLAは、GPUやTPU上での線形代数に関する長年の超特化型最適化を持っています。大規模なトランスフォーマーをトレーニングしているなら、標準的なJAXを使用してください。
しかし、私たちがクールだと考えているのは、JAXをより広範なLLVMエコシステムに直接接続し、重いXLAランタイムをドロップすることで何が起こるかということです。(さらに、XLAをBazelでビルドする必要もありません!どういたしまして。)
このブリッジは、いくつかの奇妙で素晴らしいハッキングの機会と品質向上をもたらします。
-
スタンドアロンAOTバイナリ: XLAは、PJRTのような重いPython/C++ランタイムによって管理されるJIT(Just-In-Time)実行環境を想定しています。それをバイパスすることで、実行に外部ML依存性を一切必要としない、純粋なスタンドアロンAOT(Ahead-of-Time)バイナリを生成できます。
-
動的形状配列: JAXを使用している人なら誰でも知っているように、XLAはテンソル形状に関しては非常に厳格です。入力次元が変更されると、通常はフラストレーションがたまり、遅い再コンパイルが発生します。標準MLIRとLLVMに直接マッピングするため、コンパイル済みバイナリで動的形状を標準でサポートできます。可変長シーケンスを処理している場合は、これはQoL(Quality of Life)の大きな向上です。
-
ネイティブPython制御フローとNumPyインデックス:
while、if、for、条件分岐、ブール演算、さらにはNumPy配列の代入まで、すべてAutograph/Diastatic Maltを介して標準で動作します(そして微分可能です)。 -
ベアメタルおよびエッジデプロイメント: JAXでトレーニングされた強化学習ポリシーを、カスタムエッジデバイス、FPGA、または奇妙な組み込みチップで実行したいですか?巨大なMLランタイムを持ち込むことはできません。それを純粋なLLVM IRに削減することで、エッジ(またはトースター???)へのデプロイが実際に可能になります。
-
カスタムMLIRダイアレクトとパス: JAXコードはまず標準MLIRに到達するため、ハードウェアに到達する前に、独自のカスタムダイアレクトやコンパイラパスを簡単に挿入できます。
これらは量子以外でも役立ちますか?
私たちは量子コンピューティングチームなので、特定のユースケース(大規模な量子アルゴリズムのサポート)に集中しています。スタンドアロンの古典JAXからLLVMへのパイプラインを構築したという事実は、私たちにとっては楽しい副産物ですが、他の誰かにとっては強力なツールになるかもしれません。
カスタムハードウェア、エッジML、またはコンパイラインフラストラクチャに取り組んでいる方へ。これは何か興味深いことを解き放ちますか?XLAランタイムをドロップし、ネイティブ制御フローを記述し、JAXでMLIRをターゲットにする能力は、役立つ、または興味深いものでしょうか?
- 入力の動的変数で計算をトレースするか、Python抽象構文ツリーを解析するかについて、私たちは長い間熟考しました。最終的には両方(両方の長所!)を選択しましたが、主にトレースに依存しています。これにより、動的変数に影響を与えない限り、任意のPythonおよびサードパーティライブラリコードを使用できます。↩︎
- 私たちは最終的に、TensorFlowからAutographをフォークして、新しいパッケージDiastatic Maltを作成しました。↩︎
- 動的形状配列は、特に量子アルゴリズム開発において、配列の形状が量子測定の結果によって決定される可能性があるため、大きな品質向上をもたらします。↩︎
- 量子アルゴリズムは決して純粋な量子だけではないことに注意してください。入力の準備、出力の後処理、さらには量子回路自体の構築と表現にも、大量の古典処理が必要です。そして、これは量子エラー訂正に必要な古典処理をすべて無視したものです。↩︎
- 量子コンピューティングで働くためには量子を知る必要があるという誤解があるかもしれません。それは間違いです。量子コンピューティングをサポートするためには、膨大な量の古典ソフトウェアインフラストラクチャと開発が必要です。興味がある場合は、Xanaduのオープンポジションのいくつかをご覧ください。↩︎
- 以下の例を実行するには、
pip install pennylane-catalystを実行するだけです。↩︎