JuliaからRustへ:科学計算のための微分可能なテンソルスタック
From Julia to Rust: a differentiable tensor stack for scientific computing (tensor4all.org)
要約
tenferro-rsは、Rustネイティブの密テンソルスタックであり、線形代数、PyTorchスタイルの即時自動微分、JAXスタイルのトレース変換、NumPyスタイルのアインシュタイン summation、FFTなどを提供します。これまでのJuliaでの開発からRustへの移行は、AIがコードを生成する時代において、人間のコーディング速度よりもコードの正確性と検証可能性を重視するという考えに基づいています。tenferro-rsは既存のRustライブラリを統合し、科学計算におけるテンソル層の欠けていた部分を補完することを目指しています。
全文翻訳
From Julia to Rust: a differentiable tensor stack for scientific computing in the agentic AI era
tenferro-rs は、線形代数、PyTorchスタイルのEager自動微分、JAXスタイルのトレース変換、NumPyスタイルのeinsum、FFT、拡張可能なオペレーションクレート、明示的なCPU/CUDAバックエンドを備えた、科学計算のためのRustネイティブなテンソル&自動微分スタックです。最初のクレートは2026年6月23日(日本時間)にcrates.ioに公開されました。
by Hiroshi Shinaoka (Saitama University), for the tensor4all team
[画像: tenferro-rs architecture overview]
ほとんどのテンソルネットワークコードはJuliaで書かれており、私たちのコードも例外ではありませんでした。ITensorsとその周辺のエコシステムはプロトタイピングに適しています。コードは数学に近く、イテレーションが容易です。IR基底、スパースモデリング、そしてtensor4allのテンソルクロス補間および量子スタックに関する私たちの独自の作業もそこから始まりました。
しかし、コードベースが大きくなると、Juliaの開発は遅くなり始めます。実行時にのみ現れる型不安定性、編集/テストループを長くするコンパイルおよびプリコンパイル時間、そしてコードが成長するにつれて正しさを確認するのが難しくなる感覚です。テンソルネットワークスタックをより大きなシステムに組み込み始めたとき、それは無視できなくなりました。そこで、計算エンジンをRustに移行し始めました。
それがすぐに第二の問題を露呈しました。私たちが構築したいテンソルライブラリはまだ存在していなかったのです。Rustには個別のジョブのためのライブラリがあります。配列にはndarray、ディープラーニングにはBurn、線形代数にはfaerです。欠けていたのは、einsumを通じた自動微分をカバーし、科学計算で使いやすいテンソルレイヤーでした。目標は、これらのライブラリを置き換えることではありませんでした。既存のピースを接続することでした。
Rustのエコシステムは過去数年間で大きく変化しました。crates.ioは2015年の602クレートから、2026年には約210,000クレートになりました(データ)。密行列演算にはfaer、GPUカーネルにはCubeCL、汎用数値計算にはnum-traitsとnum-complexがあります。近くのレイヤーにもライブラリがあります。配列にはndarray、線形代数にはnalgebraとfaer、ディープラーニングにはBurnとcandle、NumPyスタイルの配列APIにはnumrです。私たちが求めていたのは、その間のレイヤー、つまり列優先ストレージ、動的形状、Eagerおよびトレース付き自動微分、einsum、FFT、CPU/CUDAバックエンド、そして拡張可能なオペレーションを備えた科学計算テンソルスタックでした。それがtenferro-rsの目的です。私たちはfaerとCubeCLを基盤とし、それらを再発明するのではなく、欠けている部分を追加します。SparseIR.jlとJuliaのテンソルネットワークコードのポートにより、その欠けているレイヤーがどこにあるかがより明確になりました。
それがtenferro-rsの背景です。この記事では、なぜ私たちがそれを構築しているのか、そしてコードがもはや人間だけによって書かれなくなった今、なぜRustを選んだのかを説明します。
なぜ今Rustなのか、以前はJuliaで十分だったのに?
数年前なら、学生にJuliaから始めるように勧めていたでしょう。Juliaのコードは数学に近く、メモリ管理は容易で、数値ライブラリはすでに存在していました。Rustは学習コストが高く、エコシステムはまだ部品が不足していました。
今では同じアドバイスはしません。Rustが変わったからではなく、私がコードの大部分を書く人間ではなくなったからです。
Fortran、Python、Juliaはすべて、人間が手でコードを書く、読む、保守するコストを下げるように開発されてきました。可読性、REPL、数学に近い表記、そして低い参入障壁はすべて、そのために重要です。AIがより多くのコードを書くようになると、トレードオフが変わります。記述速度はそれほど重要ではなくなります。学習コストの多くはエージェントによって処理できます。しかし、「数学のように読める」というだけでは正しさは保証されません。エイリアシング、ミューテーション、アロケーションは、行の表面からは見えません。
私たちにとって、問題は「どれだけ速く人間がこれを書けるか?」から「どれだけそれが正しいと確信できるか?」へと変わりました。その再定義が、Rustがより実用的な選択肢となった理由です。
具体的には:
- 所有権と型が、コンパイル時に広範囲のエラーを排除します。
cargo checkは数秒で応答するため、エージェントが何か間違えた場合、プログラムを実行する前にそれを知ることができます。 - Cargoはビルド、依存関係解決、テスト、ベンチマークを1か所で行います。CMakeなし、リンク時バージョン競合なし。フルスタックと依存関係のゼロからのビルドはラップトップで数分かかり、編集/テストループは数十秒です。
- Rustはモジュールとクレートの境界に沿ってシンボル可視性を制御します。エージェントはレイヤーの内部でのみ作業でき、別のクレートの内部に到達して抽象化を静かに壊すことはできません。約13万行のAI生成コードベースでは、その境界は重要です。
- lifetimesと所有権のメカニズムは、ほとんどエージェントに任せることができるため、人間の注意はアルゴリズム、設計、および正確性に向けられます。以前はRustの欠点だった初期学習コストは、今ではそれほど問題になりません。
C++、Python、Juliaでは、大規模なコードベースは検証が難しくなりすぎているという懸念を伴う傾向があります。Rustでは、その懸念は著しく小さくなります。
スタックへのポートから
私たちは汎用テンソルライブラリを構築することから始めませんでした。必要な部品をポートし、ツールの操作に費やす時間を減らしたかったのです。しかし、実装が進むにつれて、自動微分、バックエンド、そして新しいオペレーションの追加方法が、テンソルネットワーク固有のレイヤーに閉じ込められるべきではないことが明らかになりました。共有部分を独立したテンソルスタックとして設計しました。
- オペレーションファミリーは、単一のオールインワンテンソルタイプ内ではなく、独自のクレートに配置されます。
- 自動微分のルールはテンソルタイプの外に配置されます。Julia/ChainRulesの教訓に従い、微分ルールは特定のテンソルクラスではなく、オペレーション自体に属します。AD基盤であるtidu-rsはジェネリックであり、テンソルタイプはその単一の消費者です。
- バックエンドとデバイスは明示的です。CPUとGPU間でデータが静かに移動することはありません。また、どのバックエンドがオペレーションを実行できるか、そして実行時にどのデバイスが利用可能かという問題も分離しています。
- ストレージは列優先であり、Fortran、Julia、MATLAB、およびLAPACK/BLASと一致します。行優先データは、不要なEagerコピーなしで、ストライドビューを介して引き続き処理できます。
この設計により、スタックはテンソルネットワーク外でも有用になります。
2分でわかるtenferro-rs
このスタックは、型付きテンソル、backward()による即時(Eager)実行、grad/vjp/jvp/HVPによるトレース付きグラフ、線形代数、einsum、FFT、そして明示的なCPUおよびCUDAバックエンド(実験的なWebGPUも含む)を提供します。
以下は、sum(x²)の勾配が2xとなるPyTorchスタイルのEager自動微分の例で、リポジトリのeager_autodiff_pytorch_style.rsからそのままコピーしたものです。
use tenferro_ad::{EagerRuntime, Tensor};
fn assert_close(actual: &[f64], expected: &[f64]) {
assert_eq!(actual.len(), expected.len());
for (index, (actual, expected)) in actual.iter().zip(expected).enumerate() {
let error = (actual - expected).abs();
assert!(
error < 1.0e-12,
"value {index}: actual={actual}, expected={expected}, error={error}"
);
}
}
fn main() -> Result<(), Box<dyn std::error::Error>> {
let runtime = EagerRuntime::new();
let x = runtime.variable_from(Tensor::from_vec_col_major(
vec![3],
vec![1.0_f64, 2.0, 3.0],
)?)?;
let prediction = x.mul(&x).unwrap();
let loss = prediction.reduce_sum(&[0])?;
assert_eq!(loss.shape(), &[]);
assert_close(loss.materialized()?.as_slice::<f64>().unwrap(), &[14.0]);
loss.backward()?;
let grad = x
.grad()?
.expect("tracked variable should receive a gradient");
assert_eq!(grad.shape(), &[3]);
assert_close(grad.as_slice::<f64>().unwrap(), &[2.0, 4.0, 6.0]);
x.clear_grad()?;
assert!(x.grad()?.is_none());
Ok(())
}
この例では、プログラムは自身の結果をチェックします。この小さな例は、私たちがライブラリを構築する方法を反映しています。同じ計算は、JAXスタイルのトレース付きグラフとしても実行でき、一度コンパイルされて再利用されます([traced_autodiff_jax_style.rs](https://github.com/tensor4all/tenferro-rs/blob/main/docs/tutorial-code/src/bin/traced_autodiff_jax_style.rs)を参照)。必要なレイヤーを選択できます:型付きテンソル、自動微分によるEager実行、またはトレース付きグラフ。自動微分、CUDA、einsum、FFT、linalgはすべて必要に応じて有効にできます。
データに依存するサイズの計算
JAXとXLAは、形状が固定された計算を最適化し、同じ形状の入力に対してそれを高速に実行することに長けています。形状がデータに依存するようになると、物事はより困難になります。切り捨てしきい値、適応的な結合次元、データ依存の反復回数:サイズが実行時にのみ判明する場合、新しい形状ごとに再コンパイルが必要になる可能性があります。再コンパイルを回避するためにEager実行にフォールバックすると、gradやvjpのような変換は同じワークフローに収まらなくなります。
これがテンソルネットワークや適応的な科学計算の多くの日々の現実です。それこそが私たちのやっていることのほとんどです。ランクや結合次元がデータとともに変化する計算では、再コンパイルなしで同じトレース付きプログラムを再利用することが重要です。
tenferroはトレース付きプログラムを一度コンパイルし、具体的なサイズ(ランク、しきい値、反復回数)が実行時に決定される場合でも、それを再利用します。grad、vjp、jvpは引き続き利用可能です。同時に、静的サイズの計算はOpenXLAを使用できます。tenferro-xlaはグラフをStableHLOに低下させ、PJRTプラグインをロードできるため、原理的にはJAXと同じ実行速度に達することができます。
外部からの正確性のチェック
AIによって生成された数値コードで明白な懸念は、それが正しく見えても実際には正しくない可能性があることです。
そのため、信頼の基盤をコードを読むことだけにしていません。ソースコードを目視するだけでは依存しない、独立したチェックを設定しています。
- 正確性は、有限差分法およびPyTorchのリファレンスオラクルに対してチェックされます。tensor-ad-oraclesは、テンソルおよび線形代数オペレーションの微分正確性チェックのためのスタンドアロンデータベースおよびジェネレーターであり、不変量、残差チェック、およびプロビナンスチェックを備えています。
- パフォーマンスは、再現可能なtenferro-benchmarkスイートを使用して、PyTorchおよびJAXと比較して測定されます。多くのターゲットで、tenferroはすでにそれらに近いCPU/GPUパフォーマンスに達しており、さらなる最適化が残っています。数値は変化するため、ここでは数値を固定せず、ベンチマークリポジトリにリンクしています。これが再現可能なリファレンスです。
- 設計は文書化されています。REPOSITORY_RULES.md、AGENTS.md、設計ノート、および作業ログは、人間とエージェントの両方のためにアーキテクチャとその制約を記録します。失敗が「オペレーションファミリーはファーストクラスのクレートであり、ファサードではない」や「単純なCPUループのフォールバックはなく、faerまたはBLASを使用する」といった、欠落したルールを露呈した場合、それは一時的な修正ではなく、新しい制約となります。これにより、13万行のコードベースでの設計のドリフトを防ぎます。
オラクルとベンチマークは別々のリポジトリに配置されているため、ライブラリを記述するエージェントは目標を変更できません。また、コードに対してルールを継続的にチェックしているため、ドリフトは早期に検出されます。ファイルごとのカバレッジしきい値が強制されるテストを追加すると、正確性、パフォーマンス、および設計は、レビューだけでなく、別々のメカニズムによってチェックされます。
試してみてください
最初のtenferroクレートはcrates.ioにあり、個別のクレートとして公開されているため、必要なものだけを取り込むことができます。
[dependencies]
tenferro-tensor = "0.2" # tensors, views, backends
tenferro-ad = "0.2" # eager + traced autodiff
# plus tenferro-linalg, tenferro-einsum, tenferro-fft, tenferro-cpu,
# tenferro-gpu, tenferro-xla: add only what you need
tenferro-rsはまだv0.2プレビューであり、APIは最終的な1.0ではありません。しかし、単なる実験ではありません。すでにtensor4all-rs(当社のRustテンソルネットワークスタック:TreeTN、QTT、TCI)のエンジンとして使用しており、実際の科学ワークロードに対して開発しています。ホスト言語がPythonの場合、JAXとPyTorchは自然な選択肢です。tenferro-rsは、同様の機能をRustから直接利用したい人向けです。このプレビュー段階では、ユーザーからのフィードバックが設計を形成する可能性があります。
特に、ndarray、nalgebra/faer、Burn/candle、PyTorch/JAX、またはJulia/Fortranを科学およびHPCワークで利用した経験のある方に試していただきたいです。
- ドキュメントとガイド:https://tensor4all.org/tenferro-rs/ — まずはGetting Startedから
- ソース:https://github.com/tensor4all/tenferro-rs
- ベンチマークの再現:https://github.com/tensor4all/tenferro-benchmark
- 正確性のチェック:https://github.com/tensor4all/tensor-ad-oracles
実際の科学ワークロードで試してみて、何か不足しているもの、遅いもの、または間違っているものを見つけた場合、そのレポートは特に役立ちます。
謝辞
初期のtenferro設計についてはJin-Guo Liu氏、開発サポートについてはSatoshi Terasaki氏に感謝します。
開示:この記事は、AIコーディングエージェントと著者によって共同で執筆されました。これは、それが説明するのと同じ人間検証ワークフローで行われました。