HN 日本語サマリー

← 一覧へ戻る
AI・機械学習

PyTorch: リファレンス言語

PyTorch: A Reference Language (docs.pytorch.org)

61 pointsby matt_d5 コメント

要約

この記事では、PyTorchが「リファレンス言語」と「実装言語」という二重の役割を担っていると論じています。通常、リファレンス実装は本番環境にデプロイされませんが、PyTorchはパフォーマンスと明瞭さのバランスを取り、研究と本番の両方で使用されることがあります。カーネルDSLやAIコーディングエージェントの台頭により、PyTorchは最適化された実装の正確性を検証するための基準として、より重要になると述べています。

全文翻訳

PyTorch: リファレンス言語

Edward Z. Yang (@ezyang) · 2026年7月25日 · 4 分で読める
compilertorch.compileautogradverificationllm

リファレンス実装とは、明瞭さのためにパフォーマンスを犠牲にした、簡略化された完全なシステムのバージョンです。そして、リファレンス「言語」とは、これらの実装が切り出されるAPIと規約の構造であると言えるでしょう。一見すると、PyTorchは明らかにリファレンス言語です。なにしろ、現代のディープラーニングの共通語として一般的に呼ばれているのですから。しかし、よく見ると混乱があります。

  • リファレンス実装は通常、プロダクションにデプロイされません。しかし、私はPyTorchでトレーニングジョブを実行しています!

  • 皆がカーネルDSLでカーネルを書いています。PyTorchが単にカーネルを貼り合わせているだけなら、その役割は何でしょうか?

  • AIコーディングは最終的に、あらゆるスタックをゼロから書き直せるようになるでしょう。PyTorchで書かれていることがなぜ重要なのでしょうか?

そこで私にとって最近、非常に明確になった視点は、PyTorchが二重の役割を担っていると考えることです。それはリファレンス言語であると同時に、実装言語でもあるという役割です。スケールがそれほど大きくない場合や、コンパイラがうまく機能している場合、リファレンス実装はプロダクションにリリースできます。しかし、ますます多くの場面で、リファレンス実装を実際のプロダクション実装から切り離されたソフトウェアアーティファクトとして考え、それによってプロダクション実装の正しさを検証できるようになることが自然になっていくでしょう。研究のための1つの実装、スケールするための1つの実装、そして暗闇の中でそれらを結びつけるための1つの検証器です。

この最も明確な実証は、カーネルDSLの現代的な使用法に見られます。伝統的な、コンパイラ至上主義的な見解は、エンドユーザーは高レベルAPI(例えば、Numpy/PyTorchスタイルのAPI)を使用してニューラルネットワークモジュールの実装を書くべきであり、コンパイラがそれを最適化された形式にコンパイルする方法を決定するというものです。しかし、行列乗算やアテンションのような最も重要な操作では、コンパイラが最高のパフォーマンスを保証することは容易ではありません。カーネルDSLの普及により、タイリングやデータ移動を明示的に記述することで、人々が最適なパフォーマンスを達成することが劇的に容易になりました。これは高レベルAPIを排除するのでしょうか?通常はそうではありません。プレーンなPyTorchでリファレンス実装を持つことは非常に有用であり、ほとんどのカーネル作者は最適化されたカーネルと並行してリファレンス実装を維持し、数値テストで正しさを検証するでしょう。

カーネルDSLがオペレーターのプロダクション実装の書き方を変えたのと同じように、コーディングエージェント(AIコーダー)がトレーニングステップのプロダクション実装の書き方を変えると私は考えています。伝統的に、我々は自動微分(autograd)をPyTorchの価値提案の核心部分と考えてきました。なぜなら、それが正しい導関数が得られることを保証するからです。しかし、スケールが大きくなると、暗黙的なバックワードグラフは首かせとなります。計算の大部分は隠蔽され、通常のデバッグツールで操作したり、フォワードの通常のコードと同じようにフュージョンを適用したりする機会がありません。コンパイラを使えば、例えばパターンマッチングでバックワードグラフを変更することは可能ですが、これは脆く、リファレンス実装から手書きカーネルへの呼び出しを切り替えるよりも悪い体験です。これは新しい観察ではありません。現在廃止されているTangentライブラリは、ソースからソースへの自動微分が有用であるという命題に基づいて構築されました。

新しいレシピは次のようになります。伝統的なPyTorchの自動微分フレンドリーなコードをリファレンス実装として維持します。LLMを使用して、コードの明示的なフォワード・バックワードバージョンを生成し、それをリファレンス実装とは別に最適化できるようにします。パターンマッチングとは異なり、最適化が適用されないことを心配する必要は決してありません。コストは、リファレンスと実際の С実装が分岐する可能性があることです。それらが等価であることを示す検証器が必要になります。この検証器は、ビット単位の等価性テストで簡単に実装することも、翻訳検証の伝統に則って、ある種のグラフキャプチャと構造的等価性として実装することもできます。片方がフュージョンを持っていてもう片方が持っていない場合に検証器が機能することを保証するために、フュージョンのリファレンス実装(言い換えれば逆パターンマッチング)を提供すれば十分です!

このレシピがすべての人に適していると主張するつもりはありません。結果として、リファレンス言語としてのPyTorchは非常に優れた実行可能な仕様であり、結局のところ最も重要なのは、必要な実験結果をどれだけ早く得られるかということです。しかし、最近、PyTorchが最先端のトレーニングで優れていること、特にスケーリングが続く中でPyTorchが自己破壊する必要があるかどうかについて多くの時間を費やしてきたので、この視点が旧と新を橋渡しするのに役立つと感じています。Horace Heが昨年提起した未解決の質問は、「グラフレベルの抽象化の利便性を持ちつつ、イージモード実行のすべての制御を得るにはどうすればよいか?」というものでした。私はこのレシピが非常に有望な答えであり、PyTorchがその中心であり続けると考えています。