RustからZigへの書き換えはどのように進んでいるか
How Our Rust-to-Zig Rewrite Is Going (rtfeldman.com)
要約
Rocコンパイラチームは、1年半かけて30万行のRustコードをZigに書き換える作業を進めており、最近、元のコンパイラと同等の機能を達成しました。この書き換えにより、ホットコードローディングやパターンマッチングにおける型安全な文字列補間といった新機能が導入され、開発体験とパフォーマンスの向上が図られています。
全文翻訳
RustからZigへの書き換えはどのように進んでいるか
過去1年半にわたり、Rocのコンパイラを構築しているチームは、後述する理由から、30万行のRustコードをZigに書き換えてきました。最近、エキサイティングなマイルストーンである、元のコンパイラとの機能同等性を達成しました!
Bunプロジェクトが最近、逆方向(ZigからRustへ、ただしこれは私たちの書き換えとの違いの氷山の一角に過ぎませんが)の書き換えに関する体験レポートを共有したため、RustからZigへの移行がどのように進んでいるかを振り返るのに良い時期だと思われます。
機能同等性の達成
このマイルストーンに到達したことで、Brendan Hansknecht氏による、2024年の魅力的なWASM-4ゲームであるRocci Bird(アートはLuke DeVault氏)を新しいコンパイラで実行できるようになりました。このゲームはRocコードが1000行未満で、itch.ioまたはWebAssembly経由で直接プレイできるため、良い例です。
ゲームをクリックまたはタップし、スペースキー(またはタップ)を押して羽ばたかせます。モバイルでは右矢印キーがないため、ページをリフレッシュしてゲームを再開してください。
Rocci Birdの更新されたソースコードは、オリジナルよりも少し簡潔になっており、roc build --opt=sizeは現在31KBのwasmバイナリを出力します。(元のコンパイラはそれの倍以上のサイズのバイナリを生成していました。)Rocci Birdは決して大規模なコードベースではありませんが、それを実行できるようにするためには、新しいコンパイラに多くの機能を実装する必要がありました。ついにそれが実現したとき、あのずっしりとした紫色のピクセルを見て、私は笑顔になりました!
これはマイルストーンであり、正式なリリースではないことを明確にしておきます。(今年の後半にバージョン0.1.0のリリースを目指しています。)とはいえ、到達できたのは素晴らしいマイルストーンであり、これを実現するために協力してくれたすべての人々に心から感謝しています!特に、言語とコンパイラをこの段階まで進める上で特に役立った方々をいくつか挙げたいと思います。
- 新しいパーサーに関する共同作業をしてくれたAnthony Bullard氏とSam Mohr氏
- 新しい型チェッカー(その他多くのこと!)を担当したJared Ramirez氏
- 新しいラムダセット解決システム、および元のコンパイラの多くの部分を担当したAyaz Hafiz氏
- 元々作成したRoc Exercismコースの初級者向け演習108件を手動で更新してくれたAurélien Geron氏
- コンパイラの新しい「echo」プラットフォームをブラウザで動作するようにしたStephan氏。これにより、誰でもroc-lang.orgホームページから2.5MBのWebAssemblyバイナリ経由で基本的なRocプログラムを記述・実行できるようになりました!
- Rocの最も熱心なプロダクションユーザーであるNiclas Åhdén氏。アップグレードプロセスに関する役立つバグレポートを忍耐強く提出し、的確なフィードバックを提供してくれました。
- ファイザーエラーやその他のバグを体系的に再現・調査し、再現しなくなった問題をクローズするなどしてくれたJRI98氏
- 新しいコンパイラを使用したユーザー空間パッケージのAPI設計を反復したJasper Woudenberg氏
- 元のコンパイラの基盤を構築してくれたFolkert de Vries、Brendan Hansknecht、Brian Carroll、Josh Warner、Agus Zubiaga、Jelle Teeuwissen氏。これらがなければ、新しいコンパイラは存在しなかったでしょう。
- 新しいコンパイラへの、疑いなく最大の貢献者を最後に残しました:Anton-4氏とLuke Boswell氏。コンパイラ作業、ビルトイン、プラットフォーム、パッケージ、例、バグ修正、Roc Zulipでの初心者支援など、あまりにも多くのことをしてくれたため、すべてを列挙するにはもう1つの記事が必要になるほどです!あなたがどれほど多くのものを構築したかを見るのは信じられないほどでした。
皆さん、本当にありがとうございます!皆さんがこのプロジェクトに貴重な時間をこれほど多く費やしてくれたことを光栄に思います。また、過去および現在のスポンサーであるrwx、Lambda Class、ohne-makler、martian、tweede golf、Vendr、NoRedInk、そして多くの寛大な個人スポンサーにも感謝します。彼らは貢献者を支援することで、私たちをこの地点まで導いてくれました。
時間と言えば:私たちの487日間の書き換えは、Bunの約50万行のZigからRustへの11日間の書き換えよりも476日長くかかりました。RustやZigとは関係のないこの違いには多くの理由があります。例えば、彼らの書き換えは直接のポートでしたが、私たちは変更が多かったために書き換えを決断しました。彼らが使用した技術は私たちのケースでは機能しなかったでしょう。
私たちが加えた変更のリストは、元のRustコードベースと新しいZigコードベースを比較する際に、完全に同じ条件とはならないことを意味します。それでも、新しいコンパイラがRocプログラマーにどのような新機能をもたらしたか、そしてRustとZigの経験をどのように比較できたかという両方の観点から、書き換えがどのように進んだかを振り返るのに良い地点に到達しました。
さあ、始めましょう!
ホットコードローディング + クロスコンパイルバイナリ
Rocの新しいコンパイラは、開発中に自動的にホットコードローディングを行います。例えば、roc server.rocを実行してWebサーバーを起動し、実行中にそのコードを変更できます。次にそのサーバーがリクエストを処理するとき、新しいコードが自動的に使用されます。以下に、サーバーとシンプルな2Dゲームでの動作を示します。
[動画: ホットローディングデモビデオをダウンロード。]
ホットローディングはPythonのようなインタプリタ言語では標準的な動作ですが、Rocのような高性能コンパイル言語ではそれほど一般的ではありません。デプロイの準備ができたら、roc build server.rocでLLVM最適化済みのスタンドアロンバイナリを取得でき、それをマシンにドロップして実行できます。
Rocはクロスコンパイルも行います。Alpine Linuxで動作する静的バイナリをビルドするのはroc build --target=x64muslと同じくらい簡単で、Macや他のシステムで実行した場合でも、同じ入力ソースコードバイトに対して同じ出力バイトを生成します。これはすべてのコンパイラが保証するわけではありません。
文字列補間によるパターンマッチング
あのビデオのHTTPリクエスト処理ロジックは以下のようになります。
match (verb, path) {
("GET", "/users/${id}/${page}") => match page {
"" | "profile" => ok(id)
"settings" => ok(with_default(user_agent, id))
"posts/${post_id}" => ok("Post ID: ${post_id}")
_ => not_found
}
("GET", "/users/${id}") => ok(id)
("POST", "/posts/new") => created(with_default(…))
_ => not_found
}
これは新しいコンパイラで導入されたいくつかの機能を使用しています。例えば、"/users/${id}"という構文は、実行時にテンプレート文字列を解析するのではなく、新しい言語機能であるパターンマッチング内の文字列補間によって実装されています。
これはコンパイル時に型安全であるだけでなく、このコード全体のスニペットはヒープ割り当てをゼロで行います。ホットコードローディングを備えた典型的な言語では、ここで1行あたり約1回の割り当てが発生すると予想されます…しかしRocは、エルゴノミクス、型安全性、そしてパフォーマンスで高い目標を目指しています!
新しいroc-lang.orgホームページでこの構文を試すことができます。少しスクロールすると、ページ上にコンパイラのWebAssemblyビルドがあり、言語を試すことができます。
ちなみに、新しいコンパイラのコンパイル時純粋関数実行機能を使用して、HTTPリクエストルーティングをゼロ割り当てにまで削減した技術的な詳細についての投稿に興味がある場合は、Roc Zulipでお知らせください。
ゼロからの書き換えの理由
Rust、C、Zigとは異なり、Rocはシステム言語ではありません。自動メモリ管理(参照カウントを使用し、トレーシングコレクターのポーズを回避するため、またPerceus最適化やKokaのような機会的ミューテーションのため)を備えています。Rocは、ほとんどの非システム言語のようにクロージャキャプチャごとに1つのヒープ割り当てが必要な場合、はるかに多くのヒープ割り当てが発生するでしょうが、Rocはポリモーフィックなデファンクショナライゼーションをラムダセット特殊化を通じて実装した最初の非学術言語であるため、私たちのクロージャキャプチャはヒープを割り当てません。
これはニッチな最適化に聞こえるかもしれませんが、Rocのような関数型言語では、デファンクショナライゼーションはインライニングに似ており、後続の最適化の宝庫を解き放ちます。このシステムはRocの実行時パフォーマンスに非常に有益であることが証明されましたが、それを正しく実装することは私たちにとって非常に困難でもありました。オリジナルの実装で厄介なバグに苦労し、Ayaz Hafiz氏がOCamlで新しいアーキテクチャをプロトタイプ化した後になってようやく、新しいコンパイラでそれを正しく実装できるようになりました。
Ayaz氏のプロトタイプは、問題の根源が複数のコンパイラフェーズにわたるアーキテクチャにあったことを示しており、それを修正するにはコンパイラの大部分を書き換える必要がありました。これが私たちが書き換えを決断した理由の1つです。また、複数の貢献者が他の理由でコンパイラのさまざまな部分を書き換える計画を独立して述べていました。私たちは、コンパイラのほぼすべてを anyway 書き換えることになるだろうと認識し、テセウスの船のアプローチの代わりに、完全な書き換えを検討することが理にかなっていると考えました。
コンパイラは、成功したプロジェクトの中でゼロからの書き換えが一般的であるという点で珍しいです。これは自己ホストするための唯一の方法であることがよくありますが、すべてのコンパイラが自身の言語に書き換えるわけではありません。例えば、TypeScriptのGoへの書き換えを見てください。私の立場は常に、Rocのコンパイラは自己ホストすべきではないというものでした。そのため、いつか書き換えのメリットがその悪名高いコストを上回るように見えるという考えは、率直に言って思いもよらなかったことです。
話し合えば話し合うほど、今日、ほとんどの主要なコンパイラがかつて行ってきたこと、つまりゼロから書き換えることが理にかなっているようになりました。
なぜZigなのか?
ゼロからの書き換えを決断した後、次の質問はRustを再び選択するかどうかでした。RustとZigの両方での経験(すでにZigを標準ライブラリの多くのプリミティブに使用していました)に基づいて、今回はコンパイラ全体をZigで構築することにしました。
私はRustを楽しんでいます。Rustのコースを教えたこともありますし、Zedでの仕事でも日常的に喜んで使用しています。インターネットのコメントが信じさせてくれることとは裏腹に、あるプロジェクトに最適な言語と、別のプロジェクトに最適な言語が異なるということは非常に一般的です。万能な解決策は実際にはありません!
Zigを選択した理由については、すでに詳しく説明しています。文章で、ポッドキャストでなどです。そして、チームがよく知っているシステム言語はRustとZigだけだったので、この2つしか真剣に検討しませんでした。RustとZigの間で決定する際に、私たちの心にあった最大の考慮事項は次のとおりです。
- ビルド時間。
cargoのビルド時間は、増分ビルドでさえ主要な問題点であり、コードベースが成長するにつれて悪化していました。Zigでの書き換えではビルド時間が大幅に速くなると予想していました。 - メモリ制御。 コンパイル全体で、特にアリーナや至る所の構造体配列レイアウトなど、さまざまなメモリ割り当てを使用します。Rustのエコシステムは一貫して1つのグローバルアロケータを想定していますが、soa_rsのようなものもあります。Zigのエコシステム全体は、きめ細かいアロケータを想定しており、構造体配列のサポートは標準です。
- エコシステムの関連性。 Rustのエコシステムは全体としてはZigよりもはるかに大きいですが、どちらのエコシステムのパッケージも私たちの特定のニーズにはほとんど関連がありません。オフザシェルフで欲しいニッチなもの(例えば、LLVMのC++ライブラリをラップするよりも高速なLLVMビットコード発行方法)については、RustよりもZigにそのコードが多く存在していました。
- メモリ安全性違反の支援。 Rustは、メモリ安全性に違反するコードをまれな
unsafeブロック内に隔離し、miriやValgrindのようなものを使用してそれらを検証するように設計されています。しかし、メモリ安全性に違反するコードは私たちにとってまれではありませんでした(後述)。そして、約1,200回のunsafeの使用(30万行のRustコードのうち。Rustの350万行中の約40,000回のunsafeの使用と比較してください。そして、rocやrustcのようなマシンコードを出力するコンパイラにとって、メモリ安全性に違反する処理は仕事の大きな部分を占めることを忘れないでください)。Zigはメモリ安全性に違反するコードを正しく機能させるための機能がRustよりも多いですが、それが私たちが最も助けを必要としていた分野でした。
1年半の書き換えを経て、Zigのメリットに対する私たちの期待は、実際に得られたものとどのように一致したでしょうか?そして、もはやアクセスできなくなったRustのどの部分を惜しく思ったでしょうか?
借用チェックなしの生活
メモリ安全性から始めましょう。有名な2019年のMicrosoftのプレゼンテーションでは、スライド10で次のように述べています。
毎年、セキュリティアップデートを通じて対処される脆弱性の約70%は、メモリ安全性に関する問題であり続けています。
プレゼンテーションの次のスライドには、メモリ安全性問題の種類別の内訳があり、RustとZigに特化した場合の状況は次のようになります。
- 2018年にセキュリティアップデートで対処された脆弱性の83.6%は、RustまたはZigの選択によって完全に影響を受けなかったでしょう。なぜなら、両言語はこれらのシナリオ(境界外読み書き、安全でないキャスト、未初期化読み取り、スタックオーバーフロー、およびメモリ安全性以外の問題)をすべて同じように処理するからです。
- 脆弱性の16.4%は、具体的には使用後解放エラーでした。これらは、Zigの
ReleaseSafeランタイムメモリ安全性チェック、またはRustの借用チェッカー、あるいはFil-Cが使用するチェックによって検出できた可能性があります…現代の言語はUAFを検出するためのさまざまな方法を備えていますが、2018年のこれらのCVEは、ほぼ間違いなくCまたはC++コードから来ているでしょう。
ReleaseSafeは、ランタイムチェックを通じて使用後解放エラーを検出します。プログラムが解放されたメモリを使用しようとするとパニックが発生します。Rustの安全なサブセットと比較して、Zigのチェックはそれほど包括的ではなく、ランタイムコストがかかり、パニックする可能性があります。とはいえ、ZigのReleaseSafeは、TigerBeetleデータベースで実際にうまく機能しており、最近伝説的に綿密なJepsenレポートでも2つの安全性バグしか発見されませんでした(メモリ安全性に関連するものはなし)。
ReleaseFastは、オーバーヘッドを回避するために本番ビルドでこれらのチェックをスキップしますが、開発中にメモリ安全性問題を検出するためにデバッグビルドとテストでは保持します。テストが現実世界のコードパスのすべてを網羅していれば、ReleaseFastはReleaseSafeと同じ安全性を提供しますが、そのレベルのテストカバレッジはめったに実用的ではありません。実際の質問は、実践においてカバレッジの隙間から何が漏れるかということです。Bunは使用後解放での苦労について話しましたが、ReleaseFastでビルドされた他の広く使用されているプロジェクトでは、Zigコードでのメモリ安全性違反によるCVEはありません。Ghostty がその一つであり、Zigコンパイラ自体もその一つです。
これらのプロジェクトについてさらに詳しく知りたい場合は、作成者との詳細な会話を録画しました:TigerBeetleに関するJoran Greef氏、Ghosttyに関するMitchell Hashimoto氏、Zigに関するAndrew Kelley氏。
Rustコードには、メモリ安全性のギャップの異なるソースがあります。それは、ほとんどすべてのRustプログラムがその依存関係のどこかに持つunsafeセクションです。Unsafe Rustは、ReleaseFast Zigコードのメモリ安全性違反のリスクをすべて持ちますが、開発中に問題を検出するためのランタイムチェックは何もありません。Rustのエコシステムには、非FFI unsafeコードのバグを見つけるためのmiriがあり、Valgrindも役立ちますが、ほとんどのRustプロジェクトはどちらも使用していません。とはいえ、unsafeをまれに使用し、それを extra に注意深く監査するという文化的な規範は、実践においてRustにメモリ安全性に関する強力な評判を得るのに十分うまく機能してきました。
もちろん、Rustのメモリ安全性違反のエラーは依然として発生する可能性があります。Deno(Bunの競合でありRustで書かれています)は、境界外読み取り(out-of-bounds read)や使用後解放(use-after-free)を含むメモリ安全性違反のCVEを経験しており、どちらもUnsafe Rustの使用に関係していました。Rocket(Rust Webフレームワーク)は、使用後解放のCVE(use-after-free CVE)を経験し、Actixは、unsafeの使用が異常に高かった時期に、さまざまなメモリ安全性違反のCVEを経験しました。
新しいコンパイラのためにRustとZigの間で選択していたとき、私たちはこれらすべてを認識していました。Rustがメモリ安全性に関して当然の評判を持っていることは知っていましたが、メモリ安全性違反は依然として発生する可能性があり、元のコンパイラでそれらをすべて直接経験していました。また、典型的なRustプロジェクトよりもはるかに多くのunsafeを使用することになることも知っていました。Valgrindをすでに使用していましたが、Zigの追加チェックからの本質的にメモリ安全性に違反するコードのヘルプは魅力的でした。難しいことを簡単にしたいと考えており、アロケーションが単純なライフタイムを持つアリーナで圧倒的に行われるコンパイラでは、使用後解放の問題を心配していませんでした。
私たちは、著名なZigプロジェクトが実践において優れたパフォーマンスとメモリ安全性を達成していることを知っており、それらの成功事例の1つになることを目指すことにしました。
書き換え後のメモリ安全性
特定の技術選択がどのように進むかを理論化するのは簡単ですが、実際に重要なのはエンドユーザーが実際の使用で何に遭遇するかです。では、ReleaseFastを使用したZigは実践でどのように機能したでしょうか?RustからZigにコンパイラを書き換えて以来、使用後解放またはその他の原因によるメモリ破損のインシデントをどれだけ目にしましたか?
Rocのイシュートラッカーでのバグレポートを、Claude Opus 4.8によって分類した内訳を以下に示します。
| Rocコンパイラのバグの種類 | Rust | Zig |
|---|---|---|
| メモリ破損が発生したバグ | 21 | 10 |
| メモリ破損が発生しなかったバグ | 2,575 | 421 |
| 合計 | 2,596 | 431 |
Rustベースのコンパイラに、メモリ破損バグがまったくなかったわけではない、それどころかZigベースのものの総数よりも多いことに疑問を抱いているかもしれません。それは、再びあの厄介なUnsafe Rustのせいでしょうか?
実際、そうではありません。これらのメモリ破損バグ21件のうち、コンパイラのロジック自体で発生したものは1件もなく、これはRustの借用チェッカーが意図したとおりに機能していることの証です。Rustベースのコンパイラでメモリ破損バグが発生した理由は、それがコンパイラだからです。
コンパイラはマシン命令を生成します。マシンがそれらの命令を実行すると、メモリ破損を引き起こす可能性があり、それを経験した人々からのメモリ破損バグレポートにつながります。どちらのプロセスにバグがあったとしても(コンパイラかコンパイルされたプログラムか)、どちらの場合もプロセッサはコンパイラが指示したから悪いことをしただけです。そして、どちらの場合も修正は同じです。コンパイラのコードが原因でメモリ破損が発生したため、コンパイラのコードを変更する必要があります。
Rocのコンパイラには、他のすべてのコンパイラと同様にバグがあり、そのうちいくつかはメモリ破損につながる誤コンパイルでした。とはいえ、Zigベースのコンパイラでのメモリ破損バグ10件のうち8件は誤コンパイルでしたが、残りの2件はコンパイラ自体にありました。どちらもエラー報告における使用後解放バグで、同じ症状でした。エラーメッセージ内のファイル名(roc checkで1件とroc bundleで別の1件)が、役に立たない疑問符ダイヤモンド文字(?)としてレンダリングされました。Rustの借用チェッカーは両方を検出したでしょう。
ここで、もし代わりにRustを書き換えに選択した場合、またはReleaseSafeを使用するZigを選択した場合、どうなっていたでしょうか?すべての条件を同じにした場合、実践におけるメモリ安全性への影響は?
| ツーリングの選択 | 実践におけるメモリ安全性への影響 |
|---|---|
Zig ReleaseFast | 2件のバグレポート:一部のエラーでファイル名がレンダリングされない |
Zig ReleaseSafe | 2件のバグレポート:一部のエラーでパニックが発生し、レンダリングされない |
| Rustの借用チェッカー | これらのバグレポートはどちらもない |
18ヶ月の開発、数百件の総バグレポート、そして数十万行のコードを経て、この表を振り返って私が得た主な教訓は、異なる行を選択してもプロジェクトに実質的な違いはなかったということです。これまでのところ、私たちの選択は期待通りの結果をもたらしています。
前述したように、すべてのプロジェクトには異なるニーズがあります。Bunが逆方向(ZigからRustへ)に書き換えたとき、その付随する投稿では次のように述べています。
Bunにとって、ガベージコレクションされた値(JavaScriptから)と手動管理された値のライフタイムを正しく処理することは、安定性の問題の主要な原因となっています。最も頻繁には小さなメモリリーク、そして時折クラッシュです。すべてのメモリ割り当ては細心の注意を払ってレビューする必要があります。これらのバイトはどこで解放されますか?それが一度だけ解放されることをどのように保証しますか?JavaScript例外を適切にチェックしましたか?このガベージコレクションされたポインタは、保守的なスタックスキャナーから見えるようになっていますか?これはガベージコレクションされたメモリですか、それとも手動管理されたメモリですか?
Rocのコンパイラは、JavaScriptやその他のトレーシングガベージコレクタとインターフェースしないため、これらの特定の課題はありません。Bunにとって、「使用後解放、二重解放、および『解放し忘れ』」エラーは「バグの大部分」でしたが、Rocのバグではこれらのエラーはごく一部でした。そしてもちろん、RocのコンパイラはBunが直面しない他の課題にも直面しています。プロジェクトごとにニーズは異なります!
私たちのケースでは、コンパイラ自体のメモリ安全性バグを防ぐためのツールへの投資を増やす必要があったと結論付けるために、実際に起こったことをどのように振り返ることができるか分かりません。コンパイルされた出力におけるメモリ安全性バグを検出するための、より良いツールから恩恵を受けるという、より強い主張があります。これは常に借用チェッカーの範囲外でした。
ビルド時間
Zigからより高速なビルドを求めていました。それは実現したでしょうか?
良いニュースは、zig build --watch -fincrementalが現在の約45万行のZigコードの変更を約35ミリ秒で再ビルドできることです。これは、Zigのビルド速度を書き換えのセールスポイントとして検討していたときよりもさらに高速です!
悪いニュースは、Zigの現在の安定版0.16.0リリースには、私たちのコードベースで-fincrementalを壊すバグがあることです。修正はすでにマージされましたが、それを取得するには、ナイトリー0.17.0プレリリースビルド(破壊的な言語変更があります)でビルドし、影響を受ける依存関係を0.17.0にベンダーしてアップグレードする必要があります。私たちは次の安定リリースを待つことにしました。
私たちのコードベースにRustソースが含まれていた最後のコミット時点から、Ubuntu 26を実行している私のIntelデスクトップマシンでのタイミング比較を以下に示します。コールドビルド(キャッシュなし、ただしパッケージはローカルにダウンロード済み)と、パーサーの簡単な編集後の増分再ビルドを比較しています。
| Rocコンパイラバージョン | LoC | コールドビルド | 増分ビルド |
|---|---|---|---|
| Rust 1.85.0でのオリジナル | 354K | 32.4秒 | 10.0秒 |
| Rust 1.97.0でのオリジナル | 354K | 25.4秒 | 3.4秒 |
| 機能同等性達成時の書き換え(Zig 0.16.0) | 320K | 39.6秒 | 8.6秒 |
| 現在の書き換え(Zig 0.17.0) | 464K | 32.1秒 | 0.035秒 |
機能同等性コミット時点でのZigビルド構成では、まれにしか変更されない成果物をビルドごとに再ビルドしていましたが、その後オンデマンドでのみ再ビルドするように決定したことに注意してください。そのため、コード行数がそれ以降約50%増加したにもかかわらず、現在のコールドビルドは30万行のコードだった頃よりも高速になっています。
Rust 1.97は今日の現在の安定リリースであり、1.85は487日前(私たちの書き換えが機能同等性に達するまでの期間)の現在の安定リリースでした。したがって、もし私たちが同じ期間Rustに留まっていたら、増分ビルド時間を10秒から3.4秒に減らすことができたかもしれません。それは大きな進歩です!Rustの貢献者がビルド時間改善のために行ったすべての努力に本当に感謝しています。18ヶ月で増分ビルド時間の2/3を排除できたことは、Rustに留まっていたら非常に歓迎すべき変化だったでしょう。そして、18ヶ月の期間で予想していたよりも大きな改善です。ブラボー!
この改善は印象的ですが、Zigの35ミリ秒は依然として圧倒的です。3.4秒のビルド時間の1/100であるだけでなく、異なるパフォーマンスカテゴリに属しています。そして、その35ミリ秒は、Rustコード(3.4秒)よりも約50%多い行数を持つZigコードベースでのものです。Rocのコードベースは成長し続けると予想しており、このギャップもそれに伴って拡大していくでしょう。Rustのロードマップに、-fincrementalに匹敵するようなイニシアチブがあるとは聞いたことがありません。
したがって、安定版0.16.0(それに、多くの貢献者がMacラップトップでARMプロセッサを使用していること。-fincrementalは現在x86-64 CPUでしか動作しません)に留まるという私たちの決定により、書き換えのためにZigを選択したことによる期待されるビルド時間の恩恵をまだ受けていませんが、次の安定Zigリリースで楽しみにできることがあります!
メモリ制御:ゼロパースデシリアライゼーション
Rocの新しいオンディスクキャッシュシステムは、私が最初にZigのコンパイラから学んだテクニックを使用しており、Casey Muratori氏がゲームプログラミングでは一般的なプラクティスだと教えてくれました。これは、現代のハードウェアで最も高速に動作する方法でメモリを整理している場合、ディスクから直接メモリにロードして解析なしで使用を開始できるという幸運な偶然に依存しています。
仕組みは以下のとおりです。
- すべてのコンパイラデータ構造は、32ビットのポインタに対するインデックス(多くの場合、構造体配列形式)を持つ配列として表現されます。
- これはメモリを節約し、実行速度を向上させるだけでなく、データ構造を異なる形式にシリアライズする必要なく、直接ディスクに書き込むことができることを意味します。
- より大きな利点は、バイトを解析することなくメモリにデシリアライズできることです。バイトをメモリにロードし、既存のデータ構造を新しくロードされた配列に向けるためのいくつかの再配置を行い、準備完了です。
- これは、ディスクからメモリにバイトをロードする速度でデシリアライズすることを意味します。つまり、実際には I/Oバウンドです。それらのバイトがすでにオペレーティングシステムのディスクキャッシュにある場合、以前のビルドからのキャッシュされた作業を、memcpyの速度でロードすることを意味します。
roc checkを連続して2回実行すると、最初の実行でこの戦略を使用してすべての出力をディスクにキャッシュします。2回目、入力ソースコードファイルが変更されていない場合、解析/型チェックされたすべてのデータ構造がディスクからメモリに直接ジャンプします。これは非常に高速です。roc testも同様に、純粋関数のテスト結果(決定論的)をキャッシュし、これらすべてがファイルレベルの粒度で行われるため、1つのファイルを変更すると、そのファイルおよびそれに依存する他のファイルのみの作業を再実行するコストが発生します。
このゼロパースデシリアライゼーション戦略は、すべてのコンパイラデータ構造に対してこのポインタなしプログラミングスタイルに従っている場合にのみ機能します。代わりに、すべての場所でポインタを使用した場合(ほとんどのコンパイラが行っているように)、デシリアライゼーションはゼロパースではできません。
しかし、このアプローチには安全上のリスクが伴います。メモリ内のポインタが間違ったアドレスを指す可能性があるのと同様に(例えば、使用後解放につながる)、実行時に任意のインデックスが間違った配列へのルックアップとして使用される可能性があり、その場所にあったランダムなバイトが得られます。Rustの借用チェッカーはポインタのライフタイムを助けるように設計されていますが、「どのインデックスがどの配列に対応するか?」という質問には答えようとしません。なぜなら、それはその設計の範囲外だったからです。
事前に必要な配列の数が正確にわかっている場合、Rustクレートcompact_arenaは、マクロを使用して型タグを生成することで、間違った配列へのインデックス付けを回避するのに役立ちます。残念ながら、事前に必要な数が正確にわからない場合(例えば、モジュールの数によって異なるため、私たちのケースのように)、このテクニックは機能しません。そのため、compact_arenaはSmallArena::newをunsafeとマークしています。
個人的にはSmallArena::newをunsafeとラベル付けしません。unsafeはコードベースの特に注意深く監査されるべき部分を示すために使用されるべきですが、空のアリーナを作成することは、安全性違反を引き起こすことができないため、監査を必要としません。残念ながら、潜在的に安全でない操作は配列へのインデックス付けであり、これは頻繁に発生します。「コードベースのすべての部分を特に注意深く監査する」というのは良いアドバイスではなく、「パフォーマンスを大幅に向上させるこのテクニックを避ける」というのも、Zig自体が spotless なメモリ安全性CVE記録を達成できることを示しているのに、避けるべきではありません。
Safe Rustは、コードベースのUnsafe Rustの量が少なく孤立していると仮定するため、実践において効果的であり、その仮定はほとんどのRustコードベースで当てはまります。しかし、unsafeが私たちのケースのように広範囲に及ぶ場合、その仮定はもはや当てはまらず、Unsafe Rustよりも安全な言語を選択することがより魅力的になり始めます。
エコシステムの関連性
Bunの投稿では、RustのDropが、彼らの珍しいJavaScript相互運用性の課題にどのように役立つかについて述べています。
[...] 他のZigユーザーは私たちのようなバグを抱えていません。GCと手動管理メモリの混在は、ソフトウェアがそれを必要とするには珍しすぎるため、どの言語もそれを設計していません。[...] このクラスの問題を軽減する一般的な方法の1つは、クリーンアップコードがそれを必要とするコードに対して常に正確に1回実行されることを保証することです。Zigは隠れた制御フローのないシンプルな言語として設計されており、C++の暗黙的な~DestructorやRustの暗黙的な
Dropよりも、スコープの終わりにコードを実行するための明示的なdeferキーワードを好みます。
私たちは逆の状況にあります。Dropは私たちにとって問題点でした。なぜならRustのエコシステムは、誰もがグローバルアロケータを使用し、暗黙的な解放のためにDropを使用するという仮定に基づいて構築されているからです。しかし、私たちはほぼ逆のことをしたいのです。コンパイルの各モジュールとステージに個別のアリーナを用意します。Zigのエコシステムは一貫してアロケータを渡しますが、これはまさに私たちが望むことです。一方、オフザシェルフのRustクレートは、ほとんど常に単一のグローバルアロケータを想定しています。
簡単に言えば、RustのエコシステムはBunが書きたい方法のために最適化されており、ZigのエコシステムはRocが書きたい方法のために設計されています。
別に、オフザシェルフでアクセスできる関連コードの質問があります。LLVMは、私たちのオプティマイザにとって重要な依存関係です(私たちは独自の最適化を行いますが、LLVMはさらにその上を行います)。しかし、それはまた、定期的に大きな破壊的API変更を行うプロジェクトでもあります。新しいLLVMバージョンへのアップグレードは、Rocにとって大きな苦痛と時間の浪費の原因となってきましたが、新しい最適化が欲しいので、私たちはそれを続けています。
幸いなことに、LLVMにはこのアップグレードの苦痛を回避するためにアクセスできる、安定した後方互換性のあるAPIがあります。それは、シリアライズされた「ビットコード」形式です。独自のLLVMビットコードシリアライザを作成すると、各新しいLLVMバージョンにそれを消費するように指示でき、すぐに利用できます。
もちろん、この戦略にアクセスするには、LLVM C++ライブラリとその破壊的な変更から切り離された、手書きのLLVMビットコードシリアライザが必要です。私が知る限り、そのようなものの実装は世界に1つだけです。それはZigのコンパイラであり、もちろんZigで書かれています。そして今、世界に2つの実装があります。なぜなら、Rocの新しいコンパイラは同じZigコードを再利用しているからです。(共有してくれてありがとう、Zigチーム!)
Zigエコシステムから関心のある依存関係の最大のソースは、Zigコンパイラ自体であることに気づいたかもしれません。これは珍しいですが、Rocは珍しいニーズを持つ珍しいプロジェクトです。2019年にコンパイラで最初のコードを書いたとき、次のことが真実になるとは予想していませんでした。「将来、このプロジェクトで最も価値のある再利用可能なコードの金脈は、まだ聞いたことのない言語で書かれたオープンソースコンパイラになるだろう。」
人生は驚きに満ちています!
Rustから惜しくもなったもの
RocのためにRustを使用しなくなっても、ZedでほぼすべてのものにRustを使用しているため、Rustの世界に没頭しています。そのため、Zig(またはその逆)でビルドしているときにRustから何かを惜しくなったと言うとき、それは単に遠い過去のバラ色の記憶ではなく、その日の早い時間の記憶のようなものです。
Rustから惜しくなったと気づいたことに驚いたことの1つは、テストにおける自動割り当てと解放です。
前述したように、割り当てと解放を完全に制御できることが、コンパイラの実装において私が望むことです。そしてテストでは、テストアロケータがリークを検出することも高く評価しています。コンパイルされたRocコードのリークさえ検出できます!残念ながら、その利点を得るには、テストに多くの「初期化して、解放を遅延させる」コードが必要であり、それが正しくないとテストはメモリリークで失敗します。Rustでは、これらはすべて不要です。コンパイラの実装が私が望む方法であることの方が、テストが見栄えが良いことよりも重要ですが、完璧な世界では両方を何らかの方法で持つことができるでしょう。
パラメトリック多相性とアドホック多相性はどちらもcomptimeと重複するため、Zigにそれらがないのは理にかなっていますが、私はそれらを惜しく思います。例えば、RustのAllocatorトレイトのallocate関数は、最初の引数として「self」を取りますが、Zigでは、アロケータ実装(ArenaAllocatorのようなもの)はanyopaqueポインタを受け取り、それを自身にキャストする必要があります。
プライベート構造体フィールドも惜しくなります。それらがない理由を理解していますが、たとえ本当にやりたいならアクセスできるとしても、「これは直接アクセスすべきではない」とマークされているものを使用した場合にコンパイルエラーが発生することを楽しみにしています。これはdiffのレビュー中に発生します。diffではフィールドアクセスしか見えず、元の構造体定義のドキュメントは表示されず、防御的に毎回調べる手間をかけたくありません。
時折、関数、変数、定数がすべてsnake_caseを使用していることを惜しくなります。
unsafeと借用チェッカーの側面も惜しくなります。それらの利点には、私が惜しくない欠点が伴いますが。Zigがこれらを追加すべきだとは思いませんが、同時に、unsafeブロック内で特定のクラスの問題だけを心配することには、ある種の落ち着きがあります。対応するコストをこのプロジェクトで支払いたくない場合でも、その感覚を惜しく思うことができます。
comptimeの動作方法によるものかどうかわかりませんが、Rustで慣れているよりも頻繁に、Zigコードベースでデッドコードを発見することに驚くことがあります(これはZigの組み込みツールでも、TigerBeetleのtidy.zigでも検出されませんでした。ちなみに、それをオープンソース化してくれてありがとう、TigerBeetleチーム!)。デッドZigコードは、コンパイラがバイナリに含めないため、エンドユーザーには影響しませんが、当然、早期に発見できればコードベースにとってより良いでしょう。
最後に、Rustチームはリリースにおける後方互換性に関して称賛に値する仕事をしています。新しいマイナーリリースへのアップグレードはほとんど労力がかからず、エディションのアップグレードでさえほとんど問題ありませんでした。後方互換性は、Zigが現在の開発段階で目標としていないものであり、私たちはそれを知っていて予想していました。私たちにとっては大きな問題ではありませんでしたが、Rustにあった簡単なアップグレードプロセスを惜しく思いますか?もちろん!
Zigの気に入っている点
私は常に、関数型プログラミングの減算的な側面を楽しんできました。使い慣れたツール(例えば、ミューテーション、無制限の副作用、オブジェクトとクラス)をツールボックスから減らすことは、イライラするだろうと思うでしょう…しかし、異なるテクニックに慣れると、新しいプロパティ(キャッシュ可能性、安定したテスト、並行処理の利便性、出力が変わることを恐れずに操作の順序変更など)が解き放たれたことを本当に楽しみ、それらをもう手放したくなくなりました。
Zigについても同様の感情を抱いています。マクロがないのが好きです。アドホック多相性は惜しいかもしれませんが、同時に、多くの問題(パラメトリック多相性を含む)がcomptimeや/または通常の関数で対処できることを楽しんでいます。
データレイアウトの制御が大好きです。2のべき乗ではない数値型(u7やu5のような)に、ビットレベルの作業を自分で行うことなく、すぐにアクセスできるのは素晴らしいことです。Packed structsが標準で利用でき、宣言サイトではなく呼び出しサイトで関数をインライン化するオプションなど…これらはマクロを使用してRustクレートから取得できるものですが、個別の依存関係なしで利用できるのが本当に気に入っています。
Zigのビルドツールチェーンは最高です。おそらくUberがそれを使用している理由もそれでしょう。Alpine LinuxやWebAssemblyのようなもののためのスタンドアロンバイナリのビルドは非常にうまくいっており、コードベースの一部(「ビルトイン」-実質的にRocの標準ライブラリ)を不透明なバイナリブロブにコンパイルして最終実行可能ファイルに含めるという奇妙なことを行っています。
Zigのエラー処理戦略も非常に気に入っています。特に、ヒープ割り当ての失敗が通常のユーザー空間エラーである点はそうです。Rocは同様の「エラーが自然に蓄積する」戦略(ペイロードを持つことができる匿名合計型を使用する以外)を持っています。そして、私はどちらの戦略も、anyerror、thiserror、またはRustでのResultを使用した標準の依存関係なしのエラー処理よりも好きです。(とはいえ、Rustのポストフィックス単項演算子 ? はZigの try キーワードよりも好ましいです。そのため、Rocでポストフィックス単項演算子 ? を採用しました。)
そしてもちろん、前述したプロジェクト固有のことすべてがあります。どこでもアロケータベースのAPI、どこにも見つけられない高性能コンパイラグッズのエコシステムなどです。それらをすべてここで繰り返しませんが、プロジェクトへのメリットを評価することに加えて、それらを非常に楽しんでいます。
全体としてZigで非常に肯定的な経験をしており、振り返ってみると、書き換えのためにZigを選んで本当に満足しています!
Rocの今後
今年の後半に新しいコンパイラのバージョン0.1.0をリリースすることを目指しています。これはRoc初の番号付きリリースになります。それまではナイトリービルドを試すことができますが、現在の状態では、さまざまなバグ、不完全な機能、未完成のドキュメントがまだ予想されます。それまで書くべきドキュメントがたくさんあります!
ちなみに、Roc Programming Language Foundationは501(c)(3)非営利団体なので、寄付をしたい場合は米国では税控除の対象となり、寄付は主に貢献者への報酬に使用されます。私たちの活動を財政的またはその他の方法で支援したい組織をご存知の場合は、ご連絡ください!(別途、GitHubの誰かが私たちをGH for Nonprofitsに登録してくれる人がいれば、CIバックログに非常に役立ちます。)
このマイルストーンに言語が到達するのを助けてくれたすべての人々に再び感謝します。次のマイルストーン、つまり初の番号付きリリースが待ちきれません!フォローしたい、質問したい、または単に挨拶したい場合は、Roc Zulipでチャットしてください。