Pystd:コンパイル時間を大幅に短縮した標準ライブラリ
Pystd, similar-ish functionality with a fraction of the compile time (nibblestew.blogspot.com)
要約
Pystdは、C++のコンパイル時間の遅さに対処するために、ISO標準仕様の実装ではなく、ゼロから独自に設計された標準ライブラリです。標準ライブラリのインクルードがC++のコンパイルを劇的に遅くしているという問題意識に基づき、コンパイル時間、実装の簡潔さ、パフォーマンスを優先して開発されました。既存の標準ライブラリと比較して、大幅なコンパイル時間の短縮、バイナリサイズの削減、そして実行時パフォーマンスの向上を実現しています。
全文翻訳
Pystd: 標準ライブラリに似た機能を持つ、コンパイル時間のほんの一部で実現
Pystdについて、カスタム設計でISO仕様の実装ではない、C++用のゼロから書かれた標準ライブラリに関するトーク提案を多くのカンファレンスに提出しました。残念ながら全て却下されたため、ブログ投稿の時間です。
賛否両論ある意見
C++のコンパイルが遅いというのは、ほぼ誰もが同意するところですが、個人的にはそれは耐え難いほど遅いと感じています。他の人は同意しないかもしれませんが、いくつかの数字を見てみましょう。
Cでhelloworld実行ファイルをコンパイルするには約0.02秒かかります。#include<print>を使用したC++の同等のexeをコンパイルするには、最適化を無効にした場合は1秒、有効にした場合は最大2.3秒かかります。これは約100倍の遅延です。私はRyzen 7 3700Xプロセッサを使用しており、最新鋭ではありませんが、それほど悪くもないです。この遅延について何人かと直接話しましたが、奇妙なことに、彼らの答えはしばしば「それは問題ではない、2秒は取るに足らない」でした。たとえこれを受け入れたとしても(個人的には受け入れませんが)、問題はスケーリングから生じます。なぜなら、遅延係数はほぼ線形だからです。極端なケースでは遅延が100倍ではなく20倍だったと仮定しましょう。この場合、0.1秒で完了するはずのプログラムは2秒かかり、したがって1分かかるはずのプログラムはコンパイルに約20分かかることになります。
なぜコンパイルは遅いのか?
C++は実際にはコンパイルが非常に高速です。遅延のほとんどは標準ライブラリの実装方法に起因します。これは、次のシェル スニペットを実行することで、実際に自分で簡単にテストできます。
echo '#include<vector>' | g++ -x c++ -E - -std=c++23 | wc
-Eフラグは、プリプロセッサの後にコンパイラを停止するように指示します。出力は、コンパイラ本体に渡されるソースコードです。代わりに、それをwcに渡して、vectorを含めるだけで29,000行のコードに展開されることを発見します。この数値は「人間が書いたコード」と直接比較できるものではありませんが、それでも、要素の可変長配列を取得するためだけに約30k行のコードというのは少し多いように思えます。そしてvectorは実際には比較的軽いヘッダーです。memoryは55,000行(特に悪いのは、99%の時間で人々がunique_ptrだけを求めていることです)、printは65,000行、filesystemは80,000行です。
残念な現実は、たとえ1つの標準ライブラリヘッダーを含んだだけでも、コンパイル時間が低下し、それをどうすることもできないということです。
いいえと言う
Pystdは元々、私が低レベルプリミティブ(ハッシュマップなど)を趣味でゼロから実装するためのプロジェクトでした。すぐに3つの設計優先事項に至りました。
- コンパイル時間
- 実装の単純さ
- パフォーマンス
ビルド時間最小化が設計優先事項であった既存の標準ライブラリは認識していません。高速なもの、例えばCやGoの標準ライブラリは、それぞれの言語の単純さに主に起因しているようです。
執筆時点では、Pystdとすべてのテストをシングルコアでゼロからビルドするには4秒かかります。これには45個の個別のプロセス(主にコンパイル、いくつかのリンク)が含まれます。最適化を有効にすると、ビルド時間は9秒に膨らみます。すべての16コアを使用すると、1.9秒に短縮されます。
これまでに得られたもの
テストコードを無視すると、Pystdはヘッダー6500行、ソース5600行の合計です。これら2つを合計しても、std::vectorの(プリプロセスされた)実装の約3分の1の行数になります。Pystdが提供する機能は以下の通りです。
vector、string、検証可能なu8string、string_view、span- ハッシュマップ、順序付きマップ(Bツリーを使用)
sort(stdlibc++と同程度に高速)、stable_sort(stdlibc++より高速)- ISOアルゴリズムヘッダー内の要素のランダム選択
optional、expected、variant、unique_ptr- Pythonモジュールの
argparse、pathlib(**演算子を含む)、正規表現(pcreを使用)、tempfileにほぼ相当する機能
これらのすべてが「完全」であるわけではないことに注意してください。通常、それらは最も一般的に使用される機能のサブセットのみを含んでいます。それはかなり小さいかもしれません。
パフォーマンス
パフォーマンスに関する以前のブログ記事があります。CapyPDFライブラリの変換に関する数値は次のとおりです。
- コンパイル時間が約80%低下
- 未ストリップのバイナリサイズが約75%削減
- ストリップ済みのバイナリサイズが約30%削減
- 実行時パフォーマンスが約25%向上(はい、低下ではなく向上です)
回帰は防止できる
「コンパイルが速い」という言葉を聞いたときに人々が提起する2つの典型的な問題は次のとおりです。
- 「速い」とは何ですか?それは各個人と彼らが使用しているコンピュータに依存する非常に主観的なものです。
- たとえ今速くても、速さを維持することはできません。新しい機能が常に追加されるため、コードはますます遅くなり、最終的にはデフォルトの標準ライブラリと同じくらい遅くなる運命にあります。
これらの問題の両方に対する退屈な解決策は同じです。事前に定義された時間予算です。Pystdには、任意の単一の公開ヘッダーを含むソースファイルをコンパイルするのに最大0.15秒しかかからないという要件があります。この制限は元々0.1秒でしたが、GCCでは完璧に機能しましたが、Clangのプロセス起動時間はそれよりも長いです。パフォーマンスを検証するテストスクリプトはここにあります。Raspberry Piでもパスする必要があります。
興味深いことに、テスター スクリプトは元々シングルスレッドではありませんでした。1秒以上かかるPystdのコンパイル-テストサイクルの唯一最も遅い部分だったため、並列化しただけです。
これは、Pystdのすべての新しい機能が満たさなければならない要件です。追加したいコードが遅すぎる場合は、コード全体をより速くコンパイルできるように書き直すか、コンパイラにパッチを送信して高速に実行できるようにする必要があります。
自分で試す
Pystdのコードは通常の方法で入手可能です。初心者はサンプルプロジェクトを使用することをお勧めします。
コードはLinuxとmacOSで動作します。MSVCはまだパックインデックスを実装していないため、サポートしていません。