Solo – 静的Linuxバイナリ用の.soローダー
Solo – a .so loader for static Linux binaries (github.com)
要約
Soloは、静的にリンクされたmuslバイナリが実行時にホストのglibcリンク済み共有ライブラリ(GPUドライバなど)をロードできるようにするツールです。これにより、コンテナや追加のlibcなしで、単一の実行可能ファイルとしてGPU機能を利用する静的バイナリのデプロイが可能になります。このツールは、glibc ABIブリッジを実装し、x86-64およびaarch64アーキテクチャで動作します。
全文翻訳
SoLo — 静的Linuxバイナリ向けの.soローダー
[画像: CI] [画像: codecov] [画像: release] [画像: license] [画像: linux] [画像: libcs in the process] [画像: host DSOs loaded in CI]
単一のmuslリンク済み実行ファイルを配布します。実行時に、ユーザーが既存のglibcリンク済みGPUドライバーをロードします。コンテナもAppImageも、プロセス内に2つ目のlibcも不要です。
静的バイナリは、Linux上でソフトウェアを展開するための、驚くほど退屈な方法です。1つのファイルで、依存関係がなく、壊れるものもありません。私たちはIXというソースファーストのビルドシステムを使用して、完全に静的なLinuxバイナリを生成します。アプリケーションがGPUを必要とする瞬間、その退屈さは終わります。VulkanやOpenGLドライバーは、通常glibcに対してビルドされた共有オブジェクトとしてホストから提供されますが、完全に静的なmuslバイナリは通常それらをdlopen()できません。
SoLoはその境界を越えます。それは、独自のELFローダー(x86-64およびaarch64)と、musl上で実装されたglibc ABIブリッジに裏打ちされたdlfcnスタイルのソースAPIを提供します。結果は依然として1つの通常の静的実行ファイルですが、マシンに既にインストールされているグラフィックスドライバーを使用できます。
リポジトリには、エンドツーエンドのVulkanプルーフが含まれています。完全に静的な実行ファイルがホストの変更されていないVulkanドライバーをロードし、コンピュートシェーダーを実行し、結果をPNGに書き込みます。AMD radv、radeonsi、Intel、NVIDIA GPU(Linux上)、Asahi Linux上のApple M1、Termux上のAndroid、およびDirect3D 12経由のMesaのdznドライバーを備えたWSLでテストされました。
ハードウェア固有のコードはホストが保持します。それ以外のすべてをあなたが配布します。
デモの言葉だけではありません。コミットごとに、CIはSoLoを使用して、x86-64とaarch64の両方で、最もインストールされているDebianパッケージ1,000個(2,100以上のホストオブジェクト)の共有ライブラリをロードします。
動作を確認する
プリビルドバイナリを入手してください — クローンもツールチェーンも不要です。Vulkanドライバーがインストールされている任意のLinux(mesa-vulkan-driversで十分)で動作します。
curl -LO https://github.com/pg83/solo/releases/latest/download/vulkan-x86_64
chmod +x vulkan-x86_64
./vulkan-x86_64 hello.png
vulkan-aarch64はarm64マシン向けの同じデモです。このコマンドは、通常の方法でディストリビューションにインストールされたVulkan ICDを検出し、512×512 RGBA画像を生成します。これが、Shittyリリースバイナリをビルドする方法です — ところで、非常に高速なターミナルエミュレーターです!特定のドライバーを強制するには:
./vulkan-x86_64 --driver /usr/share/vulkan/icd.d/radeon_icd.x86_64.json radeon.png
./vulkan-x86_64 --driver /usr/share/vulkan/icd.d/lvp_icd.json lavapipe.png
ICDマニフェスト名はディストリビューションによって若干異なります。--driverを指定しない場合、組み込みのKhronosローダーが通常の検出を実行します。
実行ファイル自体が動的にリンクされていないことを確認できます。
readelf -lW ./vulkan-x86_64 | grep INTERP # 出力なし
readelf -dW ./vulkan-x86_64 # "There is no dynamic section"
または、Python 3とPATHにあるC/C++コンパイラを使用して、同じデモをソースからビルドします。
git clone https://github.com/pg83/solo.git
cd solo
./build vulkan
./vulkan hello.png
これはvkCreateInstanceの単なる呼び出しではありません。このデモは:
- 静的にリンクされたKhronos Vulkanローダーに入ります。
- SoLoを介して、ホストのVulkan ICDとその非glibc依存関係をロードします。
- デバイス、ストレージバッファ、ディスクリプタセット、およびコンピュートパイプラインを作成します。
- チェックイン済みのSPIR-Vシェーダーをディスパッチします。
- 結果をマップし、静的にリンクされたlibpngを介して書き込みます。
完全な例はbin/vulkanにあり、Vulkanプログラム自体はbin/vulkan/main.cppにあります。
仕組み
┌──────────────────── fully static executable ────────────────────┐
│ │
│ application → embedded Vulkan loader → SoLo dlopen/dlsym │
│ ├─ x86-64 ELF mapper │
│ └─ glibc ABI → musl │
│ │ │
└───────────────────────────────────────────┬─────────────────────┘
│ maps at runtime
▼
system Mesa/Vulkan ICD.so + DSOs
elf_loader.cppはELFセグメントをマップし、DT_NEEDEDをウォークし、バージョン付きシンボルを解決し、x86-64リロケーションを適用し、ELF TLSとTLSDESCをサポートし、IFUNCを具体化し、RELROを適用し、初期化を実行します。それ自体がELF DSOである依存関係は再帰的にロードされます。
glibcは意図的にロードされません。malloc@GLIBC_2.2.5のようなインポートは、glibc_shim.cppによって、プロセスの既存のmuslランタイム上のABI互換アダプターに解決されます。サポートされていないglibc関数は、プロセスをサイレントに破損させるのではなく、呼び出された場合に正確なシンボルとバージョンで大声で失敗する、一意に生成されたスタブを持っています。
muslは同期オブジェクトのサイズを各アーキテクチャのglibc ABIに合わせて調整するため、ブリッジはそれらをシャドウしません。ドライバーが作成したpthread_mutex_tはそのまま使用されます。したがって、ロックは、ロードされたDSOとそれを共有する可能性のある静的実行ファイルの両方に対する1つのロックであり、glibcの静的再帰的およびエラーチェック初期化子は、初回使用時に採用されます。
ディスクからDSOをロードする前に、SoLoは静的プロバイダーレジストリをチェックします。これにより、アプリケーションはWaylandなどの依存関係を、既に実行ファイルにリンクされている関数で満たすことができます。LD_LIBRARY_PATHは、標準システムディレクトリ外のライブラリで尊重されますが、セキュア実行モード(AT_SECURE)では、環境はld.soが無視するのと同じように無視されます。LD_TRACE_LOADED_OBJECTS=1は、lddの形式でロードされるすべてのオブジェクトを、ABIブリッジまたは実行ファイルにリンクされたプロバイダーによってマッピングなしで提供される名前を含めて出力します。
興味深い部分は、読むのに十分小さいです。
lib/dlfcn.cpp—dlopen、dlsym、エラー、および静的プロバイダーlib/elf_loader.cpp— ELFマッピング、シンボル、リロケーション、およびTLSlib/glibc_shim.cpp— 実装されたglibc ABIアダプターlib/glibc_stubs.cpp— 残りのABIの明示的なフォールバック
ライブラリとして使用する
デフォルトのターゲットはスタンドアロンアーカイブをビルドします。
./build
公開されている./dlfcnシンリンクは、結果のlibdlfcn.aを指します。lib/dlfcn.hをインクルードし、アーカイブをmusl-staticアプリケーションにリンクすると、通常のdlopen()/dlsym()呼び出しはSoLoにリダイレクトされます。ソースツリーは意図的に自己完結しており、別の静的ビルドグラフにコピーするのに適しています。
起動呼び出しはありません。ゲストが要求する静的TLS(initial-execを含む)は、ライブラリがアプリケーションにリンクするスレッドローカルパディングから提供されます。muslはプロセス誕生時にすべてのスレッドのTLSをこれでサイズ設定し、ローダーはロード時にゲストにその一部を渡します。
実験を再現する
./build test # スモークテストでArch glibc DSOクロージャをロードする
./build vulkan_test # 静的デモをビルドし、ネイティブLavapipe PNGを検証する
CIは、GCCを使用したAlpine/musl、GCCを使用したFedora、およびClangを使用したUbuntuでネイティブビルドとテストを実行します。Vulkanテストは、各ディストリビューション固有のLavapipeパッケージをインストールします。Arch sysrootからドライバーを実行するわけではありません。
サードパーティのビルド入力はすべてext/の下にベンダーされています。build.pyは、それらのソースを直接コンパイルします。アップストリームのCMake、Meson、configure、およびMakeビルドシステムは呼び出されません。
ベンダー版
- musl 1.2.5 (
0784374d561435f7c787a555aeab8ede699ed298) - LLVMランタイム 15.0.7: libc++、libc++abi、libunwind、およびcompiler-rtビルトイン (
8dfdcc7b7bf66834a761bd8de445840ef68e4d1a) - Vulkan Headers 1.4.357 (
e3b1eec08173d6b825cd3ac88c885a63b621504a) - Vulkan Loader 1.4.357 (
5f157b62e333c63260d05d81bf66faa216ab0fb8) - zlib 1.3.2 (
da607da739fa6047df13e66a2af6b8bec7c2a498) - libpng 1.6.50 (
2b978915d82377df13fcbb1fb56660195ded868a)
ライセンスファイルは対応するソースの隣に保持されます。shader.incはshader.compのチェックイン済みSPIR-V形式であるため、シェーダーコンパイラは必要ありません。
以前の作業との違い
一般的に、静的アプリケーションが動的ローダーに「このシステムDSOのlibwayland依存関係について、私の実行ファイルに既にリンクされているシンボルを使用してください」と伝えることができるのは、SoLoだけです。これにより、アプリケーションはサポートされているすべてのシステムで利用可能な最も古いバージョンをターゲットにするのではなく、最新のlibwaylandを埋め込むことができます。
そして、2つの世界の間の境界は、薄いdlsymシムではありません — それは、外部コードが実際に動作するようにする部分を運びます:
- C++例外は双方向にそれを横断します。 静的世界でのスローはglibcコンパイル済みフレームを介してglibcの
catchにアンワインドされ、逆も同様です。デストラクタは両側で実行されます。ゲストの_Unwind_*インポートは、実行ファイル内の1つのアンワインダーにバインドされているため、プロセスには2つの戦うもののではなく、1つの例外メカニズムがあります。 - ラッパーやコードパッチなしで、すべての4つのTLSモデル。 General-およびlocal-dynamicは
__tls_get_addrを介して、TLSDESCはカスタムABIリゾルバを介して、initial-exec(そのGOTスロットはローダーがインターセプトできないプレーンなスレッドポインター相対オフセットです)は、実行ファイル自身の静的TLSに乗る余剰アリーナから提供されるため、プロセス全体のスレッドポインターオフセットはすべてのスレッドで有効であり、変更されていないmuslはスレッドごとのレイアウトを行います。 ld.soのバインディングセマンティクス、近似ではありません。 グローバルスコープのインターポーズ、RTLD_DEEPBIND、DT_SYMBOLIC、バージョンなしプロバイダー互換性ルールでのシンボルバージョニング、リゾルバーを介して引数レジスタが保持される遅延PLTバインディング、GNUおよびSysVハッシュルックアップ、ifuncリゾルバーはhwcapを受け取り、/etc/ld.so.cache。- クロスワールドイントロスペクション。
backtrace()は静的フレームとglibcフレームを同様にウォークし、それらを1つのdladdrで名前付けします。dl_iterate_phdr、dladdr1、およびlink_mapファサードは、アンワインダーとプロファイラーがすべてのイメージを表示できるようにします。ファイルベースのマッピングは、デバッガーのために/proc/self/mapsに実際のパスを保持します。 - glibcの状態を持つコーナー、本物。 アセンブリでの
getcontext/makecontext/swapcontextは、両方のアーキテクチャのglibcのmcontextレイアウトに対して行われ、2.34より前のpthread ABI、GNU obstacks、強化された_chkファミリー、およびインラインstdio ABI — muslのFILEは意図的にレイアウトされているため、glibcのインラインputc_unlockedはそれに対してコンパイルされます —_IO_2_1_stdout_がmusl自身のストリームに解決されるまで。
これらすべてが、実際のglibcヘッダーに対して-O2でコンパイルされた適合性バッテリーによって実行され、CIで最もインストールされているDebianライブラリパッケージ1,000個のすべての共有オブジェクトをx86-64とaarch64でロードすることによって実行されます。
- android2gnulinuxとその継続であるbionic_translationは最も近い親戚です。変更されたAOSPリンカーは、bionicリンク済みDSOをglibcまたはmuslホストにマップし、libc、pthread、およびlibdlのインポートをホストのランタイムにシムします — プロセス内に1つのlibc、Androidからデスクトップへの方向でのSoLoの哲学。それらのホストは、プラットフォームの
ld.soの隣にある通常の動的実行ファイルのままであり、bionicのバージョンなしインポートはglibcのバージョン付き解決を回避します。SoLoは、ローダーが全くない完全に静的なバイナリから開始し、Termuxのペルソナで同じbionic領域をカバーします。 - gcompatは、musl上でプリビルドされたglibcバイナリを実行するためのディストリビューションレベルのglibc APIシムです。そのローダーのスタブは、
libgcompat.soをプリロードしてプログラムをmuslの動的リンカー経由で再実行します。muslプログラムから使用するには、その共有ライブラリをリンクするか、ロードされたDSOのDT_NEEDEDに追加する必要があります。それは、完全に静的なmuslプロセスに動的ローダーを与えません。SoLoの自己完結型モデルはより強力です。実行ファイルはELFローダーとABIブリッジの両方を埋め込み、システム互換性パッケージなしで変更されていないホストDSOをロードし、glibcインポートのバージョンを保持し、未使用のサポートされていない関数が、DSO全体をブロックするのではなく、シンボル固有の失敗するスタブの後ろに残ることを可能にします。 - Detourは、システムの
ld-linuxをブートストラップし、複数のCランタイムを共存させます。SoLoは逆のルートを取ります。必要なDSOを自分でマップし、glibcインポートをmuslに変換するため、2つ目のlibcとそのTLS状態がプロセスに入ることはありません。 - Cosmopolitan Libcの
cosmo_dlopen()(https://github.com/jart/cosmopolitan/blob/master/libc/dlopen/dlopen.c)は、Detourと同じ分割ランタイムスキームに従います。そのすべての利点と欠点があります。ホストのELFインタープリターとlibcをブートストラップし、次にターゲットDSOのロードをホストのdlopen()に委任します。 - ClickHouseの実験的なユーザー空間動的ローダーは、現在ELFオブジェクトを自分でマップしていますが、glibcのロードまでは行っていません。実際のシステムライブラリ(CUDAなど)への提案されたパスはDetourライクです。システムの
ld.soをブートストラップし、2つ目のlibcランタイムを保持し、境界ごとにmusl/glibcスレッドポインターをスワップします。代わりにSoLoは、ホストのmuslランタイム上でglibc ABIを実装し、静的実行ファイルに既にリンクされているプロバイダーからDSO依存関係を満たすことができます。 - graphics.gdの
musl+dlopen実験は、Detourと同じ分割ランタイムモデルに従います。埋め込みヘルパーがホストのglibcローダーを導入し、アセンブリトランポリンが外部呼び出しの周りでmuslとglibc TLSを切り替えます。これにより、2つの独立したTLS世界が残ります。各境界クロッシングにはトランポリンが必要であり、muslで実装されたコールバックは、glibcが自身のTLSがアクティブなときに呼び出すため、glibcコードに安全に渡すことはできません。SoLoは代わりに単一のmusl TLS世界を維持します。 - Flatpak、AppImage、およびコンテナは、プログラムの内側または周りに小さなLinuxディストリビューションを隠すことで問題を解決します。これは、引っ越しが電源アダプターの紛失を解決するのと同じような方法で機能します。結果は、重複したライブラリ、マウント、名前空間、展開トリック、およびランタイムの間接参照で満たされた巨大なブロブです。これらすべてが、プロファイリング、デバッグ、および基本的なイントロスペクションを悪化させます。システム
.soが必要だからといってディストリビューションを配布するのは、ポータビリティではありません。SoLoは、単一の通常の、検査可能な実行ファイルを配布し、ホストに真に属する唯一のコンポーネントであるハードウェアドライバーを借用します。
スコープ
- Linuxのみ、x86-64およびaarch64。ローダー、TLSDESCおよびlazy-PLTリゾルバー、およびinitial-execアリーナは両方をカバーします。glibcシンボルインベントリはアーキテクチャごとに生成されるため、一方の
printf@GLIBC_2.2.5は、コードに単一の翻訳ルールなしで他方のprintf@GLIBC_2.17になります。 - 実際のMesa/Vulkan ICD依存関係クロージャーに焦点を当て、上位1000個のDebianライブラリパッケージ(popcon投票による)によって駆動されています。それらの885個(glibcリンク済み共有オブジェクトを出荷するもの — 約2100オブジェクト)はすべて、両方のアーキテクチャでCIでSoLoを介してロードされます。ロードはフロアであり、主張ではありません。ブリッジがまだスタブしているシンボルへの呼び出しは大きく失敗し、dev/abi-demand.txtは、各シンボルを要求する数でランク付けされた残りの作業です。
- ロード・ワンス・ランタイム(
dlcloseは成功しますが、イメージはアンロードしません)。 - 4つのTLSモデルすべてをサポートします。Initial-exec変数は、実行ファイル自身の静的TLSに乗る16 KiBの余剰アリーナに配置されるため、プロセス全体のスレッドポインターオフセットは、muslをパッチせずにすべてのスレッドで有効です。唯一の制限:
dlopenより前に作成されたスレッドは、ロードされたモジュールに対してゼロ初期化されたTLSを認識するため、initial-execライブラリを、それらを使用するスレッドを生成する前にロードしてください。アリーナに収まらないinitial-execモジュールは、イメージとバイト数を指定するエラーでロードに失敗します。 - ABIカバレッジの欠落について明示的です。実装されていないglibc呼び出しは中止され、自身を名前付けします。
目標は、「完全に静的」と「システムGPUを使用する」というハードウォールを、有限でテスト可能な互換性レイヤーに変えることです。Vulkan PNGは、ウォールにドアがある最初のプルーフです。