HN 日本語サマリー

← 一覧へ戻る
プログラミング

Paths in Pieces

Paths in Pieces (stoppels.ch)

17 pointsby acossta0 コメント

要約

多くのLinuxディストリビューションやパッケージマネージャーは、ビルドされたバイナリ内の絶対パスを監査して、ビルドマシン固有のパスがエンドユーザーの環境で問題を引き起こさないようにしています。しかし、GCC(特にx86-64ターゲットで最適化を有効にした場合)は、文字列定数をバイナリ内に断片化して格納する最適化を行うため、単純なgrepやstringsコマンドではこれらのパスを検出できない場合があります。この最適化は、ベクトル命令による高速なコピーを可能にしますが、バイナリの解析を困難にし、バイナリパッチングのような手法を複雑にします。

全文翻訳

Paths in pieces

2026年11月12日

多くの¹²³⁴⁵⁶⁷⁸⁹ Linuxディストリビューションとパッケージマネージャーは、ビルドされたバイナリ内の非再配置可能な絶対パスを監査します。バイナリに/path/from/build/machineというパスが含まれている場合、エンドユーザーのマシンで実行できない可能性があります。

さて、バイナリに対する基本的なgrep、またはもう少し洗練された

$ strings bin/app | grep /path/from/build/machine

GNU binutilsのstringsを使用して、これらのパスを検出できるはずですよね?

答えはいいえです。少なくともGCCを使用してx86-64をターゲットにしている場合です。文字列定数がバイナリ内に文字通り格納されると仮定すべきではありません。

基本的な例

このC++ソースでは、文字列定数からstd::stringを作成します。

#include <iostream>
#include <string>

#define PREFIX "/home/linuxbrew/.linuxbrew"

int main() {
  std::string prefix{PREFIX};
  std::cout << prefix << '\n';
}

GCC 12以降でコンパイルして実行すると、パスが表示されます。

$ g++ -O2 main.cpp -o main
$ ./main
/home/linuxbrew/.linuxbrew

しかし、そのパスはバイナリ自体には正確に0回出現します。

$ grep -acF /home/linuxbrew/.linuxbrew main
0
$ strings ./main | grep -cF /home/linuxbrew/.linuxbrew
0

これらのバイトはどこかにバイナリの一部でなければならないはずですよね?stringsをバイナリに実行し、/homeプレフィックスだけをgrepしてみましょう。

$ strings ./main | grep /home
/home/linuxbrew/xbrew/.linuxbrew

待てよ、GCCは

/home/linuxbrew/.linuxbrew

を完全に異なるパス

/home/linuxbrew/xbrew/.linuxbrew

に、架空のサブディレクトリxbrewを付けて変換したのですか?どうやって?

断片化して格納

答えは、GCCが私たちのstd::string{PREFIX}を最適化していることです。プレフィックスのように見えるものを見るという事実は、単なる偶然です。

GCCは文字列を2つの(重複する)16バイトの断片に分割します。たとえば次のようになります。

/home/linuxbrew/.linuxbrew
|--------------|..........  - 定数1
..........|--------------|  - 定数2

これはxmmレジスタにぴったり収まるため、ベクトル化されたムーブ命令を使用して文字列をstd::stringバッファにコピーできます。

g++ -O2 -S -masm=intelから関連ビットをフィルタリングすると、次のようになります。

movdqa  xmm0, XMMWORD PTR .LC0[rip]
movups  XMMWORD PTR [rax], xmm0
movdqa  xmm0, XMMWORD PTR .LC1[rip]
movups  XMMWORD PTR 10[rax], xmm0

そして、私たちの文字列はバイナリ内で隣接している定数.LC0と.LC1に格納されます。

.LC0:
.quad 7596498784141404207
.quad 3420313983963919726
.LC1:
.quad 7795220194874516088
.quad 8603408430414524009

一般的に、これは文字列リテラルがバッファにコピーされる場合(std::string、strcpy、またはmemcpyなど)に発生します。ポインタとしてのみ渡される文字列(fopen(PREFIX "/x", "r")など)はそのまま残ります。

重複排除

CondaやSpackのような一部のパッケージマネージャーは、ビルド中にパッケージをパディングされたプレフィックスにインストールします。これは、ユーザーが選択した短いプレフィックスに「再配置」できるという考えに基づいています。バイナリはインプレースでパッチされます。Condaは、パスを十分に長くするために、ディレクトリ名に繰り返される文字列_placeholdを使用します。

ここで、256バイトのパス(すべてのx86-64レジスタ幅の便利な倍数)を選択し、Condaスタイルでパスをパディングすると仮定します。

#define PREFIX "/home/conda/feedstock_root/build_artifacts/" \
               "foo_1699999999999/_h_env" \
               "_placehold_placehold_placehold_placehold_placehold" \
               "_placehold_placehold_placehold_placehold_placehold" \
               "_placehold_placehold_placehold_placehold_placehold" \
               "_placehold_placehold_placehold_placeho/"

そして、GCCがパスの断片をバイナリ内に連続して配置することを祈っていても、バイナリにプレフィックスが戻ってくることはありません。代わりに得られるのは、わずか176バイト(11 x 16バイト)の、はるかに短い文字列です。

$ strings main | grep /home
/home/conda/feedstock_root/build_artifacts/foo_1699999999999/_h_env_placehold_placehold_placehold_placehold_placehold_placehold_placehold_placehold_placehold_placehold_placeho/

これは、さらなる最適化のおかげです。文字列_placeholdは10バイトごとに繰り返されるため、16バイトの断片はlcm(10, 16) = 80バイトごとに繰り返されます。GCCはパディングのために5つの異なる16バイト定数のみを格納する必要があります。

/home/conda/feed
stock_root/build
_artifacts/foo_1
699999999999/_h_
env_placehold_pl
acehold_placehol  # 注意
d_placehold_plac  # ここ
ehold_placehold_  # が
placehold_placeh  # サイクリック
old_placehold_pl  # です
acehold_placeho/

この最適化は役立つか?

文字列リテラルに関しては、私はそうは思いません。Clangは文字列を定数に分割しませんが、実質的に同じ命令を生成します。たとえば、より長いパスを取り、-march=x86-64-v3でAVX2をターゲットにしてみましょう。

#define PREFIX "/home/linuxbrew/.linuxbrew/Cellar/foo/1.2.3/share/foo"

Clangは単に文字列を文字列専用セクション.rodata.str1.1に配置します。

.L.str:
.asciz "/home/linuxbrew/.linuxbrew/Cellar/foo/1.2.3/share/foo"

そして、2つの重複する32バイトのymmロードとストア(オフセット21と0)を使用して、その53バイトをコピーします。

vmovups ymm0, ymmword ptr [rip + .L.str+21]
vmovups ymmword ptr [rax + 21], ymm0
vmovups ymm0, ymmword ptr [rip + .L.str]
vmovups ymmword ptr [rax], ymm0

これはGCCのバージョンとそれほど異なりません。GCCは.rodata.cst32の同じ2つの断片からロードします。

vmovdqa ymm0, YMMWORD PTR .LC0[rip]
vmovdqu YMMWORD PTR [rax], ymm0
vmovdqa ymm0, YMMWORD PTR .LC1[rip]
vmovdqu YMMWORD PTR 21[rax], ymm0

では、GCCは何を得るのでしょうか?パフォーマンスの点では、おそらく測定可能なものは何もありません。どちらも同じロードとストアを実行します。重複する断片がある場合、GCCはわずかに有利になる可能性があります。なぜなら、重複する断片は一度ロードされ、複数回格納されるからです(前の例では16回のストアに対して11回のロード)。また、アライメントされた読み取りを使用しますが、これは古いCPUにのみ関係します。

サイズに関しては、GCCの断片は文字列自体よりも多くのスペースを取ることがあります。重複するバイトは2回格納され、断片は16、32、または64バイトにアライメントされます。上記の53バイトのパスは、文字列としての54バイトに対して、2つの断片として64バイトを取ります。これは、重複排除が行われた場合にのみ効果があります。たとえば、多くの文字列がSSE2の場合は少なくとも16バイト、AVX2の場合は32バイト、AVX-512の場合は64バイトのプレフィックスを共有する場合です。特に一部のディストリビューションがAVX2をベースラインとして使用している現在では、重複排除は実際にはあまり節約にならないと思われます。

この最適化を無効にできますか?

-Osでコンパイルする場合を除き、実際にはできません。GCC 10以降(またはそれ以前のバージョンも?)では、-marchを指定しなくても、最大256バイトの文字列に対して断片化最適化がトリガーされます。GCC 12からは、ターゲットのベクトル幅に対して相対的になり、より長い文字列も断片化されます。AVX2の場合は最大512バイト、AVX-512の場合は1024バイトです。

これに対する唯一の制御は、-mstore-max=128を渡すことによって、最大ベクトル幅を128ビット(xmm操作を強制)に設定することだと思います。しかし、これは古いデフォルトを回復するだけであり、最大256バイトの文字列は依然として断片化されて格納されることを意味します。

事後スキャンは悪い習慣かもしれませんか?

これらのビルド後の絶対パス監査は人気がありますが、そもそも脆すぎると主張することもできます。なぜ機能することを期待するのでしょうか?

実際、Debianは悪いパススキャンよりもはるかに進んでいます。彼らの監査は、パッケージが異なる環境(異なるマシン、異なるユーザー、日時、ホスト名、ロケールなど)でビット単位で再構築できると主張しています。これは、マシン固有の詳細をバイナリから除外するための、はるかに信頼性の高い方法です。¹⁰

それにもかかわらず、Debian上でも、文字列定数をバイナリ内に文字通り保持することは依然として有用であると私は主張します。なぜなら、それはバイナリの解釈可能性を向上させるからです。strings ./binaryを実行することは、不透明なバイナリブロブに関する洞察を得るための非常にシンプルで便利な方法であり、断片化と重複排除に伴うわずかな節約を上回ります。これは、わずかなオーバーヘッドにもかかわらず、プロファイラーやトレースツールがより確実に機能するように、FedoraとUbuntuがフレームポインタをデフォルトで再度オンにすることに似ています。

それ以外では、バイナリパッチングの議論があります。これは、いくぶん脆いと考えられていますが、CondaとSpackでは一般的なプラクティスです。ユーザー指定の場所にインストールすると、絶対パスは、 glorified sed呼び出しと見なすことができるものを通じて、インプレースでそれに応じてパッチされます。これは、パスが1つの断片に格納されている場合にのみ機能します。


これについて議論したい場合は、私が最近開始したgcc-patchesスレッドが良い場所です。オプトアウトする方法を追加する初期のパッチ試行が含まれています。

¹ RPM (Fedora, RHEL, openSUSE): check-buildrootは、インストールされたすべてのファイルをビルドルートに対してgrepします。
² Arch Linux: makepkgは、$srcdirおよび$pkgdirへの参照について警告します。
³ Yocto / OpenEmbedded: buildpaths QAチェック。
⁴ FreeBSD ports: ステージQAはステージングディレクトリをgrepします。
⁵ pkgsrc: CHECK_WRKREF、パッケージ開発者が有効にしない限りオフです。
⁶ Homebrew: brew bottleは、ボトルが再配置可能かどうかを判断するためにプレフィックスをスキャンします。
⁷ conda-build: ビルドプレフィックスを含むファイルはinfo/has_prefixにリストされ、インストール時に書き直されます。
⁸ rattler-build: conda-buildと同じスキームで、memmemを使用します。
⁹ JuliaのBinaryBuilder: check_absolute_pathsは、任意のファイル内のビルドプレフィックスについて警告します。
¹⁰ Debianでさえ、1つのパスは固定されています。2024年初頭から、両方のビルドは同じビルドディレクトリを使用しています。なぜなら、それは.buildinfoファイルに記録され、再構築時に再利用されるからです。したがって、バイナリに埋め込まれたビルドパスは、そこでも見過ごされます。