再帰的な `make` と `-j`
Recursive `make` and `-j` (quuxplusone.github.io)
要約
この記事では、Makefileのレシピ内で`make`を再帰的に呼び出す際のGNU Makeの挙動について、バージョン3.81から4.3にかけての変化を解説しています。特に、`-j`オプション(並列実行)が子プロセスに引き継がれない問題と、その解決策としてレシピ行の先頭に`+`を付けるか、`make`を`$(MAKE)`に置き換える方法について説明しています。また、これらの方法でも解消されない警告や、バージョンによる挙動の違いについても詳細な表を用いて比較しています。
全文翻訳
再帰的な make と -j
今日は、Makefileのレシピ自体が make を呼び出す「再帰的な」make の呼び出しについて調べました。公式ドキュメント は非常に優れていますが、私はさまざまなバージョンのGNU Makeを扱っているため、GNU Make 3.81から4.3にかけて、その挙動がどのように変化したかを見てみました。
基本的に、Makefileに次のようなレシピがある場合の問題は次のとおりです。
ser:
make -C subdir
そして make -j4 ser を実行すると、最近のバージョンのGNU Makeは警告(jobserver unavailable: using -j1)を表示します。そして、子 make に「ジョブサーバー」(基本的に -j オプション)が転送されないため、望んでいた並列処理を失うことになります。ちなみに、あなたが呼び出したのと同じ make バイナリを必ずしも使用するわけではなく、パスにある任意の make を実行します。
レシピ行の前に + を付けるか、(それが不快に魔法のように感じるので)make を $(MAKE) に置き換えることで、これら3つの問題すべてを修正できます。この点については、投稿の最後に詳しく説明します。今や「ジョブサーバー」を適切に転送できるようになったので、コマンドラインで指定した並列度と再帰的なレシピで指定した並列度がどのように相互作用するか、疑問に思いました。
テストに使用したMakefileのペアは次のとおりです。
detab -E -4 - >Makefile <<EOF
ser:
make -C subdir
par2:
make -j2 -C subdir
par4:
make -j4 -C subdir
par:
make -j -C subdir
serplus:
+make -C subdir
par2plus:
+make -j2 -C subdir
par4plus:
+make -j4 -C subdir
parplus:
+make -j -C subdir
sermake:
$(MAKE) -C subdir
par2make:
$(MAKE) -j2 -C subdir
par4make:
$(MAKE) -j4 -C subdir
parmake:
$(MAKE) -j -C subdir
EOF
mkdir subdir
detab -E -4 - >subdir/Makefile <<EOF
all: one two three four five
one:
echo 'one' && sleep 1 && echo 'ONE'
two:
echo 'two' && sleep 1 && echo 'TWO'
three:
echo 'thr' && sleep 1 && echo 'THR'
four:
echo 'fou' && sleep 1 && echo 'FOU'
five:
echo 'fiv' && sleep 1 && echo 'FIV'
EOF
その後、利用可能なさまざまなバージョンのMakeで make ser、make -j2 ser などを実行してテストしました。
これはGNU Make 3.81(OS X上)です。各セルの数字は並列で実行されているレシピの数を示します。ダガー†でマークされた4行は、テストしたMakeのバージョン間で異なります。これらのイディオムは「移植性がない」ため、私の意見では実際には避けるべきです。
make… | -j2 | -j4 | -j | |
|---|---|---|---|---|
ser† | 1 | 2 | 4 | ∞ |
serplus | 1 | 2 | 4 | ∞ |
sermake | 1 | 2 | 4 | ∞ |
par2 | 2 | 2b | 2b | 2 |
par2plus | 2 | 2b | 2b | 2 |
par2make | 2 | 2b | 2b | 2 |
par4 | 4 | 4b | 4b | 4 |
par4plus | 4 | 4b | 4b | 4 |
par4make | 4 | 4b | 4b | 4 |
par† | ∞ | 2 | 4 | ∞ |
parplus† | ∞ | 2 | 4 | ∞ |
parmake† | ∞ | 2 | 4 | ∞ |
上記の表では、「b」は次の警告を示します。
$ make -j2 par2
make[1]: warning: -jN forced in submake: disabling jobserver mode.
GNU Make 4.0(Debian 8.11上):
make… | -j2 | -j4 | -j | |
|---|---|---|---|---|
ser† | 1 | 1a | 1a | ∞ |
serplus | 1 | 2 | 4 | ∞ |
sermake | 1 | 2 | 4 | ∞ |
par2 | 2 | 2b | 2b | 2 |
par2plus | 2 | 2b | 2b | 2 |
par2make | 2 | 2b | 2b | 2 |
par4 | 4 | 4b | 4b | 4 |
par4plus | 4 | 4b | 4b | 4 |
par4make | 4 | 4b | 4b | 4 |
par† | ∞ | 1a | 1a | ∞ |
parplus† | ∞ | 2 | 4 | ∞ |
parmake† | ∞ | 2 | 4 | ∞ |
上記の表では、「a」と「b」はそれぞれ次の2つの警告を示します。
$ make -j2 ser
make[1]: warning: jobserver unavailable: using -j1. Add '+' to parent make rule.
$ make -j2 par2
make[1]: warning: -jN forced in submake: disabling jobserver mode.
GNU Make 4.2.1(Rocky 8.10上)およびGNU Make 4.3(Red Hat 9またはUbuntu 22.04上)は、後者のエラーメッセージを調整して N の値を含めるようにしました。
$ make -j2 par
make[1]: warning: -j0 forced in submake: resetting jobserver mode.
$ make -j2 par2
make[1]: warning: -j2 forced in submake: resetting jobserver mode.
また、par、parplus、parmake の行の挙動も変更されました。
make… | -j2 | -j4 | -j | |
|---|---|---|---|---|
ser† | 1 | 1a | 1a | ∞ |
serplus | 1 | 2 | 4 | ∞ |
sermake | 1 | 2 | 4 | ∞ |
par2 | 2 | 2b | 2b | 2 |
par2plus | 2 | 2b | 2b | 2 |
par2make | 2 | 2b | 2b | 2 |
par4 | 4 | 4b | 4b | 4 |
par4plus | 4 | 4b | 4b | 4 |
par4make | 4 | 4b | 4b | 4 |
par† | ∞ | ∞b | ∞b | ∞ |
parplus† | ∞ | ∞b | ∞b | ∞ |
parmake† | ∞ | ∞b | ∞b | ∞ |
「親のmakeルールに '+' を追加してください」と明示的に指示する警告「a」は、+ を make を含む行の前に付けることで、確かに常に消えます。
serplus:
+make -C subdir
この解決策は、@ を付ける や - を付ける のように、不快に魔法のように感じます。(個人的には、レシピ行の最後に「|| true」がある方が、先頭の魔法の「-」よりも好きです。)見た目が魔法らしくない解決策(ただし、内部的には同様に魔法のようです)は、$(MAKE) を使用することです。
sermake:
$(MAKE) -C subdir
どちらの方法も、警告「b」(「ジョブサーバーモードのリセット」について)を沈黙させるわけではありません。
私たちが本当に望んでいるのは、以下の fantasy のような行ですが、現時点では、引用された行のいずれかから好みのトレードオフを選択する必要があるようです。
make… | -j2 | -j4 | -j | |
|---|---|---|---|---|
fantasy | nprocs | 2 | 4 | ∞ |
sermake | 1 | 2 | 4 | ∞ |
par4make | 4 | 4b | 4b | 4 |