Concurrent Shell Command Queues
Concurrent Shell Command Queues (emmer.dev)
要約
この記事では、Bashで並列処理を実行しつつ、その同時実行数を制限する方法について解説しています。筆者は、Bashでスレッドプールを作成する「半レジリエントでポータブル」な方法として、FIFOキューと`xargs -P`を組み合わせたコマンドキューイングシステムを提案しています。このシステムは、コマンドを事前にすべて知っている必要がなく、時間経過とともにコマンドをキューに投入できる柔軟性を持っています。
全文翻訳
並列シェルコマンドキュー
シェルコマンドを並列実行し、その同時実行数を制限する方法。
最近、Bashでの処理を高速化したいが、同時実行数は制限したいというユースケースがありました。そこで、「Bashでスレッドプールを作成する簡単な方法はあるだろうか?」と思いました。答えは「はい、ありますが、半レジリエントでポータブルにするには少し手間がかかります」です。
なぜBashでこれを行うのか?並列制御が貧弱な言語を使うのは愚かだと思われるかもしれません。そう質問するのはもっともです。私の答えは、「Bashが好きだから」そして「挑戦したかったから」です。しかし、それでもPythonのような別の言語を使う方が良いでしょう。
ここに、実行するシェルコマンドを受け入れるコマンドキューを作成するコードがあります。実行したいすべてのコマンドを事前に知っている必要はありません。時間経過とともにコマンドをキューに送信できます。
# このシェルのコマンドキューを開始します。
# @param {number} $1 一度に実行するジョブの最大数
queue_start() {
# xargsの制限として並列度が有効な整数か検証する
if [[ ! ${1:-} =~ ^[1-9][0-9]*$ ]]; then
echo "queue_start: size must be a positive integer, got '${1:-}'" >&2
return 1
fi
# 継承された、または以前のコマンドキューのファイルディスクリプタのこのシェルでのコピー(親のものではない)を閉じます
if [[ -n ${_queue_fd:-} ]]; then
eval "exec ${_queue_fd}>&-"
unset _queue_fd _queue_pid
fi
# 3から9までの最初の未使用FDを見つけます(zshのリダイレクト最大値)
local fd=3
while { : <&"${fd}"; } 2>/dev/null; do fd=$(( fd + 1 )); done
if [[ ${fd} -gt 9 ]]; then
echo "queue_start: no free fd from 3 to 9" >&2
return 1
fi
# プライベート一時ディレクトリにFIFOキューファイルを作成します
local dir
dir=$(mktemp -d "${TMPDIR:-/tmp}/queue.XXXXXX")
mkfifo "${dir}/queue"
# コマンドを実行するシェルを見つけます(現在のシェル)
local shell
shell=$(ps -o comm= -p "$$")
shell=${shell#-}
# バックグラウンドでxargsを開始し、キューファイルからNUL区切りのコマンドを読み取ります。ジョブメッセージはジョブ制御をオフにし、ブロックの標準エラーを破棄することで非表示にされます。xargsは、ファイルが開かれるまで、キューファイルのFDのコピーを通じて実際の標準エラーを取得します。
eval "exec ${fd}>&2"
local opts=$-
set +m
{
# shellcheck disable=SC2016
xargs -0 -n 1 -P "$1" "${shell}" -c '
# 出力はストリーミングではなくキャプチャされるため、コマンド出力は分離されます
out=$(eval -- "$1" </dev/null 2>&1); rc=$?
[ -z "${out}" ] || printf "%s\n" "${out}"
# 非ゼロの終了コードを1に強制します。255コードはxargsを停止させるためです
[ "${rc}" -eq 0 ] || { printf "exit %d: %s\n" "${rc}" "$1" >&2; exit 1;
}' _ <"${dir}/queue" 2>&"${fd}" &
_queue_pid=$!
disown || :
} 2>/dev/null
if [[ ${opts} == *m* ]]; then set -m; fi
# xargsが読み込み用に開くまで待機してから、キューファイルへの書き込みを開きます
# 両端が開いているため、ファイルを安全に削除できます
eval "exec ${fd}>\"
{dir}/queue\""
_queue_fd=${fd}
rm -rf "${dir}"
# このPIDの子プロセスを終了させるための終了ハンドラを登録します。これによりzshがbashのように動作します
setopt localoptions posixtraps 2>/dev/null || :
trap _queue_stop EXIT
if [[ $- != *i* ]]; then
trap 'exit 129' HUP
trap 'exit 130' INT
trap 'exit 143' TERM
fi
}
# このシェルのコマンドキューにコマンドをキューに入れます。
# @param {string} $1 実行するコマンド
queue_submit() {
if [[ -z ${_queue_fd:-} ]]; then
echo "queue_submit: no command queue started in this shell" >&2
return 1
fi
# キューファイルにコマンドを書き込みます。キューがいっぱいならブロックします
# printfプロセスを使用します。これにより、xargsが終了した場合、printfは終了し、このシェルは終了しません
if [[ $- == *i* ]]; then
# インタラクティブシェルは、フルキューによって遅延する可能性のあるTERM/HUP/INTトラップを持たないため、フォアグラウンドで書き込みます
env printf '%s\0' "$1" >&"${_queue_fd}"
else
# フルキューがTERM/HUP/INTトラップを遅延させないように、バックグラウンドで書き込みます
env printf '%s\0' "$1" >&"${_queue_fd}" &
wait "$!"
fi || {
echo "queue_submit: couldn't queue the command; the command queue may have stopped" >&2
return 1
}
}
# キューファイルを閉じ、xargsにキューされたジョブを完了させ、その後終了するのを待ちます
queue_wait() {
if [[ -z ${_queue_fd:-} ]]; then
echo "queue_wait: no command queue started in this shell" >&2
return 1
fi
eval "exec ${_queue_fd}>&-"
while kill -0 "${_queue_pid}" 2>/dev/null; do sleep 0.1; done
unset _queue_fd _queue_pid
}
# 指定されたPID以下のすべてのプロセスを停止します。
# @param {number=} $1 停止する子孫のPID。デフォルトはこのシェルのPIDです
_queue_stop() {
# このシェルのPIDをデフォルトとします。これはサブシェル内の親PIDから見つけられます
local parent=${1:-$(exec sh -c 'echo "${PPID}"')}
local pid
for pid in $(exec pgrep -P "${parent}"); do
# プロセスを一時停止して、新しい子プロセスを開始できないようにします
kill -STOP "${pid}" 2>/dev/null || continue
# プロセスのサブプロセスを終了させ、その後プロセス自体を終了させます
_queue_stop "${pid}"
kill -TERM "${pid}" 2>/dev/null || :
# プロセスを再開させて、終了に応答できるようにします
kill -CONT "${pid}" 2>/dev/null || :
done
}
# 終了時にすべてのバックグラウンドプロセスを停止します。これらはCtrl-Cを無視し、TERMを受け取らないためです
if [[ $- != *i* ]]; then
trap _queue_stop EXIT
trap 'exit 129' HUP
trap 'exit 130' INT
trap 'exit 143' TERM
fi
queue_startはキュー(mkfifoで管理)を初期化し、エグゼキュータ(同時実行数はxargs -Pで管理)を開始します。queue_submitはコマンドをキューに送信し、queue_waitはクリーンアップの前にキューが空になるのを待ちます。queue_waitの呼び出しはオプションです。queue_submitでキューイングするとすぐにコマンド処理が開始されます。
このコードをスクリプトにコピー&ペーストしても構いませんし、ドットファイルに入れても安全です。インタラクティブシェル用に終了トラップの一部を設定するだけです。BashとZshで動作し、私が追加できる限りの防御的プログラミングが施されていますが、予測や回避が難しい失敗モードがあることは確実です。
使用例
私の元のユースケースは多数のWebリクエストを行うことに関連していたため、Postman Echoを使用した例を次に示します。
● ● ●
shell
$ queue_start 3
$ for n in 1 2 3 4 5; do
queue_submit "set -o pipefail; \
curl -sS --fail-with-body --max-time 10 -X POST -H 'Content-Type: application/json' \
-d '{"request": ${n}}' \
https://postman-echo.com/post | \
jq -c .json"
done
$ queue_wait
{"request":1}
{"request":2}
{"request":3}
{"request":4}
{"request":5}
コマンド3がコマンド2の完了後にのみ開始されることを示す、同時実行が尊重されていることを実証する、より決定論的なシナリオです。
● ● ●
shell
$ queue_start 2
$ queue_submit 'sleep 1; echo first'
$ queue_submit 'echo second'
$ queue_submit 'echo third'
$ queue_wait
second
third
first
コマンドキューはサブシェルに継承されます。
● ● ●
shell
$ queue_start 2
$ ( queue_submit 'echo "submitted from a subshell"' )
$ queue_submit 'echo "submitted from the main shell"'
$ queue_wait
submitted from a subshell
submitted from the main shell
異なるサブシェルは独自のコマンドキューを持つことができます。
● ● ●
shell
$ (
queue_start 2
for n in 1 2 3 4; do queue_submit "sleep 1; echo first queue, job ${n}"; done
queue_wait
) &
$ first=$!
$ (
queue_start 1
for n in 1 2; do queue_submit "sleep 1; echo second queue, job ${n}"; done
queue_wait
) &
$ second=$!
$ wait "${first}"
$ wait "${second}"
second queue, job 1
first queue, job 1
first queue, job 2
second queue, job 2
first queue, job 3
first queue, job 4
コマンドの出力の各行を、実行するコマンドとしてキューに入れます。
● ● ●
shell
$ queue_start 2
$ while IFS= read -r line; do
queue_submit "${line}"
done < <(printf 'echo "from command output, line %d"\n' 1 2 3)
$ queue_wait
from command output, line 1
from command output, line 2
from command output, line 3
ファイルの各行をコマンドとしてキューに入れます。
● ● ●
shell
$ queue_start 2
$ while IFS= read -r line; do
queue_submit "${line}"
done < commands.txt
$ queue_wait
既知の問題
別のプログラミング言語を使いたくなる理由がいくつかあります。
-
シェルは1つのキューしか持てません。
複数のキューをサポートするために必要な追加コードは複雑であり、ほとんどの場合必要ないでしょう。サブシェルは依然として独自のキューを持つことができます。
-
コマンド出力は意図的にストリーミングされません。
これにより、ほとんどのコマンドの出力のインターリーブを防ぎます。
PIPE_BUFより大きい出力は、依然としてインターリーブされる可能性があります。 -
queue_waitはジョブの失敗を示す値を返しません。これには一時ファイルまたは2番目のファイルディスクリプタと、いくつかの複雑なコードが必要です。
-
queue_waitは、queue_startの後に開始された実行中のプロセスを待機する必要があります。queue_startの後に開始されたプロセスは、キュー書き込みファイルディスクリプタを継承します(これがサブシェルを機能させる理由です)。すべての書き込みディスクリプタのコピーが閉じられるまで、xargsはキューの終端を認識しません。 -
_queue_stopはサブプロセスを無差別に終了させます。他のバックグラウンドジョブはすべて終了します。これには、
queue_startの前に開始されたものも含まれます。
なぜxargs -Pだけではダメなのか?
実行したいすべてのコマンドを事前に知っている場合、解決策ははるかにシンプルになります。
● ● ●
shell
$ printf 'echo "from command output, line %d"\0' 1 2 3 | \
xargs -0 -n 1 -P 2 bash -c
from command output, line 1
from command output, line 2
from command output, line 3
または
● ● ●
shell
$ tr '\n' '\0' < commands.txt | \
xargs -0 -n 1 -P 2 bash -c
GNU parallelも同様に動作しますが、macOSには標準で含まれていません。
● ● ●
shell
$ printf 'echo "from command output, line %d"\n' 1 2 3 | \
parallel -j 2
from command output, line 1
from command output, line 2
from command output, line 3