systemd-journaldのディスク書き込みが1行あたり49KB以上(ext4)/ 110KB以上(btrfs)になる問題
Single log line is 49KB+ (ext4) / 110KB+ (btrfs) of systemd-journald disk writes (github.com)
要約
systemd-journaldがログをディスクに書き込む際に、特にext4やbtrfsファイルシステムにおいて、1行のログに対して49KBから110KB以上ものディスク書き込みが発生するという問題が報告されています。これは、syslogと比較して桁違いに大きく、VM環境で毎秒2行のログ書き込みで約50 IOPSを発生させるほどの過剰なI/Oを引き起こしています。報告者は、journaldの非効率的なフォーマットと、クリーンでない再起動時の破損の可能性を指摘しています。
全文翻訳
systemd-journald による過剰なIO発生について #40262
この問題のデバッグに時間を費やしました。
journald はデバッグが困難な mmap されたファイルのみで動作し、通常の I/O 手段を使用できないため、単純な問題ではありません。
いくつかの方法を試しましたが、最終的に以下のようになりました。
/var/log/journalにマウントするための、ext4 のループデバイス(/tmpの tmpfs 上)を作成する- このデバイスの
loop0の I/O stat ファイルと、systemd-journaldの cgroup のio.statをログに記録する
私の設定
journald.confでCompress=no, SyncIntervalSec=10sを設定した journaldsystem.confでDefaultIOAccounting=yesを設定した systemd- sysctl:
vm.dirty_writeback_centisecs = 100, vm.dirty_expire_centisecs = 200 -E 'lazy_journal_init=0' -E 'lazy_itable_init=0'で作成された ext4 ジャーナルファイル- 完全に「静かな」システムで、journald に何もログ記録されていない状態
私のテストスイート
loop0 デバイスの block stat ファイル の7番目の値(書き込みセクター、セクターは常に512バイト)と、loop0 デバイスに対する /sys/fs/cgroup/system.slice/systemd-journald.service/io.stat のデータを表現する小さな Python スクリプトを作成しました。
⇒ blockwrites-journal-loop.py ⇐
logger -p info test を使用して syslog に書き込みました。
このログメッセージの、すべての内部フィールドを含む journald のデータ量は約752バイトです。
# journalctl -o json -a --since 19:16:12 --until 19:16:12.9 | wc -c
752
# journalctl -o json -a --since 19:16:12 --until 19:16:12.9 | cat
{"__CURSOR":"s=be2e6c538ca748578da943ea92371828;i=188;b=cc21d029f31c449795207b313de3452f;m=f7436510;t=65826db61ff7a;x=38e7ed08484d1d59","__MACHINE_ID":"8baf193516d544518355beda01863de4","__SEQNUM_ID":"be2e6c538ca748578da943ea92371828","_COMM":"logger","_HOSTNAME":"fedora","_GID":"1000","PRIORITY":"6","_SELINUX_CONTEXT":"unconfined_u:unconfined_r:unconfined_t:s0-s0:c0.c1023","_RUNTIME_SCOPE":"system","__REALTIME_TIMESTAMP":"1785773772898170","__MONOTONIC_TIMESTAMP":"4148389136","_TRANSPORT":"syslog","_SOURCE_REALTIME_TIMESTAMP":"1785773772898102","__SEQNUM":"392","SYSLOG_IDENTIFIER":"valdikss","_UID":"1000","MESSAGE":"test","SYSLOG_TIMESTAMP":"Aug 3 19:16:12 ","_BOOT_ID":"cc21d029f31c449795207b313de3452f","SYSLOG_FACILITY":"1","_PID":"14004"}
結果は以下の通りです。
$ ./blockwrites-journal-loop.py
19:36:21: Started with 15675392 bytes loop0, 3855360 bytes journald cgroup
⇒ TERM2: logger -p info test
⇒ JOURNALTERM: авг 03 19:36:39 fedora valdikss[16919]: test
19:36:39: loop0: 15682560 bytes (+7168 bytes, +7168 bytes since start) | journald cgroup: 3859456 bytes (+4096 bytes, +4096 bytes since start)
19:36:42: loop0: 15748096 bytes (+65536 bytes, +72704 bytes since start) | journald cgroup: 3924992 bytes (+65536 bytes, +69632 bytes since start)
19:36:45: loop0: 15752192 bytes (+4096 bytes, +76800 bytes since start) | journald cgroup: 3924992 bytes (+0 bytes, +69632 bytes since start)
19:36:47: loop0: 15754240 bytes (+2048 bytes, +78848 bytes since start) | journald cgroup: 3924992 bytes (+0 bytes, +69632 bytes since start)
19:36:50: loop0: 15761408 bytes (+7168 bytes, +86016 bytes since start) | journald cgroup: 3929088 bytes (+4096 bytes, +73728 bytes since start)
19:36:52: loop0: 15762432 bytes (+1024 bytes, +87040 bytes since start) | journald cgroup: 3929088 bytes (+0 bytes, +73728 bytes since start)
⇒ TERM2: logger -p info test
⇒ JOURNALTERM: авг 03 19:37:21 fedora valdikss[16934]: test
19:37:22: loop0: 15769600 bytes (+7168 bytes, +94208 bytes since start) | journald cgroup: 3933184 bytes (+4096 bytes, +77824 bytes since start)
19:37:24: loop0: 15814656 bytes (+45056 bytes, +139264 bytes since start) | journald cgroup: 3978240 bytes (+45056 bytes, +122880 bytes since start)
19:37:28: loop0: 15818752 bytes (+4096 bytes, +143360 bytes since start) | journald cgroup: 3978240 bytes (+0 bytes, +122880 bytes since start)
19:37:30: loop0: 15820800 bytes (+2048 bytes, +145408 bytes since start) | journald cgroup: 3978240 bytes (+0 bytes, +122880 bytes since start)
19:37:32: loop0: 15827968 bytes (+7168 bytes, +152576 bytes since start) | journald cgroup: 3982336 bytes (+4096 bytes, +126976 bytes since start)
19:37:34: loop0: 15828992 bytes (+1024 bytes, +153600 bytes since start) | journald cgroup: 3982336 bytes (+0 bytes, +126976 bytes since start)
⇒ TERM2: logger -p info test
⇒ JOURNALTERM: авг 03 19:37:58 fedora valdikss[16947]: test
19:37:59: loop0: 15836160 bytes (+7168 bytes, +160768 bytes since start) | journald cgroup: 3986432 bytes (+4096 bytes, +131072 bytes since start)
19:38:01: loop0: 15881216 bytes (+45056 bytes, +205824 bytes since start) | journald cgroup: 4031488 bytes (+45056 bytes, +176128 bytes since start)
19:38:05: loop0: 15885312 bytes (+4096 bytes, +209920 bytes since start) | journald cgroup: 4031488 bytes (+0 bytes, +176128 bytes since start)
19:38:07: loop0: 15887360 bytes (+2048 bytes, +211968 bytes since start) | journald cgroup: 4031488 bytes (+0 bytes, +176128 bytes since start)
19:38:09: loop0: 15894528 bytes (+7168 bytes, +219136 bytes since start) | journald cgroup: 4035584 bytes (+4096 bytes, +180224 bytes since start)
19:38:11: loop0: 15895552 bytes (+1024 bytes, +220160 bytes since start) | journald cgroup: 4035584 bytes (+0 bytes, +180224 bytes since start)
⇒ TERM2: for i in {1..10}; do logger -p info test; done
⇒ JOURNALTERM: авг 03 19:37:58 fedora valdikss[16947]: test
авг 03 19:38:32 fedora valdikss[16958]: test
авг 03 19:38:32 fedora valdikss[16959]: test
авг 03 19:38:32 fedora valdikss[16960]: test
авг 03 19:38:32 fedora valdikss[16961]: test
авг 03 19:38:32 fedora valdikss[16962]: test
авг 03 19:38:32 fedora valdikss[16963]: test
авг 03 19:38:32 fedora valdikss[16964]: test
авг 03 19:38:32 fedora valdikss[16965]: test
авг 03 19:38:32 fedora valdikss[16966]: test
авг 03 19:38:32 fedora valdikss[16967]: test
19:38:33: loop0: 15902720 bytes (+7168 bytes, +227328 bytes since start) | journald cgroup: 4039680 bytes (+4096 bytes, +184320 bytes since start)
19:38:35: loop0: 15980544 bytes (+77824 bytes, +305152 bytes since start) | journald cgroup: 4117504 bytes (+77824 bytes, +262144 bytes since start)
19:38:39: loop0: 15984640 bytes (+4096 bytes, +309248 bytes since start) | journald cgroup: 4117504 bytes (+0 bytes, +262144 bytes since start)
19:38:41: loop0: 15986688 bytes (+2048 bytes, +311296 bytes since start) | journald cgroup: 4117504 bytes (+0 bytes, +262144 bytes since start)
19:38:43: loop0: 15993856 bytes (+7168 bytes, +318464 bytes since start) | journald cgroup: 4121600 bytes (+4096 bytes, +266240 bytes since start)
19:38:45: loop0: 15994880 bytes (+1024 bytes, +319488 bytes since start) | journald cgroup: 4121600 bytes (+0 bytes, +266240 bytes since start)
⇒ TERM2: logger -p info test
⇒ JOURNALTERM: авг 03 19:39:02 fedora valdikss[16978]: test
19:39:03: loop0: 16002048 bytes (+7168 bytes, +326656 bytes since start) | journald cgroup: 4125696 bytes (+4096 bytes, +270336 bytes since start)
19:39:05: loop0: 16047104 bytes (+45056 bytes, +371712 bytes since start) | journald cgroup: 4170752 bytes (+45056 bytes, +315392 bytes since start)
19:39:09: loop0: 16051200 bytes (+4096 bytes, +375808 bytes since start) | journald cgroup: 4170752 bytes (+0 bytes, +315392 bytes since start)
19:39:11: loop0: 16053248 bytes (+2048 bytes, +377856 bytes since start) | journald cgroup: 4170752 bytes (+0 bytes, +315392 bytes since start)
19:39:13: loop0: 16060416 bytes (+7168 bytes, +385024 bytes since start) | journald cgroup: 4174848 bytes (+4096 bytes, +319488 bytes since start)
19:39:15: loop0: 16061440 bytes (+1024 bytes, +386048 bytes since start) | journald cgroup: 4174848 bytes (+0 bytes, +319488 bytes since start)
ご覧の通り、単一のログメッセージまたは同様のログメッセージ10件で、少なくとも55 KBの書き込みデータが発生します。
14件のログメッセージで386 KBの物理書き込み(ブロックstatによる)と、319 KBのjournaldからの書き込み(cgroupブロックstatによる)が発生しました。
比較
ここでは、syslogがどのように動作するかをシミュレートします。テキストファイルへの追記、fdatasync+fsync を使用します。
$ ./blockwrites-journal-loop.py
20:04:59: Started with 17602560 bytes loop0, 5547008 bytes journald cgroup
⇒ TERM2: echo 'авг 03 ZZ:XX:YY fedora valdikss[16978]: test' | dd conv=notrunc,fdatasync,fsync oflag=append of=testfile
20:05:34: loop0: 17609728 bytes (+7168 bytes, +7168 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
20:05:36: loop0: 17613824 bytes (+4096 bytes, +11264 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
⇒ TERM2: echo 'авг 03 ZZ:XX:YY fedora valdikss[16978]: test' | dd conv=notrunc,fdatasync,fsync oflag=append of=testfile
20:06:10: loop0: 17617920 bytes (+4096 bytes, +15360 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
20:06:13: loop0: 17618944 bytes (+1024 bytes, +16384 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
⇒ TERM2: echo 'авг 03 ZZ:XX:YY fedora valdikss[16978]: test' | dd conv=notrunc,fdatasync,fsync oflag=append of=testfile
20:06:33: loop0: 17623040 bytes (+4096 bytes, +20480 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
20:06:35: loop0: 17624064 bytes (+1024 bytes, +21504 bytes since start) | journald cgroup: 5547008 bytes (+0 bytes, +0 bytes since start)
ご覧の通り、ほとんどの場合、単一の ext4 ブロックの書き込み + 1024 バイトの何らかのデータであり、journald よりもはるかに小さいです。
全体で21 KBの書き込みが発生しました。
結論
原因については確信が持てず、さらなるデバッグが必要です。Journald は予想よりもはるかに多くのデータを書き込みますが、I/O のハンマー(頻繁な書き込み)には直面しておらず、予想よりもはるかに大きなデータ量が発生しているだけです。
追加テスト:
- mmap の問題か、どこかで誤って領域をダーティとマークしているか
- fallocated/hole'd ファイルの問題か、以前 ext4 でこれらの問題に遭遇したことがある
| fd = open(fn, O_RDWR | |
| if (fd < 0) | |
| return -errno; | |
| r = posix_fallocate_loop(fd, 0, size); | |
| if (r < 0) | |
| return r; | |
| p = mmap(NULL, size, PROT_READ | |
| if (p == MAP_FAILED) | |
| return -errno; |
Artem S. Tashkinov, lobshunter, Tony Finch, Charles Huber, AdamantGarth, Dzmitry Lazerka, Max Chernoff, josedavidricodias, Rafael Ristovski, Anders Eknert および 56 名がリアクションしました。
BLOGDRON, Andrei Dziahel, Anntoin, Alexey Vazhnov, Alexey Avramov, gavr, firengate および Ammar Nashar がリアクションしました。
Daniil , Aleksey Smirnov, Konstantin Novakovskii, Anntoin, Ivan Bondarev, Alexey Vazhnov, Dmitrii Kovalkov, yump, SilmorSenedlen, gavr および 2 名がリアクションしました。