FreeBSDが私のRAMを食った
FreeBSD ate my RAM (crocidb.com)
要約
この記事は、FreeBSDにおけるメモリ使用量の表示がなぜ分かりにくいのかを掘り下げています。オペレーティングシステムがパフォーマンス向上のためにディスクキャッシュをRAMに積極的に利用する仕組みと、fastfetchやbtopといったツールがそれぞれ異なるヒューリスティックに基づいてメモリ使用量を報告するため、表示にばらつきが生じる理由を解説しています。特に、btopがFreeBSDでのキャッシュメモリの扱いにおいて、他のツールと異なる計算方法をしている点が指摘されています。
全文翻訳
FreeBSDがRAMを食い尽くした!
先月、私は古いUbuntuサーバーからFreeBSDへサイトサーバーを移行した旅について投稿しました。Hacker Newsの何人かのユーザーが、私がfastfetchの結果を示した際に、btopとのRAM使用量の違いに混乱していること、そしてfastfetchの方がおそらく「より正確」だとコメントしたことに気づきました。私はその深淵に飛び込み、現代のオペレーティングシステムで空きメモリや使用中メモリを表示することが、見かけよりもいかに複雑であるかを理解しようと決めました。
別のユーザーがLinux ate my RAMを共有してくれました。これはLinuxで同じ現象の簡単な説明を提供しています。そして、FreeBSDについても簡単な答えが欲しいなら:OSはパフォーマンスを向上させるために、ディスクから可能な限りのものをRAMにキャッシュするため、使用量がおかしく見えることがありますが、そのキャッシュは揮発性であり、より多くのメモリが必要になった場合には解放されます。もう少し詳しい説明が欲しい場合は、読み進めてください。
ただし、その前に簡単な免責事項があります:私はオペレーティングシステムの内部、特にFreeBSDの専門家ではありません。これは、自由時間にこの分野で数週間にわたる調査を行った記録です。特に間違っている点を見つけた場合は、コメントで教えてください。知識の共有は思いやりです!
RAMの使用量を定義するのは難しい
Linux ate my RAMの全体的なポイントは、未使用のRAMは無駄なRAMであるという説明です。CPUキャッシュがRAMの内容をキャッシュするのと同じように、CPUはRAMの内容をキャッシュして、CPUがより速くアクセスできるようにします。そのキャッシュの仕組みはもう少し複雑ですが、その前に、カーネルがRAMをどのように管理しているかを理解することが重要です。
ほとんどの現代のオペレーティングシステムは仮想メモリ(VM)システムを持っています。これは基本的に物理メモリを(通常は)4KiBのページに分割します。各ページは異なるキューに追加され、カーネルはそれらを操作して、すべてのプロセスが必要なときにメモリを持ち、システム全体が不足時にも機能し続けるようにします。例えば、スワップメモリです。スワップメモリがどのように使用されるかについては、それがディスク上の別領域であり、必要に応じてRAMの一部を一時的に格納するということ以外、正確には考えたことがありませんでした。しかし、要約すると、OSはあまり使用されていない割り当て済みRAMを見ると、より多くのメモリが要求された場合にディスクに格納できるように設定します。そのページが所有するプログラムによって再び要求されると、RAMに移動されます。
すべてのOSは、ページとそれらを管理するためのルールが異なるセットを持っています。FreeBSDでは、ページキューの種類は次のとおりです。
#define PQ_NONE 255
#define PQ_INACTIVE 0
#define PQ_ACTIVE 1
#define PQ_LAUNDRY 2
#define PQ_UNSWAPPABLE 3
#define PQ_COUNT 4
これはsys/vm/vm_page.hで見つけることができます。他のすべてのUnixベースのシステムも同様のものを持っています:Linux、OpenBSD、NetBSD、DragonFlyBSD。
topを確認すると、メモリ使用量を報告するだけでなく、いくつかのカテゴリに分割していることがわかります。
[画像: top reports each section of memory, swap and disk cache with a lot of details]
top reports each section of memory, swap and disk cache with a lot of details
- active: active pagesは、(主に)ユーザーランドプロセスによって積極的に使用されているページです。
- inactive: 一定時間プロセスによってアクセスされていないページはinactiveに移動されます。
- laundry: これはスワップに書き込むためのページのキューです。システムがフリーキューにないスペースを割り当てる必要がある場合、inactiveページをこのキューに移動します。
- wired: これは
PQ_NONE、PQ_UNSWAPPABLEのメモリ、およびVMによって管理されていないカーネル自体が使用しているメモリです。 - free: 純粋に使用されていないメモリです。
inactiveだったメモリがlaundryに行き、ディスク(スワップ)に書き込まれ、その所有者であるプロセスによって再び要求された場合、ディスクからinactiveに、そして最終的に再びactiveに取得されます。
そして今、正確に使用されているメモリの量と空きメモリの量を正確に伝えることがそれほど簡単ではない理由が見えてきました。freeキューのメモリは確実に空きですが、inactiveキューのメモリも空きであると主張できます。なぜなら、カーネルはより多くのメモリが要求されたときにそれを解放するからです。wiredメモリはほとんどロックされていますが、そこにはディスクキャッシュが行くため、wiredにあるものの一部も解放可能であり、「空き」になります!
ディスクキャッシュ
現在のFreeBSDのデフォルトファイルシステムであるZFSは、最近使用されたデータをメモリにキャッシュしてディスクからの繰り返し読み取りを改善するARC(Adaptive Replacement Cache)という特殊なシステムを持っています。システムがより多くのメモリを要求すると、そのキャッシュは縮小します。カーネル自体にもこのキャッシュを行うメカニズムがありますが、ARCはそれをバイパスします。そのすべての統計情報はカーネルパラメータkstat.zfs.misc.arcstats.*を介してアクセスできます。sysctlを使用して、すべてを取得できます。
sysctl kstat.zfs.misc.arcstats
これにより、利用可能なすべてのパラメータが表示されますが、今重要なのは次のパラメータだけです。
sysctl -n kstat.zfs.misc.arcstats.size
sysctl -n kstat.zfs.misc.arcstats.c_min
sysctl -n kstat.zfs.misc.arcstats.c_max
これらは現在のキャッシュだけでなく、最小および最大の設定値をバイト単位で表示します。gnumfmtを使用すると、読みやすい単位に変換できます。
$ sysctl -n kstat.zfs.misc.arcstats.size | gnumfmt --to=iec
3.1G
これはtopにも、さらに詳細に表示されます。
これはZFSの場合ですが、FreeBSDで他のファイルシステムを実行することもできます。
なぜfastfetchとbtopは異なるレポートをするのか?
さて、興味深い部分にきました。これらのツールや、htopのような他の多くのツールは、ユーザー(またはシステム管理者)がシステムの状況を把握できるように、メモリ使用量を報告しようとします。そのため、すべてがヒューリスティックを選択する必要があります。つまり、使用中メモリと呼ぶものを効果的に決定します。そして、その違いのすべては、それらが異なるヒューリスティックを持っているという事実に由来します。
私は各ツールのソースコードを掘り下げて、それらがどのように決定するかを追跡しました。fastfetchは次のように行います。
free memory = free + inactive + cache*
used memory = total - free memory
その
cacheについては後ほど!
私の古いThinkPad X230で、FreeBSD 15.0-RELEASEを実行している場合、次のようになります。
[画像: 82% of used memory!]
82% of used memory!
一方、btopは次のように行います。
available memory = total memory - active - wired
free memory = free
used memory = active + wired
fastfetchと同時に実行すると、次のようになりました。
[画像: Only 7% used?!]
Only 7% used?!
さらに興味深いことに、htopも確認しました。メモリカテゴリはそれらのバーで個別に報告されますが、バーの最後に使用中メモリが表示されます。
[画像: 4.49G/5.69G]
4.49G/5.69G
このヒューリスティックを使用しています。
used memory = wired + active + laundry
その後、すべてのヒューリスティックを一度に表示するPythonスクリプトを作成しました。それはここにあります。
[画像: Reporting all heuristics at once]
Reporting all heuristics at once
btopは大きく外れていますが、それ以外は正しく見えます。しかし、よく見ると、以前共有したスクリーンショットのcacheの値も空であることに気づくでしょう。それは本当に数週間かかりました。そこで、さらにコードを掘り下げました。
btopのメモリ報告はFreeBSDではかなり間違っている
ソースコードで、特にメモリ情報を取得するsrc/freebsd/btop_collect.cppを見ると、次のようになっています。
int mib[4];
u_int memActive, memWire, cachedMem, freeMem;
size_t len;
len = 4; sysctlnametomib("vm.stats.vm.v_active_count", mib, &len);
len = sizeof(memActive);
sysctl(mib, 4, &(memActive), &len, nullptr, 0);
memActive *= Shared::pageSize;
len = 4; sysctlnametomib("vm.stats.vm.v_wire_count", mib, &len);
len = sizeof(memWire);
sysctl(mib, 4, &(memWire), &len, nullptr, 0);
memWire *= Shared::pageSize;
mem.stats.at("used") = memWire + memActive;
mem.stats.at("available") = Shared::totalMem - memActive - memWire;
len = sizeof(cachedMem);
len = 4; sysctlnametomib("vm.stats.vm.v_cache_count", mib, &len);
sysctl(mib, 4, &(cachedMem), &len, nullptr, 0);
cachedMem *= Shared::pageSize;
mem.stats.at("cached") = cachedMem;
len = sizeof(freeMem);
len = 4; sysctlnametomib("vm.stats.vm.v_free_count", mib, &len);
sysctl(mib, 4, &(freeMem), &len, nullptr, 0);
freeMem *= Shared::pageSize;
mem.stats.at("free") = freeMem;
これはsysctl(FreeBSDのlibcに含まれています)を使用し、vm.stats.vm.*から各キューのページ数を直接取得します。activeにはvm.stats.vm.v_active_count、wiredにはvm.stats.vm.v_wire_countを使用しています。クールです。次に、ページ数をShared::pageSizeで乗算してバイト量を処理します。ただし、1つの問題があります。それは、データをu_int(符号なし32ビット整数)に格納していることです。あまり計算しなくても、64ビットCPUに切り替えたときに最もよく聞いたことの一つを思い出しました。「これで4ギガバイト以上のRAMを持つことができる」と。
[画像: My next tattoo right there!]
My next tattoo right there!
さて、私たちは符号なし32ビット整数について話しているので、それは4,294,967,295です。バイト単位で4GiBは4,294,967,296です。これは、その値を超えるものはすべてラップアラウンドすることを意味します。私のスクリプトのbtopでの使用中メモリの出力を見ると、4.42 GiBとbtopの出力422 MiBでは、ラップアラウンドしていることが明らかです。
空のキャッシュ問題
私がブログサーバーをFreeBSDに移行したという投稿を書いたときに、最初に気づかなかったもう一つのことは、Cachedメモリバケットが空だったことです。それをさらにテストするために、ZFSとUFSファイルシステムをそれぞれ使用したFreeBSD 13.5-RELEASEと15.1-RELEASEの2つの仮想マシンを作成しました。それに加えて、私のラップトップはZFSで15.0-RELEASEを実行していました。
[画像: I installed FreeBSD over 10 times this last month, I think I might be able to follow the installer with my eyes closed]
I installed FreeBSD over 10 times this last month, I think I might be able to follow the installer with my eyes closed
pkgからbtop(および他のツール)をインストールした後、テストを開始しました。
[画像: I tried different filesystems to check if I was missing something on non-ZFS systems]
I tried different filesystems to check if I was missing something on non-ZFS systems
どちらのシステムでも、Cachedバケットが空であることがわかります。
検出コードでは、vm.stats.vm.v_cache_countから情報を取得しています。
len = sizeof(cachedMem);
len = 4; sysctlnametomib("vm.stats.vm.v_cache_count", mib, &len);
sysctl(mib, 4, &(cachedMem), &len, nullptr, 0);
cachedMem *= Shared::pageSize;
mem.stats.at("cached") = cachedMem;
自分でsysctlで取得しようとしたとき。
$ sysctl -n vm.stats.vm.v_cache_count
0
-dオプションは各パラメータの説明を表示することを知りました。ほとんどのパラメータは文書化されていないため、あまり役に立ちませんでしたが、v_cache_countは特に次のようになっています。
$ sysctl -d vm.stats.vm.v_cache_count
vm.stats.vm.v_cache_count: Dummy for compatibility
はい、それは0を返します。なぜなら、それは互換性のためのダミーだからです。実際、FreeBSDはバージョン12.0以降、「Dummy for compatibility」と報告しています!v_cache_countの説明の違いをFreeBSD 12.0の(sys/vm/vm_meter.c内)で確認できます。
#ifdef COMPAT_FREEBSD11
/*
* Provide compatibility sysctls for the benefit of old utilities which exit
* with an error if they cannot be found.
*/
SYSCTL_UINT(_vm_stats_vm, OID_AUTO, v_cache_count, CTLFLAG_RD,
SYSCTL_NULL_UINT_PTR, 0, "Dummy for compatibility");
SYSCTL_UINT(_vm_stats_vm, OID_AUTO, v_tcached, CTLFLAG_RD,
SYSCTL_NULL_UINT_PTR, 0, "Dummy for compatibility");
#endif
そして前のバージョン、FreeBSD 11.4では次のようになっています。
VM_STATS_VM(v_cache_count, "Pages on cache queue");
しかし興味深いことに、キャッシュキューはFreeBSD 6.3.0以来存在しません。11.4をインストールしましたが、sysctl -d vm.stats.vm.v_cache_countはその説明「Pages on cache queue」を返しますが、実際の値を取得すると常に0になります。6.3.0も試しましたが、v_cache_countもゼロでした。なので理由は不明です。
btopのv_cache_countの使用は、FreeBSD 12.0以降に出荷された最初のFreeBSDビルド以来存在していますが、これがここまで通過した理由も不明です。
修復の作成
その後、修正作業を開始しました。まず、キューバイトを保持する変数の精度を2倍にし、ラップアラウンドの問題をなくしました。次に、ファイルシステムキャッシュを正しく追跡する方法を考えました。htopのソースコードを調べてガイダンスを得ましたが、次のコメントを見つけました。
// comment by Pierre-Marie Baty <pm@pmbaty.com>
//
// FreeBSD has the following memory classes:
// active: userland pages currently mapped to physical memory (i.e. in use)
// wired: kernel pages currently mapped to physical memory, cannot be paged out nor swapped
// buffers: subcategory of 'wired' corresponding to the filesystem caches
// free: pages that haven't been allocated yet, or have been released
//
// With ZFS, the ARC area is NOT counted in the 'buffers' class, but is still counted in the 'wired'
// class. The ARC total must thus be subtracted from the 'wired' class AND added to the 'buffer' class,
// so that the result (ARC being shown in buffersMem) is consistent with what ZFS users would expect.
// This adjustment is done in Platform_setMemoryValues() in freebsd/Platform.c.
具体的には、「ARC全体は'wired'クラスから差し引かれ、'buffer'クラスに追加されなければならない」ということです。これは理にかなっていますが、それが実行されていなかったことに気づきました。これにより、htopでPRを作成し、キャッシュとバッファメモリクラスを統合するとともに修正しました。これはサイドクエストのサイドクエストですが、PRはマージされました。
[画像: vfs.bufspace reports FreeBSD’s own filesystem metadata buffer cache, which is bypassed by ARC]
vfs.bufspace reports FreeBSD’s own filesystem metadata buffer cache, which is bypassed by ARC
しかし、今度はbtopでこれを進める計画ができました。基本的に、ARCキャッシュの可変サイズをwiredメモリから差し引きます。また、htopと同様に、vfs.bufspaceを解放可能なキャッシュとして扱います。これが私のPRのPRです。執筆時点では、まだレビューまたは承認されていません。
これは私のPRに含まれている、キャッシュを扱うsrc/freebsd/btop_collect.cppのコードです。
// cached
len = 2;
if (sysctlnametomib("vfs.bufspace", mib, &len) == 0) {
uint64_t bufSpace = 0;
len = sizeof(bufSpace);
if (sysctl(mib, 2, &bufSpace, &len, nullptr, 0) == 0) {
cachedBytes += bufSpace;
}
}
len = 5;
if (sysctlnametomib("kstat.zfs.misc.arcstats.size", mib, &len) == 0) {
uint64_t arcSize = 0;
len = sizeof(arcSize);
if (sysctl(mib, 5, &arcSize, &len, nullptr, 0) == 0) {
uint64_t arcMin = 0;
len = 5;
if (sysctlnametomib("kstat.zfs.misc.arcstats.c_min", mib, &len) == 0) {
len = sizeof(arcMin);
sysctl(mib, 5, &arcMin, &len, nullptr, 0);
}
cachedBytes += (arcSize > arcMin) ? (arcSize - arcMin) : 0;
}
}
// free
len = 4; sysctlnametomib("vm.stats.vm.v_free_count", mib, &len);
len = sizeof(freeMem);
sysctl(mib, 4, &(freeMem), &len, nullptr, 0);
uint64_t activeBytes = (uint64_t)memActive * Shared::pageSize;
uint64_t wireBytes = (uint64_t)memWire * Shared::pageSize;
uint64_t freeBytes = (uint64_t)freeMem * Shared::pageSize;
uint64_t rawUsed = activeBytes + wireBytes;
uint64_t usedBytes = (cachedBytes < rawUsed) ? rawUsed - cachedBytes : 0;
mem.stats.at("used") = usedBytes;
mem.stats.at("available") = Shared::totalMem - usedBytes;
mem.stats.at("cached") = cachedBytes;
mem.stats.at("free") = freeBytes;
テストも楽しかったです。当初、ファイルシステムキャッシュをテストする良い方法は、システムソースコード(/usr/src/に含まれる)をintでgrepして、数千のファイルを開くことだと思っていました。2つのVMでそれを実行し、出力を監視していましたが、それは最も「ハッカー」なことのように見えました。
[動画]
grep -rni int /usr/src/*
しかし、ソースフォルダ全体が約1Gなので、それほど役立たないことがわかりました。そこで、ランダムなファイルを作成し、ddで読み取ることにしました。
dd if=/dev/random of=/tmp/testfile.bin bs=1M count=5000
dd if=/tmp/testfile.bin of=/dev/null bs=1M
そして、キャッシュが活発に成長しているのを見ることができました。その後、大量のメモリを割り当てる簡単なCプログラムを作成しました。
#include <stdlib.h>
#include <string.h>
#include <stdio.h>
#include <unistd.h>
int main() {
size_t gb_to_allocate = 4;
size_t bytes = gb_to_allocate * 1024 * 1024 * 1024;
void *mem = malloc(bytes);
if (mem == NULL) {
printf("Failed to allocate memory.\n");
return 1;
}
memset(mem, rand(), bytes);
sleep(30);
free(mem);
return 0;
}
これを使って、btopで使用中メモリが増加し、キャッシュが大幅に減少するのを見ることができました。非常に満足のいくものでした。
これにより、FreeBSDマシンのメモリ使用量をより正確に監視できるようになると感じています。
fastfetchの場合
fastfetchもv_cache_countからデータを取得していました。そこで、そこに行き、ARCキャッシュを使用するという同じ考え方を適用し、PRを公開しました。コメントなしで閉じられました。最初は混乱しましたが、その後、FreeBSDだけでなく、ZFSをサポートする他のすべてのシステムにもほぼ同じロジックが適用されていることに気づきました。
[画像: FreeBSD, Linux, SunOS (?) and NetBSD now can detect ARC cache]
FreeBSD, Linux, SunOS (?) and NetBSD now can detect ARC cache
FreeBSDコードへの最終的な変更には、私の提出物に対するいくつかの改善が含まれており、素晴らしいことです。ただ、何が起こっているのかについてのコミュニケーションが少し不足していました。最終的には、私の貢献が影響を与えたことを嬉しく思っています。
実際、すでに再び貢献することを検討しています。なぜなら、これらの変更はDragonFly BSDに組み込まれましたが、そのBSDのフレーバーはまだキャッシュページを含んでいるように見えるため、以前のソリューションの方がおそらくより正確でした。後でそれにさらに深く掘り下げる時間を取ります。
結論
前回の投稿から1ヶ月かけて、FreeBSDの仮想メモリの内部を調査し、いくつかのバージョンのシステムを仮想マシンにインストールしました。これにより、これまで以上にこのシステムに近づくことができたと思います。コンピューターについて多くを学び、3つのパッチを大規模なプロジェクトに提供することができました。
また、若い頃にオペレーティングシステムを作成するというアイデアに魅了されていた頃に戻りました。単純なブートローダーを超えることはありませんでしたが、14歳の少年がほとんど英語を読めず、「関数ポインタ」を理解するのに苦労していた頃に読んだ、ひどいPDFスキャンの「Operating Systems: Design and Implementation」(別名MINIXブック)を読もうとした時間をすべて覚えています。オペレーティングシステムの全ソースコード(約5万行)が本になっているというアイデアは、私にとって衝撃的でした。ただし、その本のより現代的なバージョンはすでに利用可能でした。
さて、オリジナルのコピーを手に入れました。初版を見つけるのは難しいですが、インドではまだ使用されているようです。
[画像: That’s impressive 400 pages of the source-code alone, plus a CD-ROM!]
That’s impressive 400 pages of the source-code alone, plus a CD-ROM!
これは面白いです。
[画像: Unauthorized?]
Unauthorized?