Zshの履歴データ消失バグの追跡
Tracking down a Zsh history data loss bug (michael.stapelberg.ch)
要約
この記事は、Zshの履歴ファイルからコマンドが時折消失する問題の原因を追跡した筆者の体験談です。ファイルシステム監視ツールやbpftraceなどを駆使して調査を進めた結果、Zsh自体が履歴ファイルを書き換える際の挙動に問題があることを突き止めました。最終的に、Zshのバグを修正したバージョン5.9.2がリリースされ、この問題は解決されました。
全文翻訳
Zshの履歴データ消失バグの追跡 🐞
目次
- まず良いニュースから
- 症状
- 私のZsh履歴設定
- 挙動の追跡
- クラッシュさせる!
- バグは何だったのか?
- 結論
- 付録A: ボーナス・フットガン: exportされたHISTFILE
- 付録B: ボーナス質問: AIはこのバグを見つけられるか?
長年、実行したはずのコマンドがZ shellの履歴ファイル(~/.zsh_history)に存在しないことに時々気づいていました。この記事では、そのバグをどのように追跡したかを紹介します。ネタバレ:最終的には、Zshをクラッシュさせて詳細な情報を得るようにパッチを当て、そのクラッシュのコアダンプを解析することが勝利の戦略でした!
まず良いニュースから
Zsh 5.9.2(2026年7月12日リリース)には、この問題の修正が含まれています。楽しみを台無しにしないために、この記事を読んだ後に確認してください。
ネタバレ:アップストリームの修正へのリンク
症状
時々、前日に実行したと確信しているコマンドがシェル履歴で見つからないことに気づきました。つまり、Ctrl+Rで履歴を逆検索しても結果が得られませんでした。これが起こるたびに、私のシェル履歴ファイルには非常に古いエントリしか含まれておらず、数年分の新しいエントリが失われていました。
これが初めて起こった数回は、単に日次バックアップからシェル履歴を復元し、それ以上の調査はしませんでした。しかし、問題は繰り返し発生しました。
.zsh_historyに目に見える破損(表示できない文字や不完全なテキスト行など)はなく、ファイルの行数も常に一定ではないことに気づきました。
不明だったのは、この問題を引き起こしているのがZsh自体なのか、他のプログラムなのか、あるいは複数のzsh(1)プロセスとの組み合わせなのか、ということでした。
私のZsh履歴設定
~/.zshrcで以下の履歴関連オプションを設定しています。
# 4000行の履歴をロードする(Ctrl+R逆検索用)、しかしO(∞)を保存
HISTSIZE=4000
HISTFILE=~/.zsh_history
SAVEHIST=10000000
# (隣接する)重複エントリを保存しない
setopt HIST_IGNORE_DUPS
# コマンド実行時に履歴エントリを`~/.zsh_history`に追加する。
setopt INC_APPEND_HISTORY
# …ただし履歴は共有しない(NixOSの/etc/zshrcではデフォルトで有効)。
unsetopt SHARE_HISTORY
実際には、これは私のシェルが個別のセッションであり、すべてが共有の.zsh_historyにコマンドをストリームしていることを意味します。履歴は意図的に共有されていません。他のシェルが書き込んだエントリにアクセスしたい場合は、明示的にexec zshを実行します。
挙動の追跡
2024年12月にMastodonで助けを求めた際(主に誰かがすでにこの問題を経験して診断した人がいないかという希望から)、得られた提案の一つは、inotifyやfseventsのようなファイルシステム変更監視メカニズムを使用して、Zsh履歴ファイルを切り詰める(または変更する?)犯人を見つけることでした。
次のセクションでは、Linuxで試した利用可能なオプションを順に見ていきます。
inotify
inotify(7) Linuxカーネルサブシステムは、Linuxで利用可能な最も古いファイルシステム変更監視APIの1つです(2005年リリース)。Zshが履歴ファイルをどのように変更するかをよく理解するためには、.zsh_historyだけを監視するだけでは不十分です。
midna ~ % inotifywait --monitor .zsh_history
Setting up watches.
Watches established.
.zsh_history OPEN
.zsh_history ACCESS
.zsh_history ACCESS
[...]
.zsh_history ACCESS
.zsh_history CLOSE_NOWRITE,CLOSE
.zsh_history ATTRIB
.zsh_history CLOSE_WRITE,CLOSE
.zsh_history DELETE_SELF
^C
ファイルが開かれ、アクセス(=読み取り)され、そして…削除されました?!
含まれるディレクトリを監視することで、全体像が見えてきます。
midna ~ % inotifywait --monitor ~/
/home/michael/ OPEN .zsh_history
/home/michael/ ACCESS .zsh_history
/home/michael/ ACCESS .zsh_history
[...]
/home/michael/ ACCESS .zsh_history
/home/michael/ CLOSE_NOWRITE,CLOSE .zsh_history
/home/michael/ CLOSE_WRITE,CLOSE .zsh_history
/home/michael/ OPEN .zsh_history
/home/michael/ CLOSE_WRITE,CLOSE .zsh_history
/home/michael/ OPEN .zsh_history
/home/michael/ ACCESS .zsh_history
/home/michael/ CLOSE_NOWRITE,CLOSE .zsh_history
/home/michael/ CREATE .zsh_history.new
/home/michael/ OPEN .zsh_history.new
/home/michael/ ATTRIB .zsh_history.new
/home/michael/ MODIFY .zsh_history.new
/home/michael/ CLOSE_WRITE,CLOSE .zsh_history.new
/home/michael/ MOVED_FROM .zsh_history.new
/home/michael/ MOVED_TO .zsh_history
/home/michael/ CLOSE_WRITE,CLOSE .zsh_history
つまり、Zshは古い履歴ファイルの内容を読み込み、それを新しいファイルに書き込み、その後新しいファイルを古いファイルの上にリネームすることで、古いファイルを削除しています。これで納得がいきました!
残念ながら、ファイルシステムイベントの担当プロセスのプロセスID(PID)が表示されません。この情報を提供するfanotify(7)を使用する兄弟ユーティリティfsnotifywait(1)を使っても表示されません!確認したところ、カーネルはPIDを送信していますが、fsnotifywaitはPIDを表示しません。
fatrace
幸いなことに、プロセス名とPIDを表示するfatrace(8)があります。
Zshの履歴書き換えがfatrace(8)でどのように見えるかの例を以下に示します。
zsh(197994): CWO /home/michael/.zsh_history
zsh(197994): O /home/michael/.zsh_history
zsh(197994): R /home/michael/.zsh_history
zsh(197994): R /home/michael/.zsh_history
[...]
zsh(197994): R /home/michael/.zsh_history
zsh(197994): C /home/michael/.zsh_history
zsh(197994): + /home/michael
zsh(197994): O /home/michael/.zsh_history.new
zsh(197994): W /home/michael/.zsh_history.new
zsh(197994): W /home/michael/.zsh_history.new
zsh(197994): W /home/michael/.zsh_history.new
[...]
zsh(197994): W /home/michael/.zsh_history.new
zsh(197994): CW /home/michael/.zsh_history.new
zsh(197994): <> /home/michael
zsh(197994): CW (deleted)
zsh(197994): C /nix/store/80vwnjjgcrbp41pk927r8lzybjhy0k73-zsh-5.9.1/bin/zsh
[...]
これによりPIDが得られるので、複数のプロセスがシェル履歴の破損に関与していたかどうかを確認できます。しかし、各Zsh PIDがどれだけのデータを読み書きしているかについての洞察は得られません。そのため、fatraceのログがあっても、何が起こったのかは依然として不明瞭です。
strace
もちろん、strace(1)を、特に-kフラグと組み合わせて使用して、Zshの挙動をさらに詳しく調べることもできますが、すべての(インタラクティブな)Zshプロセスに対応するstraceを実行するように手配するのは、ロジスティック上の悪夢のように思われました。また、常にstraceを実行することがシェルに微妙な影響を与える可能性もありましたので、straceのルートは追求しませんでした。
(再現器が手に入った後、straceは非常に使いやすく、非常に役立ちました。)
bpftrace
Zshの読み書き操作への可視性を高めるために、bpftrace(8)を利用できます。
開始点として、以下のbpftraceプログラムを作成しました。これは、.zsh_historyファイルを開いたプロセスと、ユーザーのスタックトレースを含む、すべてのopen(2)システムコールで実行され、ログに記録します。
tracepoint:syscalls:sys_enter_open,
tracepoint:syscalls:sys_enter_openat,
tracepoint:syscalls:sys_enter_openat2
/str(args.filename) == "/home/michael/.zsh_history" || str(args.filename) == ".zsh_history"/
{
tprintf("% -6d % -16s open(%s)%s", pid, comm, str(args.filename), ustack);
}
NixOS 26.05では、プログラムを次のように実行できます。
midna ~ % nix shell nixpkgs#bpftrace
midna ~ 2 % sudo bpftrace path.bt
Attached 3 probes
212030 zsh open(/home/michael/.zsh_history)
__internal_syscall_cancel+142
__syscall_cancel+20
__libc_open64+87
lockhistfile+642
readhistfile+2213
zsh_main+1118
__libc_start_call_main+117
__libc_start_main_alias_2+136
_start+37
212030 zsh open(/home/michael/.zsh_history)
__internal_syscall_cancel+142
__syscall_cancel+20
__libc_open64+87
_IO_file_open+51
_IO_file_fopen@@GLIBC_2.2.5+303
__fopen_internal+134
readhistfile+2277
zsh_main+1118
__libc_start_call_main+117
__libc_start_main_alias_2+136
_start+37
212030 zsh open(/home/michael/.zsh_history)
__internal_syscall_cancel+142
__syscall_cancel+20
__libc_open64+87
lockhistfile+642
savehistfile+165
zexit+204
zsh_main+1522
__libc_start_call_main+117
__libc_start_main_alias_2+136
_start+37
212030 zsh open(/home/michael/.zsh_history)
__internal_syscall_cancel+142
__syscall_cancel+20
__libc_open64+87
savehistfile+752
zexit+204
zsh_main+1522
__libc_start_call_main+117
__libc_start_main_alias_2+136
_start+37
212030 zsh open(/home/michael/.zsh_history)
__internal_syscall_cancel+142
__syscall_cancel+20
__libc_open64+87
_IO_file_open+51
_IO_file_fopen@@GLIBC_2.2.5+303
__fopen_internal+134
readhistfile+2277
savehistfile+2498
zexit+204
zsh_main+1522
__libc_start_call_main+117
__libc_start_main_alias_2+136
_start+37
^C
この初期の成功に励まされ、プログラムを次のように拡張して、より多くのシステムコールをカバーしました。
完全なzshhisttrace.bt bpftraceコード
#!/usr/bin/bpftrace
#include <fcntl.h>
#include <limits.h>
tracepoint:syscalls:sys_enter_open /comm == "zsh"/ {
printf("%s(%d) open: %s flags %x mode %x\n", comm, pid, str(args->filename), args->flags, args->mode);
}
tracepoint:syscalls:sys_enter_openat {
if (!strcontains(str(args->filename), "zsh_history")) {
delete(@openfn[tid]);
return;
}
@openfn[tid] = 1;
printf("%s(%d) openat: ", comm, pid);
if (args->dfd < 0x7fffffff) { /* ought to be != AT_FDCWD, but that does not work !?!? */
printf("[at fd %d]", args->dfd);
}
printf("%s flags %x mode %x\n", str(args->filename), args->flags, args->mode);
}
tracepoint:syscalls:sys_exit_openat /@openfn[tid]/
{
@reads[tid,(int64)args->ret] = 1; // TODO: bpftrace 0.22 introduces has_key
@writes[tid,(int64)args->ret] = 1; // TODO: bpftrace 0.22 introduces has_key
}
tracepoint:syscalls:sys_enter_close /@reads[tid,(int64)args->fd]/
{
printf("%s(%d) close %d (reads: %d, writes: %d)\n", comm, pid, args->fd, @reads[tid,(int64)args->fd]-1, @writes[tid,(int64)args->fd]-1);
delete(@reads[tid,(int64)args->fd]);
delete(@writes[tid,(int64)args->fd]);
}
// tracepoint:syscalls:sys_enter_openat2 /comm == "zsh"/
// {
// printf("%s(%d) openat: ", comm, pid);
// if (args->dfd < INT_MAX) { /* ought to be != AT_FDCWD, but that does not work !?!? */
// printf("[at fd %d]", args->dfd);
// }
// printf("%s \n", str(args->filename));
// }
tracepoint:syscalls:sys_enter_rename /comm == "zsh"/
{
printf("%s(%d) rename:", comm, pid);
printf("%s -> %s\n", str(args->oldname), str(args->newname));
}
tracepoint:syscalls:sys_enter_symlink /comm == "zsh"/
{
printf("%s(%d) symlink ", comm, pid);
printf("%s -> %s\n", str(args->oldname), str(args->newname));
}
tracepoint:syscalls:sys_enter_unlink /comm == "zsh"/
{
printf("%s(%d) unlink ", comm, pid);
printf("%s\n", str(args->pathname));
}
tracepoint:syscalls:sys_enter_unlinkat /comm == "zsh"/
{
printf("%s(%d) unlinkat ", comm, pid);
printf("%s\n", str(args->pathname));
}
tracepoint:syscalls:sys_enter_lseek /comm == "zsh"/
{
printf("%s(%d) lseek fd %d offset %d whence %d\n", comm, pid, args->fd, args->offset, args->whence);
}
tracepoint:syscalls:sys_enter_read /@reads[tid,(int64)args->fd]/
{
// printf("%s(%d) read fd %d size %d\n", comm, pid, args->fd, args->count);
@reads[tid,(int64)args->fd] += args->count;
}
tracepoint:syscalls:sys_exit_read /comm == "zsh"/
{
if (args->ret <= 0) {
printf("%s(%d) read = %d\n", comm, pid, args->ret);
}
}
tracepoint:syscalls:sys_exit_write /comm == "zsh"/
{
if (args->ret <= 0) {
printf("%s(%d) write = %d\n", comm, pid, args->ret);
}
}
tracepoint:syscalls:sys_enter_write /@writes[tid,(int64)args->fd]/
{
// printf("%s(%d) write fd %d size %d\n", comm, pid, args->fd, args->count);
@writes[tid,(int64)args->fd] += args->count;
}
bpftraceについてさらに深く掘り下げたい場合は、以下のリソースが役立ちました。
- 公式bpftraceドキュメント
- ブログ記事「システム全体でのLinuxトレーシングの第一歩」 by Martin Pitt (2020)
- LSFMMプレゼンテーション「BPF Observability」 by Brendan Gregg (2019)
このプログラムをバックグラウンドで永続的に実行するsystemdユニットを作成しました(比較的安価なようです)。これにより、ログを次のように確認できます。
midna % journalctl -fu zshhisttrace
cp(2338700) close 3 (reads: 3407872, writes: 0)
zsh(231222) symlink /pid-231222/host-midna -> /home/michael/.zsh_history.LOCK
zsh(231222) openat: /home/michael/.zsh_history flags 541 mode 180
zsh(231222) close 3 (reads: 0, writes: 0)
zsh(231222) openat: /home/michael/.zsh_history flags 0 mode 0
zsh(231222) lseek fd 3 offset 0 whence 1
zsh(231222) read = 0
zsh(231222) close 3 (reads: 52895744, writes: 0)
zsh(231222) unlink /home/michael/.zsh_history.new
zsh(231222) openat: /home/michael/.zsh_history.new flags c1 mode 180
zsh(231222) close 3 (reads: 0, writes: 52888907)
zsh(231222) rename:/home/michael/.zsh_history.new -> /home/michael/.zsh_history
zsh(231222) unlink /home/michael/.zsh_history.LOCK
ある日、シェル履歴が切り詰められていることに気づき、ログを確認しました。そこで見つけたのがこれです。read = 0の行がないことに注意してください。つまり、ZshはEOFまで読んでいません。
zsh(231233) symlink /pid-231233/host-midna -> /home/michael/.zsh_history.LOCK
zsh(231233) openat: /home/michael/.zsh_history flags 541 mode 180
zsh(231233) close 3 (reads: 0, writes: 0)
zsh(231233) openat: /home/michael/.zsh_history flags 0 mode 0
zsh(231233) lseek fd 3 offset 0 whence 1
zsh(231233) lseek fd 3 offset 0 whence 1
zsh(231233) lseek fd 3 offset 11572944 whence 0
zsh(231233) close 3 (reads: 11575296, writes: 0)
zsh(231233) unlink /home/michael/.zsh_history.new
zsh(231233) openat: /home/michael/.zsh_history.new flags c1 mode 180
zsh(231233) close 3 (reads: 0, writes: 11572944)
zsh(231233) rename:/home/michael/.zsh_history.new -> /home/michael/.zsh_history
zsh(231233) unlink /home/michael/.zsh_history.LOCK
クラッシュさせる!
上記のbpftrace出力から、Zshが私の.zsh_historyファイルを誤って書き換えていることがわかります。通常より少ない行を読み込み、それを.zsh_history.newに正しく書き込んでいます。
この時点で、readhistfileが履歴ファイル全体を読み込まない理由、またはsavehistfileが履歴ファイル全体を書き込まない理由を調べるためにコードを調査することにしました。
savehistfileの制御フローは非常に追跡しにくいですが、コードを変更するのは簡単です(zsh-5.9.1)。.zsh_historyを切り詰めた.zsh_history.newを書き込んだ後、そして私の.zsh_historyをその切り詰められた新しいファイルで置き換える前に、クラッシュするようにします。
--- i/Src/hist.c
+++ w/Src/hist.c
@@ -2994,6 +2994,7 @@ savehistfile(char *fn, int err, int writeflags)
if (out) {
char *history_ignore;
Patprog histpat = NULL;
+ int lines_written = 0;
pushheap();
@@ -3048,6 +3049,7 @@ savehistfile(char *fn, int err, int writeflags)
ret = fputc(' ', out);
if (ret < 0 || (ret = fputc('\n', out)) < 0)
break;
+ lines_written++;
}
if (ret >= 0 && start && writeflags & HFILE_USE_OPTIONS) {
struct stat sb;
@@ -3062,6 +3064,10 @@ savehistfile(char *fn, int err, int writeflags)
}
if (fclose(out) < 0 && ret >= 0)
ret = -1;
+ if (tmpfile && lines_written < 50000) {
+ char *crashptr = (char*)0x23;
+ *crashptr = 42;
+ }
if (ret >= 0) {
if (tmpfile) {
if (rename(tmpfile, unmeta(fn)) < 0) {
Linuxでは、このようなクラッシュが有用な場所に記録されるようにする最も簡単な方法は、systemd-coredump(8)をインストールすることです。これにより、systemdは自動的にコアダンプを収集します。コアダンプはcoredumpctl(1)を使用してリストしたり操作したりできます。これらのコアダンプにはシェル履歴が含まれているため、第三者のサービスにアップロードしないように注意してください。FedoraのABRTはマイクロレポートのみを送信するようです(つまり、完全なシェル履歴なしで)。UbuntuのApportはデフォルトで無効ですが、確認する価値はあります。
パッチを当てたZshバージョン(デバッグシンボルを有効にして)をインストールし、コアダンプが得られるまでさらなる調査を延期しました。案の定、数日後にcoredumpctlで確認したところ、クラッシュが見つかりました!これがバックトレースです。
midna % coredumpctl debug
gdb $ bt full
#0 0x000056040d781e19 in savehistfile (fn=0x56040f7a76b0 "/home/michael/.zsh_history", err=1, writeflags=0) at hist.c:3086
crashptr = 0x23 <error: Cannot access memory at address 0x23>
history_ignore = 0x0
histpat = 0x0
lines_written = 45546
t = 0x5604102a1f59 ""
tmpfile = 0x5604100ec210 "/home/michael/.zsh_history.new"
start = 0x5604102a1f40 "make -j32"
out = 0x56040f939400
he = 0x0
xcurhist = 45546
extended_history = 0
ret = 10
#1 0x000056040d781f72 in savehistfile (fn=0x56040f7a76b0 "/home/michael/.zsh_history", err=1, writeflags=32771) at hist.c:3121
remember_histactive = 0
history_ignore = 0x0
histpat = 0x0
lines_written = 0
t = 0x0
tmpfile = 0x0
start = 0x0
out = 0x56040f939400
he = 0x0
xcurhist = 51183
extended_history = 0
ret = 0
#2 0x000056040d751197 in zexit (val=0, from_where=ZEXIT_NORMAL) at builtin.c:6055
writeflags = 32768
#3 0x000056040d7888e2 in zsh_main (argc=2, argv=0x7ffd370c1758) at init.c:1950
errexit = 0
t = 0x7ffd370c1768
runscript = 0x0
zsh_name = 0x7ffd370c26bd "zsh"
cmd = 0x0
t0 = 162
#4 0x000056040d735d89 in main (argc=2, argv=0x7ffd370c1758) at ./main.c:93
No locals.
ソースに戻り、おそらくsavehistfileがreadhistfileによって短い履歴ファイルが残されたために、単に短い履歴ファイルを書き出しているだけだと気づきました。
readhistfileの制御フローは追跡しやすいです。関数を読み進めると、早期リターンの可能性が1つあります。それはZshがシグナルを受信したときです。読み取りループはbreak;によって中断されます。
// …
if (errflag & ERRFLAG_INT) {
/* Can't assume fast read next time if interrupted. */
lasthist.interrupted = 1;
break;
}
// …
クラッシュ時のerrflagとlasthist.interruptedの値を見てみましょう。
gdb $ p errflag
$1 = 2
gdb $ p lasthist.interrupted
$2 = 1
ビンゴ!つまり、何らかのシグナルが関与しているはずです。
この記事の範囲外の理由で、私はmoshセッションから長時間実行されるSSHセッションを開始し、それを介してさらにセッションを多重化しています。毎日の終わりにこのセットアップを終了する際、多重化されたセッションでCtrl+D(EOFを送信し、セッションを終了)を押し、次に長時間実行されるSSHでCtrl+Cを押し、最後にCtrl+Dでmoshセッションを終了します。
(moshセッションをきれいに終了しないと、サーバー上でセッションが残り続け、後続のログインでこれらの孤立したセッションについて通知されます。累積を防ぎたかったのです。)
つまり実際には、すべてのウィンドウが消えるまで、Ctrl+D、Ctrl+C、Ctrl+D、Ctrl+Cなどを押します。そのシーケンスの一部として、Zshセッションを終了し(Ctrl+D)、履歴の書き込みに時間がかかりすぎた場合にそのreadhistfileを割り込む(Ctrl+C)可能性が最も高いです。
これらの手がかりを得て、スタンドアロンの再現器を作成し、2025年3月にzsh-workersメーリングリストにバグレポートを送信しました。Bart Schaeferが調査し、2025年4月に修正を投稿しました(ありがとう!)。
修正がリリースされるまでには長い時間がかかりました。なぜなら、Zshのリリースが長期間なかったからです。そして、5.9.1リリースが発生したとき、Bartの修正がリリースエンジニアに見落とされていたことが判明しました!この見落としを指摘したところ、幸いなことにZsh 5.9.2に修正が含まれました。
Bartのパッチが適用されたZsh 5.9を実行しており、5.9.2が私のコンピュータに登場するまでそのバージョンをピン留めするつもりです。Debianでzshをピン留めしている場合、zshとzsh-commonの両方のパッケージをピン留めしてください。そうしないと、ある日zshパッケージが全くなくなる可能性があります…
バグは何だったのか?
終了時、zexitは履歴を圧縮するためにsavehistfileを呼び出します。セッション中、履歴エントリは増分的に追加されますが、シェル終了時に履歴ファイルが圧縮されます(例えば、設定されていればサイズ制限を適用するため)。そのため、savehistfileは履歴全体を読み込み(readhistfile)、再度書き出します。
シグナルが発生するとreadhistfileが中断される可能性がありましたが(errflag & ERRFLAG_INTをチェックして読み取りループをショートサーキットします)、終了時にシェル履歴を書き込む際にsavehistfileは割り込みをチェックしませんでした。したがって、savehistfileは(不完全な)履歴を書き込み、実際の履歴を切り詰めました。
以前収集したbpftraceの出力を解読してみましょう。
zsh(231233) openat: /home/michael/.zsh_history flags 541 mode 180
zsh(231233) close 3 (reads: 0, writes: 0)
zsh(231233) openat: /home/michael/.zsh_history flags 0 mode 0
zsh(231233) lseek fd 3 offset 0 whence 1
# [...] 読み取りは集計されています、以下参照 [...]
# [...] ここで割り込みが発生 [...]
# lseek(3, 0, SEEK_CUR) = 現在のシークオフセットをクエリする
zsh(231233) lseek fd 3 offset 0 whence 1
# fclose()でのSEEK_SET、POSIXが要求するように(以下参照)
zsh(231233) lseek fd 3 offset 11572944 whence 0
zsh(231233) close 3 (reads: 11575296, writes: 0)
zsh(231233) unlink /home/michael/.zsh_history.new
zsh(231233) openat: /home/michael/.zsh_history.new flags c1 mode 180
zsh(231233) close 3 (reads: 0, writes: 11572944)
zsh(231233) rename:/home/michael/.zsh_history.new -> /home/michael/.zsh_history
なぜlseekなのでしょうか? POSIX.1-2017のfclose()によると:
ファイルがまだEOFにない場合、かつ、シーク可能なファイルである場合、ストリームが基盤となるファイル記述子のアクティブなハンドルである場合、基盤となるオープンファイル記述子のファイルオフセットは、ストリームのファイル位置に設定されます。
Zshはストリームを取得するためにfopen()を使用するため、glibcは4096バイトのチャンクで読み込みます。ストリームを閉じるとき、基盤となるファイルディスクリプタをシークバックして、現在の4096バイトチャンクのすでに読み取られた部分が、次のストリームによって正しく読み取られるようにする必要があります。(Zshはファイルをすぐに閉じますが、glibcはそれを知りません。)
結論
人気のあるシェル(知っていましたか?Appleは2019年にmacOSのデフォルトログインシェルをZshに切り替えました)で、データ損失を引き起こすこのようなバグが10年間も修正されずにいたというのは驚くべきことです。
確かに、ほとんどのユーザーは、シェルセッションを終了する方法がSIGINTが送信されやすい方法であるという私の習慣を持っていないでしょう。しかし、一部のユーザーが履歴の一部を失ったことは想像できます。
この問題が現在修正されたことを非常に嬉しく思います!もしあなたが履歴ファイルの切り詰めに出くわしていて、それがこの記事で説明した問題ではない場合、おそらく誤ってHISTFILEをエクスポートしてしまったのかもしれませんか?数年前に私が遭遇したHISTFILEのボーナス・フットガンについては、付録Aを参照してください。
この記事を書きながら浮かんだもう一つの明白な質問:私はLLMがコーディングや問題解決で驚くほど優秀になる前に、この問題を追跡しました。今日のAIコーディングエージェントはこのバグを見つけられたでしょうか?詳細は付録Bを参照してください。しかし、答えは「はい、今日の最先端モデルはこのバグを見つけることができます!」です。
付録A: ボーナス・フットガン: exportされたHISTFILE
EmacsのTRAMPモードを使用すると、デフォルトでHISTFILEがエクスポートされます。例えば、emacs /ssh:keep:/srv/keepを開始した後にM-x shellを使用すると、環境変数にHISTFILEが見られます。
/ssh:keep:/srv/keep/ #$ env | grep HISTFILE
HISTFILE=/home/michael/.tramp_history
/ssh:keep:/srv/keep/ #$
これはフットガンです。なぜなら、ほとんどのシェル設定はHISTFILEをアンエクスポートせず、単に変更するだけだからです。例えば、私の~/.zshrcでは、HISTFILE=~/.zsh_historyと設定しています。
インタラクティブシェルを実行すると(zshと入力してEnterを押す)、環境変数にHISTFILEが含まれることになります。
/ssh:keep:/srv/keep/ #$ zsh
locale: Cannot set LC_CTYPE to default locale: No such file or directory
$ env | grep HISTFILE
HISTFILE=/home/michael/.zsh_history
$
…これは、ssh(1)でログインする場合とは異なります。
midna ~ % ssh keep
Last login: Sat Aug 1 17:38:37 2026 from 100.64.1.1
keep ~ % env | grep HISTFILE
keep ~ %
シェル固有のHISTFILEをエクスポートすることは、他のシェルが異なる(デフォルトの)設定で構成されているマシンではフットガンになります。私の職場では、Linuxインストールがbashに対してデフォルトでHISTSIZE=64000とHISTFILESIZE=64000を設定しているため、かつては誤って~/.zsh_historyファイルを64000行に切り詰めてしまいました。その原因は、M-x shellを実行し、次にzsh(設定を読み込むため)、次にbash(一時的に、設定をソースしてスクリプトを起動するため)を実行したことにあると疑っています。
将来このような問題を防ぐために、私の~/.zshrcで積極的にHISTFILEをアンエクスポートすることにしました。
付録B: ボーナス質問: AIはこのバグを見つけられるか?
しばらくの間、自分で評価(eval)を作成することに手を染めるのは有益だと感じていました。用語「eval」に慣れていない場合は、Anthropicの「AIエージェントのためのevalの解明」を参照してください。
Simon Willisonのsmevalsから始めましたが、あまりにもミニマルだと感じました。追加の対策を講じないと、エージェントはすぐにevalタスクを脱走して解答を覗き見たり、インターネットを使ってZshのgitバージョンにすでに修正が含まれていることを発見したりしました。
最終的に、Inspect、UK AI Security InstituteとMeridian Labsによるオープンソースevalフレームワークに落ち着きましたが、これはよりうまく機能しました。ただし、そのWeb UIは非常にミニマルです。
このevalはすぐに非常に高価になりました!約3回の評価試行で300ドル以上のトークン費用を支払いました。以下の結果は、最新の試行からのものです。モデルが正しい一連のイベント(割り込みがerrflagを設定し、それがreadhistfileを中断させ、結果として履歴ファイルが切り詰められる)を説明した場合に合格点が与えられます。
評価設定: 症状 + bpftrace
通常の/切り詰められたbpftraceを含む完全なプロンプト
ログアウトするとき、翌日戻ってくると、時々
.zsh_historyファイルが不思議なことに切り詰められています。それはなぜでしょうか?Linux上のzsh 5.9.1を使用しています。zshだけがこのファイルを書き込みます。zshが履歴ファイルに対して行うすべてのシステムコールをログに記録するbpftraceプログラムがあります。
通常のログアウトは次のようになります。
zsh(231222) symlink /pid-231222/host-midna -> /home/michael/.zsh_history.LOCK zsh(231222) openat: /home/michael/.zsh_history flags 541 mode 180 zsh(231222) close 3 (reads: 0, writes: 0) zsh(231222) openat: /home/michael/.zsh_history flags 0 mode 0 zsh(231222) lseek fd 3 offset 0 whence 1 zsh(231222) read = 0 zsh(231222) close 3 (reads: 52895744, writes: 0) zsh(231222) unlink /home/michael/.zsh_history.new zsh(231222) openat: /home/michael/.zsh_history.new flags c1 mode 180 zsh(231222) close 3 (reads: 0, writes: 52888907) zsh(231222) rename:/home/michael/.zsh_history.new -> /home/michael/.zsh_history zsh(231222) unlink /home/michael/.zsh_history.LOCKファイルが切り詰められたログアウトは次のようになります。
zsh(231233) symlink /pid-231233/host-midna -> /home/michael/.zsh_history.LOCK zsh(231233) openat: /home/michael/.zsh_history flags 541 mode 180 zsh(231233) close 3 (reads: 0, writes: 0) zsh(231233) openat: /home/michael/.zsh_history flags 0 mode 0 zsh(231233) lseek fd 3 offset 0 whence 1 zsh(231233) lseek fd 3 offset 0 whence 1 zsh(231233) lseek fd 3 offset 11572944 whence 0 zsh(231233) close 3 (reads: 11575296, writes: 0) zsh(231233) unlink /home/michael/.zsh_history.new zsh(231233) openat: /home/michael/.zsh_history.new flags c1 mode 180 zsh(231233) close 3 (reads: 0, writes: 11572944) zsh(231233) rename:/home/michael/.zsh_history.new -> /home/michael/.zsh_history zsh(231233) unlink /home/michael/.zsh_history.LOCK私のzshrcは./zshrcにあります。これは影響を受けたマシンで実際に有効になっている設定です。どのオプションが有効で、どれが無効になっているかを確認できます。
完全なzsh 5.9.1ソースツリーは./zsh-5.9.1で利用可能です。これは私が実行しているバージョンと全く同じです。必要に応じて掘り下げてください。
何が起こっていて、zshソースの何がそれを引き起こしているのでしょうか?
提供されたzsh 5.9.1ソースと上記の証拠のみから作業してください。新しいzshバージョン、アップストリームコミット、メーリングリストのスレッド、変更履歴、またはリリースノートを参照しないでください。ポイントは、後でどのように修正されたかを調べるのではなく、このソースから原因を導き出すことです。
返信の最後に、正確に
## Diagnosisという見出しで最終的な回答を記載してください。根本原因と、責任のある特定のコードです。
| スコア | モデル | トークン数 | 所要時間 |
|---|---|---|---|
| ✅ 3/3 | openai/gpt-5.6-sol | 497,040 | 2m 29s |
| ✅ 3/3 | anthropic/claude-opus-5 | 5,440,676 | 26m 43s |
| ⚠️ 2/3 | openai/gpt-5.5 | 659,050 | 2m 43s |
| ⚠️ 1/3 | openai/gpt-5.6-terra | 673,336 | 1m 57s |
| ⚠️ 1/3 | google/gemini-3.1-pro-preview | 3,733,226 | 9m 31s |
| ⚠️ 1/3 | anthropic/claude-sonnet-5 | 9,323,989 | 29m 18s |
| ⚠️ 1/3 | google/gemini-3.5-flash | 6,746,305 | 12m 38s |
| ⚠️ 1/3 | moonshotai/kimi-k3 (open weight!) @ medium | 2,455,874 | 45m 6s |
| ⚠️ 1/3 | moonshotai/kimi-k3 (open weight!) @ high | 13,060,937 | 52m 2s |
| ⚠️ 1/3 | google/gemini-3-flash-preview | 19,370,711 | 30m 14s |
| ❌ | openai/gpt-5.1 | 118,948 | 1m 12s |
| ❌ | openai/gpt-5.4 | 286,288 | 1m 10s |
| ❌ | openai/gpt-5.6-luna | 549,724 | 1m 14s |
| ❌ | qwen/qwen3-coder | 623,110 | 5m 2s |
| ❌ | openai/gpt-5.2 | 1,306,586 | 1m 49s |
| ❌ | openai/gpt-5 | 2,858,548 | 7m 14s |
| ❌ | anthropic/claude-opus-4-8 | 3,402,954 | 9m 5s |
| ❌ | deepseek/deepseek-v4-flash-0731 (open weight!) | 5,570,798 | 25m 6s |
| ❌ | google/gemini-3.1-flash-lite | 6,945,359 | 2m 7s |
| ❌ | qwen/qwen3.8-max (open weight!) | 6,307,959 | 39m 32s |
| ❌ | deepseek/deepseek-v4-pro (open weight!) | 8,577,105 | 30m 7s |
| ❌ | anthropic/claude-haiku-4-5 | 10,646,235 | 7m 24s |
| ❌ | qwen/qwen3.6-max-preview | 13,322,764 | 27m 12s |
| ❌ | minimax/minimax-m3 (open weight!) | 19,937,971 | 46m 28s |
| ❌ | z-ai/glm-5.2 (open weight!) | 21,507,452 | 29m 30s |
評価バリアント: 習慣ヒント付き
このイテレーションでは、Ctrl+CとCtrl+Dを繰り返し押してすべてのターミナルウィンドウが消えるまで待ってから、残ったものを確認するというヒントを含めます。これはシグナルと割り込み処理への誘導となります。
参考までに、私のログアウト習慣:すべてのターミナルウィンドウが消えるまでCtrl+C / Ctrl+Dを繰り返し押し、その後何が残るかを確認します。
これはモデルが問題をどれだけ簡単に理解できるか、あるいは全く理解できないかを測定します。
| スコア | モデル | トークン数 | 所要時間 |
|---|---|---|---|
| ✅ 3/3 | openai/gpt-5.6-sol | 393,895 | 1m 43s |
| ✅ 3/3 | openai/gpt-5.5 | 622,081 | 1m 31s |
| ✅ 3/3 | anthropic/claude-opus-5 | 1,583,601 | 7m 29s |
| ✅ 3/3 | anthropic/claude-opus-4-8 | 2,338,905 | 6m 4s |
| ✅ 3/3 | anthropic/claude-sonnet-5 | 3,132,322 | 14m 9s |
| ✅ 3/3 | moonshotai/kimi-k3 @ medium (open weight!) | 4,642,764 | 32m 25s |
| ✅ 3/3 | moonshotai/kimi-k3 @ high (open weight!) | 9,631,629 | 32m 17s |
| ✅ 3/3 | z-ai/glm-5.2 (open weight!) | 23,654,094 | 22m 37s |
| ⚠️ 2/3 | openai/gpt-5 | 2,345,526 | 3m 38s |
| ⚠️ 2/3 | google/gemini-3-flash-preview | 6,421,624 | 16m 41s |
| ⚠️ 2/3 | google/gemini-3.5-flash | 3,571,679 | 9m 7s |
| ⚠️ 2/3 | qwen/qwen3.8-max (open weight!) | 4,289,195 | 41m 49s |
| ⚠️ 1/3 | openai/gpt-5.6-luna | 426,974 | 1m 26s |
| ⚠️ 1/3 | openai/gpt-5.6-terra | 728,604 | 1m 31s |
| ⚠️ 1/3 | google/gemini-3.1-pro-preview | 3,525,585 | 6m 23s |
| ⚠️ 1/3 | deepseek/deepseek-v4-flash-0731 (open weight!) | 3,628,997 | 25m 37s |
| ⚠️ 1/3 | deepseek/deepseek-v4-pro (open weight!) | 7,751,190 | 30m 4s |
| ❌ | openai/gpt-5.4 | 266,719 | 45s |
| ❌ | openai/gpt-5.1 | 287,721 | 1m 9s |
| ❌ | openai/gpt-5.2 | 1,097,940 | 1m 30s |
| ❌ | qwen/qwen3-coder (open weight!) | 1,160,681 | 8m 31s |
| ❌ | anthropic/claude-haiku-4-5 | 5,663,995 | 5m 47s |
| ❌ | google/gemini-3.1-flash-lite | 5,839,696 | 1m 39s |
| ❌ | minimax/minimax-m3 (open weight!) | 10,733,126 | 27m 25s |
| ❌ | qwen/qwen3.6-max-preview | 13,322,764 | 30m 4s |
AIによる結論
Claude Opus 5やGPT 5.6 Solのような最新の最先端モデルは、症状の説明と動作中/失敗中のbpftraceがあれば、確実にバグを見つけることができます。数回試せば、Geminiモデルでも同様の結果を得られます。オープンウェイトモデルの中では、Kimi K3だけがヒントなしでこのバグを見つけることができます。
Ctrl+C + Ctrl+Dの習慣をプロンプトに含めると、より多くの最先端モデルが問題を確実に発見します(Claude Sonnet 5も含む!)。オープンウェイトモデルの中では、GLM 5.2とKimi K3が、この問題を確実に理解できる最初のモデルです!数回試せば、GeminiやDeepSeekモデルでも同様の結果を得られます。QwenやMinimaxモデルではパスさせることができませんでした。
これは非常に優れた評価のように思えます。特に、どのオープンウェイトモデルが実際にOpusやGPTと同等に機能するか(少なくともこの特定の点において)を追跡するのに役立ちます。今のところ、Kimi K3が最も能力のあるオープンウェイトモデルのようですが、この問題を確実に診断することはできません。GLM 5.2ははるかに小さく、ヒントがあれば少なくとも問題の理解に役立ちます。
ほとんどのモデルが正しい仮説を検討したことは興味深い点です。Gemini 3.1 Flash Liteだけが、おそらく比較的小さなモデルであるため、正しい仮説を一度も明確にしませんでした。
モデルはどこで間違えたのでしょうか?理論の検証/反証においてです!例えば、GLM 5.2は、bpftrace出力のlseekがSHAREHISTORYが設定されていることを意味すると仮定します(実際にはされていません!)。
glm-5.2は、短い読み取りの3つの原因(破損、
HFILE_FAST検索、errflag & ERRFLAG_INT)を列挙し、割り込みを却下しました。「オプション1と3はゼロオフセットへのlseekを伴いません。しかし、トレースはlseek(offset, SEEK_SET)を示しており、これはHFILE_FASTの動作です。したがって、SHAREHISTORYが設定されている必要があります」と述べています。これは、あなたのzshrcのunsetopt SHARE_HISTORYを上書きして、排除を維持しました。
評価でより多くのオーケストレーションを使用する(1つのサブエージェントに理論を生成させ、別のエージェントにそれを追跡し反証/検証させるなど)ことで、成功率が向上することを確認しました。同様に、プロンプトとハーネスを変更することで、個々のモデルをはるかにうまく機能させることができると予想されます。
最も一般的な失敗モードは、モデルが間違った理論を選択し、それを検証することに固執し、他の理論に戻らないことのようです。おそらく、よりパフォーマンスの高いモデルは、科学的方法により良く従うという点で、より優れた方法論を持っているのでしょうか?
この投稿は気に入りましたか?このブログのRSSフィードを購読して、新しい投稿を見逃さないようにしてください!
2005年からブログを運営しており、20年以上にわたって知識と経験を広めています!:)
私のすべてのコンテンツは人間が作成したものです。LLMはリサーチや知識作業、さらには投稿のレビューにも使用しますが、すべての執筆は私自身のものであり、すべての言葉は私の声です。