HN 日本語サマリー

← 一覧へ戻る
プログラミング

私のコンピュータが不調だったので、私は深淵を覗き込んだ(2019年)

My computer misbehaved so I went down a rabbit hole (2019) (leonwu.tech)

5 pointsby sammatilda0 コメント

要約

筆者が46MBのファイルをUSBにコピーしようとした際にコンピュータがフリーズし、SIGKILLシグナルさえも機能しなかったことから、OSのカーネル処理の深淵を覗き込むことになった体験談です。最終的に、カーネルがデータを大きな塊で処理していたことが原因と判明し、システム設定の調整によって問題を解決しました。

全文翻訳

私のコンピュータが不調だったので、私は深淵を覗き込んだ

私はコンピュータラボに座り、ラップトップの画面を見つめ、何が原因で物事がこれほどひどく間違ってしまったのかと考えていました。

46メガバイト。

46メガバイトの、まったくもう。

46メガバイトの、くだらない、役に立たない、まったくもう、という量のデータが私のコンピュータ全体をダウンさせたのです。

USBメモリに46メガバイトのデータをコピーしようとしただけなのに、コンピュータは拒否しました。

この記事を書いている時点で、1テラバイトを保存できるフラッシュドライブはたったの35ドルです。

[画像: USB]

計算すると、1セントの10分の1よりも少ない値の1と0が、私のラップトップ全体を停止させたことになります。

運悪く、インターネットアクセスがありませんでした[1]。そのため、ファイルを自分にメールで送ったり、Google Driveのようなファイル共有サービスを使ったりすることは不可能でした。

まあいいか、と思いました。USBメモリを抜いて、もう一度差し込んで、やり直すのが一番でしょう。

USBメモリを安全に取り出すボタンをクリックしました。ポップアップが表示され、取り出せないと告げられました。あれ?ああ。そうか、コンピュータはまだファイルをコピーしようとしていたんだ。ターミナルを長年使ってきた経験から、Ctrl+Cがほとんどのプログラムを停止させることを知っていたので、コピープロセスを停止させようとCtrl+Cを押しました。

何も起こりませんでした。

どういうわけか、ファイルをコピーしようとする試みは、46メガバイトが目の前の金属とプラスチックの塊をこれほどまでに苛立たせた原因である…何であれ…に対して、まだ勇敢にも敗北を認めようとしていませんでした。

私はSIGKILLシグナルを送るコマンドを準備しました。

SIGKILLは、実行中のプロセスに即座に停止するよう指示するシグナルです。プロセスが拒否した場合の最後の手段がSIGKILLです。SIGKILLは最終的な言葉です。オペレーティングシステムの授業で、SIGKILLは失敗しないと教わりました。処理されない、捕捉されない、無視されないと教わりました。プロセスにSIGKILLを送ると、それは終了し、反論しません。

私はSIGKILLを送りました。

私の不屈の力が、動かせない物体に立ち向かいました。

何も起こりませんでした。

SIGKILLは、その場で完全に停止させられました。

素晴らしい。ただ素晴らしい。さて、どうする?

…

ああ。そうか。

この混乱から抜け出す別の方法があることに気づきました。コンピュータの周りで過ごしすぎ、現実世界で過ごす時間が少なすぎると、コンピュータの問題はコンピュータの魔法だけが解決できると思い込みがちです。USBメモリを取り出すには、コンピュータに関連する多くのことをした後でなければならないと仮定していましたが…

[画像: Dave Chappelle meme]

私の思考プロセス

しかし、コンピュータとその接続デバイスは、依然として物理世界に存在する物理的な物体です。したがって…

USBメモリを指でつまみ、ラップトップから引き抜きました。安全な取り出しなんて誰が必要とするんだ?

もう一度差し込むと、疑問符の配列に迎えられました。その後すぐに、すべてのデータが破損していたことがわかりました。だから安全な取り出し機能が存在するのです。しまった。

明らかに私は深淵に深入りしすぎており、さらに1、2時間掘り下げ続ければ、インド洋のどこかで、Google検索の15ページ目を閲覧し、なぜかバブルラップに包まれ、仮想メモリについてクリンゴン語でつぶやいている自分にたどり着くだろうと疑っていましたが、それでも、ここまで来たからには、どうしても解明するまで掘り下げ続けなければなりませんでした。


コンピュータの問題に対処する際に直面する大きな不満の1つは、それが単なるくだらない設定の問題なのか、それとも実際に驚くほど興味深い説明があるのかが、常に明確ではないことです。前者は対処するのが非常にフラストレーションがたまることがあり、修正を見つけたとしても、それは非常に小さな変更のように見え、満足のいく結末とは言えないかもしれません。デバッガのようなツールは生活を楽にしてくれますが、時にはコンピュータは不可解に見えることがあります。

これがどのような種類の問題になるのか確信が持てませんでしたが、それでも掘り下げ始めました。そして、調べてみると、それは両方でした。

掘り下げていくうちに、これが驚くほど一般的な問題であること(証拠 A B C D E F)を見つけましたが、まず、いくつかの背景を説明します。

コンピュータは、ファイルシステムを通じて情報とデータを保存できます。これは、ファイルを保存したり、インターネットからダウンロードしたり、ビデオを録画したりするたびに私たちがやり取りするものです。しかし、通常のコンピュータユーザーは、バスルームを使いたいときに配管を調整したり、ライトをつけたいときに電気配線をいじったりする必要がないのと同じ理由で、データの1と0に直接アクセスする必要はありません。代わりに、これらのことを行うためのツールとインターフェースがあります。壁のコンセント、トイレとそのフラッシュハンドルなどです。それらは私たちのために仕事をしてくれます。私たちはただ何をすべきかを指示するだけです(例:配管システムに直接水を操作するのではなく、ハンドルを下げることでトイレをフラッシュさせます)。

[画像: plumbing gone wrong]

メモリを直接いじることは、これのように感じられるかもしれませんが、コンピュータではそれが百万倍速く起こります

コンピュータに関しても、これらのインターフェースがあります。通常、私たちはコンピュータ内の1と0を直接扱う面倒な作業をしたくありません。私たちは、ファイルやフォルダ、プラトニックソリッドのような抽象的なことを考え、お茶を飲み、詩について議論することをした方が良いのです。私たちはコンピュータに、このファイルをあちらに移動し、あのファイルを新しいフォルダにコピーするように指示するだけで、カーネル(コンピュータのオペレーティングシステムのコアを構成するソフトウェアの一部)がそれを行ってくれます。カーネルが実際の作業を行い、私たちはただ指示するだけです。

当然ながら、これは、ハードドライブの小さな磁石の設定を手動で変更し、コンピュータの中に住むデジタルグレムリンと不注意なアイコンタクトをとることで何十年もの記憶を誤って消去するリスクを冒すような、信じられないほど複雑なプロセスよりもはるかに簡単な方法です。

カーネルの一部であれ、ユーザースペースで実行されるものであれ、コンピュータプログラムは、コンピュータが1つずつ実行する一連の命令に変換されます[2]。カーネルプログラムでない場合、実行中に停止したり、コンピュータを中断して「ねえ、今やっていることを続ける前に、これらの特別な命令を実行して」と指示したりしても問題ありません。これらの通常のプログラムを中断しても問題ありません。なぜなら、コンピュータはその後も機能し続けるからです。インターネットブラウザがクラッシュしたり、ゲームが壊れたりしても、それは残念ですが世界の終わりではありません。ビデオチャットしていた友達から心配のテキストがいくつか届くかもしれませんが、コンピュータは引き続き動作します。

カーネルは異なります。それは物事を動かすエンジンです。文字を入力したり、マウスを動かしたり、音楽を再生したり、ファイルを開いたりするたびに、カーネルが引き継ぎます。カーネルコードが正しく動作することは非常に重要です。カーネルが重要な作業中に何かをいじって問題が発生した場合、機能的なコンピュータが後で手に入らないかもしれません。

SIGKILLは、カーネルが介入し、ユーザースペースプログラムを停止させ、カーネルに魔法を使わせて物事を停止させるため、カーネル以外の(ユーザースペース)コードを処理する上で非常に効果的です。通常のプログラムにはない力を持っています。

残念ながら、ファイルシステムで何かを行うことにはカーネルが関わるため、カーネルがまだ作業中にSIGKILLを送った可能性が高いです。カーネルが中断不可能なタスクで忙しい間にSIGKILLを送ると、カーネルがジョブを完了してユーザースペースプログラムに制御を戻すまで、SIGKILLは何も効果がありません。それがSIGKILLが失敗した理由です。

しかし、物語はそこで終わりませんでした。カーネルがハードドライブからUSBメモリへ1と0を移動していたとしたら、なぜ進捗の兆候がなかったのでしょうか?なぜ小さな進捗バーがどこにも進まなかったのでしょうか?

通常、カーネルがファイルをある場所から別の場所にコピーするとき、一度にすべてを行うわけではありません。むしろ、一度にすべてではなく、小さなチャンク(塊)で行われるべきです。カーネルは時々、「よし、このデータチャンクのコピーが終わった!」と言って、ユーザースペースコードに制御を戻します。データチャンクを処理する合間に、コンピュータは小さな進捗バーを更新し、バックグラウンドで多くの見えない作業を処理します。

例として示します。

物事をこなす素朴な方法

ユーザースペース:これらの10000000個の整数をコピーしてください

カーネル:承知しました

カーネル:10000000個の整数すべてをコピー中…

ユーザー:待って、止めて

カーネル:10000000個の整数すべてをコピー中…

ユーザーがSIGKILLを送信:整数コピーを停止

カーネル:10000000個の整数すべてをコピー中…

今、10000000個の整数すべてが終わるまで無期限に待たなければならない。その間、1と0を移動する魔法の儀式は中断できない

小さなバッチで物事をこなす

ユーザースペース:これらの10000000個の整数をコピーしてください

カーネル:承知しました

カーネル:最初の100個の整数をコピー中。何かあった場合に備えて、あなたに確認に戻ります…

ユーザー:待って、止めて

カーネル:最初の100個の整数をコピー中。何かあった場合に備えて、あなたに確認に戻ります…

ユーザーがSIGKILLを送信:整数コピーを停止

カーネル:OK、最初の100個の整数をコピーし終えました。では、その間に何かあったか確認します–おお、なんと!SIGKILLだ!すべてを放り出して、このプロセスをすぐに停止しなければならない!

プロセスが停止し、人生は続く

小さなバッチで物事をこなすとき、カーネルは一時停止して、人生や存在の本質について考える時間を作ります。残念ながら、このケースではコンピュータの設定により、バッチが非常に大きくなっていました[3]。カーネルは、噛みきれないほどの量を噛んでしまい、その間、他のほとんどのことができなくなったため、物事は非常に遅くなりました。

[画像: big bite]

バッチが大きくなりすぎた結果、カーネルはシグナルが効果を発揮する前に多くの作業を行う必要があり、カーネルが長時間ビジー状態であるため、素朴な解決策と同じ問題に戻ってしまいました。あまり多くのことを行うことができませんでした。

修正は簡単でした。カーネルに小さな塊で処理させるのです。

  • /etc/sysctl.confファイルに、以下の2行を末尾に追加します。

    • vm.dirty_background_ratio = 5

    • vm.dirty_ratio = 10

  • 次にsudo sysctl -pを実行します。

そしてそれはうまくいきました。ファイル転送にはまだ時間がかかりましたが、今回はカーネルが大きな時間チャンクでシステムを乗っ取ってすべてを遅くすることはありませんでした。ファイルがバックグラウンドでコピーされている間、コンピュータを使い続けることができました。

そして、それがすべてでした。


注釈

1: サイバーセキュリティについて学んでおり、許可を得てWi-Fiネットワークでパケットをスニッフィングしていたため、USBからKali Linuxを起動していました。そのためインターネットアクセスがなかったのです。USBから起動していました。

2: これは多くの詳細を著しく単純化していますが、この話にとっては十分正確です。

3: 技術的な詳細

なぜバッチが大きくなるようなオペレーティングシステムを設計する人がいるのだろうか?

多くの場合、大きくて複雑なシステムでは、単一のものが問題を引き起こすわけではありません。むしろ、物事がちょうど正しい構成で起こる必要があり、その結果、突然爆発するのです。そのため、多くの異なるものの組み合わせである場合、非難する(特に人が関わっている場合は単一のスケープゴート個人を)のを避けることが役立ちます。

この場合、いくつかのことが起こる必要がありましたが、どれも単独では問題を引き起こしませんでした。

  • USBからKali Linuxを起動していました。通常のOSであれば、インターネット経由でファイルを自分に送ることができたでしょうし、通常のOSから行っていればもっと速かった可能性もあります。
  • ファイルをUSBメモリにコピーしようとしました(USBメモリは非常に遅いことで知られています)。
  • ファイルは比較的大きいです。
  • ラップトップは64ビットであり、カーネルが各バッチでどれだけの作業を行うかを制御する元の設定は、32ビットアーキテクチャの時代にはうまく機能していました。

なぜバッチが大きくなりすぎたのか?

cpは、フラッシュドライブにデータを書き込むよりも速くダーティページを作成し、これはプロセスがそれらすべてをUSBに書き込む前に大量のダーティページを作成できることを意味しました。カーネルの仕組みにより、大量のページをUSBに書き込む必要があり、さらに悪いことに、すべてを一度に行う必要がありました。cpがその間、中断不可能なスリープ状態にあるため、それを中断することはできませんでした。

なぜメモリをそんなに速くダーティにできるのか?

私のラップトップは64ビットであり、64ビットが32ビットと大きく異なることが判明しました。なぜなら、これはメモリのカウント方法に影響し、ダーティページをどれだけ速く作成できるかは、デフォルトではメモリ総量のパーセンテージとして記述されており、64ビットでのメモリカウント方法は、大量のダーティページを非常に速く作成できることを意味します。

最初のリンク記事から:

Artemが説明した動作を理解するための鍵となる他の2つの詳細は次のとおりです。(1) デフォルトでは、パーセンテージベースのポリシーが適用されます。(2) 32ビットシステムでは、その比率はカーネルが直接アドレス指定できるメモリの量に対して計算されます。システム全体のメモリ量ではありません。

修正(上記参照)は、バッファを圧倒しないようにしたため、うまくいきました。

さらなる読書: