HN 日本語サマリー

← 一覧へ戻る
プログラミング

Pythonにおけるメモリ管理への第一歩

First Steps into Memory Management in Python (tech.daniellbastos.com.br)

4 pointsby shellpipe0 コメント

要約

この記事では、Pythonのメモリ管理の仕組みについて、特にメモリの割り当てと解放に焦点を当てて解説しています。Pythonはオブジェクトのサイズに応じてpymallocまたはmallocを使用し、メモリの割り当てと解放には参照カウントとガベージコレクタが用いられます。メモリが解放されてもOSにすぐに返還されない場合があることや、参照の寿命を管理することの重要性が示唆されています。

全文翻訳

Pythonにおけるメモリ管理への第一歩

長い間、Pythonで何かを実装している間、メモリ管理について心配することはありませんでした。仕事でもまだ問題は起きていませんが、それを理解することに非常に興味を持つようになりました。

出発点となったのは、Strong ref, weakref and garbage collector walk into a bar というトークでした。参照カウント、gen0、gen1、gen2:すべて理解すれば非常に理にかなっていましたが、下着を履く前にズボンを履いているような感覚でした。そこで一歩戻り、Pythonがどのようにメモリを解放するかを学ぶ前に、どのように割り当てるかを理解する必要があると考えました。

終わりのないように思える穴に落ちていきました。まだその穴の中にいます。しかし、もう少し深く潜る前に、自分自身のために物事を明確にするために、息を吸い出すために頭を出すことができました。

免責事項:

CPython 3.12を使用して、このトピックに関する私の研究について話します。これは紙の上でのブレインダンプなので、100%正確ではないかもしれません。

Pythonでは、オブジェクトのサイズに基づいて、メモリを割り当てる方法が2つあります。小さなオブジェクト(512バイト以下)にはpymalloc、大きなオブジェクトにはmalloc(PyMem_RawMalloc)を使用します。

小さなオブジェクト(pymalloc)から始めましょう。プロセスが新しいオブジェクトのスペースを必要とし、利用可能なスペースがない場合、pymallocはOSに「アリーナ」と呼ばれる大きなメモリチャンクを要求します。各アリーナは64個のプールに分割され、各プールは同じサイズのブロックに分割されます。

アリーナ、プール、ブロックについてさらに詳しく知りたい場合は、このブログ記事をご覧ください。

オブジェクトはプール内の空きブロックに格納されます。メモリは、OSの観点からは、そのページが初めて書き込まれたときに初めて現実のものとなります。pymallocは、そのサイズのオブジェクトのスペースがある既存のアリーナがない場合にのみ、OSに新しいアリーナを要求します。

アリーナは、そのすべてのプールが空になった場合にのみOSに返されます。したがって、単一のブロックが解放されても、OSにとっては何も変わりません。pymallocはそのスペースを保持し、同じサイズの次のオブジェクトのために再利用します。

これは高速です。なぜなら、ほとんどの割り当ては、OSに何も要求することなく、既存のプールから空きブロックを取得するだけで済むからです。トレードオフとして、Pythonプロセスが縮小することはめったにありません。単一のライブオブジェクトがあれば、そのアリーナ全体がOSに返されるのを防ぐのに十分です。

より大きなオブジェクト(512バイト超)は、システムのCライブラリに付属するメモリ割り当て器であるmallocを使用します。ここにはアリーナやプールはありません。Pythonはバイト数を要求し、mallocが残りを処理します。オブジェクトが解放されると、mallocは通常、再利用のためにメモリを保持します。非常に大きなブロックのみが直接OSに返されます。

メモリ割り当てに関するこの簡単な概要は、ある点を示すのに十分です。メモリが割り当てられたら、解放してもOSが見るメモリが必ずしも減るとは限りません。

割り当てと同様に、解放にもメモリを解放する2つの方法があります。参照カウントとガベージコレクタです。

参照カウントは理解するのが最も簡単な方法です。Pythonではすべてがオブジェクトです。int、文字列、リスト、関数などです。

A variable is just a name that points to an object. So when you write x = [1, 2, 3], behind the scenes you’re saying “the name x now refers to this list object”, and the list starts with a reference count of 1, held by x. When the name stops pointing to it (you assign something else to x, use del x, or the function where x lives returns), the count goes down by one. When it reaches zero, the object is destroyed immediately and its block goes back to available blocks in the pool.

def foo():
    x = [1, 2, 3]   # list refcount = 1 (x)
    y = x           # list refcount = 2 (x and y)
    y = "foo"       # list refcount = 1 (x)
    return y        # function ends, x is gone: refcount = 0, list freed

foo()

ガベージコレクタは、参照カウントでは解決できない問題、つまり循環参照を解決します。2つのオブジェクトがお互いを参照している場合、それらのカウントは決してゼロになりません。時々、ガベージコレクタはコンテナオブジェクト(リスト、辞書、クラスインスタンス)を見て、プログラムの他の部分から到達できなくなったオブジェクトを見つけます。それらはその実行中に解放されます。新しいオブジェクトはgen0で開始され、ほとんどのオブジェクトはすぐに不要になるため、頻繁にチェックされます。コレクションを生き残ったオブジェクトは、より古い世代に移動し、それほど頻繁にはチェックされません。

def foo():
    x = [1, 2, 3]   # list A refcount = 1 (x)
    y = [x]         # list B refcount = 1 (y), list A = 2 (x, B)
    x.append(y)     # list B = 2 (y, A): now A -> B -> A, a cycle

foo()               # x and y are gone: A = 1, B = 1
                    # the next gen0 collection finds A and B unreachable and frees both

これは私が深く潜ったほどではありませんが、いくつかの洞察を得るには十分です。割り当て器がOSに何を返すかを決定するため、解放されたメモリを完全に制御することはできませんが、参照が存続する期間を制御することはできます。大きなオブジェクトを参照するローカル変数は、関数が返されるまでそれを保持します。関数がそれを使用した後にまだ作業が残っている場合は、delするか、summarize(load_file())のように次の呼び出しに直接渡すことができます。そうすれば、その呼び出しが返されるとすぐに解放されます。

Pythonの内部を学ぶのは楽しく、多くのことを学びました。これらのことの多くは言葉にするのが難しいです。なぜなら、メモリ管理を理解するためにドアを開けると、OSがメモリ割り当てをどのように処理するか、Pythonがスレッドセーフをどのように可能にしたか、インタープリタがコードをどのように実行するかなど、別のドアに直面するからです。それは楽しい冒険であり、もっと早く始めなかったことを残念に思っています。