HN 日本語サマリー

← 一覧へ戻る
プログラミング

「for x in y」があなたから隠しているもの – From Scratch Code

What `for x in y` hides from you – From Scratch Code (fromscratchcode.com)

8 pointsby rbanffy5 コメント

要約

Pythonの`for x in y`構文は、リストや文字列などの要素を一つずつ取り出す便利な機能ですが、その背後ではイテレータプロトコルが使われています。Pythonは直接コレクションをループするのではなく、`iter()`でイテレータを取得し、`next()`で要素を取り出し、`StopIteration`でループを終了するという仕組みで動作しています。このイテレータの概念を理解することで、Pythonの多様なオブジェクトでのループやジェネレータの動作がより明確になります。

全文翻訳

What for x in y hides from you

Pythonでforループを開始するのは簡単です。for x in yと入力するだけで始められます。

リスト、文字列、または範囲を反復処理すると、Pythonは一度に1つのアイテムを丁寧に返してくれます。インデックス変数も境界チェックもありません。C/C++のi++やJavaScriptのforEachと比較すると、Pythonのバージョンはまさに「うまく機能する」のです。

長い間、私はfor x in yを単に「このオブジェクトをループする」という意味の構文として扱い、それで十分でした。しかし、RustでPythonインタプリタであるMemphisを構築し始めたとき、ついにごまかしをやめて、根本的な疑問に答えなければならなくなりました。

forループは実際には何をしているのか?

その答えは、予想以上にシンプルであり、かつ複雑でもありました。

イリュージョン

小さな例から始めましょう。

for x in [10, 20, 30]:
    print(x)

これを実行すると、おなじみの動作が得られます。一度に1つの値が順番に表示されます。

今のところ、特に驚くべきことはありません。

Pythonを始めたばかりの人は、次のようなメンタルモデルを持つかもしれません。

  • Pythonはリストを覗き込みます
  • 要素を1つずつ見ていきます
  • それぞれをxに代入します
  • そしてループ本体を実行します

これは動作としては間違っていませんが、最も重要な部分を隠しています。

Pythonはコレクションを直接ループしているわけではありません。イテレータをループしているのです。

この区別は重要です。なぜなら、これがforがさまざまな種類のオブジェクトで機能する理由と、Pythonでのイテレーションが非常に柔軟に感じられる理由を説明するからです。

隠されたステップ

Pythonがこれを見たとき:

for x in [10, 20, 30]:
    print(x)

実際の動作は、次のようなものに近いのです。

it = iter([10, 20, 30])

while True:
    try:
        x = next(it)
        print(x)
    except StopIteration:
        break

forループは実際には次のことを行います。

  1. iter(...)を呼び出してイテレータを要求します
  2. next(...)を繰り返し呼び出して次の値を取得します
  3. next(...)がStopIterationを発生させたら停止します

for x in y構文は、単なるきれいなラッパーです。

直接確認できる

インタプリタの内部に触れる前に、自分で証明できます。

nums = [10, 20, 30]
it = iter(nums)

print(next(it))
print(next(it))
print(next(it))

これはリストの要素を1つずつ出力します。

しかし、一歩踏み込みすぎると:

nums = [10, 20, 30]
it = iter(nums)

print(next(it))
print(next(it))
print(next(it))
print(next(it))

2番目のスニペットも実行してください。最後のnext(it)はStopIterationを発生させます。これはまさにループが終了したことを知る方法です。

したがって、ループは特別な方法で「リストから読み取っている」わけではありません。自分で使用できるのと同じイテレータプロトコルを使用しているのです。

なぜこれが重要なのか

この1つの考え方が、これらすべてが機能する理由を説明しています。

for x in [1, 2, 3]:
    print(x)

for ch in "cat":
    print(ch)

for n in range(3):
    print(n)

リスト、文字列、rangeは異なる種類のオブジェクトですが、それぞれがイテレータを生成できるため、Pythonはすべてをループできます。

また、ジェネレータがforと自然に連携する理由も説明しています。ジェネレータは、同じプロトコルに参加する別のPython型です。すぐにその例を見てみましょう。

実装しなければならなかった部分

Memphisでは、ランタイムが実際に何を行うかを決定する必要がありました。

大まかに言うと、私のツリーウォークインタプリタはforループを次のように処理します。

  1. 右辺の式を評価します
  2. 結果に対してiter(...)を呼び出します
  3. next(...)を繰り返し呼び出します
  4. 返された各値をループ変数にバインドします
  5. StopIterationが発生したら停止します

これは、書き出すとほとんど退屈に聞こえます。これはPython仕様への賛辞だと考えています。

私にとって驚きだったのは、forがイテレーションを使用することではなく、ループ自体が知っていることが非常に少ないことでした。

forループには、リスト、タプル、範囲、文字列、ジェネレータなどの特別なロジックは必要ありません。反復回数を知る必要もありません。必要なのはイテレータプロトコルだけで、具体的なオブジェクトが詳細を処理します。

完全なPythonでは、これはさらに一歩進みます。カスタムオブジェクトは、__iter__()と__next__()を実装することで参加できます。私はまだMemphisでその部分に取り組んでいますが、この設計の最もクールな結果の1つです。

イテレータを2回使用しても機能しない

これを考えてみてください。

items = [1, 2, 3]
it = iter(items)

for x in it:
    print(x)

for x in it:
    print("again:", x)

自分で実行してみてください。2番目のループは何も出力しません。

これは、イテレータが最初のループで既に使い果たされたためです。forループは何も「巻き戻し」ませんでした。単にnext(...)を呼び出し続け、何も残らなくなるまで続けただけです。

この区別をより具体的にしたい場合は、型も確認してください。

items = [1, 2, 3]
it = iter(items)

print(type(items))
print(type(it))

これは微妙ですが重要な区別です。

  • イテラブル(iterable)は通常、新しいイテレータを提供できます(list、str、rangeなど)。
  • イテレータ(iterator)は通常、一方通行の旅です。

ジェネレータ関数は呼び出すたびに新しいジェネレータを作成できますが、ジェネレータオブジェクト自体はすでにイテレータです。

この違いはinという単語の後ろに隠れています。これは、すでにイテレータを与えていない限り、新しいイテレータを初期化します。

ここにもう1つ便利なバリエーションがあります。

pairs = [(1, 10), (2, 20), (3, 30)]

for x, y in pairs:
    print(x, y)

これは異なる種類のループのように見えるかもしれませんが、実際にはそうではありません。イテレーションの部分は同じです。Pythonは依然としてイテレータを要求し、一度に1つの値を取得します。各値が2つの要素を持つタプルであるだけで、Pythonはそのタプルをxとyにアンパックします。

したがって、for x, y in zは特別なフレーバーではなく、通常のイテレーションにアンパックが追加されたものです。

ジェネレータはこれを可視化するのに役立つ

これを定着させたい場合は、ジェネレータで遊ぶと役立ちます。

def countdown():
    print("Starting")
    yield 3
    yield 2
    yield 1
    print("Done")

for x in countdown():
    print("Got", x)

これを実行し、順序を注意深く見てください。ここでforループが隠しているのは、単なる繰り返し以上のものです。

next(...)の各呼び出しはジェネレータを再開し、次のyieldまで実行し、その値をループに渡し、再び一時停止します。

イテレーションをこのように考え始めると、forループは平坦に感じられなくなりました。それらは、ループと、時間とともに値を生成する方法を知っている他のオブジェクトとの間のプロトコルになりました。

それがはるかに正確なメンタルモデルです。

そして、それが私がMemphisを構築することを楽しんでいることのますます多くになっています。Pythonには、使いやすくするための滑らかな表面がたくさんあります。しかし、それをゼロから再実装すると、その下のレバーを見ることができます。

この場合、それは驚くほど小さなメカニズムでした。

  • `iter(...)
  • `next(...)
  • StopIteration

終わり

Pythonのループ構文の良い点は、初心者がこれを理解する前に生産的になれることです。それは強力な抽象化です。

しかし、ジェネレータ、カスタムイテラブル、または使い果たされたイテレータに関連するバグに遭遇すると、それを隠しているものを学ばなかった場合、より良い構文は負担になる可能性があります。

私が皆さんに伝えたいフレーズは次のとおりです。

for x in yは「yをループする」という意味ではありません。「yにイテレートする方法を尋ねる」という意味です。