不安定なPythonテストの原因を見つけるためのツール
A tool for finding the causes of unstable Python tests (github.com)
要約
pytest-leak-finderは、単体ではパスするものの、テストスイート全体で実行すると失敗するような不安定なPythonテストの原因を特定するのに役立つpytestプラグインです。このツールは、git bisectに似たバイナリサーチのアプローチを用いて、失敗するテストの前に実行されたテスト群の中から問題のあるテストを絞り込みます。
全文翻訳
pytest-leak-finder
[画像: PyPI version] [画像: Python versions] [画像: CI]
単体で実行するとパスするのに、テストスイート全体を実行すると失敗するテストがあります。何が起きているのでしょうか?前のテストが何かを汚いままにしている、というのが私の見立てです。しかし、それはどのテストでしょうか?おそらく、前のテストはたくさんあるでしょう、そうでしょう?
このプラグインは、ターゲットとなるテストの前に収集されたテスト群に対して、バイナリサーチ(いわゆる git bisect)を行うことで、原因となるテストを見つけるのに役立ちます。
最初の実行では、ターゲットとなるテストに加えて、それより前のテストの半分を収集します。ターゲットが失敗した場合、それは正しいパスなので、新しいバイナリサーチが適用されます。ターゲットが失敗しない場合は、次回のバイナリサーチの対象を「半分」変更します。
以下の例を考えてみてください。
$ pytest -v demo/test_demo.py
collected 6 items
tests/test_demo.py::test1 PASSED
tests/test_demo.py::test2 PASSED
tests/test_demo.py::test3 PASSED
tests/test_demo.py::test4 PASSED
tests/test_demo.py::test5 FAILED
tests/test_demo.py::test6 PASSED
$ pytest -v --lf demo/test_demo.py
collected 6 items / 5 deselected / 1 selected
tests/test_demo.py::test5 PASSED
問題のあるテストを見つけるために、pytest-leak-finderを使用できます。
初回実行時には、失敗したテストが「ターゲット」として設定され、セッションが停止します。
$ pytest -v --leak-finder demo/test_demo.py
collected 6 items
tests/test_demo.py::test1 PASSED
tests/test_demo.py::test2 PASSED
tests/test_demo.py::test3 PASSED
tests/test_demo.py::test4 PASSED
tests/test_demo.py::test5 FAILED
===================================================== Leak finder =====================================================
Target set to: pytest-leak-finder/tests/test_demo.py::test5
Next step: a
Current target is: pytest-leak-finder/tests/test_demo.py::test5
============================================= 1 failed, 4 passed in 0.13s =============================================
2回目の実行では、ターゲットの前にパスしたテストの半分(この例ではtest1とtest2で構成されるステップ「a」)を実行します。
ターゲットがまだ失敗する場合、そのパスはさらに深く分割されて追跡されます。しかし、この例ではパスしたので、それを破棄し、もう半分がリークを含んでいたと仮定します。そのため、「次のステップ」は「ba」になります。
$ pytest -v --leak-finder demo/test_demo.py
collected 6 items / 3 deselected / 3 selected
demo/test_demo.py::test1 PASSED [ 33%]
demo/test_demo.py::test2 PASSED [ 66%]
demo/test_demo.py::test5 PASSED [100%]
===================================================== Leak finder =====================================================
We reach the target and nothing failed. Let's change the last half.
Next step: ba
Current target is: pytest-leak-finder/demo/test_demo.py::test5
=========================================== 3 passed, 3 deselected in 0.03s ===========================================
したがって、新しいステップは「B-A」、つまりtest3になります。
$ pytest -v --leak-finder demo/test_demo.py
collected 6 items / 3 deselected / 3 selected
tests/test_demo.py::test3 PASSED
tests/test_demo.py::test5 FAILED
===================================================== Leak finder =====================================================
We found a leak!
Leak found in: pytest-leak-finder/demo/test_demo.py::test3
Last step was: ba
そして、見つかりました!test3が探していた問題のあるテストでした!