HN 日本語サマリー

← 一覧へ戻る
プログラミング

不安定なPythonテストの原因を見つけるためのツール

A tool for finding the causes of unstable Python tests (github.com)

16 pointsby pomponchik0 コメント

要約

pytest-leak-finderは、単体ではパスするものの、テストスイート全体で実行すると失敗するような不安定なPythonテストの原因を特定するのに役立つpytestプラグインです。このツールは、git bisectに似たバイナリサーチのアプローチを用いて、失敗するテストの前に実行されたテスト群の中から問題のあるテストを絞り込みます。

全文翻訳

pytest-leak-finder

[画像: PyPI version] [画像: Python versions] [画像: CI]

単体で実行するとパスするのに、テストスイート全体を実行すると失敗するテストがあります。何が起きているのでしょうか?前のテストが何かを汚いままにしている、というのが私の見立てです。しかし、それはどのテストでしょうか?おそらく、前のテストはたくさんあるでしょう、そうでしょう?

このプラグインは、ターゲットとなるテストの前に収集されたテスト群に対して、バイナリサーチ(いわゆる git bisect)を行うことで、原因となるテストを見つけるのに役立ちます。

最初の実行では、ターゲットとなるテストに加えて、それより前のテストの半分を収集します。ターゲットが失敗した場合、それは正しいパスなので、新しいバイナリサーチが適用されます。ターゲットが失敗しない場合は、次回のバイナリサーチの対象を「半分」変更します。

以下の例を考えてみてください。

$ pytest -v demo/test_demo.py 
collected 6 items                                                                                                                                            
tests/test_demo.py::test1 PASSED                                                                             
tests/test_demo.py::test2 PASSED                                                                              
tests/test_demo.py::test3 PASSED                                                                              
tests/test_demo.py::test4 PASSED                                                                             
tests/test_demo.py::test5 FAILED                                                                              
tests/test_demo.py::test6 PASSED 

$ pytest -v --lf demo/test_demo.py 
collected 6 items / 5 deselected / 1 selected                                                                                                                
tests/test_demo.py::test5 PASSED 

問題のあるテストを見つけるために、pytest-leak-finderを使用できます。

初回実行時には、失敗したテストが「ターゲット」として設定され、セッションが停止します。

$ pytest -v --leak-finder demo/test_demo.py 
collected 6 items

tests/test_demo.py::test1 PASSED                                                                              
tests/test_demo.py::test2 PASSED                                                                              
tests/test_demo.py::test3 PASSED                                                                              
tests/test_demo.py::test4 PASSED                                                                              
tests/test_demo.py::test5 FAILED

===================================================== Leak finder =====================================================
Target set to: pytest-leak-finder/tests/test_demo.py::test5

Next step: a
Current target is: pytest-leak-finder/tests/test_demo.py::test5
============================================= 1 failed, 4 passed in 0.13s =============================================

2回目の実行では、ターゲットの前にパスしたテストの半分(この例ではtest1とtest2で構成されるステップ「a」)を実行します。

ターゲットがまだ失敗する場合、そのパスはさらに深く分割されて追跡されます。しかし、この例ではパスしたので、それを破棄し、もう半分がリークを含んでいたと仮定します。そのため、「次のステップ」は「ba」になります。

$ pytest -v --leak-finder demo/test_demo.py
collected 6 items / 3 deselected / 3 selected                                                                                                                
demo/test_demo.py::test1 PASSED                                                                                 [ 33%]
demo/test_demo.py::test2 PASSED                                                                                 [ 66%]
demo/test_demo.py::test5 PASSED                                                                                 [100%]


===================================================== Leak finder =====================================================
We reach the target and nothing failed. Let's change the last half.

Next step: ba
Current target is: pytest-leak-finder/demo/test_demo.py::test5
=========================================== 3 passed, 3 deselected in 0.03s ===========================================

したがって、新しいステップは「B-A」、つまりtest3になります。

$ pytest -v --leak-finder demo/test_demo.py
collected 6 items / 3 deselected / 3 selected                                                                                                                
tests/test_demo.py::test3 PASSED                                                                              
tests/test_demo.py::test5 FAILED

===================================================== Leak finder =====================================================
We found a leak!

Leak found in: pytest-leak-finder/demo/test_demo.py::test3
Last step was: ba

そして、見つかりました!test3が探していた問題のあるテストでした!