Почему E2E-тесты флакают всё чаще и как с этим жить

Почему, несмотря на накопленный опыт и современный инструментарий, число флаки‑тестов растёт год от года? Исследование BitRise 2025 года показало, что доля команд, которым приходится сталкиваться с флаки-тестами, выросла с 10% в 2022-м до 26% в 2025-м. Нестабильные тесты сильно бьют по рабочим процессам: из опроса 1600 человек в 2023 году стало ясно, что флаки-тесты съедают 8% рабочего времени, почти столько же, сколько занимает наладка и поддержка тестовых сред. Но реальный вред флаков гораздо больше: они подрывают доверие к здоровым тестам и ставят под вопрос всю автоматизацию. Вряд ли количество флаков растёт из-за того, что люди разучились писать атомарные тесты и правильно проектировать архитектуру приложений. Скорее проблема в том, что усложняется среда разработки и тестирования: - Больше этапов в пайплайнах - Более сложные рабочие процессы - Больше сторонних зависимостей Сложность среды, сторонние зависимости - всё это бьёт в первую очередь по E2E-тестам. Проблема в том, что компенсировать эти источники сложности может быть очень дорого. И именно об этом я хочу поговорить сегодня: насколько дорого обеспечить стабильность E2E-тестов?

https://habr.com/ru/companies/testops_tms/articles/1047520/

#тестирование #qa #automation #автоматизация #флаки #нестабильные_тесты #flaky #pytest

Работа с нестабильными тестами в Allure 3

Нестабильные (flaky) тесты создают постоянные трудности для тестировщиков. Такие тесты не отражают состояния тестируемой системы и подрывают доверие к тестовому набору. Вооружившись лучшими практиками, нестабильность можно свести к минимуму, но полностью избавиться от неё крайне трудно. Чтобы лучше её контролировать, нужны инструменты, позволяющие выявлять нестабильные тесты — например, Allure Report. В этом руководстве мы посмотрим, как Allure работает с нестабильными тестами. Заодно мы познакомимся с Allure 3 . Многие из вас наверняка пользуются Allure 2 — в третьей версии (помимо прочих изменений) работа с нестабильными тестами стала гораздо удобнее, в особенности настройка истории тестов.

https://habr.com/ru/companies/testops_tms/articles/988980/

#allure #тестирование #qa #автоматизация #автотест #pytest #flaky #нестабильные_тесты

Whether you’re baking a classic apple pie or a creamy pumpkin pie, this easy pie crust dough is the secret to a golden, flaky bottom crust every single time. #classic #pie #crust #flaky #dessert #sweet

https://www.askchefdennis.com/easy-pie-crust-recipe/?utm_source=flipboard&utm_medium=activitypub

Posted into DELICIOUS DESSERTS THAT ARE WORTH MAKING @delicious-desserts-that-are-worth-making-askchefdennis

Избавляемся от Flaky тестов в CI/CD при помощи JMina

Представьте: вы написали код, покрыли его тестами, запустили их локально — тесты успешно прошли. Вы загрузили изменения в репозиторий, пайплайн успешно завершился. Самое время расслабиться и приступить к новым задачам. Но не тут-то было! Спустя некоторое время в CI/CD падает тест. Вы запускаете тесты локально — они проходят успешно. Вы снова запускаете пайплайн в CI/CD — и тесты снова проходят. Однако через какое-то время ситуация повторяется.

https://habr.com/ru/articles/904952/

#java #test #integration_testing #flaky #flaky_tests #logging #slf4j #tdd #kotlin #groovy

A retryable JUnit 5 extension for flaky tests

#flaky #java #junit #tests

https://glaforge.dev/posts/2024/09/01/a-retryable-junit-5-extension/?utm_medium=erik.in&utm_source=mastodon

Как мы отлавливаем флаки-тесты в СУБД Platform V Pangolin. Показываю бэкенд решения

Красные тесты — это неприятно, но есть кое-что похуже — тесты, которые то красные, то зеленые. С флаки-тестами сталкивается каждый продукт. И чем больше вы тестируете, тем больше мучительных выяснений, какие тесты — флаки, а какие — нет. Меня зовут Александр Милов, я отвечаю за тестирование в

https://habr.com/ru/companies/sberbank/articles/824560/

#субд #flakyтесты #flaky #сбертех