Меланхолия тестировщика: почему метрики врут (Часть 1)

Крылатый гений сидит среди инструментов. Циркуль, весы, молоток, рубанок. Всё под рукой. Но он бездействует, подперев голову. Не от лени. Он видит проблему и понимает: имеющиеся инструменты не дают ответа. Внедрение нейросетей всколыхнуло индустрию. Мы переживаем эпоху, схожую с Ренессансом. Все говорят о космических возможностях, о том как агенты изменят разработку. А я предлагаю посмотреть на то, что уже есть в руках. Мастера северного Возрождения видели божественное в деталях. Не в грандиозных замыслах, а в складках ткани, в отражении света на металле. Может, и нам стоит взглянуть не на космические дашборды с метриками, а на содержимое каждого теста? Это первая часть большого исследования. Материала получилось много, поэтому разбили на три части. Здесь погружаем в проблему. В следующих частях расскажем наше видение решения и покажем практический инструмент.

https://habr.com/ru/companies/rostelecom/articles/985732/

#тестирование #автоматизация_тестирования #QA #метрики #качество_кода #test_automation #mutation_testing

Как ускорить автотесты на Python в Pytest в 8,5 раз

Меня зовут Анатолий Бобунов, я работаю SDET в компании EXANTE. Однажды я пришел на проект, на котором выполнение некоторых тест-сьютов занимало больше часа, настолько медленно, что запускать их на каждый merge request (MR) было просто нереально. Мы хотели запускать автотесты на каждый коммит в MR, но с такой скоростью это было невозможно. В результате мне удалось, за счёт серии небольших, но точных изменений добиться 8,5-кратного ускорения - без переписывания тестов с нуля. В статье расскажу, какие проблемы у нас возникли и как мы их решали.

https://habr.com/ru/articles/972448/

#testing #test_automation #python #pytest #pytestxdist

Специфика тест-кейсов под автоматизацию

Тест-кейс тест-кейсу рознь! Мне, как разработчику автоматизированных сценариев неоднократно приходилось сталкиваться с «нечитаемыми» и непригодными для автоматизации тест-кейсами. Доработка кейсов своими силами (силами автотестеров) в процессе автоматизации – это сизифов труд. Поэтому, дабы оптимизировать процесс автоматизации тестирования в этом направлении, я решила провести обучение ручных тестировщиков в части написания тест-кейсов под автоматизацию, попутно анализируя тестовую модель и структуру тест-кейсов и внося рекомендации. На первом же проекте это дало очень мощный положительный эффект не только для нас, автотестеров, но и для самих ручных тестировщиков: позволило ускорить процесс вникания в суть кейса разработчиками автотестов, а также сократило время адаптации для новых ручных тестировщиков до 2-х недель против 3-х месяцев. По отзывам самих ручных тестировщиков, им стало намного легче «въезжать» в работу, как с нуля, так и после перерыва, вызванного переходом на проверку другой функциональности. Тест-кейсы стали настолько понятными и легкими для восприятия, что их мог успешно пройти даже человек, далекий от тестирования. Подобные проблемы, возникающие практически на каждом проекте, сподвигли меня на написание сей статьи. Итак, начнем урок.

https://habr.com/ru/articles/942520/

#тестирование #тесткейс #автоматизация_тестирования #тесткейсы_для_автоматизации #qa #qa_testing #qa_automation #testing #test #test_automation

Slowpoke Finder: как я сделала CLI-инструмент для анализа медленных шагов в автотестах

Когда автотесты начинают тянуться как улитка, страдают все. CI медлит, разработчики косо смотрят на отчёты, а я вместо багов натыкаюсь на тайминги. Особенно это бесит в UI‑тестах — там каждый шаг может тормозить, но с ходу это не видно. В команде периодически всплывал один и тот же вопрос: «Почему один и тот же сценарий утром идёт дольше, чем вечером?» Захотелось простой утилиты. Никаких интеграций, серверов и плясок с бубном. Так появился Slowpoke Finder — маленькая CLI‑утилита и библиотека для анализа логов автотестов. Кидаешь ему JSON или HAR — он вытаскивает шаги и показывает, какие из них реально тормозят.

https://habr.com/ru/articles/911952/

#python #ui #automation_testing #test_automation #testing_tools

Самые малоиспользуемые функции Pytest

Почему тестировщик не пригласил Pytest на свой день рождения? Потому что он боялся, что тесты падут и вечеринка закончится с ошибкой 404 – "Файл не найден"! Pytest – это один из наиболее популярных фреймворков для написания тестов на Python. Он известен своей простотой в использовании, обширным сообществом и широким спектром функциональности. Однако, даже если вы являетесь опытным пользователем Pytest, вероятно, вы не используете все его функции. В этой статье мы рассмотрим топ малоизвестных, но полезных функций Pytest.

https://habr.com/ru/companies/auriga/articles/773864/

#python #pytest #qa #qa_automation #qa_testing #tests #testing #test_automation #testing_framework

The hidden cost of flaky tests: If you are a software engineer, you probably know the frustration of dealing with flaky tests. In the blog The hidden cost of flaky tests I explain the costs of flaky tests in terms of quality, productivity, and morale. And provide some practical tips on how to prevent, detect, and fix flaky tests using tools and best practices.

https://blogs.sap.com/2023/05/05/the-hidden-costs-of-flaky-tests-why-you-need-to-fix-them-now/

#test_automation #unit_tests #integration_tests #test_strategy #flakytests #quality #automation