Что входит

Автоматизируем не всё, а то, что проверяется часто и стабильно. Погоня за полным покрытием обычно себя не оправдывает.

Обсудить состав

Отбор сценариев

Что автоматизировать в первую очередь: критичное для бизнеса и часто повторяемое.

Разработка тестов

Устойчивые к мелким изменениям интерфейса, иначе поддержка съест выгоду.

Тестовые данные

Подготовка и очистка, чтобы прогоны не зависели друг от друга.

Запуск при сборке

Тесты выполняются автоматически, а не когда кто-то вспомнит.

Отчётность

Понятный результат: что упало, на каком шаге, со скриншотом.

Поддержка

Обновление тестов при изменениях. Это постоянная работа, а не разовая.

Как проходит работа

Первые тесты появляются через две-три недели. Заметный эффект - когда покрыты основные сценарии.

01

Оценка

Считаем, сколько времени уходит на ручную регрессию сейчас. Из этого видно, окупится ли автоматизация.

02

Каркас

Инфраструктура запуска, работа с данными, отчётность.

03

Покрытие

Тесты по приоритету: сначала то, поломка чего заметнее всего.

04

Сопровождение

Поддержка при изменениях, разбор нестабильных тестов.

Нестабильный тест хуже отсутствующего. Если тест падает через раз без причины, команда перестаёт смотреть на результаты, и вместе с ним игнорируются настоящие падения. Такие тесты нужно чинить немедленно или удалять.

Частые вопросы

Нет. Автотесты проверяют то, что уже описано, и делают это быстро и без устали. Найти новую ошибку в незнакомом сценарии может только человек. Автоматизация освобождает тестировщика от рутины, а не заменяет его.

При редких релизах, на быстро меняющемся интерфейсе и на прототипах. Если продукт переделывается каждый месяц, тесты придётся переписывать быстрее, чем они успеют принести пользу.

Здравое, а не максимальное. Обычно достаточно покрыть сценарии, которые приносят деньги, и те, где ошибки случались раньше. Погоня за процентом покрытия приводит к тестам ради тестов.

Автоматизируем проверки

Расскажите, как часто выпускаете релизы и сколько занимает регрессия. Посчитаем, окупится ли автоматизация.