Отбор сценариев
Что автоматизировать в первую очередь: критичное для бизнеса и часто повторяемое.
Автоматизируем не всё, а то, что проверяется часто и стабильно. Погоня за полным покрытием обычно себя не оправдывает.
Что автоматизировать в первую очередь: критичное для бизнеса и часто повторяемое.
Устойчивые к мелким изменениям интерфейса, иначе поддержка съест выгоду.
Подготовка и очистка, чтобы прогоны не зависели друг от друга.
Тесты выполняются автоматически, а не когда кто-то вспомнит.
Понятный результат: что упало, на каком шаге, со скриншотом.
Обновление тестов при изменениях. Это постоянная работа, а не разовая.
Первые тесты появляются через две-три недели. Заметный эффект - когда покрыты основные сценарии.
Считаем, сколько времени уходит на ручную регрессию сейчас. Из этого видно, окупится ли автоматизация.
Инфраструктура запуска, работа с данными, отчётность.
Тесты по приоритету: сначала то, поломка чего заметнее всего.
Поддержка при изменениях, разбор нестабильных тестов.
Нестабильный тест хуже отсутствующего. Если тест падает через раз без причины, команда перестаёт смотреть на результаты, и вместе с ним игнорируются настоящие падения. Такие тесты нужно чинить немедленно или удалять.
Нет. Автотесты проверяют то, что уже описано, и делают это быстро и без устали. Найти новую ошибку в незнакомом сценарии может только человек. Автоматизация освобождает тестировщика от рутины, а не заменяет его.
При редких релизах, на быстро меняющемся интерфейсе и на прототипах. Если продукт переделывается каждый месяц, тесты придётся переписывать быстрее, чем они успеют принести пользу.
Здравое, а не максимальное. Обычно достаточно покрыть сценарии, которые приносят деньги, и те, где ошибки случались раньше. Погоня за процентом покрытия приводит к тестам ради тестов.
Расскажите, как часто выпускаете релизы и сколько занимает регрессия. Посчитаем, окупится ли автоматизация.
Город не найден. Проверьте написание.