Исследовательское тестирование: проверка продукта, у которого нет документации

У большинства продуктов, которые приходят на тестирование, требований либо нет, либо они устарели на три релиза. Исследовательское тестирование — способ работать в этой реальности: тестировщик одновременно изучает продукт, придумывает проверки и выполняет их, а результат сессии превращается в чек-лист, которого раньше не было.

Что это такое и чем не является

Исследовательское тестирование — не «потыкать наугад». Это структурированные сессии с ограничением по времени и целью, сформулированной заранее: проверить оформление заказа с промокодом, пройти восстановление доступа всеми путями, сломать форму регистрации неожиданными данными. Внутри сессии тестировщик свободен в выборе шагов, но обязан фиксировать, что проверил, что нашёл и какие вопросы остались. Без записи это не тестирование, а прогулка по продукту.

Как устроена сессия

1. Чартер: одно предложение о том, что и зачем исследуем — «Проверить, что происходит с корзиной при смене языка и валюты в процессе оформления».
2. Таймбокс: от сорока минут до полутора часов; дольше внимание рассеивается, короче — не успеваешь углубиться.
3. Заметки по ходу: что сделал, что увидел, что показалось странным, какие данные использовал. Скриншоты и запись экрана — обязательно.
4. Разбор после сессии: находки превращаются в дефекты с воспроизведением, странности — в вопросы команде, пройденные пути — в пункты чек-листа.

Приёмы, которые дают больше находок

• Граничные значения: ноль, отрицательные, максимум, пустая строка, очень длинная строка, спецсимволы и эмодзи в каждом поле.
• Прерывания: свернуть приложение посреди оплаты, потерять сеть на отправке формы, нажать «назад» на экране подтверждения.
• Повторы: дважды нажать кнопку, дважды отправить форму, открыть одну операцию в двух вкладках.
• Смена контекста: переключить язык, валюту, часовой пояс, аккаунт — и вернуться к незавершённому действию.
• Чужие данные: попробовать открыть заказ другого пользователя по изменённому идентификатору в ссылке.
• Устаревшие состояния: оплатить товар, который только что закончился; применить промокод, срок которого истёк минуту назад.

Как результат становится регрессией

После трёх-пяти сессий по основным сценариям набирается достаточно пройденных путей, чтобы собрать из них первую версию регрессионного набора: каждый пройденный путь с ожидаемым результатом — это тест-кейс. Так продукт без документации получает её в самом полезном виде — в виде проверяемых утверждений о том, как он должен работать. Эту версию согласуют с владельцем продукта: он подтверждает, что считать нормой, и именно в этот момент странности окончательно делятся на дефекты и особенности.

Когда исследовательского тестирования недостаточно

Оно не заменяет регрессию перед релизом: исследование ищет новое, регрессия подтверждает старое. Не заменяет нагрузочные тесты и проверку безопасности — у них свои методы. И плохо работает без разбора после сессии: находки, не превращённые в тикеты и кейсы, забываются к следующему релизу.