Почему важно проверять А/Б тест руками

Заканчивая статью о чек-листе запуска экспериментов, делюсь отрывком о важности ручного тестирования.

Мы добавили ручное тестирование не сразу, а только после длительного просмотра записей посещений. Оказалось, что делая изменения в одном месте, программисты легко могут что-то сломать в другом не очень очевидном месте. Покрыть весь путь тестами тоже является решением, но...

Как правило тесты пишутся под частые задачи, т.е. это автоматизация. А/Б эксперименты надо запускать быстро и даже ещё быстрее. Так же следует помнить, что количество успешных тестов в среднем от 10% до 30%, потому скорее всего ваша гипотеза проиграет и изменения будут удалены. Автоматизировать то, что скорее всего удалится не очень логично. Потому пункт про тестирование остался и прижился, хотя и претерпел изменения.

Сейчас ручное тестирование это больше о проверке целостного пользовательского опыта. Несколько раз в ходе проверки находили use cases, которые оказывались «поломанными» и приходилось доделывать. Но лучше так, чем перезапуск теста.