Чек-лист запуска А/Б теста и непозволительная роскошь #cro #product #checklist #splittest #abtest

Буквально недавно чеклист запуска А/Б теста пополнился ещё одним важным и интересным пунктом: «Проверить точки входа в тест через сутки».

Смысл в том, что можно допустить ошибки в нескольких местах.

Первое это ошибка в дизайне теста. Что-то где-то недодумали, не исключили все лишние страницы или не добавили какую-то важную страницу.

Второе это ошибка в настройке теста. Если тестируем лендинг, то вроде понятно и просто. Если же тестируем несколько групп страниц с разными шаблонами URL и используем регулярки, то кто его знает, что там на выходе получится.

Третье это ошибка тоже в настройке, но немного другого типа. Если тестируем по определённому таргетингу, например, гео-таргетинг, то можно обнаружиться, что неверно определяется IP или что-то ещё важное.

Почему это офигеть как важно?
Потому что, самое важное в А/Б тесте, это то, что он сжирает время. За год в одной точке можно провести весьма ограниченное кол-во тестов. Тратить время на тесты с ошибками непозволительная роскошь.

Возражение
- Надо делать нормально сразу.
- Несомненно. Всё надо делать нормально сразу. И если бы так было, то понятие «проверить себя» не существовало бы.

Клик на ❤ если интересно весь чек-лист посмотреть