Самая частая ошибка начинающих аналитиков: они хотят A/B тест на все.

Нет трафика? «Давайте подождем». Нет четкой гипотезы? «Ну посмотрим что будет». Изменение минимально? «Все равно нужна значимость».

В реальности часто бывает что A/B тест это самое неэффективное решение.

5 ситуаций, когда НЕ стоит запускать тест:

1. Нет минимального трафика
500 пользователей в день + ожидаемый эффект +5% к конверсии = тест займет 6 месяцев. За это время все изменится дважды.

2. Изменение явно лучше или хуже
Убираете сломанную кнопку, это не гипотеза, это починка. Запускайте без теста.

3. Нет ресурса на откат
A/B тест предполагает: если результат плохой откатываемся. Если откатиться нельзя, вы не тестируете вы наблюдаете за катастрофой.

4. Тест нарушает SUTVA
На маркетплейсах и соцсетях пользователи влияют друг на друга. Классический A/B тест может дать красивую значимость, но выводы будут неверные.

5. Решение уже принято
Если продакт пришел с «нам нужен тест, чтобы обосновать решение» это не тест, это театр. Лучше сразу отказаться.

A/B тест это хороший и мощный инструмент. Но молоток не нужен, когда нужен карандаш.