Как ни удивительно, но #splittest имеет смысл тогда, когда #hypothesis может быть неверна. То есть допускаем, что можем ошибиться. По сути запуск экспериментов - это инструмент проверки. Ни более, ни менее.

Оппонентом тестирования выступают «проверенные фишки». Это такие изменения, которые всегда приносят рост. На языке вероятности, это звучит так: вероятность улучшения составляет 1 (100%). Именно такая формулировка уже на интуитивном уровне вызывает сомнения.

Навскидку список «проверенных фишек»: чат на сайте, форма захвата звонка, всплывающие уведомления аля #socialproof, таймер обратного отсчёта, чем меньше полей в форме, тем лучше… и т.д.

Все «проверенные фишки» не всегда приносят рост. Для определённых тематик, для определённых проектов вероятность роста высока. Для среднего пациента в больнице, вероятность роста больше 50%. Но попадает ли проект в эти «больше 50%» или нет, никто заранее не знает.

Я видел как проигрывали и выигрывали тесты по всем «проверенным фишкам», что привел выше. Тестируйте и растите.