Зачем считать #samplesize для проведения #splittest
и что если сделать наоборот?
Объём выборки зависит от текущей конверсии и на сколько мы хотим её изменить (увеличить). Фокус в том, что практически всегда мы НЕ знаем на сколько изменится конверсия. Это просто догадки и домыслы.
Что мы действительно знаем, так это объем трафика, который у нас уже есть и который мы планируем отправить в тест. На основании этого можно посчитать минимальный рост конверсии, который мы сможем определить (#MinimumDetectableEffect).
Часто это оказывается крайне полезно. За 5 минут можно посчитать, что в некоторых тестах вы сможете определить только рост в 100% и более. Действительно ли наша гипотеза на столько прям хороша? #nobodyknows
Если не на столько она хорошо, то можно сэкономить время и ресурсы на другие, более перспективные, гипотезы.
Post #71
131