Зачем нужен минимально определяемый эффект

Во-первых, что это такое? Minimum detectable effect (#mde #splittest #abtest) - это минимальный рост (снижение) конверсии, который можно определить при заданных объёме трафика и базовой конверсии.

То есть, дано 10 тыс. посетителей на страницу в неделю и конверсия 5%. За три недели (30 тыс. всего) можно определить 14.2% роста. Это с 5% до 5.71%.

Далее. Зачем это надо?
Объём трафика и базовая конверсия известны нам заранее. Их можно всегда посмотреть в #googleanalytics. На основании этого можно посчитать #mde.

Ну посчитали и зачем???
А затем, что если там написано +100500%, то подумайте трижды, а действительно ли гипотеза на столько хороша, чтобы увеличить конверсию в столько раз???

Без шуток
Если пересчитать все тесты, которые мне приходилось наблюдать, то у многих #mde на столько высок, что не выдерживает никакой критики. Получается ресурсы на этот тест были потрачены абсолютно в пустую.

Оптимизм - это прекрасно, но надо уметь отличать оптимизм от фантазий.