Minimum detectable effect, #MDE

Минимальный обнаруживаемый эффект (Minimum detectable effect, MDE) - это рост конверсии, который можно значимо измерить в результате эксперимента.

Базовая конверсия - текущая конверсия сегмента пользователей, на которых планируется запуск теста. По сути это конверсия будущей группы А.
Рост конверсии - это на сколько мы хотим, думаем, надеемся увеличится конверсия в результате внедрения тестируемых изменений.
Необходимое (имеющееся) кол-во трафика - кол-во участников эксперимента, которое необходимо для достоверного результата.

Так вот эти три числа связаны одной формулой:
- Чем больше базовая конверсия, тем меньше надо трафика, чтобы значимо определить рост.
- Чем больше рост, тем меньше надо трафика, чтобы значимо его определить при той же базовой конверсии.
- Чем больше трафика, тем меньший рост конверсии можно будет определить при
той же базовой конверсии.

Базовую конверсию и имеющийся трафик легко узнать в аналитике. Из этих двух цифр легко можно посчитать минимальный рост конверсии (#MDE), который получится значимо определить.

Перед каждым экспериментом считайте MDE. Бывают случаи, когда MDE = 20%, 50% или даже 300%+. Скорее всего такой рост не получить, а следовательно и эксперимент проводить смысла скорее всего не имеет.