Как бесплатно посчитать MDE

Представьте, что вас забыли пригласить на встречу по дизайну A/B-теста. Длительность никто не посчитал, но через две недели после начала эксперимента продакт спрашивает, достаточно ли трафика набрано. Чтобы ответить на этот вопрос, вам нужно посчитать MDE с учетом текущих размера выборки и дисперсии и затем сравнить его с порогом практической значимости. Выгружать данные, чтобы посчитать дисперсию, довольно муторно, по крайней мере для неконверсионных метрик. Но, к счастью, у вас есть A/B-платформа, которая показывает вам 2% +- 1.5%.

Возьмем 1.5, умножим на 1.43, получим MDE.

ПОЧЕМУ?

MDE – это эффект, который при многократном повторении эксперимента мы зафиксируем с вероятностью, равной выбранной мощности. При использовании H0: mu_t = mu_c такой эффект будет лежать на расстоянии z_(1-alpha/2) + z_(1-beta) стандартных ошибок от 0. Это буквально видно из формулы MDE (см. скрин). Графически тоже видно (см. второй скрин):

◆ Расстояние от 0 до критического значения (CV) – z_(1-a/2) * SE
◆ Расстояние от CV до MDE – z_(1-b) * SE

При стандартных параметрах alpha = 0.05 и beta = 0.2 первый отрезок будет равен 1.96 * SE. Второй – 0.84 * SE. В сумме – 2.8 * SE. В то же время, половина ширины доверительного интервала, который посчитала A/B-платформа, 1.5%, – это те же самые 1.96 * SE. А значит, нам нужно поделить 1.5 на 1.96 и умножить на 2.8. Ну или просто сразу умножить на 1.43, как я писал выше.

Обратите внимание, что я привел формулу, где SE считается для обычной разности средних, но в примере использовал процентный лифт. Для моего лайфхака не важно в каком виде у вас представлен эффект и ДИ, если SE посчитана верно.

И еще. Фактические дисперсия и размер выборки могут отличаться от ваших оценок, полученных на стадии дизайна эксперимента. Поэтому проделать описанное упражнение будет полезно не только в кейсе с забывчивым продактом.