Всем привет!🤟

Сегодня хочется обсудить один небольшой, но очень важный сюжет из планирования A/B-экспериментов. Многие его знают, но на практике о нём могут забывать.

Речь про расчёт размера выборки через всем известную формулу MDE.

Предположим, что:

- дисперсия известна и равна σ² = 1

- α = 0.05

- β = 0.2 (мощность 80%)

- MDE = 0.03

Я спрошу у вас:
Какой размер выборки нужен?🤔

Многие ответят примерно так.

(z_{1−α/2} + z_{1−β})² = (1.96 + 0.84)² = 2.8² = 7.84

Тогда

n = 7.84 · 1 / 0.03² = 8 711

Кажется логично.

Но если вы проведёте симуляции, то увидите неожиданную вещь:
реальная мощность будет не 80%, а около 50.8%.

Почему так происходит?

Потому что в расчёте забыли одну важную деталь.

Эксперимент у нас двухвыборочный, а не одновыборочный.
Следовательно дисперсия оценки эффекта равна

Var(Ȳ_T − Ȳ_C) = σ² / n₁ + σ² / n₂

Отсюда в формуле появляется дополнительный множитель 2 (если группы равные).

Поэтому реальный необходимый размер выборки:

17 422 наблюдения, а не 8 711.

Теперь запишем более общую формулу.

Если предположить, что нет HTE эффектов, то

MDE = (z_{1−α/2} + z_{1−β}) · √(σ²/n₁ + σ²/n₂)

или

MDE = (z_{1−α/2} + z_{1−β}) · σ · √((n₁ + n₂)/(n₁ · n₂))

Пусть общий размер выборки равен n_total,
а r = n₁ / n_total.

Тогда выражение под корнем можно переписать так:

(n₁ + n₂)/(n₁ · n₂) = 1 / (r · (1 − r) · n_total)

И получаем финальную формулу для общего случая (с разным сплитом):

n_total = (z_{1−α/2} + z_{1−β})² · σ² / (MDE² · r · (1 − r))

В нашем примере:

n_total = 7.84 / (0.03² · r · (1 − r))

Если:

r = 0.5 → n_total = 34 844
r = 0.9 → n_total = 96 790



Не допускайте таких искажений! 😉

Всем спасибо за внимание!

Хороших выходных! ☀️

А всех подписчиц моего канала поздравляю с 8 марта! 🌷
Пусть в вашей жизни будет больше радости, тепла и вдохновения — как в работе, так и вне её.
Желаю вам ярких идей, интересных проектов, уверенности в себе и побольше моментов, которые делают каждый день по-настоящему счастливым 💐

С праздником! ✨