Всем привет! 🤟🔥

Вы запускаете A/B-тест, смотрите на несколько метрик — и одна из них «прокрашивается». 📊✨
Звучит как успех. Но с высокой вероятностью — это просто случайность. 🎲

Оказывается, если смотреть на несколько метрик, сегментов или вариантов, вероятность «найти эффект» быстро становится близкой к 100% — даже если его на самом деле нет. 📈😈

В этом посте разбираю, как возникает эта ошибка, показываю её на простых вероятностных примерах и ввожу ключевые подходы к контролю: FWER, FDR и классические поправки. 🧠📐

В следующем посте перейдём к самому важному — как формализовать правило принятия решения в АБ и уже из него корректно выстраивать логику множественной проверки. ⚙️
То есть как уйти от «слепого» применения поправок и учитывать финальное правило принятия решения об успешности фичи. 🎯

👉 https://telegra.ph/Mnozhestvennaya-proverka-gipotez-04-25