#аналитика_с_марса
Коварный t-test

Скорее всего, если вы не аналитик — вам мимо. Увидимся в следующем посте!

Итак, типичный вопрос: какой стат-тест когда стоит использовать?
И типичный ответ: если нормальное распределение метрики — Стьюдент, если нет — Манн-Уитни.

И это, короче, неправда!

В статье-источнике можно почитать про то, откуда выросло это заблуждение, но гораздо важнее понять, а как же тогда правильно.

Нормальным должно не распределение метрики, а распределение среднего значения. Например, если нас интересует выручка, то мы можем считать такую метрику как ARPU, и чтобы сравнить ARPU в двух группах в АБ нам как раз подойдет t-тест по ЦПТ. При этом, сама выручка на юзера (RPU) не должна быть распределена нормально.

ЦПТ — это только предположение. С помощью бутстрапа как раз можно нагенерить подвыборки, посчитать на них ARPU и убедиться, что оно нормально распределено.

Зато у t-теста есть другое требование о равенстве дисперсий в выборках. Если они неравны, нужна модификация Уэлча.