Факты про A/B-тесты, которые лучше понять, чем заучить😎
проверь себя и перешли другу, который ищет работу!

➡️ Почему нужна поправка на множественное тестирование, и какая из ошибок при нём становится вероятнее?💊

Вот тут разбирала комикс по теме. Если коротко, то растёт вероятность ошибки первого рода — когда мы ошибочно видим эффект, которого нет. Пусть она была, как обычно, p = 0.05, тогда вероятность не ошибиться 1 - p = 0.95, а не ошибиться на обеих тестовых выборках уже (1 - p)^2 = 0.9025, то есть вероятность ошибки I рода выросла с 5 аж до 9,75%!

➡️ Как распределено p-value в A/A-тесте?⚖️

Здесь для подробностей сошлюсь на статью от X5. Обратимся к классическому определению p-value (мой пост про него тут) — вероятность получить такое же или более экстремальное значение статистики, если верна нулевая гипотеза. В A/A-тесте она заведомо верна (иначе мы как раз докажем таким тестом, что с критерием или сплитовалкой что-то пошло не так), поэтому
P(p <= alpha | H_0) = alpha
Буквально по определению — слева формула функции распределения случайной величины p, и для любого alpha из отрезка [0,1] она соответствует равномерному распределению.

➡️ Fun fact: любую метрику из классических типов (то есть не какую-то хитрую квантиль) можно свести к ratio-метрике😐

С одной стороны, казалось бы, зачем — от них одни мучения, как мы знаем (все эти бутстрапы, дельта-методы и линеаризации вместо стандартного t-теста сразу), но с другой стороны, это полезно осознавать и может быть удобно при написании общего кода для анализа A/B-экспериментов. Так вот: чтобы это сделать, бинарные метрики (конверсии и доли) запишем в общую дробь как 1 в знаменателе и 0/1 в числителе соответственно, непрерывные (выручка, количество товаров и так далее) — в числитель, а в знаменатель единичку. Вуаля💅

➡️ Узнали или вспомнили что-то новое и актуальное?😎
Ставьте реакции, если сохранили — так я пойму, что надо продолжать такое писать!

#найм_и_собесы #хардов_пост
@analytess 👩