Шпора по A/B-тестам

Постарался собрать воедино базу по а/б-тестам, можете пробежаться взглядом и отдельно с изучить, чего не касались в своем опыте.

Разбил по этапам:
1. Формулируем гипотезу
одна гипотеза → одна основная метрика
фиксируем guardrail-метрики, чтобы рост CTR не оказался падением выручки, retention или качества
сразу определяем единицу рандомизации: кого делим, user/session/order

2. Фиксируем правила до старта
окно атрибуции: за какой период проверяем эффект
α=0,05 - ошибка первого рода: риск увидеть эффект, которого нет
power(1 − β)=80% -мощность(обратная вероятность ошибки второго рода), шанс заметить реальный эффект, если он правда есть
baseline + MDE: от чего отталкиваемся и какой минимальный эффект хотим поймать

Плюс заранее выбираем модель, если сравниваем..
..бинарную метрику, например CTR → z-test
..среднее, например time spent → t-test
..отношение, например ARPU → delta method

Главное: заранее определяем критерий принятия решения.

3. Считаем до запуска
размер выборки берем из калькулятора1
выдерживаем качество выборки - используем корректную рандомизацию
длительность считаем примерно так:
дней = выборка целиком / (DAU × доля пользователей в эксперименте)

4. Проводим тест
во время теста проверяем SRM, можно по калькулятору2 чекнуть критичность
если группы разъехались по размеру, сначала разбираемся с экспериментом, а не с результатом

5. Подводим итоги
считаем результат, но не отдаём решение на аутсорс калькулятору3.
статистика отвечает, похож ли эффект на случайность,
продакт решает стоит ли это раскатывать

#pm #abтесты #аналитика