SRM: тревожная лампочка A/B-теста

Ух! 14 репостов это приятно, больше только под 50 на постах про книги:)

В шпоре по A/B-тестам упомянул SRM, штука заслуживает отдельного короткого пояснения.

SRM (sample ratio mismatch) - это проверка: попали ли пользователи в группы в той пропорции, в которой мы планировали

Можно решить, что это не проблема и проверить статзначимость разницы можно по формуле.
Но проблема не в разных размерах групп, а в причине, почему они разъехались, размер - это индикатор проблемы.

SRM, как health-check, может подсветить, что:
• рандомизация сломалась
• часть пользователей не логируется
• эксперимент раскатился не на всех, на кого должен был
...

По качеству SRM в одной корзине с AA-тестом.
AA-тест проверяет, не показывает ли наша экспериментальная система эффект там, где эффекта быть не должно.
SRM - не развалилось ли само распределение пользователей по группам.
Иначе можно посчитать результат на кривом эксперименте.

Я всю жизнь думал что ретропроверка групп просто health-check, а оказывается целый термин есть:)
А вы знали про SRM?
❤️ знали
😈 знали CRM

#srm #pm #abтесты #аналитика