Запись стрима про ошибки в АБ тестировании👨🏻‍💻

На прошлой неделе на стриме у Андрея Андреева, автора канала CRO & Personalization. Рассказывал про типичные ошибки в АБ тестах.

Мне кажется про ошибки можно очень долго говорить, за час мы очень верхнеуровнево поговорили всего про 10 штук.

Часть из них касалась проблем сплитования и выборок. Например сплитование по принципу четный/четный. Иногда аналитики при ручном создании выборок забывают добавлять уникальную соль для эксперимента.

Эти две ошибки приводят, к тому что одни и те же пользователи попадают в одни и те же группы в разных экспериментах


Другая часть ошибок была связана с проблемами методологии: отсутствие учета проблемы множественного сравнения, неверный расчет метрик и подбор критериев.

Также разобрали классические проблемы SRM и оценки практической значимости АБ теста.
Тем кто только планирует делать АБ тесты и в начале своего пути, рекомендую ознакомиться.

А также делюсь своим реестром ошибок в АБ тестировании, в котором собрано более 50 ошибок.

Рассказывайте, с какими ошибками сталкивались вы?