😵 Чек- лист: проблемы, которые могут вызывать SRM(дисбаланс выборок)

1. Функция рандомизации дает большую вероятность одному из вариантов

2. Варианты экспа были запущены в разное время

3. Контрольный вариант загружается стандартно, а тестовый через редирект. Иногда происходят ошибки редиректа и задержки

4. Разная скорость загрузки вариантов. Веб-аналитика не успевает отработать для части пользователей на более медленной странице

5. Один из вариантов не загружается для определенного браузера/устройства/ос

6. Оценка SRM по сэмплированным данным, например в ЯМ. HyperLogLog++

7. Ошибки трансформации собранных данных