Всё DAU iFunny у нас разбито на 2400 АБ-групп, и каждая установка привязана к своему номеру группы. Так мы регулируем раскатку АБ-тестов. Например тест "Шаринг" распределен в группы 1200-2399, это равно 50% DAU.
Прикол в том что за два месяца активного АБ-тестирования поведение групп обычно меняется, они перестают быть равномерными. В них становится разное количество пользователей и они начинают по-другому взаимодействовать с приложением.
Например какой-то неудачный тест может вызвать отток аудитории или всплеск выключения пушей. Из за этого у нас в следующих тестах будут кривые данные, и мы сделаем неправильные выводы.
Поэтому раз в 1-2 месяца мы перемешиваем все инсталлы, чтобы восстановить равномерность групп и быть уверенными в том что данные чистые.
Post #96
5.09K
- 👍 1