Как проверить корректность системы сплитования трафика для АБ тестов? 😵


1. Определите тестовые сценарии
Определите наиболее массовые и важные сценарии настроек АБ тестов и таргетингов. Например возьмите десктоп и мобилку и в каждом по 5 сценариев настройки.

Под сценарием настройки я имею в виду: долю пользователей попадающих в эксп, число вариантов теста, баланс выборок, таргетинги(гео, источники и прочее)

2. Выберите целевую метрику
При выборе метрик выбирайте такую метрику, чтобы единица рандомизации и единица анализа совпадали. Большинство сплит систем рандомизирует пользователей, значит нужно выбирать пользовательские метрики.

Если вы возьмете сессионные метрики, то велика вероятность поймать дисбаланс выборок(SRM) и множество ложных прокрасов FPR. По сессионным метрикам будет сложно оценить работу сплитовалки.

3. Запустите АА тесты и соберите данные
Какой-то формулы для расчета размера выборок для АА тестов я не знаю.

Руководствуйтесь 2 идеями. Выборки должны быть репрезентативны, т.е. в них должны попасть пользователи из разных источников с разными характеристиками, чтобы они отражали вашу ГС.

По возможности собирайте больше наблюдений. По закону больших чисел, с увеличением выборок выборочные метрики будут стремиться к истинным показателям ГС, а шум и смещение метрик будут минимизироваться.