За последнее время несколько раз столкнулся с неверным представлением о том, какова механика назначения группы пользователю при проведении A/B теста.
Допустим, мы настроили, что трафик должен делиться в соотношении 50%/50%. И у нас A/B тест проводится на сайте.
Может показаться, что группы будут назначаться по очереди — первому группа A, следующему B, потом снова A и т.д. Но нет, все совсем не так.
Трафик сегментируется совершенно иным образом — по характеристикам пользователя. Какие же есть характеристики:
- Регион — страна, область, город, штат и т.д.
- Часовой пояс
- Пол
- Возраст
- Браузер
- Операционная система
- Источник трафика
- Тип устройства — мобильный телефон, ПК, планшет
- Залогиненные и не залогиненные пользователи
- Зарегистрированные и не зарегистрированные пользователи
- Новизна посетителей - новые или вернувшиеся
- Количество покупок
- Суммы покупок
- Частота покупок
И другие…

Все это, конечно, при условии, что эти параметры наш инструмент деления трафика способен определять.

Получится множество сегментов. И внутри каждого из этих сегментов трафик будет делиться в необходимом соотношении, например, в нашем случае, 50%/50%.