Немного о делении трафика для АБ теста. То, что чем ближе деление трафика к равномерному, тем лучше, всем известно. Мне захотелось посмотреть на это визуально.
Построил два графика. Первый показывает зависимость продолжительности теста от равномерности деления трафика, другой - зависимость мощности от деления трафика.

Для построения первого графика взяты показатели:
- текущая CR 30%
- необходимый uplift конверсии 7%
- pvalue 0.05
- несколько вариантов деления трафика 0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95, где 0.5 это 50%/50%, 0.95 - 95%/5%
И получилось, что после деления трафика больше 0.8 кривая уже очень сильно ползет вверх.

Для построения второго графика взяты показатели:
- текущая CR 6%
- получившийся uplift конверсии 5%
- pvalue 0.05
- количество пользователей в тесте 300 000
- такие же варианты деления трафика 0.5, 0.55, 0.6, 0.65, 0.7, 0.75, 0.8, 0.85, 0.9, 0.95, где 0.5 это 50%/50%, 0.95 - 95%/5%
Здесь видим подобную картину, что при делении трафика больше 0.8 кривая уже очень сильно ползет вниз и пересекает нужный показатель мощности 0.8. Т.е., получая одни и те же результаты эксперимента, мы все меньше можем им верить, несмотря на то, что pvalue 0.05 и все вроде бы хорошо.

Понятно, что в каждом тесте будут свои цифры и кривые, но графики будут похожи. Вполне себе аргумент поторговаться перед запуском теста за приближение деления трафика к равномерному.