⚡ А вы полагаетесь на случайность при делении на тест-контроль?

В среднем рандом должен дать идеальный баланс по всем — даже ненаблюдаемым — признакам между тестовой и контрольной группой.
Но конкретный АБ-тест — это конкретные тест и контроль. Поэтому случайное распределение на группы наверняка окажется несбалансированным, что приведёт к проблемам с интерпретацией результатов теста. Итог — неверные бизнес-решения.

Андрей Романов, тимлид команды аналитики Sales Tech, преподаватель и ментор по AБ-тестам, расскажет:
🔸 почему случайное деление на группы — это не лучшая стратегия;
🔸 по каким метрикам балансировать группы и каким алгоритмом это можно сделать;
🔸 как балансировка влияет на чувствительность тестов.

И всё это — на реальных примерах и цифрах из эксперимента, где рандом дал дисбаланс.
Это новый выпуск «Диванной аналитики» — серии видео, в которых аналитики рассказывают об опыте Авито.

Смотреть:
VK
YouTube