🅰️🅱️ Улучшаем A/B тесты, ч.1

Если вы уже прошли какой-то курс статистики, и имеете некоторый опыт в A/B тестировании, эта статья для вас

📍В ней аналитик из команды ценообразования Авито рассказывает:

> Как сделать результаты A/B тестов более интерпретируемыми
(Строить доверительные интервалы и использовать относительные метрики: не +10М руб, pvalue = 0.01, а +20±10% (10М руб.))

> Как провалидировать, что вы можете использовать критерий на ваших данных
(Генерируем большое количество А/А тестов и прогоняем на них наш критерий)

> Как вытаскивать инсайты из серых метрик

> Как работать с выбросами в А/В тестах
(не стоит использовать критерий Манна-Уитни, логарифмирование метрики и удаление топ n% пользователей с максимальной метрикой в тесте и контроле)

🙂 Если что-то из этого вас заинтересовало, читайте статью – там автор подробно рассказывает об этом, приводя примеры реализации методов на Python

Наберем 50 (100?) пальцев вверх на этом посте? 👍