Привет, на связи Аслан Байрамкулов, автор курса по A/B-тестированию 👋🏻
Рассмотрим ситуацию — мы открываем дашборд A/B-теста и видим красивую картинку: новая версия оформления заказа подняла конверсию в покупку. p-value < 0.05. Выкатываем?
Перед ответом на этот вопрос надо узнать, что с деньгами, возвратами и поддержкой? Потому что рост конверсии сам по себе ещё не доказывает, что продукту стало лучше. Именно для отслеживания более широкого набора условий и ограничений нужны защитные метрики.
Рассказал подробнее в статье, зачем нужны защитные метрики и из чего должен складываться успешный A/B-тест.
➡️ Читать статью: simulative.ru/blog/protective-metrics-ab
📈 Симулейтив | 📱 ВК | 📱 YouTube | 📱 Канал о DS