~Время на чтение статьи: 6-8 минут🔷 Ухудшающие эксперименты — это один из способов снизить уровень неопределенности с помощью предварительной оценки потенциала влияния составляющей продукта (напр. через ухудшение составляющей) на метрики.
🔷 Зачастую ухудшающие A/B тесты - это дешево!
🔷 Аргумент против ухудшающих тестов - они портят опыт пользователей и увеличивают churn. На самом деле работа любого продакта снижать неопределенность и принимать верные решения при ограниченных ресурсах, а такие тесты говорят о влиянии составляющей продукта на метрики и позволяют значимо увеличить вероятность улучшить продукт в будущем, не потратив лишние ресурсы.
➕ часто ухудшающие тесты не оказывают никакого влияния на продукт.
🔷 Ухудшающими тестами вы "портите" жизнь малому количеству пользователей на (❗️) короткое время, но улучшаете для всех + новых пользователей.
🔷 Важно помнить, что у любой методологии есть свои границы применимости.
🔷 Summary (и снова):
Например, нужно проверить, что какое-то дорогостоящее улучшение вырастит метрики. На самом деле вы устанавливаете связь изменения и метрик. Если связь есть, то ухудшение уронит метрики, а улучшение вырастит. Только ухудшение дешевле.
🎁 Бонус трек:
- Результаты теста по замедлению сайта Financial Times
- Программа акселерации и трудоустройства продактов. Платите только с будущей зарплаты.
🔈🔉🔊 Расскажите о канале друзьям и коллегам 🔊🔉🔈
Спасибо, что читаете. Надеюсь, вам здесь нравится🙃
#product_dump @pm_dump