Знаете ту ситуацию, когда был запуск громкой маркетинговой скидки: она в начале несла кучу денег, а сейчас кажется, что скорее несет кучу фрода? Или когда ты полгода-год назад сделал классную фичу и очень ею гордишься. Но начали приходить тревожные звоночки, что сейчас она уже не комильфо?
Вот и А/В полиция тоже знает) Это классические проблемы "эффект новизны" и "долгосрочных эффектов"
Чтобы их замерять давно придумали 3 механики
1. Обратные (ухудщающие) эксперименты
Берем фичи в продакшене и отключаем ее в А/В. Через полгода-год даже очень крута фича может перестать жечь. Я видел даже пару кейсов, когда крутая фича в прошлом через какое-то время начинала ронять метрики 📈
Осторожно: применение в вашей компании может нанести непоправимую
2. Долгосрочные эксперименты
Запускаем обычный эксперимент на 1-2 недели на условно 20% пользовтелей. По окончанию экспа видим, что он зеленый - раскатываем на всех. Но для проверки долгосрочных метрик (retention, вымывание эфффекта из АВ) оставляем 3-4% все еще без фичи и ждем уже 1-2-3 месяца
Небольшой лайфхак: можно в эти 3-4% взять тех юзеров, которые уже были в контроле обычного эксперимента: сэкономите себе 1-2 недели
Особенно актуально в тестах, где есть долгосрочные негативные эффекты: повышение цен, принудительный баннер/соглашение и тд
3. Вечный контроль
Предельный случай долгосрочного эксперимента. Особо популярен в маркетинговых тестах: оставляем 3-5% пользователей, которым вообще не шлем никакие пуши и скидки. Замеряем долгосрочно эффект всех маркетинговых механик на них - часто прилично отрезвляет
В продукте вижу такое редко, хотя зря: тоже полезно знать, дают ли что-то эти великолепные 50 фич через полгода или нет
А у вас в компании есть вечный контроль?)