Финальная мысль - скелет лекции готов:)
Можно идеально разлить A/B-тест, проверить SRM, дождаться выборки, получить p-value и всё равно принять плохое продуктовое решение.
Что моет пойти не так:
Статзначимость без продуктового смысла
На большой базе можно поймать эффект в +0,1%.
Да, статистически значимо.
Нет, большого смысла выкатывать нет, если вы не Амазон.
Нужно оценить, окупает ли эксперимент разработку
не просаживает ли guardrail-метрики, не усложняет ли продукт, не конфликтует ли со стратегией
Можно выиграть тест, но проиграть продуктово.
Сегменты после итогов
Представьте, тест не прокрасился, но мы же не зря запускали!
Можно выковырять, что у новых пользователей на iOS из Воронежа в вечернее время выросла метрика!
Если нарезать кучу сегментов, где-нибудь почти всегда найдется победа.
Лучше зафиксировать ключевые сегменты до старта, а приятные находки после - считать не прокрасом, а новой гипотезой.
A/B-тест снижает неопределенность, помогает оценить сигнал.
Но не снимает с продакта ответственность за вывод и
не принимает за него решение, стоит ли по этому сигналу менять продукт.
#pm #abтесты #аналитика