Всем привет! 👋

Давайте представим, что мы работаем в приложении крупного ретейлера 🛒 Перед нашей командой стоит задача упростить процесс оформления заказа.

Прибегает продакт и предлагает, как ему кажется, крутую идею: сократить процесс оформления заказа с пяти шагов до трёх ⚡️ Интуитивно кажется, что это должно повысить конверсию в покупку — пользователям станет проще и быстрее оформлять заказ.

Но как понять, действительно ли изменение улучшило продукт? 🤔

Достаточно ли посмотреть только на рост покупок? А что если одновременно выросло количество возвратов? 📦 Или просел средний чек? 💸 Или пользователи начали чаще писать в поддержку? 😅

Именно здесь начинается настоящая теория экспериментов 📊

— какие метрики вообще нужны в АБ-тесте;
— чем отличаются success-, guardrail-, deterioration- и quality-метрики, исследовательские метрики;
— почему возникают проблемы множественного тестирования;
— и почему классические поправки «в лоб» часто не соответствуют реальным правилам принятия решений в продукте.

В новом посте разбираю:
• как компании с сильной аналитической культурой на практике строят правила принятия решений в экспериментах;
• что такое UI/IU testing;
• почему для разных типов метрик нужны разные корректировки;
• и как всё это связано с FWER, мощностью и дизайном эксперимента 🧠

👉 https://telegra.ph/Mnozhestvennaya-proverka-gipotez-v-AB-Glava-3-05-01