10 вопросов про метрики, которые стоит задать себе при дизайне АБ теста

1. Целевая метрика действительно позволяет измерить влияние гипотезы на результат?

2. Целевая метрика учитывает все точки целевых действий пользователей попавших в эксп?

3. Наши метрики учитывают баланс между пользовательским счастьем и выгодой компании?

4. Возможно ли падение других важных метрик в рамках нашего экспа?

5. Для контроля ситуации из п4 у нас есть контр метрики?

6. Возможна ли канибализация метрик по другому продукту?

7. У нас есть контр метрики для контроля канибализации?

8. Мы понимаем баланс целевой и контр метрик для принятия решения по результатам АБ?

9. У нас есть 1-3 ключевых метрики для оценки эксперимента и отдельно информационные метрики?

10. Мы четко понимаем как будем интерпретировать выбранные метрики? (Избегаем не однозначных метрик)