🏁 Анализ результата АБ теста
Ранее я уже писал про первую часть работ при подведении итогов АБ теста - это оценка валидности АБ теста
Если АБ тест валиден, то можно перейти непосредственно к fанализу результатов АБ теста.


Анализ результатов преследует 3 цели
- Определить победителя
- Понять за счет чего достигнуто изменение метрик
- Найти инсайты для будущих АБ тестов


1. Расчет статистической значимости изменения целевой метрики
Считаем наши стат тесты: z test, t test и д.р., в зависимости от дизайна и выбранной метрики. Рассчитываем p-value и оцениваем значимость разницы в метрике между вариантами эксперимента. Если метрика значимо выросла в тестовой группе, то считаем тестовый вариант победителем.

2. Проверка защитных метрик
Защитные метрики - это те метрики которые не должны негативно измениться. Например выросло число обращений в тех поддержку или упал средний чек. Кто-то просто смотрит на эти метрики и определяет их изменение на глаз, но лучше тоже рассчитать стат значимость их изменения, чтобы оценить действительно ли они изменились или это просто колебание. Также не забываем, что они могут быть менее чувствительны чем целевая, поэтому могли ухудшиться, но не прокраситься из-за малой мощности эксперимента.

3. Оценка размера эффекта через доверительные интервалы.
Когда мы считаем метрики по выборкам, то получаем так называемые точечные оценки. На самом деле метрики ГС могут отличаться от выборочных. Чтобы понять интервал в котором может лежать истинное значение метрик и полученного эффекта можно рассчитать доверительный интервал. Например,наблюдаем стат значимое улучшение конверсии на 2 п.п, посчитали ДИ и определили, что истинный прирост скорее всего будет лежать в диапазоне 0,9 - 3,1 п.п.

4. Оценка практической значимости
Не каждый стат значимый прирост метрики может быть значимым с точки зрения бизнеса. Если у вас просто сайт и вы поменяли форму и увеличили конверсию на 0,5%, то радостно катим в прод, т.к. нас устроит любой прирост если у нас нет других потерь, которые может принести новый функционал.

Другой пример. Когда вы в продукте сделали какой-то функционал на поддержку которого потребуется 1 млн руб. в год, соответственно нам нужен рост конверсии, который как минимум будет отбивать этот миллион и что-то зарабатывать сверху. В предыдущем пункте я писал, что наблюдаемый эффект в АБ тесте ≠ истинный эффект от фичи.

Т.е. в идеале нижняя граница доверительного интервала для полученного прироста конверсии должна быть больше чем тот плановый прирост конверсии, который нужен вам для сходимости экономики и дополнительного заработка.

5. Сравнение изменения метрики по вариантам в разрезе значимых сегментов
Можно отдельно провести анализ результатов эксперимента в разрезе значимых для вас сегментов. Например ГЕО, марки браузеров что-то еще. Чтобы понять за счет каких именно групп произошел рост метрик, а в каких был спад.

Только не забывайте о проблеме множественных сравнений. Если вы посмотрите на много срезов, то обязательно найдете значимые изменения даже там где нет истинных отличий. Поэтому это упражнение я предлагаю делать как справочное для поиска каких-то новых идей и особенностей сегментов и обращать внимание только на сегменты в которых есть "сильные" отличия.

6. Анализ поведения пользователей через retentioneering
Если у вас было какое-то сложное интерфейсное изменение, например поменяли путь пользователя в продукте и вы хотите понять как в действительности поменялось поведение пользователей.

Можно построить карты траекторий для обоих групп пользователей и визуально оценить как поменялись траектории перемещения пользователей. Это поможет глубже понять как именно ваше экспериментальное воздействие влияет на поведение пользователей.

✍️ Пишите в комменты, на что вы смотрите по результатам АБ теста.