Дизайн A/B теста: пошаговая инструкция

Продолжаю рубрику вопросов с собеседований, сегодня предлагаю разогнать классический кейс на дизайн A/B теста.
К тебе приходит продакт с легендарной идеей покрасить кнопку “купить” в зеленый.

В таких вопросах A/B тест это не всегда единственный и лучший вариант, но в данном случае A/B наиболее просто задизайнить и объяснить.

Примерная структура ответа:

1. Уточнить контекст:

Какую проблему решаем (низкая конверсия, плохая заметность кнопки), какой ожидаемый эффект, как дорого это для разработки (в данном примере скорее всего недорого).

2. Выбрать метрики: ключевые, вспомогательные, заградительные

В данном случае скорее всего ключевой метрикой будет конверсия в успешную покупку, в качестве вспомогательных можно взять конверсию в клик по кнопке.

3. Сформулировать гипотезы: бизнесовые и статистические

Бизнес-гипотеза:
Зелёная кнопка повысит заметность, увеличит желание нажать на нее и увеличит конверсию в покупку.

Статистические гипотезы
H₀: конверсия в тестовой группе не отличается от контрольной;
H₁: конверсия в тестовой группе отличается от контрольной.

По умолчанию проводим именно двусторонний тест, так как наше воздействие может быть в обе стороны. Вообще односторонний тест на практике обычно не применяется и требует явного обоснования.

4. Дизайн эксперимента, расчет размера выборки

Вот здесь обычно начинаются сложности, рекомендую почитать пост Макса и планирую написать про это отдельно.

В рамках этого поста разберем буквально в двух словах:

Для расчета размера выборки нужно зафиксировать три параметра:

🟡α - верхняя граница вероятности ошибки первого рода.
🟡Мощность - вероятность обнаружить реальный эффект
🟡MDE (Minimum Detectable Effect) - это минимальный размер эффекта, который эксперимент должен уметь обнаружить с заданной альфой и мощностью + имеет бизнес-смысл.

Дальше логика такая:
- от базовой конверсии выбираем MDE,
- фиксируем α и power,
- фиксируем сплитование: 50/50 даёт максимальную мощность, любой другой сплит нужно уметь объяснить.
- считаем размер выборки,
- делим на дневной трафик → получаем длительность теста,
- при необходимости учитываем недельную сезонность.

Важно понимать: чем меньше MDE, тем больше выборка и длиннее тест. Подробнее можно почитать здесь

5. Зафиксировать критерии принятия решения

Ещё на этапе дизайна договариваемся с продактом:
- Какой результат теста признаем успешным
- В каких сегментах будем смотреть
- Что будем делать с серым тестом (статистически незначимым)
- Какие критерии экстренной остановки теста
В некоторых случаях продакты могут раскатывать и серый тест, но нужно осознавать, какие могут быть последствия у этого.

6. Бонус: A/A тесты

На собеседовании упоминание A/A — скорее плюс:
- A/A полезен для проверки сплитовалки и метрик
- если система уже валидирована, перед каждым A/B его обычно не проводят

7. Подведение итогов теста

После завершения эксперимента:

- проверяем SRM (Sample Ratio Mismatch)
- сравниваем конверсии (обычно используется z-тест пропорций)
- смотрим доверительные интервалы
- анализируем заградительные и вспомогательные метрики (но решение принимаем по ключевой)
- отдаем продакту решение, а не просто p-value

Главное на собеседовании – уметь структурировать ответ, понимать ограничения A/B тестов и не запутаться в вопросах о статистике, если они будут!
Всем удачных собеседований и адекватных собеседующих 💪

#собес_PA #analytics #AB_tests