ТОП 5 самых частотных вопросов с собеседований по АБ тестам

Сегодня поговорим про наиболее распространенные вопросы при собеседовании на продуктового аналитик.
Я скрыл ответы, попробуйте ответить самостоятельно, а потом читайте ответ.

1. Что такое p-value?
Это вероятность получить такие различия или еще большие, при условии, что между вариантами нет различий, то есть верна H0. Т.е. это вероятность обнаружить полученную разницу между метриками АБ теста просто случайно.

При подведении итога АБ теста мы должны сравнить значение p-value с заранее определенным уровнем альфа. Если окажется, что p-value меньше альфы, то можно говорить о том, что мы отклоняем нулевую гипотезу и признаем наличие стат. значимых отличий между вариантами.

2. Что такое ошибки 1 и 2 рода
Ошибка 1 рода - ситуация когда варианты АБ теста одинаково воздействуют на пользователей(верна H0), но в результате проведения АБ теста мы говорим, что есть значимые отличия, т.е. отклоняем H0.

В каждом конкретно АБ тесте где получены значимые отличия, мы не знаем, действительно ли мы видим стат значимые отличия или это ошибка 1 рода.

Ошибка 2 рода - ситуация когда варианты АБ теста действительно по разному воздействуют на пользователей(верна H1), но в результате проведения АБ теста мы говорим, что стат значимых отличий нет, т.е. не можем отвергнуть H0.

В каждом конкретном АБ тесте, где не получены значимые отличия, мы не знаем, действительно ли отличий нет или это ошибка 2 рода.

3. Как принимать решение если одна метрика в АБ тесте выросла, а другая упала?
Важно еще до эксперимента определить метрики, которые будут влиять на решение. Обычно это целевые и защитные. Поэтому первым делом нужно понять о каких именно метриках идет речь в вопросе.

Кроме этого еще до проведения АБ теста важно задать "план определения варианта победителя", т.е. мы еще до проведения эксперимента должны знать какая конфигурация метрик будет говорить что тестовый вариант победил и его можно катить.

Также важно заранее помнить про "размен метрик" и практическую значимость, т.е. мы должны на основе нашей экономики понимать насколько рост одной метрики может компенсировать падение другой.

4. Как рассчитать необходимый объем выборки и длительность теста?
Есть несколько подходов к этому вопросу.

Классическая формула расчета выборки требует от нас знать несколько параметров: MDE, квантили для мощности и альфы, дисперсию.

Возможность набора выборки
Если мы предполагаем, что наша выборка может довольно быстро расти, то мы можем задать интересующие нас параметры и получить нужный размер выборки, потом на основе этого размера вычислить число дней/недель теста.

Фиксированная выборка
Когда у нас есть строго фиксированный размер выборок, например база для рассылок, то мы можем на основе доступного размера выборки рассчитать MDE, который мы сможем значимо зафиксировать и от понимания MDE принимать решение о возможности проведения АБ теста.

Помимо аналитического(формульного) подхода расчета размера выборки также существует симуляционный, когда мы на основе исторических данных и интересующих нас параметров методом перебора определяем нужный размер выборок.

5. Как провести АБ тест по шагам?
Проведение АБ теста довольно обширный процесс, содержащий в себе множество деталей. В ответе на этот вопрос ограничимся перечислением основных этапов

Формирование и валидация гипотез
Проверяем гипотезы на адекватность и жизнеспособность

Дизайн АБ теста
Описываем механику АБ теста, стат параметры, метрики, выбираем стат критерии, считаем выборки, задаем условия выбора победителя

Настройка и запуск АБ теста
Команда разработки имплементирует тестируемы элементы, настройка трекинга, QA и прочее

Проведение АБ теста
Следим за здоровьем эксперимента и контролируем, что все идет по плану

Анализ результатов
Валидируем качество проведенного АБ теста, SRM, пересечения и прочее. Проводим процедуру определения победителя, доп анализ

Раскатка и уборка
Раскатываем победителя на всех, убираем лишнюю кодовую базу, заводим новую страницу в архив АБ тестов.