AB tests: Fixed Horizon и Sequential approaches 🧪

Сегодня делал ликбез своим сокомандникам по Sequential approach в АБ тестах, и пока всё не забыл решил поделиться с вами.

Во первых что это такое?

В АБ тестах выделяют несколько подходов для проведения и анализа, а именно:

1 ) Fixed Horizon 🏞️
Наиболее популярный подход для анализа АБ тестов. Мы делаем дизайн АБ теста, считаем сколько надо дней что бы достичь желаемого нами эффекта и забываем про него на то самое количество дней пока не соберётся требуемое количество людей в группах. Для анализа таких тестов используются такие известные методы как z-test, t-test, бутстрап и так далее.

2) Sequential 🪜
Этот подход тоже популярен, но скорее уже у крупных корпораций и их систем АБ тестирования. Данный подход позволяет следить и оценивать стат значимость в режиме "реального" времени. Тут используются менее популярные в народе методы для анализа результатов, а именно, mSPRT, GSPRT, GST и так далее.

➕ Плюс Sequential достаточно очевиден, вы сможете раньше принять решение об успехе или провале эксперимента если оно случиться, чем в случае Fix Horizon, где до определённого момента ни ни.

Опытные экспериментаторы среди вас скажут: "Эй, ну подожди, можно же использовать Fixed Horizon подход для проверки стат значимости по дням, но просто нужно корректировать альфу." 😎

А я вам отвечу: "Да, можно. Но вы потеряете в мощности по сравнению с Sequential, если всё время будете корректировать альфу." 🤓


В подтверждении моих слов прикрепляю скриншот из блога Spotify (смотрите над постом), где ребята сравнивали между собой различные методы. (ссылка на статью)

На самом деле у Sequential есть свои значимые минусы, но тема плюсов и минусов требует отдельного поста.

Да и вообще история с Sequential она достаточно обширная и одним постом не получиться ограничиться. Если интересно про Sequential testing, ставьте 🔥.

Пишите вопросы в комментариях может есть какие-то вещи которые хотелось знать прям конкретно.