Sequential подход в АБ тестировании, mSPRT 🧪

Перед тем, как перейти к mSPRT, хочу напомнить вам, что этот тест является одним из самых популярных в Sequential тестировании. Он лежит в основе платформ, таких как Optimizely, Netflix, Uber и Amplitude. Так что, если вы когда-либо столкнетесь с Sequential тестированием, вероятно, это будет именно mSPRT. 🤔

Напоминание о проблеме SPRT 🤦‍♂️

Как мы обсуждали в предыдущем посте , у SPRT был существенный недостаток: было неясно, когда остановить тест, если он слишком долго находится в коридоре без пересечения границ для опровержения или подтверждения гипотезы.

В чем отличие mSPRT от классического подхода?

В целом, сам метод сильно напоминает своего предшественника. Однако, в отличие от классического подхода, mSPRT учитывает максимальное количество данных, которые вы можете собрать. Другими словами, когда наступает час X, тест информирует вас, аналогично хорошему старому Fixed Horizon, статистически значимо ли ваше изменение или нет.

Пояснительная бригада 🫡

В модифицированном методе во время тестирования у нас все так же есть наш SPRT со своими границами. Если статистика в течение эксперимента пересекает их, мы останавливаем тест. Кроме того, учитывается что делать, если данных для выборок больше нет. Когда тест достигает определенного количества наблюдений, mSPRT сообщает нам, можем ли мы отвергнуть нулевую гипотезу или нет, в то время как классический метод просто ждал бы, пока вы подадите ему еще объектов в ваши выборки. 👨‍🍳

🙅‍♂️Основным ограничением этого метода является невозможность тестирования метрик отношения (средний чек и подобных).

Если вы захотите подробнее ознакомиться с семейством методов SPRT , то вот ссылки на материалы:

Paper в котором очень подробно рассказывается про mSPRT, что под капотом и так далее

Paper в котором неплохой обзор на классический SPRT и даётся ссылка на основную статью

Статья от Spotify в которой сравнивается mSPRT с другими методами Sequential testing

Если вам всё ещё нравится читать про Sequential testing, то ставьте 🔥 , и я расскажу про ещё один очень популярный метод GST (group sequential tests) , который использует Spotify 💣