Sequential подход в АБ тестировании , классический SPRT 🧪

Ранее в этом посте я написал небольшое введение в целом о том какие бывают подходы к анализу и проведению АБ тестов. В этом же посте я попробую сконцентрироваться на конкретном методе, а именно классическом SPRT в Sequential тестировании и провести по нему небольшой ликбез. 🤓

Напоминаю про Sequential 🛝

Как я писал ранее основное преимущество Sequential по сравнению с Fixed Horizon в том что 1й дает возможность проверять результаты АБ теста ранее определённого срока. Так вот метод SPRT позволяет анализировать результат ,можно сказать, в режиме реального времени (если ваша дата инфраструктура вам это позволяет конечно 🙈).

Так , товарищи продакт менеджеры , дальше немного техники 😄

Как используя SPRT принимать решения?

В отличии от привычных нам t-test, z-tests в SPRT для принятия решения считаем статистику (likelihood ratio test) за тот период котором вы хотите понять есть ли стат значимое изменение или нет (каждую минуту /час/ день и так далее) и сравниваемся не с одним показателем (p-value с аlpha) , а сразу с двумя показателями которые рассчитаны на основе ваших ошибок первого (alpha) и второго рода (beta) .

Таким образом получается некий коридор для принятия решений :

• нижняя граница 📉, пересечение которой сигнализирует вам о том что есть стат значимое изменение (отвергаем H_0, тест заканчивается)

• верхняя граница 📈, пересечение которой сигнализирует вам о том что сказать что стат значимое изменение есть вы не можете. (принимаем H_0, тест заканчивается)

• движение внутри коридора 🟰, означающее что тест надо продолжать и принять или отвергнуть гипотезу об отсутствии разницы между двумя группами мы пока что не можем.

На самом деле такой подход с коридором не слишком оптимален, потому что непонятно было когда всё таки правильно будет остановить тест, если он уже достаточно долго колышется внутри коридора, в связи c этим появился mSPRT который учёл эти недостатки. 🤨

Так, я думаю очевидно, что тут не хватает продолжения про mSPRT , но что бы все успели переварить информацию выше и всё не смешалось, ⏰ я поставил таймер на вечер сегодня для отправки поста про mSPRT , так что картина сложится ❤️ .

Также рад буду если поделитесь постом с друзьями, им ,я надеюсь, полезная информация, а мне мотивация дальше писать ☺️

Ну и конечно ссылка на paper откуда я эту всю ерунду взял 😄