📣 Проверь себя. Вопросы с собеседований по секции АБ тестов

Как часто вы проваливались на собесах из-за вопросов по АБ тестам? В начале карьеры для меня это была самая сложная секция. Проверьте себя и подготовьтесь к собеседованиям. Попробуйте ответить на вопросы ниже))


1. Нужно ли чтобы данные выборки были распределены нормально для применения T-test?

Нормального распределения данных самой выборки не требуется, важно чтобы распределение выборочных средних было нормальным, а это тоже почти всегда работает благодаря ЦПТ. Так что даже если ваша выборка имеет ненормальное распределение, то t-test скорее всего можно будет использовать.


2. Как провести АБ тест в онлайн продукте по шагам?
Поиск точки роста → Селекция гипотез → Дизайн АБ теста → Настройка АБ теста → Проведение АБ теста → Анализ результата АБ теста → Выкатка и уборка

3. Как возникает ошибка первого рода?
Представим, что тестируемое изменение никак не влияет на ГС и соответственно на наши метрики в АБ тесте. Но, мы все равно можем получить большую разницу между средними значениями выборок А и Б т.к. выборки формируются случайно.

Если такая разница будет очень большой относительно случайных колебаний метрики, то мы скажем, что такая разница статистически значимая и совершим ошибку первого рода.

4. Зачем в АБ тестах хотят снизить дисперсию метрик?
Чем больше дисперсия, тем больше больше будет стандартная ошибка среднего, а значит нам потребуется больший эффект между группами АБ теста, чтобы признать такой эффект статистически значимым. Т.е. мы не сможем обнаружить малые эффекты.

Либо мы должны будем увеличивать размеры выборок, чтобы наши средние стали точнее, а стандартная ошибка среднего уменьшилась. Большая дисперсия мешает нам отлавливать малые эффекты и требует большего объема выборок для проведения АБ теста.

5. Можем ли мы применить t-test к метрике средний доход на сессию?
Если мы предполагаем, что один человек может совершить более чем 1 сессию, то тогда скорее всего нельзя применить t-test, т.к. одно из требований t-test независимость наблюдений. В нашем случае поведение в одной сессии может зависеть от поведения пользователя в другой сессии.

6. Что такое SRM в АБ тестах?
Sample ratio mismatch - не соответствие выборок заданному делению. Например, планировали поделить выборки 50/50, а после проведения эксперимента обнаружили, что выборки поделились 60/40.

Это может быть сигналом, о том что у вас происходит некорректное деление и выборки могут быть не однородны и вы получите смещенные метрики в ваших АБ тестах.

Если возникли сложности с этими вопросами?
Я подготовил подборку из 70 моих постов где разбираю типовые вопросы АБ тестирования. Сохрани себе и подпишись на канал.

Курс по АБ тестам
Скоро стартует новый поток моего курса по АБ тестам. Там мы разбираем эти и еще много других вопросов, чтобы АБ тесты из блэкбокса в вашей голове превратились в стройную, логичную систему. Пиши, если хочешь успеть на последний поток в этом году @borzilo_y