Мифы про АБ тестирование. Часть 2 🎈
Судя по реакциям и сохранениям первая часть мифов про АБ тестирование вам зашла. Поэтому написал еще часть.

1. АБ тесты повышают конверсию
Сам по себе АБ тест не повышает конверсию и никак не влияет ни на какие метрики. АБ тест - это инструмент для измерения, типа как линейка.

Сам по себе он ничего не меняет. На метрики влияют гипотезы, которые вы хотите проверить в АБ тесте. А точнее конкретная реализация гипотезы.

2. Ошибка второго рода не важна
Хочется сказать false negative lives matter😑 Заметили как во всех статьях топят за всякие поправки на множественные сравнения, все твердят про подглядывания, но мало кто делает акцент на максимизации мощности и критичности ошибок второго рода.

Особенно это может быть критично, если вы живете на инвесторские деньги и вам важно не пропустить эффект, чтобы компания начала зарабатывать.

3. Если p-value меньше 0.05 несколько дней, то точно стат значимо
Если p-value у вас держится меньше альфы несколько дней подряд, то это ни о чем не говорит. В логике фиксированного горизонта планирования экспериментов мы должны только один раз подвести итоги эксперимента.

Если мы это будем делать несколько раз (смотреть плато каждый день), то это приведет к росту числа ошибок первого рода.

4. Нужно тестировать как можно больше вариантов
Кажется у гугла был эксперимент, когда они тестировали 30 оттенков синего. Чем больше у вас вариантов, тем выше вероятность допустить ошибку первого рода, чисто в силу случайности.

Чтобы нивелировать возможность ошибок первого рода нужно занижать альфу, но тогда нужно собирать больше выборку, а это увеличивает сроки АБ. Короче первое правило АБ тестировании - не тестируй всякую фигню (если ты не Google)

5. Самое сложное в АБ тестировании - выбрать стат критерий
Как писал в первой части, t-test может закрыть 80% кейсов. На самом деле большая часть времени должна уходить на ресерч и выработку гипотез перед АБ тестом.

Следующий по трудоемкости этап - это дизайн АБ теста, понять на какой целевой группе проводим тест, какие группы исключаем, понять ограничения, выбрать точки сплитования и прочее.

Выбор метрик - отдельная песня, LTV - классная бизнес метрика, но долгая и не чувствительная. CTR - быстрая и чувствительная метрика, но не всегда имеет бизнес-смысл.

После эксперимента нужно провалидировать результаты, поискать сигналы в данных для новых экспериментов. Короче стат критерии это от силы 5% - АБ теста.

Пишите в комменты, какие еще мифы вы видите вокруг АБ тестов. Накиньте 🔥 если тема с мифами нравится