1️⃣ Первая часть материалов по A/B тестам

Лягушонок вернулся, чтобы поделиться с вами полезными материалами 🚶

Время постов про A/B тесты настало, пора погрузиться что ли с ног до головы, просматривая занимательные статьи, лекции и видосики. Так, в прошлых постах упоминалось про вводные моменты, но не было материалов по A/B в таком количестве, чтобы можно было сделать какие-то выжимки, но админ постарался этот момент решить 🗒

Здесь должна быть интеграция по типу:

🔥 мои кореша из карпов.курсес 🔥

Про проблемы подглядывания 😳
Мы всегда хотим, чтобы наше значение p-value было меньше ошибки первого рода, поэтому если по ходу эксперимента мы будем сидеть и смотреть за своими наблюдениями по дням, увидим стат. значимость и решим отключить A/B тест, склонившись в пользу тестовой группы, мы будем не правы.
link

Как и зачем оценивать размер выборки?
Освежить в памяти про мат. стат, понять, какие ошибки могут возникнуть при интерпретации результатов при A/B тесте
link

A/B тесты с метриками-отношениями и при чём здесь внутрипользовательские корреляции
На примере CTR показывается то, как мерить результаты экспериментов на примере t-test, Poisson bootstrap. Основные нюансы с метриками, показателями на примере Python.
link

Никита Маршалкин: А/Б тесты сложнее, чем кажется | Интервью
Тут деловой человек из 📱 рассказывает про то, как проводят A/B тесты, системы сплитования, проверку гипотез и много всего.
link

😀 Как же без моей любимой Яшки 😀

A/B тесты как способ развития продукта ☀️
Лекция про A/B, здесь можно глянуть основные метрики, как оценивать статистическую значимость.
link

Как провести A/B-тестирование: 6 простых шагов ✋
Вводная по A/B тестам в виде короткой статьи, новичкам будет полезно.
link

Эффективное А Б тестирование - Виталий Полшков
Опять про Ratio-метрики (как CTR), ошибку дисбаланса классов при A/B, на основе которой мы можем принимать неправильные решения.
link

Как повысить чувствительность метрик - Илья Кацев
Доклад про то, как работает перевзвешивание в Яндексе, размножение списков, домножение на корень...
link

Советую подписаться на каналы 😀 по разработке, школы менеджеров, они лежат в открытом доступе и требуют вашего внимания
link_1
link_2

Друзья, стоит также упомянуть и про Experiment Fest (expf), с которыми сотрудничают 🔥, там очень много митов с разными компаниями, можно много для себя чего найти
link

Если вам такой формат постов зашел, жмакайте на реакции и вторая часть материалов не заставит себя долго ждать 🚶‍♂️