💃Мини-отзыв на курс Продвинутое АБ-тестирование от Карпова

Я наконец-то домурыжила этот курс (или он меня…), поэтому могу поделиться мыслишками по этому поводу.

Какие темы на курсе? Тут я сразу прикрепляю ссылки, где можно посмотреть инфу по этим темам, если вдруг не хочется брать платный курс.
1) Основы статистики
https://avito.tech/education/statistics
https://practicum.yandex.ru/profile/statistics-basic/?from=new_landing_statistics-basic
2) Проверка гипотез
https://www.youtube.com/watch?v=O6FXzCFnJxM
https://youtu.be/TpUflOQo1kI?si=41ZbgBFkVkzbeyU9
https://www.youtube.com/watch?v=dFCJysbOJ8c
3) MDE, sample size, дизайн эксперимента
https://www.youtube.com/live/2nP_gcut7SU?si=O_2skcdRoU4JqBAl
4) Тестирование дизайна
https://habr.com/ru/companies/X5Tech/articles/706388/
5) Доверительные интервалы, бутстреп
https://habr.com/ru/companies/X5Tech/articles/679842/
6) Повышение чувствительности тестов, variance reduction
https://youtu.be/KvIJ8FCJzr4?si=5sQbxFi0pG0arRbM
7) Выбор метрик
https://habr.com/ru/companies/alconost/articles/542848/
https://habr.com/ru/companies/ligastavok/articles/718336/
8) Стратификация
https://habr.com/ru/companies/X5Tech/articles/596279/
https://youtu.be/8MzvjrWUJ_0?si=J2n-R53oaXx8wEbE
9) CUPED
https://habr.com/ru/companies/X5Tech/articles/780270/
https://habr.com/ru/companies/X5Tech/articles/826488/
https://youtu.be/pZpUM08mv-E?si=Lb3OgJHm0rpQb-DK
10) Множественное тестирование
https://habr.com/ru/companies/X5Tech/articles/842426/
11) Сплитилка трафика. Схемы запусков. Эффект памяти. Двойное хеширование
https://habr.com/ru/companies/avito/articles/454164/
https://blog.richardweiss.org/2016/12/25/hash-splits.html
12) Анализ метрик отношений. Дельта-метод. Линеаризация
https://habr.com/ru/companies/X5Tech/articles/740476/
https://habr.com/ru/companies/kuper/articles/768826/
13) Полный пайплайн аб-тестирования
https://youtu.be/gljfGAkgX_o?si=XeAtG4n__aoTocVn
https://www.youtube.com/watch?v=IQUt9qTsQ0s
https://www.youtube.com/watch?v=HpinAY5QfCo
https://habr.com/ru/companies/deliveryclub/articles/670762/
https://habr.com/ru/companies/ozontech/articles/712306/
https://youtu.be/-xjd32x8QN4?si=a1iZHCd_CDFXzp4u


Общие впечатления:
- не хватило осмысленной практики. Чаще были игрушечные квизы + хотелось бы пояснения под правильными ответами, а то фраза «верно» - такое себе объяснение. Eсть задания на кодинг, пописать на питоне. Пример заданий: написать функцию оценки размера выборки, функцию оценки вероятности ошибок I/II рода
- было бы круто сделать отдельный модуль с «типичными» вопросами на собесах, но такого нет.
- курс задизайнили так, что ты не можешь глянуть выборочно темы, которые тебе интересны, если не прошел предыдущие модули/уроки. То есть чтобы получить доступ ко 2 уроку, нужно пройти лекцию и семинар 1 урока.
- если совсем застрянете на какой-то задаче из практики, то можно глянуть разбор решения (но тогда потеря балла будет)
- хотелось бы более структурной подачи инфы. Иногда темы, которые по смыслу должны идти друг за другом, разрываются другой темой.
- самая ценная часть на мой взгляд - q&a сессии с автором курса, где разбираются вопросы студентов.
- финальная работа - это просто тест из 26 вопросов (мега простой, проходится за 5 минут).
- половина курса - это по сути статьи на хабре от X5 (оно и понятно, авторы курса же тоже из X5/ex)
- было бы здорово, если бы добавили урок аля «за пределами аб-тестирования» и рассказать, какие есть варианты жизни без аб.
- урока с 10-11 как будто чутка подзабили на объяснение теории, очень сжато вышло
Например:
https://habr.com/ru/companies/kuper/articles/804875/ - Propensity score matching
https://habr.com/ru/companies/netologyru/articles/751578/ - Difference-in-Difference

Итог:
Какое-то вот смешанное впечатление по итогу. Общую оценку 6/10 я бы поставила. Наверное, посоветую поискать «живые» курсы. Онлайн встречи, на которых сразу можно задавать вопросы лектору и смотреть практические примеры с пояснениями, такие курсы в профильных каналах можно встретить. Я пока присматриваюсь к ним.