Артефакты курса по АБ тестам

В прошлом посте я анонсировал набор на 6 поток курса по АБ тестированию. Там коротко описаны программа, сроки и есть отзывы.

Сегодня хочу поговорить, о том какие артефакты получают студенты курса.

1. Шаблон дизайна АБ теста
Форма из 36 пунктов где вы последовательно указываете все важные параметры: гипотеза, аудитория, метрики, стат параметры и прочее. На выходе получаете понятный план проведения АБ теста.

2. Чек-лист валидации АБ платформы
Чек-лист из 25 пунктов, где я разбираю основные проблемы АБ платформ и по которому вы можете проверить работу своей платформы.

3. Шаблон формирования гипотез
Не каждая идея - это гипотеза, большинство идей рассыпается если попытаться их формализовать по 6 пунктам из этого шаблона.

4. Чек-лист валидации данных и оценки результата АБ
Одна из частых проблем. АБ тест провели быстрее идут анализировать результат, забывая провалидировать корректность эксперимента, чек-лист включает все базовые проверки.

5. Jupyter ноутбук с базовым алгоритмом расчета АБ теста
Для тех кто никогда не делал АБ тесты я собрал удобный базовый пайплайн анализа АБ теста при помощи python, его можно адаптировать и переиспользовать для своих задач.

6. Jupyter ноутбук с кучей симуляций стат концепций
Этот документ - сердце курса. В нем при помощи симуляций показывается как именно работают те или иные статистические концепции. Вы можете управлять параметрами и видеть как меняется картинка.

7. Шаблон для внедрения процесса АБ тестирования
Еще одна мощная штука, которая точно пригодится в работе. Процесс состоит из 5 этапов от дизайна до выкатки и уборки. Каждый этап включает от 2 до 5 под этапов с детализацией по пунктам.

На каждом этапе дается список выходных артефактов. Вы сможете внедрить или провалидировать процесс АБ тестирования в своей компании.

8. Шпаргалка по статистике
Все ключевые статистические понятия, формулы и концепции собраны в единую шпаргалку. По которой можно быстро вспомнить материал или подготовиться к сосбесу.

9. Процесс валидации метрики и стат критерия
Отдельно подготовил лаконичную шпаргалку по этому процессу, т.к. очень часто у ребят возникает вопрос "а как понять, что с этой метрикой можно использовать этот стат критерий?"

10. Большой список ошибок в АБ тестировании
Список из более чем 50 ошибок, которые могут возникнуть в процессе АБ тестирования. Зачем набивать шишки, если можно заранее изучить)

11. Калькуляторы для расчета выборок и стат критериев
Подготовил наглядные калькуляторы в google sheets для расчета размера выборок и базовых стат критериев, чтобы ученики могли "пощупать формулы".

Хочешь забрать все эти артефакты и подтянуть знания в АБ тестировании, заходи ко мне в личку за подробными условиями @borzilo_y