Борзило

Сегодня мне 36 годиков🤠 Утром сходил на тренировку, скоро буду кушать торт, а вечером проведу 11 занятие на курсе. Как ваши дела?)

Мифы АБ тестирования. Часть 3

Миф 1. Рандомизация создает абсолютно одинаковые группы
Реальность: Идеальной балансировки групп «из коробки» не существует. Рандомизация гарантирует лишь отсутствие системного сдвига (bias), но не идентичность выборок. На практике между сегментами групп всегда будет небольшое отличие.

Миф 2. Критерий Манна-Уитни можно использовать для оценки средних
Реальность: Критерий проверяет не равенство средних, а так называемое стохастическое доминирование. Упрощенный пример: может возникнуть ситуация, что среднее группы A больше, чем среднее группы B. Но этот рост достигнут за счет того что в группе B сегмент китов перестал платить много, а сегмент "типичных пользователей" немного увеличил платежи. Критерий Манна-Уитни может посчитать, что группа B значимо лучше A, но при этом мы теряем в среднем доходе в группе B.

Миф 3. Каждая новая единица наблюдения одинаково снижает ошибку среднего
Реальность: Закон убывающей полезности в действии. Точность растет не линейно, а пропорционально квадратному корню:

Из-за корня в знаменателе каждый новый пользователь приносит всё меньше пользы для точности. Например, у вас 1 пользователь в выборке, чтобы сократить стандартную ошибку в 2 раза, вам нужно увеличить выборку в 4 раза. А чтобы сократить в 10 раз — выборку придется раздуть в 100 раз.

Миф 4. Существует целая куча стат критериев, мне никогда не разобраться во всех
Реальность: Вам и не нужно знать сотни критериев. В 95% реальных продуктовых задач в ИТ всё сводится к понятной и логичной карте принятия решений, где пригодятся всего несколько критериев и подходов.

Зачастую все сводится к применению: t-test, z-test proportion, хи2, bootstrap и еще некоторые методы для работы с ratio-метриками.

Миф 5. Единичный А/А-тест гарантирует чистоту сплитования
Реальность: Один успешный АА-тест (отсутствие отличий) - это иллюзия контроля. По определению, даже в идеальной системе в 5% случаев АА-тест должен показать ложную значимость. И наоборот: сломанная сплитовалка может выдать «зеленый» АА-тест чисто случайно. Чтобы реально проверить систему деления нужно больше АА тестов.

P.S. Сегодня стартует 6 поток курса по АБ тестированию

Проанализировал отзывы при помощи ИИ 🤖

Уже накопилось достаточно много отзывов о курсе и я попросил одну из ИИшек посмотреть на них и написать ТОП 7 пунктов "за что ученики ценят курс по АБ тестированию". Вот, что выдала ИИшка

1. Логичная и четкая структура материала
Ученики отмечают, что курс выстроен последовательно: от основ статистики до глубоких практических тем. Это помогает «разложить информацию по полочкам» и сформировать в голове единую картину процесса тестирования.

2. Доступное объяснение сложных тем
Автор умеет объяснять сложные вещи (p-value, доверительные интервалы, t-тест) простым языком, «на пальцах» и без излишней формульной нагрузки. Ученики подчеркивают, что даже те, кто был далек от статистики, легко вкатываются в процесс.

3. Огромный упор на практику и реальные кейсы
Курс не застревает в «зауми», а предлагает задания, максимально приближенные к жизни. Ученикам важно «потрогать все руками», анализируя результаты реальных экспериментов и разбирая типичные ошибки, которые случаются в проде.

4. Наглядные симуляции
Одним из самых ценных элементов курса называют использование симуляций (в частности, через Python и Google Colab). Они позволяют визуализировать сложные математические идеи и понять, как теоретические критерии «оживают» на практике.

5. Готовые инструменты и материалы для работы
Ученики получают в распоряжение «настольное руководство»: готовые чек-листы, скрипты на Python и объемные Excel-файлы со встроенными калькуляторами. Многие начинают применять эти инструменты в своей текущей работе сразу после или даже во время обучения.

6. Качественная обратная связь от автора
Юрий Борзило детально разбирает домашние задания (вместо формальной проверки), дает развернутые ответы на все вопросы в чате и объясняет материал столько раз, сколько требуется для полного понимания.

7. Помощь в трудоустройстве и карьере
Для некоторых курс стал решающим фактором при прохождении собеседований. Выпускники отмечают, что после обучения они уверенно проходят секции по А/Б-тестам в крупные компании (например, Яндекс или Тинькофф) и получают офферы на позиции продуктовых аналитиков.

Если хочешь узнать подробнее о курсе, то читай тут:
- о курсе
- артефакты

Если хочешь проверить себя в знаниях по АБ тестам, то попробуй ответить на вопросы:
пачка вопросов 1
пачка вопросов 2
пачка вопросов 3

Артефакты курса по АБ тестам

В прошлом посте я анонсировал набор на 6 поток курса по АБ тестированию. Там коротко описаны программа, сроки и есть отзывы.

Сегодня хочу поговорить, о том какие артефакты получают студенты курса.

1. Шаблон дизайна АБ теста
Форма из 36 пунктов где вы последовательно указываете все важные параметры: гипотеза, аудитория, метрики, стат параметры и прочее. На выходе получаете понятный план проведения АБ теста.

2. Чек-лист валидации АБ платформы
Чек-лист из 25 пунктов, где я разбираю основные проблемы АБ платформ и по которому вы можете проверить работу своей платформы.

3. Шаблон формирования гипотез
Не каждая идея - это гипотеза, большинство идей рассыпается если попытаться их формализовать по 6 пунктам из этого шаблона.

4. Чек-лист валидации данных и оценки результата АБ
Одна из частых проблем. АБ тест провели быстрее идут анализировать результат, забывая провалидировать корректность эксперимента, чек-лист включает все базовые проверки.

5. Jupyter ноутбук с базовым алгоритмом расчета АБ теста
Для тех кто никогда не делал АБ тесты я собрал удобный базовый пайплайн анализа АБ теста при помощи python, его можно адаптировать и переиспользовать для своих задач.

6. Jupyter ноутбук с кучей симуляций стат концепций
Этот документ - сердце курса. В нем при помощи симуляций показывается как именно работают те или иные статистические концепции. Вы можете управлять параметрами и видеть как меняется картинка.

7. Шаблон для внедрения процесса АБ тестирования
Еще одна мощная штука, которая точно пригодится в работе. Процесс состоит из 5 этапов от дизайна до выкатки и уборки. Каждый этап включает от 2 до 5 под этапов с детализацией по пунктам.

На каждом этапе дается список выходных артефактов. Вы сможете внедрить или провалидировать процесс АБ тестирования в своей компании.

8. Шпаргалка по статистике
Все ключевые статистические понятия, формулы и концепции собраны в единую шпаргалку. По которой можно быстро вспомнить материал или подготовиться к сосбесу.

9. Процесс валидации метрики и стат критерия
Отдельно подготовил лаконичную шпаргалку по этому процессу, т.к. очень часто у ребят возникает вопрос "а как понять, что с этой метрикой можно использовать этот стат критерий?"

10. Большой список ошибок в АБ тестировании
Список из более чем 50 ошибок, которые могут возникнуть в процессе АБ тестирования. Зачем набивать шишки, если можно заранее изучить)

11. Калькуляторы для расчета выборок и стат критериев
Подготовил наглядные калькуляторы в google sheets для расчета размера выборок и базовых стат критериев, чтобы ученики могли "пощупать формулы".

Хочешь забрать все эти артефакты и подтянуть знания в АБ тестировании, заходи ко мне в личку за подробными условиями @borzilo_y

📣 6 поток курса по АБ тестированию

30 июня планирую запуск 6 потока курса по АБ тестированию. Курс состоит из 19 занятий и длится 2 месяца.

👨🏻‍💻 Для кого курс?
- Только вкатываюсь в статистику и АБ тесты с нуля
- Уже учил статистику или проходил курс по АБ, но не понял и запутался
- Уже провожу АБ тесты, но не понимаю как это работает, возможно где-то ошибаюсь

✅ Блок 1 - базовая статистика
В течении первых 6 занятий закладываем базу по статистике. Начинаем с самых основ: среднее, дисперсия, ЦПТ, ЗБЧ, H0, H1, ошибки 1/2 рода, MDE, размер выборки, стат критерии.

Фокус на том, что действительно нужно для АБ, без ухода в побочные темы.

По результатам блока - студент понимает как работает проверка статистических гипотез и как работают стат.критерии

✅ Блок 2 - специфика АБ тестирования
Здесь будем приземлять статистическую теорию на АБ тесты. Изучим как работать с гипотезами и метриками для АБ тестов, пошагово разберем дизайн АБ тестов и порешаем кейсы с конкретными АБ тестами от гипотезы до оценки результата.

Узнаем как работают платформы АБ тестирования и посмотрим на одну из платформ.

По результатам блока - студент понимает как задизайнить, провести и оценить стандартный АБ тест

✅ Блок 3 - углубление в АБ тесты и статистику
Поговорим о некоторых более продвинутых темах. Затронем темы снижения дисперсии при помощи CUPED и пост-стратификации, изучим как работать с ratio-метриками - дельта-метод и линеаризация, также поговорим про bootstrap.

Отдельное занятие посвятим ошибкам АБ тестирования и разберем разные кейсы связанные с АБ

По результатам блока - студент понимает как использовать методы изученные в блоке в своей работе.

🔖Каких результатов достигают студенты курса?
- Проходят собеседования на продуктового аналитика по статистике и АБ, например в Яндекс и ТБанк
- Пересобирают процесс АБ тестирования в своей компании
- Закрывают давний гештальт непонимания АБ тестов и статистики)

Тут вот ссылки на некоторые отзывы ребят о курсе: отзыв1 , отзыв2, отзыв3, отзыв4, отзыв5, отзыв6, отзыв7

🔜Как попасть на курс?
Часть мест уже занята ребятами из предзаписи, если тоже хочешь вписаться, заходи в личку. Расскажу подробнее про курс, покажу некоторую "внутрянку": примеры ДЗ, скрипты, артефакты. Пиши @borzilo_y

После прохождения 6 занятий статистика стала понятней - сложилась единая картина

Еще один отзыв о моем курсе по АБ тестированию. Сергей, как и многие отмечает, что у него была проблема с пониманием статистической базы.

Я бы сказал, что статистическая база коварна. Начинаешь учить среднее, медиана, дисперсия - все понятно, дальше появляется какая-то ошибка среднего, пропускаешь между ушей.

Потом ЦПТ, ЗБЧ, распределения каких-то выборочных средних, стат критерии. Кажется, что тебя нагрузили кучей информации, а по итогу запомнил среднее, медиана, дисперсия, а дальше каша.

Чтобы такого не происходило в головах слушателей я выкинул из курса все что отвлекает от сути, а также стараюсь столкнуть человека с одной и той же информацией как минимум 3 раза под разными углами, чтобы оно не проплывало мимо сознания и могло склеиться в систему связанных знаний.

P.S. Добавил хештег для просмотра предыдущих отзывов.

#отзывы_курс_АБ

5 интересных вопросов с собеседований по АБ тестированию

В одном из прошлых постов мы разобрали самые частые вопросы с собеседований по АБ-тестированию. Сегодня хочу обсудить более интересные кейсы, которые также любят задавать на интервью по АБ-тестам и статистике.

Ответы я скрыл. Предлагаю вам сначала обдумать свой вариант, а уже потом заглядывать в мой.

1. Что делать с выбросами в АБ-тесте и на что они влияют?

Начнем со второй части вопроса: «На что влияют выбросы?» Обычно в первую очередь думают о том, что выброс сильно сдвигает среднее значение, из-за чего мы можем получить большую дельту между вариантами и «случайно» поймать статзначимость.

Выброс действительно может сместить среднее, но главная беда в другом: он сильно раздувает дисперсию. Из-за этого нам, наоборот, становится гораздо сложнее обнаружить реальные значимые отличия. Обычно от выбросов хотят избавиться как раз для того, чтобы снизить дисперсию и поднять чувствительность теста.

Теперь первая часть: «Что делать с выбросами?» В первую очередь — разобраться в их природе. Я выделяю три вида выбросов:

Выброс-ошибка. Например, криво отработало логирование или прилетели какие-то спам-истории (то есть выбросы вызваны техническими факторами). Такие аномалии можно смело удалять.

Выброс, связанный с тестируемым изменением. Например, мы раскатили годовую подписку и увидели небольшое количество очень крупных оплат. Да, на графике это выглядит как выброс, но удалять его нельзя, ведь эти значения вызваны именно нашим тритментом.

Выбросы, не связанные с тестируемым изменением. Самый сложный случай, когда мы не понимаем, как связаны аномалия и наш эксперимент. Здесь всегда дилемма, стоит ли обрабатывать этот хвост.

Способов борьбы с выбросами много, но главное правило — закладывать схему работы с ними еще на этапе дизайна АБ-теста и применять ее к обеим выборкам одновременно, а не заниматься выборочной селекцией ради «нужного» результата.

2. Можно ли использовать z-test вместо t-test?
Классическая статистическая теория требует от нас для z-теста использовать дисперсию генеральной совокупности, в то время как t-тест отлично работает с выборочной дисперсией. При этом z-тест опирается на нормальное распределение, а t-тест — на t-распределение Стьюдента. Если руководствоваться строгими правилами, нам всегда стоит выбирать t-тест.

Но важно понимать и практику: если мы решим «нарушить закон» и бахнем z-тест, подставив туда выборочную дисперсию, то на больших данных это практически ни на что не повлияет.

Мы получим идентичный результат, так как с ростом размера выборок t-распределение очень быстро сходится к нормальному, и значения p-value будут примерно одинаковыми.

Однако это справедливо только для достаточно больших выборок. Если у вас АБ-тест на условных «10 землекопов», различия будут критичными. На малых выборках лучше использовать t-тест, чтобы избежать завышения числа ложных срабатываний (ошибки первого рода).

3. Как проверить валидность результата АБ-теста?
Перед тем как погружаться в аналитику, критически важно убедиться, что сам тест был проведен корректно. Для этого чек-лист «здоровья» эксперимента:

- Убедитесь, что тест набрал заранее запланированное число наблюдений (размер выборки).
- Проверьте, что во все дни теста велось логирование — нет пропусков, просадок и дублей в данных.
- Проверьте данные на аномалии и экстремальные значения.
- Убедитесь, что не было пересечения групп — одни и те же пользователи не попадали в несколько вариантов одновременно.
- Проверьте, что фактическое расщепление трафика соответствует запланированному и у нас нет SRM (Sample Ratio Mismatch).

Только после того, как вы убедились в «здоровье» АБ-теста, можно переходить к анализу метрик.

4. В результате АБ-теста мы получили p-value > альфа. Можно ли сказать, что разницы нет?

Нет, так утверждать нельзя. Когда мы рассчитываем размер выборки «на берегу», мы закладываем определенную вероятность обнаружить эффект конкретного размера. Именно для этого делается дизайн эксперимента: планируется мощность, размер выборки и MDE.

Если мы провели эксперимент строго по правилам и получили p-value > alpha, это не значит, что эффекта нет физически. Наш размер выборки позволяет с высокой вероятностью находить эффекты не менее определенного размера (MDE). Эффект вполне может быть, но он гораздо меньше, и чтобы его уверенно задетектировать, нам просто нужна более крупная выборка.


5. Можно ли запускать одновременно два эксперимента на одних и тех же пользователей?
На первый взгляд кажется, что если один юзер одновременно участвует в двух экспериментах, это должно исказить результаты. Но здесь важно помнить про главный нюанс: ортогональное (независимое) деление.

Если мы обеспечим случайное и корректное распределение пользователей из одного эксперимента по вариантам другого, то этот влияние одного экспа "размажется" равномерно по вариантам другого.

Метрики внутри каждого варианта обоих тестов изменятся одинаково. В итоге дельта между вариантами конкретного АБ-теста будет вызвана исключительно его тритментом.

Запускать параллельно можно, главное - следить за корректностью сплитования и отсутствием пересечений в логике самих фичей (чтобы они не ломали друг друга интерфейсно).

P.S. Если вам понравилась рубрика с вопросами-ответами, то дайте огней 🔥 и я подготовлю еще.

Главное, что дал дал курс - понимание того как работает статистика в АБ тестах

Продолжаю делиться отзывами учеников о моем курсе по АБ тестированию.

Елена уже работала аналитиком и даже проходила разные курсы по статистике, в том числе и в МФТИ, но статистика и АБ тесты не складывались в единый пазл.

Это довольно частая ситуация. Я и сам в начале изучения АБ тестов упарывался в кучу книг и курсов по статистике.

У меня были огромные карты выбора статистических критериев, я пытался запомнить формулы и определения, периодически лез в теорию вероятностей.

В итоге вместо системного понимания знал кучу всего, но не понимал как это все связано и как применить в продуктовых экспериментах.

На курсе я постарался отсечь все лишнее и второстепенное и сфокусировать учеников на том что действительно является статистической базой для АБ тестирования, чтобы потом на это наложить саму практику АБ тестирования.

Отдельно Елена отметила:

Блоки про дисперсию, CUPED, bootstrap и ratio-метрики . По моему опыту, редко где это объясняют доступно , связно и применимо к практике. 

Для того чтобы не просто запомнить формулу CUPED или дельта метода, а понять что и для чего мы делаем важно глубоко разобраться в дисперсии, в её смысле и в причинах того почему вообще она существует, а также в её свойствах.

Поэтому доступность, связанность и применимость на практике - это три кита на которых я стараюсь строить материалы курса. Я не ставлю своей целью сделать максимально академичный и полный курс статистики.

Я хочу дать людям системное понимание базовой статистики и набор практических инструментов для АБ тестирования, именно такого курса мне самому не хватало на страте погружения в АБ тесты.

#отзывы_курс_АБ

ТОП 5 самых частотных вопросов с собеседований по АБ тестам

Сегодня поговорим про наиболее распространенные вопросы при собеседовании на продуктового аналитик.
Я скрыл ответы, попробуйте ответить самостоятельно, а потом читайте ответ.

1. Что такое p-value?
Это вероятность получить такие различия или еще большие, при условии, что между вариантами нет различий, то есть верна H0. Т.е. это вероятность обнаружить полученную разницу между метриками АБ теста просто случайно.

При подведении итога АБ теста мы должны сравнить значение p-value с заранее определенным уровнем альфа. Если окажется, что p-value меньше альфы, то можно говорить о том, что мы отклоняем нулевую гипотезу и признаем наличие стат. значимых отличий между вариантами.

2. Что такое ошибки 1 и 2 рода
Ошибка 1 рода - ситуация когда варианты АБ теста одинаково воздействуют на пользователей(верна H0), но в результате проведения АБ теста мы говорим, что есть значимые отличия, т.е. отклоняем H0.

В каждом конкретно АБ тесте где получены значимые отличия, мы не знаем, действительно ли мы видим стат значимые отличия или это ошибка 1 рода.

Ошибка 2 рода - ситуация когда варианты АБ теста действительно по разному воздействуют на пользователей(верна H1), но в результате проведения АБ теста мы говорим, что стат значимых отличий нет, т.е. не можем отвергнуть H0.

В каждом конкретном АБ тесте, где не получены значимые отличия, мы не знаем, действительно ли отличий нет или это ошибка 2 рода.

3. Как принимать решение если одна метрика в АБ тесте выросла, а другая упала?
Важно еще до эксперимента определить метрики, которые будут влиять на решение. Обычно это целевые и защитные. Поэтому первым делом нужно понять о каких именно метриках идет речь в вопросе.

Кроме этого еще до проведения АБ теста важно задать "план определения варианта победителя", т.е. мы еще до проведения эксперимента должны знать какая конфигурация метрик будет говорить что тестовый вариант победил и его можно катить.

Также важно заранее помнить про "размен метрик" и практическую значимость, т.е. мы должны на основе нашей экономики понимать насколько рост одной метрики может компенсировать падение другой.

4. Как рассчитать необходимый объем выборки и длительность теста?
Есть несколько подходов к этому вопросу.

Классическая формула расчета выборки требует от нас знать несколько параметров: MDE, квантили для мощности и альфы, дисперсию.

Возможность набора выборки
Если мы предполагаем, что наша выборка может довольно быстро расти, то мы можем задать интересующие нас параметры и получить нужный размер выборки, потом на основе этого размера вычислить число дней/недель теста.

Фиксированная выборка
Когда у нас есть строго фиксированный размер выборок, например база для рассылок, то мы можем на основе доступного размера выборки рассчитать MDE, который мы сможем значимо зафиксировать и от понимания MDE принимать решение о возможности проведения АБ теста.

Помимо аналитического(формульного) подхода расчета размера выборки также существует симуляционный, когда мы на основе исторических данных и интересующих нас параметров методом перебора определяем нужный размер выборок.

5. Как провести АБ тест по шагам?
Проведение АБ теста довольно обширный процесс, содержащий в себе множество деталей. В ответе на этот вопрос ограничимся перечислением основных этапов

Формирование и валидация гипотез
Проверяем гипотезы на адекватность и жизнеспособность

Дизайн АБ теста
Описываем механику АБ теста, стат параметры, метрики, выбираем стат критерии, считаем выборки, задаем условия выбора победителя

Настройка и запуск АБ теста
Команда разработки имплементирует тестируемы элементы, настройка трекинга, QA и прочее

Проведение АБ теста
Следим за здоровьем эксперимента и контролируем, что все идет по плану

Анализ результатов
Валидируем качество проведенного АБ теста, SRM, пересечения и прочее. Проводим процедуру определения победителя, доп анализ

Раскатка и уборка
Раскатываем победителя на всех, убираем лишнюю кодовую базу, заводим новую страницу в архив АБ тестов.

Обустроил в кабинете место для отдыха с чайным столиком и глюкофоном. А как вы релаксируетесь?

PS в коментах видос

Благодаря курсу смогла успешно пройти секции по статистике и кейсам в Яндексе 📱

Давно с вами не делился отзывами учеников прошедших мой курс по АБ тестированию. Наталья, как и большинство людей на курсе, уже работала в анализе данных несколько лет, занималась антифродом, но с АБ тестами не сталкивалась.

У нее была задача получить крепкую базу по статистике для АБ тестов и разобраться в самом процессе и специфике АБ тестирования. Что дал ей курс вы можете прочитать в прикрепленном отзыве.

#отзывы_курс_АБ

Что мешает изучить АБ-тесты?

С большинством ребят, которые приходят ко мне на курс по АБ-тестированию, я общаюсь лично перед стартом. Мне важно понять их уровень, а также подсветить, где именно у них провалы в знаниях и навыках. Сегодня хочу поговорить о том, в каких темах чаще всего возникают проблемы.

1. Непонимание случайности и истинной цели АБ-тестов
На курс приходит много практикующих дата-аналитиков. Они круто делают дашборды, витрины, ETL и отчеты, но раньше не сталкивались с экспериментами.

Обычно в учебниках пишут про абстрактную «случайную величину». Так вот, метрики в наших АБ-тестах — это и есть случайные величины. В любой момент времени метрика одного из вариантов может чисто случайно оказаться больше или меньше другого.

В АБ-тесте нас вообще не интересует вопрос, метрика какой из выборок больше прямо сейчас. Это мы можем оценить и без сложной математики, просто сравнив средние.

Глобально мы хотим понять: будет ли наблюдаться этот эффект на всей генеральной совокупности (ГС)? То есть на основе малых выборок мы пытаемся сделать вывод о поведении всех пользователей. Вот ради ответа на этот вопрос мы и затеваем всю эту историю.

2. Попытки выучить «всю» теорию вероятности и статистику без фокуса на АБ
Наверное, каждый первый открывал классический учебник по статистике. Он написан обо всем сразу: там дается огромный пласт теории, большая часть которой на старте просто не нужна, чтобы разобраться в основах АБ-тестирования.

Например, вам не нужно сразу изучать все виды распределений, не нужно глубоко зарываться в межквартильный размах или с ходу лезть в теорему Байеса. Нужно сосредоточиться только на тех темах, которые составляют базу стат-теории именно для АБ-тестов. Все остальное можно спокойно доучить потом, когда возникнет реальная потребность.

3. Желание сделать это непременно в Python
Меня часто спрашивают: «А мы будем на курсе разбирать, как посчитать АБ-тест в Python?». По сути, тут и рассказывать-то нечего: stats.ttest_ind(), импортировал функцию t-test'а — и погнали. ))

В Python нет ничего сакрального для АБ-тестов. Там просто есть готовые библиотеки под большинство критериев и функции для расчета размера выборок. Но всё то же самое можно сделать в Excel, в готовых онлайн-калькуляторах или на других языках программирования.

Гораздо важнее понимать:
Как правильно дизайнить АБ-тест? Как выбирать метрики? Как работают стат-критерии и каковы их допущения? Какие подводные камни и ошибки могут вылезти?

Всё это вообще никак не связано с синтаксисом Python. Хотя в курсе я, конечно, даю ноутбуки с симуляциями и всеми нужными функциями.

4. Заучивание определений вместо построения системы
Иногда ребята идеально зубрят ответы на типовые вопросы для собеседований. Они быстро и без ошибок отчеканят, что такое ошибка первого рода, p-value и какие бывают стат-критерии. Но стоит спросить чуть глубже, в самую суть вещей, как многие теряются.

Например, я люблю задавать такие вопросы:
- «Можешь на пальцах объяснить, как именно возникает ошибка 1-го рода?»
- «Что означает понятие "стандартная ошибка среднего"? В чем конкретно мы ошибаемся?»

5. Мифы и противоречия накопившиеся в индустрии
Тут можно писать бесконечно. Начиная от огромных (и бесполезных) карт выбора стат-критериев из интернета, большая часть которых в реальной продуктовой аналитике не нужна. Заканчивая вечными спорами про использование t-test на ненормально распределенных данных или попытками применить критерий Манна-Уитни для оценки разности средних.


Как бы я предложил учиться?

База статистики и системное понимание — без ухода в дебри и темы, не связанные с экспериментами.
Специфика АБ-тестирования — дизайн экспериментов и разбор типовых продуктовых случаев.
Углубление в статистику — продвинутые методы и разбор сложных краевых кейсов.

Узнали себя в каких-то пунктах?)

Запись стрима про ошибки в АБ тестировании👨🏻‍💻

На прошлой неделе на стриме у Андрея Андреева, автора канала CRO & Personalization. Рассказывал про типичные ошибки в АБ тестах.

Мне кажется про ошибки можно очень долго говорить, за час мы очень верхнеуровнево поговорили всего про 10 штук.

Часть из них касалась проблем сплитования и выборок. Например сплитование по принципу четный/четный. Иногда аналитики при ручном создании выборок забывают добавлять уникальную соль для эксперимента.

Эти две ошибки приводят, к тому что одни и те же пользователи попадают в одни и те же группы в разных экспериментах


Другая часть ошибок была связана с проблемами методологии: отсутствие учета проблемы множественного сравнения, неверный расчет метрик и подбор критериев.

Также разобрали классические проблемы SRM и оценки практической значимости АБ теста.
Тем кто только планирует делать АБ тесты и в начале своего пути, рекомендую ознакомиться.

А также делюсь своим реестром ошибок в АБ тестировании, в котором собрано более 50 ошибок.

Рассказывайте, с какими ошибками сталкивались вы?

Через 4 минуты начинаем стрим с Андреем, буду рассказывать про ошибки в АБ тестировании. Подключайтесь)

ТОП-10 ошибок в A/B-тестах, которые новички совершают с завидной регулярностью

В рамках проекта Learnings в этот четверг в 17:00 разберем:

❌ SRM – незапланированное деление трафика (это не безобидно, это приговор тесту)
❌ Путаем статистическую и практическую значимость – результат есть, а пользы ноль
❌ Не сочетаем метрики со стат. критериями – получаем мусор на выходе
❌ Думаем: «p > 0.05 = нет разницы» – фатальное заблуждение
❌ Подглядываем за тестом каждый час – будем часто обманывать сами себя

И еще 5 критических ошибок, которые превращают A/B-тест в лотерею.

Приходите, научимся тестировать правильно 😈

Добавляем ссылку в календари и ставим напоминание на 28.05.2026 в 17:00 ⏰

CRO & Personalization 🤩

Заходите завтра послушать

Мысли после посещения Aha 26

Конфа как и всегда прошла хорошо, с точки зрения организации все было здорово. В этом посте скорее хочется поговорить о том, как через конференцию считывается состояние рынка аналитики в РФ.

1. Народа было меньше чем обычно
Кажется, что компании режут косты и поэтому плюшки в виде посещения конференции для части сотрудников убрали

2. Стендов бигтехов почти не было
Был T1 (Иннотех), MTS Web Services, еще были стенды разных небольших ребят и промо стенды. Яндекс, ТБанк, Авито, Райфайзен, Озон, HH и другие не были представлены.

От Яндекса был небольшой стенд Yandex Data Lens, но он скорее направлен на пиар BI системы.

Отсутствие бигтехов наводит на мысль, что для них сейчас найм аналитиков не в приоритете, ну либо они решили выставляться раз в год только на Матемаркетинге.

3. Многих знакомых лиц не было
Многие из тех с кем пересекаюсь на конференциях, в этот раз не пришли, видимо опять в силу того что компании не купили билеты, т.к. экономят.

4. Ощущение застоя и неопределенности завтрашнего дня
Многие с кем я общался испытывают похожие чувства. Компании стагнируют, новые направления не открываются, скорее идет поддержание и оптимизация того что работает.

Что будет через год с их карьерой многим не понятно, скорее все замерли и ждут чего-то.

А у вас какие наблюдения?

Я на Ахе, давайте общаться)

Сколько нужно AI агентов чтобы заменить одного "кожанного" аналитика?

Вот учишься писать там всякие sql, питоны, анализировать данные и проводить АБ тесты, а потом приходит AI агент и начинает работать вместо тебя.

Конечно компании еще не собираются отказываться от нас с вами, но внедрение AI в процессы аналитики уже идет.

Можно сказать, что мы только в начале AI внедрений и многие внедрения это пилотные-подходы и все это происходит за закрытыми дверями, внутри компаний, а подглядеть то хочется))

Совсем скоро, 22 мая, в Москве пройдет ежегодная конференция по продуктовой аналитике "AHA’26" там ребята из разных компаний будут показывать как именно внедряют LLM и прочие AI штуки в аналитику.

Один из докладов, который мне интересно послушать: A/B‑тестирование для LLM‑воркфлоу с учётом системы контроля качества и баланса между метриками пользователя, качества моделей и экономической эффективностью"

Баланс метрик это всегда сложно, а также важно помнить что агенты и прочие модели могут переобучаться, дообучаться и т.д. Поэтому ине интересно послушать про подводные камни и выбор метрик для АБ тестов с LLM.

Конференция состоит из 2 дней: 14 мая - онлайн день, 22 мая мая оффлайн в Москве. Подробная программа здесь

Для тех кто ищет работу
Слышал от многих, что сейчас очень сложно попасть на собеседование. На Ахе всегда много тех кто нанимает аналитиков.

Вы можете лично пообщаться с руководителями аналитических направлений и HR. Установить контакты с ребятами из ТОП компаний, которые смогут вас зареферить.

Возможно для вас это будет самый быстрый способ найти работу. Конечно участие в конференции платное, но по промокоду BORZILO10, можно получить скидку 10%. Билеты здесь

Пополнил свою коллекцию бумажных книг по статистике.

Это одна из 3 книг, которую я обычно рекомендую тем кто стартует изучение статистики.

Теперь у меня есть в бумажном виде все 3 книги😎