Дизайн экспериментов

За первые семь месяцев этого года мы с командой запустили 74 продуктовых эксперимента разной степени сложности. Это почти 2.5 эксперимента в неделю. Очень хороший темп я считаю. Главное для нас, и для меня как для продакта в частности, не спотыкаться, удерживая такой темп.

Дизайн эксперимента - критическая часть. Плохой дизайн эксперимента приводит к двум очень дорогим ошибкам:
1. Результаты не достоверны и не могут быть засчитаны, потому что ошиблись. То есть мы тут ждали два месяца результата, а его нет. Надо исправлять ошибку, перезапускать и ждать ещё.
2. Значимые результаты для конкретной гипотезы получить в принципе не получится. Значит вся разработка и время ожидания были потрачены впустую.

К сожалению, подавляющее большинство таких ошибок мы находим на этапе анализа экспериментов. У нас даже есть такая шутка «Корректных А/Б тестов нет, есть недоанализированные». От того у нас и ретроспективы, и разного рода сессии «как избежать».

Делиться опытом, давать практику и рассказывать детально о том, как делать дизайн экспериментов максимально «правильно», я буду на курсе «A/B testing». Курс для тех, кто хочет качественно запускать A/B тесты и анализировать их результаты для собственного продукта.

P.s. если есть вопросы по курсы, можете написать лично мне, с радостью расскажу и подскажу подойдёт ли это вам.