Честный и понятный метод оценки кумулятивного эффекта от ваших фичей (Holdback experiments) 🧪

Ранее в этом посте упоминал про то что хочу добавить в своей компании возможность делать Holdback experiments, давайте разберемся что же это такое ?

На самом деле логика Holdback experiments, довольно простая, а именно :

1) вы выделяете некую часть пользователей, которая не подвергается изменениям в течении определённого периода времени. 🍕

2) когда это определённое количество времени подходит к концу , вы бьёте этот кусочек(который вы держали долгое количество времени без изменений) пополам и на одну часть катите все ваши фичи , а другую оставляете все также без изменений.

3) спустя некоторое количество времени вы делаете сравнение этих двух групп, доверительный интервал разницы будет кумулятивный эффект от ваших фичей.

📈 P.S. по мимо кумулятивного эффекта мне кажется можно выжать еще кое что из этих экспериментов , а именно понимание что ваши фичи дали с точки зрения влияния на результаты квартала (репортинг). В этом случае надо сравнить маленькую группу полностью с большой группой, которую вы подвергали изменениям. Как по мне такая информация тоже будет полезным бонусом к кумулятивному эффекту от фичей 🤔

📖 Если вас заинтересовали данные виды экспериментов , то предлагаю прочесть следующие статьи :

Опыт Disney
Опыт Spotify

Ну и ставьте 🔥 если было интересно