Привет! На связи Илья Ковалёв, старший аналитик данных в Dodo Brands и автор канала про аналитику кусочек пиццы 👋🏻
У аналитиков время от времени просят оценить эффект всех запущенных фич за год. Может показаться, что если сложить аплифты всех успешных A/B-тестов, то мы как раз и получим искомый результат.
На самом деле нет.
Проблема в том, что мы привыкли оценивать эффекты изолированно — для каждой отдельной фичи в рамках каждого конкретного эксперимента. Но мы забываем про совокупный эффект (Cumulative Effect) и взаимодействие изменений.
Возможно, новые пуши раздражают пользователей, пришедших к нам из-за новой фичи, и увеличивают отток. В изолированных тестах оба изменения зелёные 🟢. Вместе они могут гасить друг друга и не давать прокрасы или, что хуже, убивать LTV.
Чтобы понять, как все наши изменения в сумме влияют на пользователя на длинной дистанции, обычного A/B-теста недостаточно. Нам нужна глобальная контрольная группа (ГКГ/ГЦГ).
ГКГ (global holdout group) — это сегмент пользователей, который изолируется от всех (или большинства) изменений и маркетинговых коммуникаций на длительный срок.
Если в классическом тесте мы держим контроль 2 недели, то ГКГ живет 3, 6 или 12 месяцев. Это наша «тихая гавань» в шторме релизов.
Как это работает на практике?
Механика внедрения обычно делится на два типа, у каждого свои плюсы и минусы.
🏘 Тип 1. Статическая ГКГ (Static Holdout)
Вы просто отрезаете кусок аудитории (например, 5% по User ID) и «замораживаете» их навсегда.
➕ Плюс: идеально чистые данные для расчета LTV — вы точно знаете историю каждого пользователя.
➖ Минус: со временем эта группа «протухает». Пользователи, живущие в продукте год (а то и больше), отличаются от новичков. Группа перестаёт быть репрезентативной и оценка эффектов становится нечестной.
🎢 Тип 2. Ротируемая ГКГ (Rolling Holdout)
Пользователи попадают в контроль на фиксированное время (например, на 90 дней), а затем возвращаются в общую массу, заменяясь новыми.
➕ Плюс: выборка всегда свежая, нет смещения (bias).
➖ Минус: сложнее математика. Вы не можете оценить эффекты длиннее окна ротации.
Главное ограничение использования ГКГ: «Мы теряем деньги!»
Внедрение ГКГ — это всегда битва с заказчиками. Маркетинг кричит: «Если мы не отправим промокоды этим 5% людей, мы недополучим миллионы выручки!».
Здесь важно объяснить два момента:
🟠 Мы не теряем, мы инвестируем в знание.
🟠 Без ГКГ мы летим вслепую. Мы можем тратить бюджет на SMS, которые не приносят инкрементальной выручки. Стоимость ГКГ — это плата за то, чтобы не сжигать бюджет впустую на остальной базе.
Эффект может быть обратным. Бывают кейсы, когда глобальная контрольная группа показывает LTV выше, чем основная база. Это значит, что ваши коммуникации настолько назойливы, что вы не зарабатываете, а теряете деньги на маркетинге. Без ГКГ вы бы никогда об этом не узнали.
Резюмирую: если ваш продукт предполагает длительные отношения с клиентом (подписка, банкинг, e-commerce, телеком) — локальных тестов мало. Локальный тест отвечает на вопрос: «Как эта кнопка влияет на клики сегодня?» ГКГ отвечает на вопрос: «Становится ли наш бизнес здоровее от всего, что мы делаем?».
Ставьте реакции, если было полезно!
📈 Симулейтив | ВК | YouTube