Привет, коллеги! На связи Евгений Буторин, руководитель CRM-аналитики в Альфа Банке 👋🏻
Делюсь свежим (и поучительным) кейсом из нашей практики по A/B-тестам. Мы тестировали изменения в push + email-цепочке, чтобы поднять пост-коммуникационную активность клиентов.
😶 Что тестировали
Гипотеза: новая версия сообщения (более персонализированный текст + эмодзи + вечерний тайминг) даст больший прирост (lift) в активности или активации клиентов, чем старая.
➖ Группа A (контроль): старая коммуникация
➖ Группа B (тест): новая версия
Метрики:
➖ Активность клиента в Т0 — активность в месяце отправки коммуникации;
➖ Активность клиента в Т1 — активность клиента на следующий месяц после отправки коммуникации.
😶 Выборка и дизайн
Целевая база: 100 тысяч клиентов. Группы стратифицировали по активности, сегменту, времени жизни клиента, тарифу и каналу привлечения.
Период проведения: 1 месяц проведения + 1 месяц вызревания.
😶 Результаты на первый взгляд
Группа B показала рост активности на 11% в Т0 и на 7% в Т1. На первый взгляд мы решили, что пилот успешен, пока не сравнили профили клиентов по сторонним коммуникациям.
😶 Главная ошибка
При стратификации мы не учли параллельные коммуникации вне этого пилота. Даже при том, что на A/B-группы по этому тесту коммуникации были строго разделены, клиенты продолжали получать триггерные рассылки, другие промо, емейлы и SMS от параллельных кампаний, win-back и сервисные рассылки.
В итоге в группах A и B оказалась разная «загрязнённость» дополнительными касаниями: в B случайно попало на 15–20% больше параллельных коммуникаций, чем в A. Это создало искажённое представление об успешности пилота — часть lift’а мы приписали нашей новой версии, хотя на деле был эффект синергии (или каннибализации) от других каналов.
Как исправляли постфактум:
🟠 Собрали полную историю всех коммуникаций (1 месяц от запуска пилота) по каждому клиенту;
🟠 Ввели новую стратификационную переменную «communication load» с типом и количеством касаний;
🟠 Перестратифицировали обе группы заново, создав чистые эквивалентные группы;
🟠 Заново пересчитали эффекты от пилота: реальный эффект нашей коммуникации упал до +4% в Т0 и +1% в Т1.
Положительный результат пилота сохранился, но значения значительно снизились.
😶 Что теперь делаем обязательно
Перед запуском любого теста коммуникаций проводим обязательный аудит параллельных кампаний. В дизайне всегда включаем глобальную контрольную группу без тестовой коммуникации + стараемся изолировать группы от внешнего шума. Если шум неизбежен, то тест должен быть крупнее и дольше, чтобы шум усреднился.
Хотите строить эффективные тесты и избегать ошибок? Записывайтесь на курс по A/B-тестированию, где под руководством опытного специалиста вы начнёте проводить эксперименты, которые покажут вам реальные выводы и приведут к выгодным решениям!
📈 Записаться на курс: simulative.ru/ab-test
📈 Симулейтив | ВК | YouTube