Инсайты за год работы в сфере целевого маркетинга
> Часть 3️⃣: Правильные выводы из экспериментов 🔬

Хотим сделать какой-то глобальный вывод о том, как лучше развивать ЦК. Например, мы задались вопросом "какая частота коммуникаций лучше, текущая или вдвое чаще?". Делим базу на две равных части и начинаем коммуницировать с ними с разной частотой. Спустя достаточное для статистической значимости результата время подводим выводы о влиянии этого различия на ту метрику, которую считаем целевой.

Допустим, мы видим. что по количеству заказов по LSC двух групп нет статистически значимой разницы. Значит, нет разницы, как часто мы коммуницируем - клиентов устроят оба варианта. Верно?

А вот и нет. Смотря на картину с высоты птичьего полёта мы теряем важные детали. На самом деле, отсутствие разницы между целевой и контрольной группу обусловлено тем, что внутри двух больших сплитов есть
✦ такие группы, для которых метрика ухудшилась
✦ такие группы, для которых метрика улучшилась
✦ такие, для которых метрика не изменилась

Например, (минутка сексизма):
✦ мужчины трудяги не читают промо в почте чаще, чем раз в неделю, и им глубоко пофиг, сколько там писем от кажой конкретной компании
✦ а домохозяйки только так и развлекаются, реагируя моментально на каждое уведомление на телефоне, и вероятность получить от них заказ выше у того из конкурентов, кто написал именно в тот момент, когда ребёнок уснул
✦ но старпёров бизнесменов, не умеющих настраивать сортировку почты и отключать оповещения на телефоне, задолбает постоянная вибрация во время важных встреч, и они просто отпишутся

То есть, да, с точки зрения метрик всей базы пофиг, какую частоту коммуникаций мы будем дальше использовать. Но забурившись глубже в сегментацию можно сделать значительно более качественные выводы - выбрав разный подход для разных сегментов можно прокачать целевую метрику. Однако, это существенные дополнительные затраты ресурсов аналитиков на выявление сегментов с разницей в поведении и существенно более сложный дизайн эксперимента, поэтому здравый смысл никто не отменял.

❗️Вывод: мерить "среднюю температуру по больнице" стоит только в тех случаях, когда другого выхода не остаётся, или альтернатива необоснованно дорогая в реализации.

#product #direct_marketing #marketing