Ошибка «поверхностных выводов» - часть 2 🔥

В прошлом посте я рассказал про поверхностные выводы и привел конкретные примеры, когда эта ошибка может привести к сливу миллионных бюджетов и времени.

Этот пост быстро набрал 40 китов 🐳, поэтому, как и обещал, выкладываю подборку еще 3 примеров с ошибкой поверхностных выводов. На этот раз рассмотрим другие метрики - не только рекламные:

* метрики удержания (retention, LTV)
* метрики качества продукта (NPS)
* технические метрики (activation rate)

# Пример 1

В феврале мы запустили рекламную кампанию. В марте - другую. В апреле - опять поменяли. Основная цель была - привлекать более вовлеченную аудиторию и увеличивать количество денег. Сервис развивается по модели подписки. Замерили n-day retention 90 дня и получили такие показатели:

* когорта февраля - 38%
* когорта марта - 31%
* когорта апреля - 43%

Поверхностный вывод: Самое большое удержание у апрельской когорты, значит эта рекламная кампания самая эффективная и нужно ее масштабировать.

Реальность: Когорта апреля показывает самый высокий retention, но и самый низкий LTV. То есть пользователи активные, но подписку не покупают.

Последствия: Влили деньги в неэффективную с точки зрения ROI кампанию, слили рекламный бюджет, ушли в минус.

# Пример 2

Мы проводим опрос пользователей о том, насколько они довольны нашим продуктом (производим замер метрики NPS). Просим всех пользователей заполнить анкетку.

Поверхностный вывод: Заполнено 350 анкет, средний NPS составил 89%. Получается, мы красавчики.

Реальность: У нас еще 2000 пользователей, которые плюются от качества наших продуктов - они поставили бы не больше 10%, но настолько раздражены, что даже не стали заполнять анкету.

Последствия: Мы продолжаем делать плохой продукт, тратим деньги на разработку и маркетинг, но на масштабе наша финансовая модель становится все более убыточной.

# Пример 3

При регистрации в нашем сервисе пользователь получает письмо на почту и должен подтвердить свой email-адрес. На данный момент у нас % активации составляет всего 40% - это очень низкий показатель. Мы работаем над его увеличением.

Поверхностный вывод: Пользователям не нравится, как мы шлем им письма. Мы экспериментируем с дизайном, с формулировками, с почтовыми сервисами.

Реальность: У нас не настроены DNS-записи на корпоративной почте и большинство писем просто не доходят до своих адресатов (как раз примерно 60%).

Последствия: Мы теряем 60% базы клиентов и тратим кучу времени на улучшение того, что и так работает.

# Заключение

Если вам зашел этот пост - ставьте огонечек 🔥

А когда этот пост соберет 60 реакций 🔥, я расскажу про разные виды retention и в каких ситуациях нужен каждый из них.