Представьте, что вы аналитик в крупном интернет-магазине одежды. Вы провели исследование и поняли, что посетители сайта слабо кликают на карточки ваших товаров (т.е. низкий CTR). Изучив все факторы, вы увидели, что основная причина — плохие фотографии на карточках. Они сделаны на любительскую камеру и товары не выглядят сочно: не манят, так сказать))

Вы передаете задачку в отдел контента и они обновляют фотографии на новые. Так как живем мы в эпоху AI, ребята сильно не парились — загрузили исходник в ИИшку и просто нагенерировали новых (и очень крутых!) фотографий для обложки.

Смотрим пару дней — CTR стабильно вырос и не падает. Кажется, получилось!

Но не все так просто. Проходит еще пару дней и добрая половина заказов возвращается обратно на склад — покупатели отказались после примерки (хотя обычно выкуп был около 80%)!

Это абсолютно классическая ситуация в аналитике — мы вырастили одну метрику, но сломали другую. Как говорил мой сантехник после работы электриков: «одно лечим, другое калечим» ☝️

Но есть метрики, которые ронять ни в коем случае нельзя. Они называются guardrail метрики или «барьерные», выражаясь православно. Как правило, такими метриками выступают средний чек, финальная конверсия в продажу, LTV и другие «фундаментальные» показатели.

Обратите внимание, я написал, что именно «финальная конверсия» является guardrail метрикой, а не «конверсия в выкуп». Потому что, вообще говоря, даже если упала конверсия в выкуп, но при этом с учетом роста CTR мы зарабатываем в такой конфигурации больше денег — почему бы и нет) Единственное исключение — если мы сами выбрали для себя метрику «конверсия в выкуп» барьерной, т.к. на наш взгляд, например, низкий выкуп вредит нашему бренду или это просто дорого с точки зрения логистики.

В общем, при любых изменениях всегда задумывайтесь — а не сломаете ли вы чего-нибудь в другом месте. А потом еще обязательно проверяйте.

Кстати, по совершенно «необъяснимой» причине, как правило страдают следующие метрики:
➖ Которые не входят в KPI сотрудника (например, KPI таргетолога завязан на стоимость лида, он ее снижает, но CAC только растет, потому что он нагоняет некачественный трафик)
➖ KPI другого отдела (например, у маркетологов стоит KPI на количество лидов, они набирают их всякими читерскими механиками, а доля квалифицированных лидов падает вместе со сквозной конверсией в продажу — если в компании не умеют отслеживать долю квала, то по шапке получает отдел продаж)
➖ Метрики, которые проявляются со временем (например, у продакта стоит KPI на первую оплату, он всеми способами ее поднимает, но retention при этом падает — а понять мы это сможем только через полгода)

Возможно и у вас в компании есть метрики, которые не помешало бы сделать барьерными прямо сейчас?)

— 🔥 — мои изменения всегда идеальны!
— 🤓 — Андрон, не пали контору
— 🤡 — предлагаю барьерной сделать мою зарплату, она точно падать не должна