В прошлом посте разбирали систему метрик по трём разрезам: уровням продукта, пути пользователя и связям между метриками. Но тут есть парадокс: метрик может считаться много, а решения всё равно принимаются медленно. Давайте посмотрим, как метрики, наоборот, могут ускорять принятие решений.
1⃣ Запаздывающая метрика (Lagging metric)
Обычно это ключевая бизнес-метрика, которая фиксируется с задержкой из-за природы бизнес-процесса: длинный цикл сделки, долгий процесс оплаты, длинная атрибуция.
Руководство обычно ставит задачи продакту в терминах бизнес-метрик (метрик роста – выручка, GMV, число заказов), а они по своей природе запаздывающие.
Чтобы грамотно работать с такими метриками, нужно:
– валидировать связь с прокси- и опережающими метриками (а для опережающих ещё и скорость их реакции);
– валидировать точность прогноза для корректной оценки эффекта.
Об этом и поговорим ниже ⬇
2⃣ Прокси-метрика (Proxy metric)
Косвенный показатель, который используют вместо целевой метрики, когда её напрямую отследить сложно. Прокси-метрика не обязана быстро реагировать на изменения в продукте, но должна хорошо коррелировать с главной метрикой, и эту связь стоит подтвердить данными.
Прокси-метрику имеет смысл использовать, когда основная метрика:
– проявляется с большим временным лагом (на моей практике, если дольше недели, то уже долго), и чтобы набрать статистически значимое количество данных для решения, приходится ждать недели или дольше. Например, LTV считается долго, а Retention на 3-5-7 день уже быстрее;
– сильно «шумит», например, из-за сезонности или параллельных активностей вроде акций и распродаж, из-за чего сложно понять, реальный это тренд или разовый всплеск;
– сложно измерима напрямую, например, «формирование устойчивой привычки» не пощупать напрямую, поэтому её измеряют через пороговое поведенческое действие. Пример Slack: команды, обменявшиеся 2 000+ сообщениями, дальше удерживались с Retention около 93%.
Главные свойства хороших прокси-метрик: они привязаны к механизму создания добавочной ценности, поэтому их сложно «накрутить» без реальных продуктовых улучшений, и в паре к ним подобраны заградительные метрики (об этом в следующем посте).
3⃣ Опережающая метрика (Leading metric)
Метрика, которая быстро реагирует на изменения и имеет понятную причинно-следственную связь с основным показателем. Главная ценность опережающих метрик – сокращение цикла обратной связи: они позволяют спрогнозировать изменение основной метрики до того, как оно фактически произойдёт (если метрика X растёт на Y%, ожидаем рост Z на N%).
Например: число trial-пользователей → число платных через 14 дней.
Многие не проводят чёткой границы между прокси- и опережающими метриками и это справедливо, ведь одна и та же метрика может быть и тем, и другим одновременно. Например, CR в регистрацию может быть прокси для CR в оплату/подписку и одновременно опережающей метрикой для прогноза доходов.
Различить тип метрики поможет вопрос: почему вы смотрите именно на эту метрику потому что основную сложно измерить, или потому что нужна скорость?
В первом случае перед вами прокси-метрика, во втором – опережающая метрика.
CR в регистрацию как прокси для оплаты остаётся ориентиром даже после того, как накопится статистика по оплатам – она всё равно может ещё долго шуметь. А тот же CR, если его используют для прогноза выручки, теряет смысл, как только пришли фактические данные по выручке.
Но получить сигнал быстрее – не значит получить сигнал, которому можно доверять 🥲
Об этом в следующем посте цикла 🔍