Испания стала чемпионом мира, хотя четыре команды забили больше голов. У неё только 13 за весь турнир, при этом всего один пропущенный мяч и шесть сухих матчей.
Это кажется странным: победитель не стал лидером по самой очевидной футбольной метрике — забитым мячам.
⚽️ Но цель чемпионата — не много забить, а выиграть турнир, — просто измерить её можно только в самом конце. А до этого приходится смотреть на промежуточные показатели: победы в отдельных матчах, созданные моменты, надёжность защиты. Это помогает оценить игру, но не заменит итоговый результат.
⚽️ В продуктовых экспериментах часто происходит то же самое. Например, мы начинаем рекомендовать продавцам новые ставки на продвижение и хотим в итоге увеличить выручку.
На коротком горизонте можно посмотреть, принимают ли пользователи наши рекомендации и растут ли ставки. Это быстрая прокси: она показывает, что рекомендации действительно изменили поведение продавцов.
Но деньги могут не вырасти сразу или вообще не вырасти 🤭. Многие продавцы заранее пополняют баланс: после повышения ставок они сначала быстрее расходуют уже внесённый аванс и только потом начинают пополнять его чаще или на большие суммы.
Поэтому рост ставок ещё не доказывает долгосрочный эффект. Как и отсутствие роста пополнений в первые недели не значит, что рекомендации не работают.
⚽️ Краткосрочная прокси нужна, чтобы быстро увидеть изменение в поведении пользователей. А долгосрочная метрика — чтобы проверить, принесло ли оно бизнесу деньги.
Испания не была первой по количеству голов, но стала первой по итогам турнира. Так же и прокси-метрика: она помогает увидеть ранний эффект, но не заменяет конечный результат.
❓А вы готовы раскатить эксперимент по прокси или всегда ждёте прокрас конечной метрики?