10 декабря вышла статья от X5 Tech 🖤, как подбирать прокси-метрики.
Кстати, эта тема была на aha'25, но теперь есть и на Хабр 🐸
Здесь указано про проблемы North Star Metric: мелкие эффекты сложно задетектировать, тактические задачи не решают и все такое. Добавлю, что зачастую такие метрики имеют высокий MDE и эксперименты оказываются не сильно чувствительными 🤓
Предположим у нас есть продукт, где основной метрикой является GMV, в качестве прокси-метрики может быть выбрана конверсия в заказ, так как она более чувствительная. Быстрее прокрашивается и сонаправлена с метрикой (в предыдущих экспериментах).
📊 Красивая визуализация показывает, как должны вести себя прокси-метрики: либо ловить больший эффект, либо быстрее реагировать на воздействие.
1. Одно из самых важных — это уметь переходить к причинности. Поэтому здесь рассматриваются: Дерево метрик, Causal Inference.
2. Указали про качество прокси: метрика должна быть чувствительной и сонаправленной. Классика, когда мы выбираем метрику, на которую хотим опираться при принятии решений в эксперимента
3. Про составные прокси метрики: нашли метрики, а что делать с ними дальше, какие выбрать: те, которые более чувствительные или сонаправленные? Решается с помощью Парето-оптимизации
4. Про предсказания. Что если не можем ждать долго пока прокрасится NSM, можем использовать ее прогноз на основе быстрых метрик, которые в теории могут являться прокси. В статье указывается пример: сколько будут зарабатывать студенты после прохождения курсов переквалификации.
5. Делаем поправки. Чем хуже модель предсказывает NSM, тем сильнее нужно корректировать оценку. Однако, при корректировке мы еще снижаем чувствительность.
6. А нужно ли вообще бежать все подряд использовать? Нужно все проверять и смотреть, а может NSM сам по себе чувствительный (например, в B2C продуктах с многомиллионной аудиторией) 🍪🍪
Очень зашла статья, как и выступление 😇
Ставьте 🤪, если понравилась. Делитесь, удалось ли в продукте выделить прокси-метрики? Если да, то насколько удалось увеличить чувствительность экспериментов?
@zasql_python