🎏 Прокси метрики в АБ тестах
Сегодня предлагаю провести дискуссию по способам поиска и валидации прокси-метрик для экспериментов, у меня нет большого опыта в этом направлении, поэтому буду рад если читатели поделятся своими наработками в этом вопросе.


✅ Что такое прокси метрики?
Это метрики, которые более чувствительны и могут показать стат. значимый результат раньше чем целевая метрика. Например, как вариант, прокси метрикой для коэффициента конверсии в интернет магазине может быть коэффициент конверсии добавления товара в корзину или просмотр 3 карточек товара или добавление товара в избранное.

Как правило для эксперимента с прокси метриками требуется меньше трафика, что позволяет ускорить экспы и увеличить их количество. Но также с прокси метриками может быть много проблем. Они менее точные чем целевая, не все кто добавляет товары в корзину в итоге их купит.

В некоторых случаях целевая и прокси метрика могут вообще показывать противоположные результаты. Прокси улучшилась, а целевая ухудшилась.

Ниже я собрал несколько способов поиска и валидации прокси метрик, которые мне кажется заслуживают внимания, если у вас есть дополнения или критика вэлком в комментарии.


✅ Как искать кандидатов на роль прокси метрик?
1. Здравый смысл и понимание причинно-следственной связи. Метрика должна быть связана с целями бизнеса и целевой метрикой (NSM), входить в иерархию метрик бизнеса.

2. Прокси метрика должна быть со направлена и иметь корреляцию с целевой метрикой

3. Разработка прокси метрик на основе фичей ml модели которые имеют большой вес при прогнозировании целевой метрики.


✅ Как валидировать выбранные метрики?
1. Ухудшающие эксперименты. Ухудшенный вариант должен показывать падение целевой и прокси метрики относительно контрольного варианта.

2. Анализ прошедших экспериментов. Берем эксперименты связанные с целевой метрикой и проверяем, что в тестовом варианте целевая и прокси метрика изменяются со направлено.


✅ Дополнительные материалы
Ниже 3 статьи о том как retail rocket искали и разрабатывали прокси метрики
Часть 1
Часть 2
Часть 3