Взаимосвязанные метрики

Обещал написать пост про взаимосвязанные метрики и пропал на месяц 🫠 Исправляюсь!

В аналитике есть очень сложное явление — взаимосвязанные метрики. Это когда одна и та же метрика влияет на несколько других одновременно. Особенно тяжелый случай — когда она влияет в разном направлении: какую-то метрику улучшает, а другую, наоборот, убивает.

Самый показательный пример — остаток внутриигровой валюты на конец дня у пользователя. С одной стороны, эта метрика напрямую влияет на деньги: если остается слишком много «бесплатных» денег на счету, то нет мотивации покупать платные пакеты. А с другой стороны, если остаток на конец дня слишком маленький, то сильно падает retention — у человека просто нет мотивации заходить завтра, потому что он понимает: единственный способ поиграть завтра — заплатить реальных деньжат.

Получается система взаимосвязанных метрик, причем разнонаправленных (и даже противоречащих друг другу):

* Баланс на конец дня маленький → retention падает → выручка падает
* Баланс на конец дня маленький → больше покупок → выручка растет

Что с таким делать? Искать оптимум: сколько денег нужно оставлять на счету, чтобы и retention падал не сильно, и покупали при этом нормально.

Как делать это технически:

1/ Если у вас достаточно исторических данных, то можно построить две кривые: зависимость остатка баланса и retention следующего дня и зависимость остатка баланса и покупок на следующий день. И находим точку, где достигается максимум совокупного вклада в деньги.

2/ После выбора оптимума тестируем (классический A/B-тест) — действительно ли хороший оптимум мы подобрали.

3/ Если исторических данных нет — можно сразу пойти по пути A/B-теста. Но он будет долгим: тестировать нужно не 2 варианта, а много (условно, разные балансы на конец дня с шагом в 100 монет). Помимо этого, тестировать нужно не только выручку, но и retention — сразу 2 метрики.

Важно еще понимать, что для разных сегментов аудитории эти оптимумы могут быть разными. Для категории "лютые задроты" (извините, нейминг — не моя сильная сторона) можно оставлять баланс и пониже, они все равно купят. Для категории "халявщики" — скорей нужно работать над retention: много денег в моменте они не заплатят, а по чуть-чуть за счет длинного lifetime из них можно вытащить.

И таких взаимосвязанных метрик очень много — они нас окружают почти в любом виде бизнеса. Размер скидки на товар (режет маржу, но повышает спрос), остатки товара (больше потенциал продаж, но замороженные деньги) и так далее.

Интересно подробнее погрузиться в эту тему? Давайте соберем 100 разных реакций на этот пост и я поделюсь блокнотом с кодом, где построю эти самые кривые и найду точку оптимума!

И вообще — с днем знаний всех студентов и преподавателей! 🎓