Сегодня расскажу про кейс, с которым сталкиваются все отделы B2B во всех компаниях, где есть такой принцип взаимодействия.
Давайте предположим, что у вас есть продукт, в котором есть команда персональных менеджеров, которые продают ваш продукт крупным клиентам (другому бизнесу). Идёт время, ваш бизнес растёт, клиентов становится больше, менеджеры успешно обучают работать с вашим продуктом всех ключевых партнёров. И вот, спустя время, встаёт вопрос, а как оценить эффективность работы менеджеров?Попробуем переложить этот кейс на языке более близком к математике, ведь работа продуктового аналитика, основывается на математических моделях:
От нас требуется показать, как взаимодействие менеджера в каждый момент времени влияет на выручку компании (это основной индикатор в любом бизнесе).
Что можно сделать для этого?
Надо каким-то образом создать модель, которая бы отражала поведение наших клиентов, выраженное в выручке, в случае когда бы они не подвергались взаимодействию со стороны наших менеджеров. Имея эту модель, мы можем получить фактически uplift наших менеджеров, как разницу между фактов и результатом моделирования.
Звучит
Какие подходы в целом на данный момент помогут хорошо решить эту задачу?
В целом только два:
1. Созданием модели через аналитику временных рядов (классический ML или классические модели временных рядов)
2. Использование синтетического контроля - это когда мы подбираем к клиентам из тестовой группы, те, что подверглись взаимодействию со стороны менеджеров, клиентов из контрольной группы (если вообще их можно найти) - клиенты, с которыми менеджеры невзаимодействовали или взаимодействовали довольно давно.
Что значит подбираем?
Всё очень просто - клиенты должны быть похожи по определённым признакам друг на друга.
Далее мы поговорим о каждом из методов, о моделях и о сложностях, с которыми приходится сталкиваться.
(если знаете ещё какие-то методы, то пишите в комментарии)