В прошлом посте мы рассказывали о построении NBA для банковских продуктов. Теперь возникает вопрос: как понять, какое действие будет лучшим для конкретного клиента?
Чтобы выбрать коммуникацию, которая принесёт максимум пользы, используем формулу ожидаемой ценности (Expected Value):
EV(x,C,Pr) = Δ(x,C,Pr)*LTV(x,Pr)-Cost(C)
x — признаки клиента;
С — канал коммуникации;
Pr — продукт;
Δ(x,C,Pr) — инкремент к вероятности подключения продукта Pr через канал С для клиента х;
Cost(C) — стоимость одной коммуникации в канале С.
Сложнее всего понять, насколько коммуникация повлияла на решение. Для этого используем Uplift — прирост вероятности подключения продукта:
Δ(x,C,Pr) = P(Y_Pr=1|At=1,C,x)-P(Y_Pr=1|At=0,C,x)
Y_Pr=1 — факт подключения продукта Pr;
At — факт коммуникации.
Здесь появляется проблема. Чтобы честно оценить влияние коммуникации, нужно знать две вещи:
• Что произошло после того, как клиент получил предложение?
• Что произошло бы, если бы он его не получил?
Для сбора статистики используют А/Б-тесты. Аудиторию случайным образом делят на две группы: одной отправляют коммуникацию, второй — нет. Затем смотрят на разницу в конверсии.
Для подобных моделей требуется огромное количество данных. В некоторых банковских продуктах конверсия в подключение после коммуникации составляет меньше 1%. То есть, чтобы построить качественную uplift-модель и накопить статистически значимый результат, нужно запустить огромное количество экспериментов.
Как мы решили эту проблему — расскажем в следующем посте.
💜 Этот пост написал Евгений Наговицын, ML-разработчик в Точка Банк