Uplift моделирование: S-learner

TL;DR
Позволяет персонализировать принятие решений, предсказывая эффект от каждого варианта решения. Особенно полезен, если вариантов много.

Почему обсуждается?
Этот пост открывает серию разборов, которые в конце будут объединены в оригинальную методологию управления бюджетом с помощью ML. Начнём с базового подхода, на котором строится стратегия персонализации.

Проблема
Нужно персонализировать выбор воздействия для максимизации целевой метрики.

Предположения
Для каждого клиента известны:
– X - набор признаков,
– T - какой из вариантов воздействия был оказан, T из {0, …, K},
– Y - каков был результат (метрика).
При этом все варианты воздействий хотя бы иногда встречаются для любых признаков. То есть P(T = t | X) > 0 при всех X и t из {0, …, K}.

Решение
Обучение:
1. Собираем обучающую выборку (X(i), T(i), Y(i)), где i - номер клиента.
2. Обучаем регрессионную ML модель f(X(i), T(i)), предсказывающую метрику Y(i).

Применение:
1. Для клиента определяем вектор признаков x.
2. Вычисляем предсказания y(t) = f(x, t) для всех t из {0, …, K}.
3. Выбираем h(x) таким, чтобы y(h(x)) = max(y(0), …, y(K)).
4. Назначаем клиенту воздействие h(x).

Полученная стратегия h - это результат uplift-модели.

Достоинства
– При достаточном качестве модели выбор воздействия будет приближаться к оптимальному.
– Если в качестве модели выбрать дерево решений, можно интерпретировать стратегию в виде понятных правил.
– В случае A/B-теста можно выделить подгруппы, где uplift-модель рекомендует разные воздействия, и проверить, что для одних людей лучше контроль, а для других - тест.
– S-learner позволяет использовать сложные воздействия, в том числе непрерывные и текстовые.

Ограничения
– Модель может не улавливать слабое различие между воздействиями, так как архитектура S-learner не заставляет модель явно учитывать эффект воздействия.
– Подход не учитывает изменения в отклике клиента на повторные воздействия, поэтому стратегия uplift модели при многократном применении может быть не оптимальна.
– Для uplift модели важна консистентность данных по времени. Если t = 0 применялся на полгода раньше, чем t = 1, модель может спутать эффект времени с эффектом воздействия.

Библиография
Основной гайд:
Python Causality Handbook: Meta Learners.
Обзор для бинарного воздействия:
Gutierrez P., Gérardy J. Y. Causal inference and uplift modelling: A review of the literature //International conference on predictive applications and APIs. – PMLR, 2017. – С. 1-13.
На русском:
Туториал по uplift моделированию.