Привет! На связи Наталия Воронова, спикер курса «Дата-сайентист» 👋🏻
Разберу кейс, который часто выглядит как успех в ML, но заканчивается проблемами для бизнеса.
🟠 Ситуация
Задача — предсказание отклика клиентов на маркетинговую кампанию.
Мы обучили модель (градиентный бустинг), оптимизировали ROC-AUC и провалидировали. По метрикам — ROC-AUC вырос, и precision/recall лучше бейзлайна. Модель запускают в прод и используют для таргетинга.
Через несколько недель конверсия вроде норм, кампания работает, но прибыль падает. При этом модель формально лучше, отклики есть и ошибок нет.
🟠 В чём проблема
Оптимизировали не ту метрику. Модель училась предсказывать, кто с большей вероятностью откликнется, но бизнесу нужно было выяснить, кто принесёт деньги.
Модель начала выбирать пользователей, которые и так склонны к покупке, а также клиентов с низким чеком и аудиторию с высоким шансом отклика, но низкой ценностью.
В итоге мы тратили бюджет на тех, кто либо купил бы и без нас, либо приносил мало денег.
🟠 Где здесь ошибка?
ROC-AUC — это инструмент ранжирования. Но он не учитывает стоимость контакта, выручку и LTV. Модель правильная с точки зрения ML, но неправильная с точки зрения бизнеса.
🟠 Что мы сделали?
Переформулировали задачу. Вместо P (response) начали оптимизировать ожидаемую прибыль (expected profit).
Для каждого клиента считали:
Expected Profit = P(response) × Revenue − Cost,
где:
— Revenue — ожидаемый доход;
— Cost — стоимость контакта / акции.
Модель начала выбирать клиентов с более высоким чеком, сегменты с лучшим LTV и аудиторию, где есть реальный uplift.
Результат: меньше охват, ниже «сырая» конверсия, НО выше прибыль и эффективнее бюджет.
🟠 Почему это важно
Это типичная ошибка: оптимизируют ML-метрику и игнорируют бизнес-метрику. Особенно это встречается часто в маркетинге, churn, рекомендациях или кредитных решениях.
Если ваша метрика не связана с деньгами, вы не управляете результатом. ML-модель должна оптимизировать не accuracy / ROC-AUC, а экономический эффект.
Вы когда-нибудь сталкивались с ситуацией, когда модель лучше по метрикам, но хуже для бизнеса? Пишите в комментариях 👇🏻