📉МЛ, который тихо вредит бизнесу

Давно не было постов — надо исправляться. Начну с истории, которая повторилась у меня уже в 3 компаниях)
После одного из реоргов моей команде в наследство досталась куча ML-проектов — один из них price recommender (модель, рекомендующая среднюю «правильную» цену за ночь при регистрации апартаментов для их сдачи). Всё считалось рабочим, трогать не предполагалось.
Но оказалось — мл-модель должным образом не обновлялась больше года, и никто за это время не перемерял её эффект на ключевую метрику.
📐Что сделали - построили распределения цены, спроса, от времени, и заметили подозрительную корреляцию между тем, как применяется/меняется цена, и целевой метрикой. Чтобы проверить более чисто, собрали offline-симуляцию и после запустили пару blackout экспериментов — выключили фичу для контрольной группы и в другой группе построили простой бейзлайн.
Что вышло. МЛ-модель оказалась не нейтральной, а сильно негативной.📉 «Умная» мл-модель тихо делала хуже, чем её отсутствие. Мы её выключили — и, по словам комитета DS-ов, такого сильного движения в A/B давно не было ) Это и был импакт, без единой новой строчки кода.😀
Забавно, что в предыдущей и в следующей компании были очень похожие истории. Правда в последней —рекомендательная система прожила в проде всего 3–4 месяца с негативным эффектом. Но там дело было в другом: постоянно «менялись» инженеры-владельцы, и мониторинг постоянно перенастраивался.

🚀 Мораль: иногда самый большой импакт от унаследованного устоявшегося ML-решения в компании приносит кнопка «выключить это МЛ решение», построить честный baseline и уже от него отталкиваться к чему-то сложному, ну и настривать весь мл-опс пайплайн, устойчивым к изменениям)