Внимание-внимание, это рубрика «ML в реальной жизни» и у нас пятая задача

Мы продолжаем нашу рубрику, где задаем ситуации, с которыми сталкиваются ML/DS-команды в продакшене. В этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.

Поэтому, если хотите, чтобы рубрика была вам максимально полезна, важно не просто выбрать вариант, а объяснить в комментариях:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали

Сегодня у нас ситуация №5:

Ситуация: метрики растут, а пользователи уходят

Контекст:
Вы обновили рекомендательную модель. Offline-метрики улучшились, A/B-тест показывает рост CTR. Но через неделю поддержка фиксирует волну жалоб: "Рекомендации стали однообразными", "Попадает не то". Бизнес в замешательстве: "Метрики же растут?"

Что будете делать в первую очередь?

Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside