Устали от «идеальных» ML-кейсов?

Где данные всегда чистые, метрики стабильные, а модель после обучения сразу готова к продакшену. Ведь в реальной работе всё иначе: метрики могут упасть за ночь, данные – измениться, а решение нужно принимать быстро, да еще и с неполной информацией.

Поэтому мы запускаем новую рубрику «ML в реальной жизни» – здесь будут ситуации, с которыми сталкиваются ML/DS-команды в продакшене. Сразу же предупредим, что в этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.

Поэтому, если хотите, чтобы рубрика была вам максимально полезна, в комментариях важно не просто выбрать вариант, а объяснить:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали

Сегодня у нас ситуация №1:

Ситуация:
Метрики упали на 40% за ночь

Контекст:
В продакшене работает модель прогнозирования оттока. Утром вы видите:
— precision упал с 0.82 до 0.49
— recall — с 0.76 до 0.41

Последний деплой модели был 3 дня назад, изменений в пайплайне не было. Данные поступают из того же источника.

Внимание, вопрос:
Что будете делать в первую очередь?

Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside