Общий аттеншн, на связи рубрика «ML в реальной жизни» и у нас шестая задача

Мы продолжаем нашу рубрику, где задаем ситуации, с которыми сталкиваются ML/DS-команды в продакшене. В этой рубрике нет единственно правильных ответов. Её цель – научиться рассуждать, обсуждать подходы и смотреть на проблемы с разных сторон.

Поэтому, если хотите, чтобы рубрика была вам максимально полезна, важно не просто выбрать вариант, а объяснить в комментариях:
— почему выбрали именно его
— что бы вы проверяли
— какие риски вы бы учитывали

Сегодня у нас ситуация №6

Ситуация: модель переобучилась. Но об этом никто не знает

Контекст:
Вы заметили, что модель на валидации показывает отличные метрики, но на свежих данных в продакшене качество постепенно снижается. При этом мониторинг не бьёт тревогу – формально всё в пределах допустимого. Команда занята другими задачами, бизнес доволен текущими результатами.

Что будете делать в первую очередь?

Все посты этой рубрики можно будет посмотреть по тэгу: #риллайф_MLinside