Офлайн-метрики выросли, ревью пройдено, релиз-чеклист закрыт — а модель в проде показывает совсем не то, что обещала на тесте 👀

Владимир Вейгандт, senior ML-инженер команды лояльности RWB, помог разобраться, откуда берётся этот разрыв: почему распределение данных «уезжает» без предупреждения, как в обучающую выборку случайно просачиваются данные из будущего и почему безобидная на первый взгляд ошибка в разбиении train/test может стоить недели работы.

➡️ Еще рассказали про кейс из практики RWB — про то, как каталог вырос на 150 миллионов товаров за три месяца и что при этом произошло с моделью.

@rwb_delaet_ml