Разбираем варианты:
1️⃣ Быстро залью предыдущую версию модели
Это пожаротушение.
Может быть оправдано как временная мера, но без диагностики вы не решаете проблему, а прячете её и можете снова наткнуться на эту же проблему.
2️⃣ Перепроверю код постобработки и фичей
Отличный вариант.
Очень частая причина — прод не похож оффлайн.
3️⃣ Поставлю логгирование входов/выходов модели, сверю с оффлайном
Лучший вариант.
Это зрелый, инженерный подход: логгирование + проверка на несоответствие между тренировкой и продом. Иначе вы не поймёте, что на самом деле сломалось.
Как вариант — скомбинировать ответы, согласовать проблемы с руководством и собрать достаточное количество логов для анализа негативных эффектов. Если нужно сделать логирование, выключить на это время эксперимент. По логам проверять и метрики, и выдачи и все остальные гипотезы — с уже отключенным экспериментом и продом на откатанной версии.