На днях на платформе Вайти, DIY-медиа для ИТ-специалистов, вышла статья Никиты Гладких “Почему ML-модель может работать идеально… и все равно быть сломанной“, посвященная критически важному аспекту эксплуатации машинного обучения — обеспечению наблюдаемости для ML-моделей в производственной среде.
“Новая боль SRE: привычный инструментарий (логи, метрики, трейсы, uptime) не дает ответа на вопрос, адекватна ли ML-модель на проде. Для этого нужна отдельная система ML-observability. По сути, это набор «умных датчиков», которые смотрят не на инфраструктуру, а на поведение модели в изменяющемся мире: на то, что она принимает на вход, что выдает и как это соотносится с тем, что было раньше”.
Ознакомиться с материалом можно по ссылке
