Точность модели как отдельная метрика: практика «Северстали»

Руководитель службы мониторинга состояния оборудования «Северстали» Ярослав Осминкин, описал парадокс, который наблюдает много лет: большинство проектов предиктивного обслуживания фиксируют технологический успех и операционный провал одновременно. Модель дает верные прогнозы, система работает исправно, а люди продолжают ремонтировать оборудование только после поломки, игнорируя предупреждения.

Причина не в недоверии к самой технологии. По данным службы, лишь 35% критического оборудования на предприятии имеет достаточную историю отказов для построения точных моделей, а до 40% временных рядов с датчиков содержат пропуски или артефакты. Модель, обученная на таких данных, склонна к переобучению и зависима от стабильности внешних факторов: горизонт надежного прогноза сжимается до пяти-семи дней, и за его пределами точность падает без единого сообщения об ошибке.

Падение незаметно по конструкции самой системы. Модель продолжает выдавать ответ в прежнем формате: число, вероятность, рекомендацию. Формат не меняется, меняется точность внутри него, и без отдельного измерения это расхождение остается невидимым до первого крупного просчета.

У «Северстали» точность вынесена в отдельную операционную метрику. Показатель «точность прогнозов по конкретному оборудованию» встроен в систему наравне с производственными KPI. Каждое неподтвержденное предупреждение здесь фиксируется как обучающий пример: данные о фактическом результате ремонта возвращаются в модель и участвуют в очередном цикле переобучения.

Эта практика прямо отвечает на вопрос, который обычно остается открытым при внедрении модели: что именно считать сигналом деградации. Многие проекты измеряют доступность сервиса или число обработанных запросов. У «Северстали» показателем служит доля расхождений прогноза с фактом за период, измеренная на конкретной единице оборудования, а не усредненная по всему парку.

Вторая часть решения — назначенная ответственность. У предиктивной модели без владельца переобучение откладывается до заметного отказа, поскольку никто формально не следит за постепенным дрейфом точности. В «Северстали» под эту задачу выделены отдельные роли. Куратор качества данных отвечает за исходный поток с датчиков. Менеджер базы знаний ТОиР следит, чтобы результаты ремонтов возвращались в модель.

Спрос на такие роли подтверждается рынком труда. Специализация MLOps-инженера — отдельная профессия с задачей удерживать качество модели после ввода в эксплуатацию, а не только обучить ее и передать в работу. Медианная зарплата по рынку в 2026 году составляет около 227 тысяч рублей. У специалистов с опытом работы под нагрузкой диапазон поднимается до 600 тысяч, и на уровне middle и senior спрос устойчиво опережает предложение.

В методике АЦТ модели на базе машинного обучения описаны инструментом G2-04 (искусственный интеллект, 62 часа, очень сложный), а систематическая работа с исходными данными — управлением данными (H1-01, 36 часов, сложный). Связка соответствует практике «Северстали»: модель без выстроенного контура качества данных предсказуемо теряет точность быстрее, чем успевает принести пользу.

При закупке решения с элементами машинного обучения условия переобучения стоит закладывать в договор так же, как условия технической поддержки: кто измеряет точность после запуска, с какой периодичностью происходит переобучение и за чей счет. Без этих условий модель эксплуатируется до первого заметного расхождения, а не до планового технического обслуживания.