ML для менеджера: роли и метрики (финал серии) 🧩

В прошлых постах разобрали, что такое ML, какие бывают модели, жизненный цикл и матрицу рисков. Но осталось два важных вопроса: кто это всё делает и как понять, что работает. Сегодня об этом.

Кто есть кто в ML-команде
- Data Scientist исследует данные, строит модели, подбирает признаки и алгоритмы. Отвечает за качество на валидации. С ним мы обычно начинаем и без него в проекте не обойтись.
- ML Engineer упаковывает модель в сервис, настраивает пайплайны обучения и инференса. Помогает нам подготовить и поддерживать нашу модель в проде.
- Data Engineer строит pipelines для сбора, хранения и подготовки данных. Если первые две роли нужны практически в любом проекте, то роль дата инженера порой объединяют с дата саентистом. Отдельно выделять эту роль нужно при больших объёмах данных.
- Data Analyst считает бизнес-метрики, проверяет гипотезы, помогает интерпретировать результаты A/B-тестов. Нужен для связи ML с бизнесом. Так же как и функции дата инженера, функцию аналитика можно перераспредилить на дата саентиста, но чем больше компания, тем больше потребность в выделенной роли для этих задач.
- MLOps это DevOps для ML сервисов, он так же строит инфраструктуру и конвейеры CI/CD для автоматизации обучения, деплоя и мониторинга моделей. Обеспечивает масштабируемость, воспроизводимость и надёжность ML-системы. Становится критичен при росте числа моделей (от 3–5) и требований к отказоустойчивости.

Какие метрики реально смотреть
1, Бизнесовые, они важнее всего
- ROI модели. Мы заработали больше, чем потратили на разработку и поддержку?
- Влияние на пользовательский опыт. Выросла конверсия, упали жалобы?
- Precision / Recall в бизнес-терминах. Точность 95% звучит круто, а из 100 фродеров мы пропустили 5 или ошибочно заблокировали 2 критически важных письма уже не так хорошо. Потому целевые метрики модели надо каскадировать из бизнесовых целей.

2. Технические метрики модели
- Accuracy, Precision, Recall, F1, AUC-ROC в зависимости от задачи.
- Дрейф (PSI, CSI) насколько изменилось распределение входных данных или выходных предсказаний.

3. Метрики в проде (метрики для SLO и SLA сервиса)
- Задержку инференса смотрим по p50, p95, p99 времени ответа.
- Нагрузка (RPS) сколько запросов в секунду выдерживает.
- Пропускная способность если пайплайн пакетный.

Главный принцип: метрика рождается из вопроса подробнее тут и тут
Начните с вопроса: Что будет означать успех для бизнеса?
Если нужно меньше жалоб на спам, то метрика снижение ложноположительных срабатываний.
Если хотим больше покупок по рекомендациям, то изменение конверсии и CTR.

А точность модели и другие тех метрики, это уже производная. Они могут быть хоть 99%, но бизнес-эффекта ноль.

Серия про ML для менеджера завершена. Теперь у вас есть карта: от что это вообще такое до как мерить и кто за что отвечает.
Пользуйтесь. И не бойтесь задавать дата-сайентистам неудобные вопросы.

🔮Управление без иллюзий. Подписывайтесь и делитесь с коллегами!

#материалы #ml