ML для менеджера: главные риски (и как с ними жить) ⚠️

Новая часть из цикла постов про машинное обучение. Предыдущая часть тут.

ML-проекты славятся своей непредсказуемостью. Вот приблизительная матрица рисков.

Риск 1. Некачественные данные (пропуски, выбросы, шум)
Владелец риска: Дата-инженер / Data-Scientist
Что делать: вкладываться в EDA на старте, профилирование данных, проверка качества.

Риск 2. Смещённая выборка
Модель училась на одних данных, а применяться будет на других.
Владелец риска: Product Manager / Data-Scientist
Что делать: проверять модель на разных подгруппах, проводить анализ распределений, внедрять мониторинг дрифта.

Риск 3. Переобучение (overfitting)
Модель запомнила ответы из только обучающей выборки, но не поняла закономерности. Точность на тренировке 99%, а на тесте 70%.
Владелец риска: Data-Scientist
Что делать: увеличивать объём данных, упрощать модель.

Риск 4. Недообучение (underfitting)
Модель слишком простая для сложной задачи. В этом случае метрики покажут плохие результаты и на тренировке, и на тесте.
Владелец риска: Data-Scientist
Что делать: усложнять модель или менять алгоритм, добавлять признаки.

Риск 5. Дрифт данных и концепта
Мир меняется, модель устаревает.
Владелец риска: Data-Scientist / ML-engineer
Что делать: мониторить предсказания; регулярно переобучать, а лучше автоматизировать переобучение, проводить А/Б тесты новых версий.

Риск 6. Отсутствие гарантий
ML может выдавать абсурд в краевых случаях или на новых данных.
Владелец риска: Product Manager / Delivery Manager
Что делать: иметь fallback-сценарии, например эвристики (правила) или резервную модель; собирать обратную связь.

Риск 7. Исследовательский штопор.
Команда бесконечно улучшает модель на сотые доли процента, в погоне за идеальной метрикой.
Владелец риска: Product Manager / Delivery Manager
Что делать: фиксировать сроки или бюджет на исследования, фиксировать регулярные циклы обратной связи и демо результатов на этапе исследования, запускать MVP и улучшать в его проде, вводить критерии «достаточного» качества.

Пока писал матрицу понял, что еще мы не говорили про роли и метрики, в следующей части коротко расскажу, чтобы избежать путаницы.

🔮Управление без иллюзий. Подписывайтесь и делитесь с коллегами!

#материалы #ml