Как GenAI меняет правила ведения проектов и на что бизнесу стоит обращать внимание

В классическом ML ошибки контролируются через метрики качества. В GenAI полностью исключить ошибки невозможно, поэтому система требует дополнительных механизмов контроля. Если пытаться управлять генеративными проектами так же, как традиционными ML-решениями, проект с высокой вероятностью провалится.
В предыдущих постах мы уже разобрали, чем отличаются жизненные циклы классического ML и GenAI, а также их ключевые особенности. Теперь разберем главное: почему те же правила управления не работают для генеративных проектов.

Исследование Gartner показывает: 30% GenAI-инициатив прекращаются уже после проверки концепции. Основная причина кроется не в качестве модели, а в том, что системой сложно управлять в продакшене. Среди ключевых отличий, которые меняют логику:

🔹 В классическом ML ошибки обычно заметны через ухудшение метрик качества. В GenAI некорректный ответ может выглядеть правдоподобно и не содержать явных признаков ошибки. Для снижения подобных рисков используются валидация, Human-in-the-Loop и привязка к проверенным источникам данных (RAG).

🔹 В классическом ML основные риски — дрифт данных и деградация метрик. В GenAI добавляются новые категории:
— Безопасность данных — использование внешних LLM-сервисов требует контроля за тем, какие внутренние данные передаются модели и где они обрабатываются;
— Промпт-инъекции — специально сформулированный ввод может изменить поведение модели, обойти ограничения или привести к раскрытию конфиденциальной информации;
— Юридические риски — нарушение лицензий или генерация запрещенного контента;
— Операционные риски — общие затраты на генерацию растут вместе с объемом использования, а высокие задержки могут сделать систему непригодной для отдельных бизнес-сценариев.

🔹 В классическом ML качество модели обычно оценивается через фиксированный набор метрик. GenAI на один и тот же запрос может дать разные ответы, а метрики становятся контекстными: релевантность, корректность, уровень галлюцинаций. Их оценивают через вспомогательные модели (LLM-as-a-Judge) или экспертную оценку. Нельзя просто достичь целевых показателей, нужно калибровать качество под каждый кейс.

🔹 В ML основные затраты — на данные и обучение, инференс не требует больших вложений. В GenAI каждый запрос = токены = деньги. Даже успешные GenAI-продукты часто убыточны, т.к. затраты на инфраструктуру растут быстрее выручки. Некоторые проекты закрывают, потому что стоимость одного ответа превышает бизнес-ценность. Например, OpenAI Sora требовал около $1 млн в день на вычисления, что сделало его экономически нецелесообразным и привело к закрытию.

GenAI требует вероятностного мышления, встроенного риск-менеджмента и постоянного контроля экономики. Без этого даже технологически успешный проект может не принести бизнесу ожидаемого эффекта.