AgentOps: как поставить разработку ИИ-агентов на поток

Я привык все повторяющиеся процессы превращать в Ops.

Есть DevOps, MLOps, DataOps и так далее. С ИИ-агентами происходит та же история.

Недостаточно один раз собрать агента и считать задачу завершенной.

Разработка агентов должна стать постоянной операционкой.

Этот цикл называется AgentOps.

Сам фреймворк можно разделить на шесть этапов: анализ процесса, разработка, внедрение, дообучение, тестирование и мониторинг агента.

1. Анализ процесса

Сначала нужно определить цель.

Допустим, мы хотим ускорить обработку заявок.

После этого описываем процесс таким, какой он существует сейчас, — AS-IS.

Кто выполняет каждую операцию, какие данные использует, где принимает решения, где возникают задержки и где происходят ошибки.

Затем проектируем TO-BE.

Тут наша задача не в том, чтобы взять существующий процесс и просто впихнуть в него ИИ-агента.

Нужно редизайнить сам процесс с учетом того, что часть операций теперь может быть не нужна.

2. Разработка агента

Мы определяем роль агента, логику его работы, граф навыков, модели, инструменты и контекст.

Где достаточно детерминированного кода, а где действительно нужна модель.

Например, проверять заполненность обязательного поля надежнее кодом.

А понимать содержание письма и формулировать ответ уже имеет смысл отдавать модели.

На этом этапе появляется рабочий прототип.

Но прототип еще не является полноценным агентом внутри компании. Таких можно сделать сотни, но на бизнес это никак не повлияет.

3. Внедрение

Агента нужно подключить к реальным источникам данных: CRM, ERP, почте, базе знаний, внутренним API и другим корпоративным сервисам.

Здесь сразу становится видно реальное состояние ИИ-зрелости компании.

Можно собрать очень умного агента, который умеет рассуждать, но если данные разбросаны по разным системам или к ним нет доступа, то такой агент ничего полезного сделать не сможет.

4. Дообучение

После подключения к реальному процессу агент начинает сталкиваться с настоящими кейсами, исключениями и ошибками.

Здесь появляется постоянная обратная связь.

Мы исправляем промпты, добавляем контекст, собираем хорошие и плохие примеры, размечаем решения сотрудников и постепенно накапливаем собственный датасет.

Если промптов уже недостаточно, можно переходить к дообучению модели под конкретную задачу.

Так универсальная модель превращается в корпоративного специалиста, который понимает логику принятия решений.

Причем этот датасет становится отдельным активом компании.

В интернете невозможно найти информацию о том, какое решение именно в вашей организации считается правильным.

Эти знания находятся в головах людей.

Когда сотрудники исправляют работу агента, часть этого неявного знания постепенно превращается в данные.

5. Тестирование

После этого агента нужно проверить на реальном бизнес-процессе.

Мы в самом начале выбрали конкретную бизнес-метрику.

Значит, теперь берем один процесс и сравниваем, как он работает без агента и с агентом.

Смотрим скорость, стоимость, количество ошибок, нагрузку на сотрудников или другие показатели, которые важны для конкретного процесса.

Если эффект есть и при этом не деградируют остальные важные показатели, решение можно масштабировать.

Но на этом работа не заканчивается.

6. Мониторинг

После выхода агента в продакшен начинается мониторинг.

Нужно постоянно смотреть, как агент работает на реальных данных, не падает ли качество, не появляются ли новые типы ошибок, не выросла ли стоимость выполнения операции и не деградировала ли сама модель.

Для этого нужен полноценный дашборд, где есть логи, трейсы, метрики, алерты и контроль доступа.

Если мониторинг показывает проблему, мы возвращаем агента обратно в цикл.

Собираем новые примеры, исправляем промпты, обновляем контекст, при необходимости дообучаем, снова тестируем и выкатываем новую версию.

Разработка ИИ-агентов — это важный навык для AI-First компании.

Чем лучше компания умеет проходить цикл AgentOps, тем выше ее реальная ИИ-зрелость.

Каждый из этих этапов мы будем разбирать отдельно в последующих статьях.

👉 Полная статья