Прекрасная история, как мультиагентная AI система слила $47,000 после запуска в продакшен. И как этого избежать. Учимся на чужих ошибках!
Дисклеймер: история взята из этой статьи. Очень уж она мне понравилась, захотелось с вами поделиться, ведь тема все насущнее 👌
Мультиагентные системы — это системы, построенные на взаимодействии нескольких AI агентов. Простая система может строиться даже на двух агентах: Агент А принимает запросы у юзера и формулирует задачу, а Агент Б, например, пишет код и анализирует данные.
Тогда взаимодействие строится так:
Юзер: спросил, какие финансовые результаты квартала
Агент А: понял запрос, наше ссылку на табличку с отчетом и вызвал Агента Б, чтобы тот посчитал основные статистики
Агент Б: взял данные, написал питон код для подсчета всяких средних и тд. Вернул Агенту А.
Агент А: сформировал отчет из полученных статистик — вернул юзеру.
На бумаге волшебно, каждый занят своим делом! А на практике... в компании из статьи два агента застряли в бесконечном лупе:
Агент А
: отправил запрос Агенту Б
Агент Б
: отправил уточняющий вопрос Агенту А
Агент А
: отправил разъяснения и повторный запрос Агенту Б
Агент Б
: отправил уточняющий вопрос Агенту А (напоминает того одаренного коллегу, который есть в каждой компании… )
--- Повторять цикл 11 дней ---
*Счет от Амазон на $47К приходит на почту*
Как можно было этого избежать? Вкладываться в инжиниринг!
AI и агенты — самая хайповая, но требущая наименьших усилий и времени часть разработки. 90% всего времени займет все остальное:
1. Четкое ограничение и лимитирование ресурсов, за пределы которых агенты не могут выйти (чтобы не жрали токены и не шафлили базы данных бесконечно).
2. Качественное описание всех доступных данных, тулов и других агентов. MCP тут спасает, но только частично.
3. Оптимизация самих тулов под агентов. Агенты активно пользуются тулами, потому что это их способ добыть информацию, а она им очень нужна! К тому же агентов может быть несколько. Оптмизируйте тулы к бомбардировке запросами, чтобы они не прилегли под нагрузкой.
4. Кеширование одинаковых запросов к агентам. Запросы повторяются чаще, чем кажется.
5. Мониторинг работы агентов. Дашборд с информацией по всем важным для системы метрикам, включая:
- статус каждого агента
- логи по каждому агенту
- задачи в работе и выполненные
- количество затрачиваемых токенов
- время на выполнение задачи
- задержки в общении между агентами и тулами
- расходы на агентов и тулы, и тд.
6. Поиск аномалий. В мониторинге должны быстро отлавливаться:
- циклы, в которых застряли агенты
- исключения, в которых агенты останавливают работу
- всплески затрат и задержек
- существующие боттелнеки в пайплайне, и тд.
Не пренебрегайте этими шагами и правильно распределяйте время на этапе разработки, чтобы не попасть на неожиданную сумму в продакшене! ☀️
Заместители