Основной минус мультиагентности, это увеличение стоимости выполнения задачи.
Агентов больше - запросов больше - денег списывается (ресурсов расходуется) больше.
Ну здесь понятно.
А непонятно то как все это отлаживать, точнее контролировать что однажды отлаженное не развалится при выпуске новой версии)
В идеале, чтобы этот весь оркестр Агентов не превратился в быдло-банду вам нужно
1. Отслеживать качество работы текущих промтов Агентов, при этом оценивать их работу на текущей и новой версий нейронки. Желательно встроить это в автотесты.
2. Иметь какой то вариант тестов межагентский взаимодействия (end-to-end? интеграционные? как их правильно назвать?), т.е. давать им задачи с заранее известным результатом и убеждаться что ничего при выпуске новой версии не поломалось.
А самое интересное, что оценивать то что тест пройден как в п.1, так и в п.2 будет другая модель (или этаже с каким-то клевым промтом), а тут возможен - сговор, взятка и привет “банда”.
Короче, настраивайте правильное тестирование ваших агентов, и следите за деньгами)
Peace! 🤘
Post #258
511
- 💯 4
- 👾 4