Есть один паттерн, который мы видим в каждой истории про агентов в проде.
Команда собирает агента. На демо он отвечает уверенно, пять примеров проходят, ответ за секунду. Выкатываем. А через две недели агент вызывает поиск вместо календаря, теряет контекст на длинных диалогах, а в редком сценарии возвращает 200 OK с неправильным ответом. И узнают об этом не из мониторинга, а из жалоб пользователей.
Причем модель тут почти ни при чем. Разница между «агент отвечает» и «агент решает задачу» живет в архитектуре: как разбита задача, как проверяется результат до релиза и что происходит, когда модель или инструмент ошиблись. Пока этого нет, более умная модель просто ошибается убедительнее.
Ровно про это наш воркшоп 16 сентября в 19:00 мск. Ведет Василий Исаев - строит агентные системы в Wildberries, до этого в Точка Банке сделал оценку качества звонков на ~5000 звонков в день. Вместе с ним Александр Лыков, академический руководитель ШВМ, разрабатывает агентов в технологическом банке.
Формат - разбор кейсов из практики по одной схеме: как агент выглядел на демо, где именно сломалось в проде и во что обошлось, что изменили в архитектуре и проверках, чтобы проблема ушла. На выходе - чек-лист, по которому можно прогнать своего агента.
Час, онлайн в Zoom, вопросы в чате.
Записаться: https://shvm.xyz/agents-workshop
Post #267
530








- ❤ 2
- 👍 1
- 🔥 1