У LangChain есть deepagents 23.6к⭐ - открытый репозиторий с готовым каркасом для сложных AI-агентов. Внутри уже собраны вещи, которые обычно приходится склеивать вручную: план задач, файловая среда, запуск команд в песочнице, подагенты с отдельным контекстом, долговременная память, навыки, MCP-инструменты и подтверждение опасных действий человеком.
Такой агент может вести длинную задачу: разбить ее на шаги, делегировать часть работы, читать и менять файлы, запускать проверки, сохранять полезный контекст между сессиями и возвращаться к нему позже. Поэтому к нему уже нельзя относиться как к обычному чату с моделью.
Главный вопрос становится другим: как понять, что агент действительно сделал работу правильно, а не просто красиво ответил?
В статье разбираю практический подход AWS и LangSmith к оценке таких агентов: трассы, вызовы инструментов, аргументы, ошибки по шагам,
LLM-as-judge, офлайн-тесты и мониторинг после запуска.Если вы строите агентов для реальной работы - начните с этого разбора:
📎Как оценивать сложных AI-агентов в продакшне
Чат