AWS показала, как проверять агентов от эксперимента до работающего сервиса

🧩 AWS разобрала девятиэтапный цикл проверки внутренних агентов на Amazon Bedrock AgentCore.
Проверки идут на трёх уровнях: отдельный инструмент, агент целиком и взаимодействие нескольких агентов.
Отслеживают качество, безопасность, задержку, стоимость и возможность быстро найти причину сбоя.

🎯 Сначала задают конкретные ошибки: перепутанный клиент, период или показатель, выдуманное число, неразрешённый расчёт.
Для точных фактов используют сравнение с известным ответом, для обоснованности и полезности ответа подключают LLM-судью.
У каждого уровня свой набор тестов.

🚦 Перед выпуском работают два фильтра. На каждом развёртывании в тестовой среде запускают короткий набор из 15 критичных случаев.
Затем кандидат проходит полный набор и проверку на 200 отложенных вопросах.
При сравнении ответы инструментов заранее проверяют и фиксируют: кандидаты получают одинаковые данные.
Регрессия или нарушение безопасности блокирует выпуск.

📡 После выпуска проверки продолжаются. Синтетические прогоны идут каждые 30 минут, полный набор запускается ежедневно.
Оценивают 10% реального трафика, а защитные проверки входа и выхода выполняют на каждом запросе.
Дежурного вызывают после трёх проблемных окон подряд, чтобы отсечь одиночный шум.
(Похоже на методику Anthropic, кстати)

🔁 Низкооценённые реальные запросы пополняют тестовый набор.
Трассировки связывают оценку с инструментами, контекстом, задержкой и расходом токенов. AgentCore предлагает изменения инструкций и описаний инструментов; кандидатов сравнивают с действующей версией через A/B-тест.

💼 Один из разобранных в кейсе сбоев: два агента возвращали правильную выручку, но один для материнской компании, другой для дочерней.
Проверка должна была установить, какой уровень запрошен пользователем.
Поэтому в тестах проверяют и само число, и то, к какому объекту оно относится.

📎 Документация Evaluations

#AWS #AgentCore #Агенты #руководства
———
@tsingular