Microsoft выпустила open-source фреймворк ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing).
Теперь можно описывать желаемое поведение AI-агента обычным человеческим языком:
«Агент не должен отправлять письма внешним адресатам», «Конфиденциальную информацию показывать только руководителям», «Всегда давать краткий ответ с контекстом»
…и инструмент автоматически генерирует тесты, сценарии, запускает их, записывает все шаги (tool calls, промежуточные действия) и выставляет скор.
Это решает одну из самых больших болей при разработке production AI-агентов — как надёжно тестировать поведение, а не только accuracy.
Репозиторий уже открыт: можно использовать прямо сейчас для своих проектов.
Подробности + GitHub
#AI #AgenticAI #Testing #OpenSource #Microsoft