🔍 Агент сказал «готово». А что изменилось в базе?

Агент уверенно сообщает, что вернул деньги или обновил заказ. Но нужной записи в базе может не быть.

Microsoft ThinkingBox проверяет именно результат: конечное состояние данных и побочные изменения. В бенчмарке 507 бизнес-сценариев, каждый запускали 20 раз — чтобы отличить разовый успех от стабильной работы.

Полезный принцип для своих агентов: проверять, что изменилось в системе, а не только читать финальный ответ модели.

🔗 Разбор и инструкции запуска

🐸 Библиотека ИИ для айтишников

#neuro_dive