Microsoft и Hugging Face выпустили ThinkingBox – стенд для проверки ИИ-агентов по состоянию базы

Microsoft и Hugging Face выложили ThinkingBox: стенд и набор задач для проверки ИИ-агентов, работающих с реальными записями в базах. Он оценивает не текст ответа, а итоговое состояние базы и побочные эффекты, которые агент оставил после работы.

Пример из статьи: агент обслуживания клиентов делает девять вызовов инструментов и отвечает «ваш вопрос решён». Заявка при этом закрыта как resolved, хотя по правилам должна была остаться в статусе on hold. Внешне работа выглядит успешной, а база с ней не согласна.

В наборе 507 рабочих сценариев из розницы, автострахования, путешествий, необанкинга и консалтинга. Каждую задачу прогоняют 20 раз с чистого состояния, чтобы отделить «может один раз» от «делает всегда». Три метрики: pass@1 (доля успешных попыток), pass@20 (хотя бы раз из 20) и 20/20 (все 20 подряд).

Разрыв между «может один раз» и «делает всегда» огромен. Kimi-K3 решает 93,89% задач хотя бы раз (476 из 507, лучший охват в поле), но все 20 попыток проходит лишь на 13,41% задач. Claude Opus 5 берёт меньше задач за раз, зато проходит 47,53% набора в каждой попытке.

Новая версия это не лечит. Claude Opus 5.5 выше Opus 5 по средней точности (67,16% против 66,50%), но обе проходят ровно 241 задачу все 20 раз. Устойчивость к повторам держат немногие: GPT-6 Astra сохраняет 78% своего pass@1, а у GLM-5.1, Kimi-K2.6 и DeepSeek-V4-Pro остаётся около 8%.

В отсеве на 121 680 валидных попыток по 12 моделям 79 853 попытки провалили проверки, и 67,24% из них завершились «чисто», без ошибки инструмента. Около 80% неудач (79,9%) приходится на работу с инструментами, а в 77,61% «чистых» провалов проверки нашли неверные значения полей. Код стенда открыт под MIT и доступен для запуска, разбор – в блоге Microsoft и Hugging Face.

━━━━━━━━━━━━━━━━━━━━
📢 AI❤️4Life — канал об искусственном интеллекте
🤖 SyntxAI — все самые нужные нейросети в одном сервисе
🔒 MaxVpn — Удобный и быстрый VPN
🧠 Google AI Pro — подписка на личный Google-аккаунт на 18 месяцев за 990₽
━━━━━━━━━━━━━━━━━━━━
👑 Авторский курс по созданию персональных ИИ-агентов

#AI #AIagents #LLM #Microsoft #HuggingFace