Решил тут с Opus 5.5 на пару наколдовать бенч для ИИ-агентов.

Хотелось сделать что то реально сложное, ближе к повседневной работе.
В итоге получился такой вариант, - на входе транскрипт часового совещания по ИИ-трансформации вымышленной компании. На выходе агент должен самостоятельно сделать 4 согласованных между собой артефакта:
- тезисы с фактчекингом через веб
- протокол с поручениями, ответственными и сроками
- презентацию для руководства
- Excel с метриками и трекингом задач

Причём всё с жесткими проверками фактов и ссылок на источники.
В PPTX должен быть реальный извлекаемый текст, а не картинки вместо слайдов.
В XLSX — заданная структура, числовые метрики, статусы и тренды.
Но самое сложное, как мне казалось, - согласованность между файлами.

Если в протоколе задача назначена Орловой, то в презентации и Excel внезапный Петров, например, появиться уже не должен.

Если срок «не определён», агент не должен его придумывать и т.д.

Сделал отдельный валидатор и прогнал несколько популярных харнесов.

Результаты получились неожиданно высокими:
Claude — 100%
Cursor — 100%
Perplexity — 99%
Hermes — 93,3%

Причём ошибки уже интересные: теряются поручения между документами, путаются ответственные, числовые метрики записываются текстом, ссылки не протаскиваются между артефактами.

Кстати, решил добавить сюда и Ladcraft.
После Подмосковных Вечеров 4CIO про него многие спрашивают, - коллеги там проводили мастер-класс, поэтому было интересно прогнать его через тот же тест.

Получилось 97,2% за 5 минут, DeepSeek V4 Flash, около 515 тыс. токенов и 8 рублей.

И вот походу новый головняк с агентами, - а как сделать бенч, который для них будет сложным и на котором реально будут видны все их недостатки именно на ваших задачах.
Потому что когда почти все получают 90–100%, - скучно. тест не нагляден, ну справляются и справляются.

Сам тест, если кто хочет поиграться

А у вас как с этим? Что из последнего тестировали именно метриками на реальных задачах?
Делитесь в комментах.

#Ladcraft #бенчмарк #агенты #ИИ #harness
———
@tsingular