Давно не было моих видосов на канале. На этот раз о том как пользоваться и какие есть нюансы бенчмарка, который оказался существенно сложнее чем казалось на первый взгляд. В видео так же рассказал как бенч организован. Как автономный агент (тут hermes). Несколько суток работает над одной задачей. Поднимает среды для 1С, обновляет базы, оценивает задачи бенча, перепроверяет оценки. Решает задачи разными агентами и разными средами и оценки вместе с артефактами вносит на сайт. Думаю как пример мощи автономных агентов вполне полезно посмотреть. А бенч (ещё не готов до конца!) крайне важен в современном мире где просто кучи моделей, каждый день выходят новые и надо выбирать что то что эффективно работает с учетом обвязки и ограниченного бюджета.