Сравнение топовых harness на локальных моделях

Совместно с rnd отделом red_mad_robot подготовили и провели данный бенчмарк, отдельное спасибо Андрею Иванову за подготовку стендов и проведение бенчмарка!

Модели взяли LLM хаба https://hub.neuraldeep.ru/

Сохраняйте ссылку на бенчмарк, теперь это буде регулярная страничка которую мы будем обновлять!

Бенчмарк: https://hub.neuraldeep.ru/#harness

Лидерборд будет пополнятся моделями
Drift планируется к open source в этом году!

gpt oss 120b | Qwen3.6-35B-A3B

Все модели были развернуты на rtx 6000 pro/4090(48gb x2)

Как вывод абсолютный лидер сегодня это hermes agent

Даже удалось погонять на PAC1 от Рината!