POLLMEVALS (Panel of LLM evals) - лидерборд по связкам «модель + харнес»

Как и обещал - пост-спойлер.

🔹Я делаю лидерборд по агентам. То есть по связке Модель + Харнес. Хочу на разных задачах видеть три вещи сразу: стоимость, время и качество выполнения. Фронт, бэкенд, документация, тесты, цикломатика, типизация, SOLID и так далее.

Делаю это постепенно и не так быстро, как хотелось бы. Суть в том, что прогон разного количества моделей и сборок агентов занимает немало времени. А ещё это дорого - один разовый прогон сегодня обошёлся мне в 100$+.

Если хочешь узнать, какая комбинация даёт показатель выше, или проверить свою конкретную сборку модель + харнес - пиши мне, и я запущу. Донат приветствуется.

🔹Смысл - понимать, какая связка модель + харнес хорошо сочетается по деньгам и по качеству. Вместо дорогих оркестраторов от тех же вендоров.

Показываю в супер-альфа версии панельку POLLMEVALS.

🔹Что там есть. Задачи по категориям - как мои собственные, так и из публичных датасетов, например от SWE. Все задачи разбиты на категории. Есть модели: от дешёвых, которые можно развернуть на маке или винде, до тех, что не по карману и только через провайдеров. Есть харнесы - буду добавлять их постепенно. Пока на английском, будет и на русском.

🔹В планах:
• сделать панель публичной в течение недели
• раскатать всё в k8s, чтобы раз в неделю запускалось + 1 новый агент/оркестратор из голосовалки или из запросов
• форма для запроса на расчёт новой комбинации модели и агента
• сбор донатов - лидер борд штука дорогая, а деньги нужны чтобы гонять модели
• отдельный лидерборд для запуска моделей на лаптопах: macOS + LLM + agent под разные поколения M-чипов, объём памяти и т.д.
• новый ux/ui и всякое по мелочам

🔹Вообще всё это я делаю на чистом энтузиазме, и цель такая. Понимать не на ощущениях, а по реальным цифрам - какая модель и какая связка работает хорошо. Если ты тоже хочешь видеть реальные показатели - ставь лайк и гони бабки на расчёт твоей модели и твоего агента 😂

🔹Прикрепил несколько скринов из альфа-версии панельки.