Вы круты!

Закончилась основная часть соревнования, где разные команды со всего мира вслепую решали сложные задачи корпоративной автоматизации при помощи AI:

- Leaderboard (призовой 3-х часовой раунд и extended round). Эти результаты заморожены навсегда. Я буду дополнять архитектуры описаниями и ссылками на решения (по мере поступления обновлений от команд). Но рейтинги уже меняться не будут.
- Финальный стрим

Бенчмарк теперь работает в публичном режиме, показывает подсказки и сразу оценивает работу агентов.

Этот бенчмарк гораздо сложнее реальных условий разворачивания AI агентов. В реальности есть возможность подкрутить промпты, добавить шорткаты, допилить агентов. А здесь у всех команд заранее был только доступ к корпоративному API. А компания за этим API открылась только в момент соревнования, со своими данными, корпоративной базой знаний и всякими CRM/ERP системами. Более того, на каждую задачу генерировалась с нуля своя небольшая вселенная. Ах, да, там еще были правила безопасности и попытки эту безопасность немного сломать.

Понятно, что не все задачи сделаны мной идеально, но для оценки уровня SotA в построении агентов - этого хватить должно.

Те, команды, агенты которых смогли выбить больше 40% accuracy вслепую в таких условиях, на реальных корпоративных условиях смогут показать точность выше 90%. Уже показывают.

Особенно круты те команды, которые использовали необычные архитектуры, локальные модели или даже разворачивали свое железо!

Спасибо вам! А теперь, давайте, посмотрим на лучшие результаты (см описания архитектур в лидерборде) и подтолкнем State of the Art еще дальше!

Ваш, @llm_under_hood 🤗


PS: Платформа остается, можно продолжать ей пользоваться. Вопрос с новыми регистрациями постараюсь решить на днях