Сообщают, что авторы семейства бенчмарков MERA выкатили MERA Code - новый открытый бенчмарк предназначенный для оценки больших языковых моделей на реальных прикладных задачах.

Хорошие бенчмарки сейчас вещь очень востребованная - новые модели и агенты/мультиагенты на их основе создаются очень часто, и без адекватной оценки - далеко не уедешь. В наших изысканиях по ИИ для опенсорса сталкивается с таким постоянно.

В разработке бенчмарка принимали участие команды Сбера, Т-Банка, MWS AI, Ростелекома, Университета Иннополис, ИТМО, Сколтеха, Центрального университета и компании «Сибирские нейросети».

Заявлены:
- Прозрачная методика оценки LLM для русского языка.
- 11 задач в формате инструкций (text2code, code2text, code2code) на 8 языках программирования: Python, Java, C#, JavaScript, Go, C, C++ и Scala.
- Открытая платформа со сквозной системой подсчёта баллов, рейтингом и удобным фреймворком для тестирования.
- И, конечно, анализ и результаты, охватывающие как открытые общие модели, так и проприетарные API для генерации кода.

Репозитории - гитхаб, гитверс.

Почитать подробнее можно на Хабре или на arxiv.