Post #1515
1.52K


https://vibecoding1c.ru/bench - обновил результаты. GLM 5.1 - хорошая модель. Уже на уровне с лучшими SOTA моделями. Даже отличилась тем, что по-моему вообще единственная модель, которая "догадалась" что сортировать большую табличную часть надо бы на сервере :) (это конечно без подсказок - правила в последних бенчах убираю - они слишком меняют результат уже). Не забудьте что в бенче можно посмотреть результаты кода которые модель генерит (за исключением ранних результатов которые переносил из статей). На втором скрине привёл arena.ai - это для программирования вцелом сервис оценки. Разница с ним у нас в основном с GPT - потому что последний крайне стрёмно показывает себя в разработке 1С (предполагаю что сама модель хорошая, просто внутренних знаний про 1С мало), но в силу того что модель неплохая - правильными правилами и MCP это решается.
- 👍 12
- ❤ 1