DeepSWE сегодня конечно в топ новостях. Что могу сказать:
✅ это точно лучше SWE Bench - факт. Но SWE Bench уже давно никто не смотрит
❌ Arena.ai у меня лично вызывает больше доверия - всё таки кожаные ещё в состоянии отличить хороший код от плохого и хороший результат от не очень
❌ TypeScript, JavaScript, Python, Go, and Rust - 1С там конечно нет и не ожидается
✅ Применяются практики оптимизации и проверяется "агентский сценарий"
❌ Всё таки акцент на "точно то что просили" а не "достичь цели любой ценой" и "сделать то, что нужно" - в реальной жизни второй сценарий важнее
❌ Непонятно почему такие слабые позиции у DeepSeek - для 1С оно правда пишет неплохой код
❌ Gemini-flash лучше чем pro звучит как бред
❌ Какая то mimo-2.5 лучше чем glm-5.1 тоже бредовая история
❌ 5.4 mini пишет код(⁉️) лучше чем kimi-k2.6 кажетя там всё таки шутники...

⚠️ Не очень доверяйте этому бенчмарку пока https://arena.ai/ - где во главе угла кожаные всё таки более правильный бенч.

https://vibecoding1c.ru/bench несмотря на то что требует пересмотра для 1С пожалуй всё таки более репрезентативен