Итак, бенчмарк полностью готов, а также статья на хабр по нему. Задачи опубликованы на github. Кому было интересно - можете посмотреть.
Выводы примерно следующие:
👉 Opus по-прежнему на коне. Вцелом лучшая сейчас модель для разработки (абстрактной в вакуме)
👉 А вот если не лень настроить MCP и правила, то ситуация уже другая: GPT модели дают лучший результат и резко падает потребление токенов. А по лимитам есть ощущения что у codex они несколько более приятные.
👉 Grok и Composer, которыми без MCP по сути пользоваться крайне проблемно с MCP дают результаты на уровне топа

Итого, что я для себя выбрал как новый стек:
👉 Opus 5 для эксклюзивных задач и планирования архитектуры (думаю должно хватить лимитов курсора), может оркестрации
👉 Grok/Composer как рабочие лошадки (c MCP результаты очень хорошие, а модели дешевые и в Cursor очень быстрые)
👉 GPT для review и backup, а также у меня на них автономные агенты работают (потому как лимиты приятные и скорость хорошая). Тут отдельная подписка. Ну и длительная оркестрация тоже на них будет.
Без подписки Claude - по крайней мере дорогой, пока надеюсь обойтись. Китайские модели, пожалуй, пока тоже исключу.