🖥 Cursor устроили необычный бенчмарк

ИИ-агентам дали только официальную документацию SQLite на 835 страниц и задание реализовать движок базы данных без любой другой помощи вроде выхода в интернет. Через каких-то четыре часа движки уже правильно выполняли 73–85% запросов из скрытого теста, а позже агенты добили и до 100%. Но при этом разница в стоимости решения ужасает: связка Opus 4.8 и Composer 2.5 потратила на задачу $1 400, а Fable аж $20 000 — то есть стоимость отличается почти в 15 раз.

Во время решения, кстати, агенты столкнулись вполне с человеческими проблемами: они дублировали работу, воевали за одни файлы и боялись брать ответственность и менять ядро системы, даже когда это было нужно.

✖️ xCode Journal