Продолжаю гонять модели на самом непредвзятом агентном бенчмарке индустрии - korovany_bench (о котором ранее писал). Метрика простая: может ли модель с одного запроса запилить игру по ТЗ Кирилла, в которой можно грабить корованы. Уточнения давать нельзя

В прошлый раз топовый результат показал Fable 5 - единственный кто выдал играбельную игру. Но с тех пор вышли еще две занятные модельки: Kimi K3 и GPT-5.6-Sol. Нельзя было не проверить

Условия те же: один промпт, полное ТЗ Кирилла, никаких уточнений и дозапросов - агент должен сделать решение end-2-end полностью сам. Игра должна работать в браузере и хостится на github pages, то есть для запуска не нужно ничего ставить - просто открыть ссылку

Sol полноценную игру не собрал. Все что получилось оказалось неиграбельным. Я даже дал ему второй шанс, запустил через goal (режим, в котором агент долго и автономно работает над задачей до результата) - игра все равно неиграбельная. Можете попробовать сами. Единственное что хорошо получилось - стартовая картинка

А вот Kimi K3 удивил и порадовал. Игра полностью играбельна, корованы грабятся! Попробуйте! А еще соблюдены многие хотелки Кирилла: деревья-спрайты вдали, отрубание рук и ног, и даже ослепнуть на один глаз можно. Многое из этого Fable 5 не реализовал

Но некоторые вещи у модели антропика оказались лучше, например сложный ландшафт и более красивая графика. Затрудняюсь кому отдать победу

Сравнить между собой все версии игры можно тут (с ПК). Сам проект потихоньку превращается в цифровой музей развития кодового AI - в нем видно как прогрессируют модели с течением времени (надо будет ретроспективно еще прогнать старые)

Kimi огромный респект! 🧡 Злые языки говорят, что они учились просто выбивать очки на бенчах, но мой бенч совершенно независм, уникален и неподкупен - под него они подстроиться, очевидно, не могли, что доказывает, что их новая открытая модель просто отличная!

P.S. Джва года буду ждать, когда агенты смогут создать игру качества AAA по этому ТЗ. Пусть это будет моим личным критерием наступления эры AGI

UPD: Добавил версию от Opus 5 - появился магазин, но на карте не нашел корованов! Это фейл